哈希游戏- 哈希游戏平台- 哈希游戏官方网站

　　专利摘要显示，本发明公开一种基于 Hudi 的增量数据自动化迁移方法，涉及大数据处理技术领域，包括：通过 Python 脚本自动化实现并发的读取解析 Hudi 表对应的 HDFS 路径、Hive 数据库名称或者 Hive 表名称，判断是否是 Hudi 表，在是 Hudi 表时进一步判断是否存在分区，并在存在分区时获取对应的表分区以及对应的所有的分区路径，然后根据获取的最新时间戳 commitTime，自动下载 Hudi 表对应的历史数据以及增量数据文件，并上传到目标集群对应的 HDFS 路径中，最后通过同步 MySQL 元数据库，完成 Hive 元数据的迁移。本发明可以实现数据迁移的自动化、高效化和准确化，解决现有数据迁移方法不能增量数据迁移或增量数据迁移方法效率低下、操作复杂、且业务系统需要停机很长时间的问题。