1. 引入
Hudi 0.6.0版本之前只支持将Hudi表同步到Hive或者兼容Hive的MetaStore中，对于云上其他使用与Hive不同SQL语法MetaStore则无法支持，为解决这个问题，近期社区对原先的同步模块hudi-hive-sync进行了抽象改造，以支持将Hudi表同步到其他类型MetaStore中，如阿里云的数据湖分析DLA(https://www.aliyun.com/product/datalakeanalytics中。
2. 抽象
将Hudi表同步至Hive MetaStore的代码在hudi-hive-sync模块，为兼容更多类型MetaStore，现将其改造为如下模块
hudi-sync
|-hudi-sync-common
|-hudi-hive-sync
|-hudi-dla-sync
其中各模块说明如下
- hudi-sync-common表示元数据同步公共模块，用于存放一些用于同步的公共父类；
- hudi-hive-sync表示同步Hive模块；
- hudi-dla-sync表示同步阿里云DLA模块；
基于上述结构，用户可基于hudi-sync-common构建自定义的元数据同步逻辑。
3. 配置
下面以DLA为例，介绍如何通过Spark写入Hudi表后自动将Hudi表同步至DLA中，同步核心配置如下
df.write().format("hudi").
options(getQuickstartWriteConfigs()).
option(PRECOMBINE_FIELD_OPT_KEY(), "ts").
option(RECORDKEY_FIELD_OPT_KEY(), "name").
option(PARTITIONPATH_FIELD_OPT_KEY(), "location").
option("hoodie.embed.timeline.server", false).
option(TABLE_NAME, tableName).
option(TABLE_TYPE_OPT_KEY(), tableType).
option(META_SYNC_CLIENT_TOOL_CLASS(), "org.apache.hudi.dla.DLASyncTool").
option(META_SYNC_ENABLED_OPT_KEY(), "true").
option("hoodie.datasource.dla_sync.database", dbName).
option("hoodie.datasource.dla_sync.table", tableName).
option("hoodie.datasource.dla_sync.username", dlaUsername).
option("hoodie.datasource.dla_sync.password", dlaPassword).
option("hoodie.datasource.dla_sync.jdbcurl", dlaJdbcUrl).
option("hoodie.datasource.dla_sync.partition_fields", "location").
option("hoodie.datasource.dla_sync.partition_extractor_class", "org.apache.hudi.hive.MultiPartKeysValueExtractor").
mode(saveMode).
save(basePath);
关键配置项说明如下：
-
META_SYNC_CLIENT_TOOL_CLASS()表示进行同步的类，指定为org.apache.hudi.dla.DLASyncTool表示通过DLASyncTool进行同步，与HiveSyncTool同步至Hive功能类似； -
hoodie.datasource.dla_sync.database表示同步至DLA中的数据库名； -
hoodie.datasource.dla_sync.table表示同步至DLA中的表名； -
hoodie.datasource.dla_sync.username表示连接DLA的用户名； -
hoodie.datasource.dla_sync.password表示连接DLA的密码； -
hoodie.datasource.dla_sync.jdbcurl表示连接DLA的JDBC连接； -
hoodie.datasource.dla_sync.partition_fields表示同步至DLA的分区字段； -
hoodie.datasource.dla_sync.partition_extractor_class表示同步至DLA的分区值解析器；
除了上述配置外，还需要在pom.xml依赖中新增hudi-dla-sync依赖（hudi.version为0.6.0-SNAPSHOT）
<dependency>
<groupId>org.apache.hudi</groupId>
<artifactId>hudi-dla-sync</artifactId>
<version>${hudi.version}</version>
</dependency>
4. 同步
上述配置中，数据库名配置为hudi_dla_demo_db，表名配置为hudi_trips_dal_demo；其他用户名、密码、JDBC连接配置可参考如下链接：https://help.aliyun.com/document_detail/110829.html。配置完后即可在Spark写入Hudi时自动将Hudi表同步至DLA，同步结果如下
查询表结果如下：
为方便用户直观感受到将Hudi表同步到DLA，可参考这里https://help.aliyun.com/document_detail/173653.html直接运行对应Jar包来快速构建基于Hudi和DLA的数据湖。
5. 总结
可以看到基于最新的Hudi版本，用户可自定义Hudi表同步MetaStore逻辑，同时只需要非常简单的配置即可完成自动同步，并且以同步至DLA为例，给出了关键配置，该功能将在近期发布的0.6.0版本中释出。