一、下载源码
我这里用的是canal-1.1.4版本
-
源码结构
client-adapter项目就是本次要部署运行的
-
源码导入到IDEA中的结构如下:
二、安装配置
- 找到manven模块中有root的那个模块,然后点击install进行安装
待安装完成后,会在对应的项目的target目录下产生相应的运行包,如果不想在开发工具中运行的话,直接拷贝对应的包即可。
-
修改launcher的application.yml配置
-
es adapter配置
在launcher项目中的配置文件下创建es目录并加入所需要同步的配置文件
三、运行调试
配置完毕后,直接运行launcher这个springBoot项目即可,也就是运行CanalAdapterApplication这个类就可以了。
当看日志提示启动成功后就代表启动成功了!
四、测试验证
增量同步测试跟canal-adapter安装包部署运行一样,这里主要介绍及测试一下条件同步和全量同步功能,即etl功能。
launcher项目是一个spring boot项目,在其中的rest包下有一个controller类(CommonRest.java),里面提供了一些接口,其中一个用于全量同步数据的接口
-
canal全量同步
我们按照注释的内容发送一个http请求即可:
canal_db1.yml为es目录下的配置文件,运行后出现以下提示信息,就可以让canal_db1.yml配置的数据表的所有数据全同步到es中了
在kibana中查看数据是否已经生成:
-
canal条件同步
如果想执行从某一个时刻的数据同步,在上面的测试URL后加上对应的参数就可以了
其参数由es的配置项决定的,以下截图的配置文件中的etlCondition: