Canal同步MySQL数据至ES问题总结

学习Canal同步MySQL数据至ES,在学习或测试过程中遇到的问题如下:

1.ES索引问题

1.必须先在ES创建好对应索引的Mapping。否则,会没有识别索引,会报写入错误。
2.索引字段必须和adapter select字段一致,否则会同步出错

2.ES版本问题

官网给出canal-1.1.4支持6.x.x以上,当测试同步时,ES7.x版本死活同步不了,询问社区才发现canal1.1.4只支持6.x,7.x需要修改代码重新编译才能支持

3.ES同步规则文件名问题

文件名必须以以.yml结尾,否则配置不生效

4.修改adapter配置问题

默认情况下,当修改完deploy、adapter配置后会自动加载配置,日志中也可以看到加载成功,但是实际并不会生效,需要重启deploy或adapter

5.destination黑名单问题

测试时设置的黑名单参数canal.instance.filter.black.regex=.\..。导致所有的库表都被过滤,所以adapter订阅不到任何数据,但是binlog日志位点仍然在改变,设置为canal.instance.filter.black.regex=即可解决

6.增量同步的记录中缺少id字段

增量同步的记录中缺少id字段,原因是adapter同步规则中select语句未加id字段导致

7.ES中的_id问题

sql语句部分,指定对应库表id为ES中的_id,否则会报错。pk字段设置后不生效

8.其他

1.所有配置一切正常,但仍然同步失败,删除表后重建表再重新同步成功(原因未查明)

上一篇:读取mysql binLog 中间件对比 canal、Maxwell、Databus、DTS


下一篇:canal详解参考