用于mysql数据库异构数据的同步
增量日志数据的订阅 消费和解析 可以订阅到mysql二进制日志的变化 然后可以拿到数据进行消费 ,历史数据无效 只能通过其他方式进行全量同步
io 和 thread线程间隔一下执行一次 主从同步有时间的延迟 不是立刻马上的
canal原理
工作场景
数据库实时备份
对业务缓存进行刷新!
索引构建 例如插入es中
可以通过对binlog日志的监控实现数据库中的商品降价后发送通知
跨数据库的数据备份/异构数据同步 mysql->oracle ->mongo ->redis ->es
数据获取后是放在canal server的队列里面的
(1)历史数据通过脚本进行全量的同步
(2)增量通过cannal server ,canal client写入 redis es 等
或者写入消息队列进行流量消峰 再写入 redis es等