MySQL数据直接实时同步到ES

1.数据迁移同步工具选型

数据迁移同步工具的选择比较多样,下表仅从 MySQL 同步 ES 这个场景下,对一些笔者深度使用研究过的数据同步工具进行对比(不一定精确,如有错误请联系笔者更正),用户可以根据自己的实际需要选取适合自己的产品。

特性\产品

Canal

DTS

CloudCanal

是否支持自建ES

ES对端版本支持丰富度

  • 支持ES6和ES7

  • 支持ES5,ES6和ES7

  • 支持ES6和ES7

嵌套类型支持

join/nested/object

object

nested/object

join支持方式

基于join父子文档&反查

基于宽表预构建&反查

是否支持结构迁移

是否支持全量迁移

是否支持增量迁移

数据过滤能力

  • 仅全量可添加where条件

  • 全增量阶段where条件

  • 全增量阶段where条件

是否支持时区转换

同步限流能力

任务编辑能力

数据源支持丰富度

架构模式

订阅消费模式

  • 需先写入消息队列

直连模式

直连模式

监控指标丰富度

  • 性能指标监控

  • 性能指标监控

  • 性能指标、资源指标监控

报警能力

针对延迟、异常的电话报警

针对延迟、异常的钉钉、短信、邮件报警

任务可视化创建&配置&管理能力

是否开源

是否免费

  • 社区版、SAAS版免费

是否支持独立输出

  • 依赖云平台整体输出

是否支持SAAS化使用

MySQL 到 ES 数据同步构建数据检索服务给中小企业带来了稳定且实用的在线数据方案,在满足业务诉求(高并发业务与企业级应用常态化)的同时 ,易上手且具备不错的可维护性,在适当的场景下,值得尝试和实践。

2.接下来主要讲解

Canal

MySQL数据直接实时同步到ES

上一篇:虚拟机里的mysql怎么外连


下一篇:业务系统数据库设计经验总结(七)-强制使用选定索引