zqc0512
有*都还造*啊。
套路不对呢。
2018-08-1416:27
MCTW回复zqc0512
_(ω」∠)_没办法啊同学。
曾经用过elasticsearch-jdbc，不是很能满足需求啊。
如果字段存的是竖线分隔的标签："金融|大数据|工作平台"，希望传到es变成字符串数组["金融","大数据","工作平台"]，这种*该怎么配置呢。
在已经同步大量数据的基础上，再多增加一个同步字段，这么简单的逻辑有的*竟然要把之前已有的数据全都再同步一遍呢。
elasticsearch里经常对中英文字段进行不同的分词方式，如果Mysql中一个字段又存英文，又存中文，希望同步到es时把中文同步到field_cn字段，把英文同步到field_en字段，mysqlsmom能轻易处理这种情况，不认为任何已有的*能轻易完成这个任务呢。
2018-08-1417:36
freedomcy007
logstash不是完美支持吗？
2018-08-1418:02
MCTW回复freedomcy007
对logstash了解的不深..它对于旧数据的更改、删除能增量同步嘛？能把"aa|bb|ccc"转成["aa","bb","ccc"]同步到es嘛？如果可以请告知一下...我这个项目就什么意义了(°ー°〃)
2018-08-1418:40
rochy回复MCTW
增量更新还是需要靠表结构的；使用字段映射模板，管理好字段名即可实现你说的切分效果
2018-08-1420:11
zqc0512
"金融|大数据|工作平台"，希望传到es变成字符串数组["金融","大数据","工作平台"logstash用kv“｜”做分割不行自己写fileter也可以的。
能够很好支持的，你研究研究下logstash吧。感觉你自己造的*好像不怎么好吧，不行你去修改logstash也来得稳定、快速。
有问题在https://discuss.elastic.co/c/logstash问老外。一般都会详细给你解答的。你把怎么处理数据提个问题。
一般都会支持给你把配置文件搞好。
logstash.
2018-08-1508:28
MCTW回复zqc0512
好的，谢谢
2018-08-1509:59
jiaofuyou
aa|bb|cc，借助logstashfilter可以实现拆分到ESarray字段中，但是增中同步，比如实现实时的update,insert,logstashjdbc还不行吧，而且要实时的更新，logstashjdbc也还是不能满足的吧
2018-08-2010:01
MCTW回复jiaofuyou
哇哦，Mysqlsmom可以实时同步的，大佬有兴趣可以尝试一下?(???)?
2018-08-2417:10
MCTW回复jiaofuyou
另外也支持实时同步删除的操作哦(?)
2018-08-2417:14
jiaofuyou回复MCTW
我的意思是，logstashjdbc实现增量同步和实时删除，不太容易实现，你这个Mysqlsmom可以实现这些实时的同步。
实际上来说，这种靠配置来实现业务上的数据转换，总的来说还是不够灵活，把数据从mysql同步到ES，有时并不是增加两个字段，转换下数据格式这么简单
这个东西，我的个人看法是用一个比较稳定的开源工具，把mysqlbinlog数据实时同步到MQ，然后业务上灵活的消费队列数据，做ETL
如可以使用阿里开源的canal把数据实时同步到kafka中存储，业务方消费kafka数据做各种处理，写ES或做其它
2018-08-3108:59
MCTW回复jiaofuyou
感谢大佬指点，受教了
2018-08-3110:52
wajika回复MCTW
能支持从mysql中拉取多张表，通过关联关系，然后聚合成一张宽表，再同步到ES中吗？
2019-04-3014:33