解决streamsets jdbc全量模式数据重复问题

原文链接:

https://anjia0532.github.io/2019/07/22/sdc-jdbc-full-mode/

实际上在官方文档有讲 Full and Incremental Mode
解决streamsets jdbc全量模式数据重复问题

 

 

主要看提示(Tip)部分,如果只想执行一次查询后就停止 pipeline,应该配置 origin 的 generate events 并且使用 Pipeline Finisher 来自动停止 pipeline,更多信息参见 Event Generation.

在 jdbc origin 勾选 Produce Events

解决streamsets jdbc全量模式数据重复问题

 

 


从组件选则 Pipeline Finisher,并且配置 Preconditions 为 ${record:eventType() == ‘no-more-data‘} 即可

解决streamsets jdbc全量模式数据重复问题

 

 解决streamsets jdbc全量模式数据重复问题

 

 

 

参考资料

解决streamsets jdbc全量模式数据重复问题

上一篇:python操作MYSQL时防止SQL注入


下一篇:15-01-01 C# 语法 03