本文接上一篇,只写到读取日志。在平时工作当中,会遇到这种情况,而且很常见。比如:增量抽取(每隔2个小时抽取截至到上次抽取时间的记录)
本文中会用到作业,先来熟悉下作业的概念
简单地说,一个转换就是一个ETL的过程,而作业则是多个转换、作业的集合,在作业中可以对转换或作业进行调度
实际情况中,每次抽取完毕,会写入日志表,记录本次抽取时间,下次抽取会根据本次抽取的成功时间,开始获取数据进行抽取。
我们可以使用作业来完成调度任务,需要用到调度控件【start】和【成功】这两个。
【start】可以控制执行频率,控制什么时间执行,间隔多长时间执行都可以进行配置,还是比较方便的。
下面需要这5个控件来完成,我们逐一看下每个控件是怎么使用的。
1)【start】控件。
如下图,该控件可以配置定时执行时间和时间间隔,是否重复等。为了实时抽取,我们把重复给勾选上,类型选中时间间隔,以分钟计算,每60分钟执行一次作业。
2)【转换1】-获取student表的更新时间,我们点击右键,进入转换的编辑页面
点击获取student表输入控件,进入如下界面,填写相应的sql-具体的例子见附件
点击【设置变量】,将表输入的结果放入变量中。
3)【转换2】-student表作业,我们点击右键,进入转换的编辑页面,设置相应的表输入和表输出项,如下图
4)【转换3】-写同步日志,我们点击右键,进入转换的编辑页面,此处包含一个【sql脚本】,写入sql后点击保存
转换完成。
效果每次隔1个小时抽取,写入日志表。下次抽取日志表之后的数据。
欢迎关注公众号,学习kettle、数据库和开发方面的知识
获取例子源码,扫描下方二维码加关注