在kettle执行的过程中,如果遇到错误,kettle会停止运行。在某些时候,并不希望kettle停止运行,这时候可以使用错误处理(Step Error Handling)。错误处理允许你配置一个步骤来取代出现错误时停止运行一个转换,出现错误的记录行将会传递给另一个步骤。在Step error handling settings对话框里,需要设置启用错误处理。
下面例子中读取postgres数据库中的a0表数据,然后输出到a1表:
a1表结构如下:
CREATE TABLE a1 ( a double precision, id integer NOT NULL, CONSTRAINT id_pk PRIMARY KEY (id ), CONSTRAINT id_unin UNIQUE (id ) )
从表结构可以看出,a1表中id为主键、唯一。
a0表数据预览:
现在a1表数据为空,执行上面的转换,执行成功之后,a1表数据和a0表数据一致。 再次执行,上面的转换会报错,程序停止运行,会报主键重复的异常。
现在,我想报错之后,程序继续往下执行,并记录错误的记录的相关信息,这时候可以使用“定义错误处理”的功能。 在“表输出”的步骤上右键选择“定义错误处理”,弹出如下对话框。
相关字段说明:
- 目标步骤:指定处理错误的步骤
- 启用错误处理?:设置是否启用错误处理
- 错误数列名:出错的记录个数
- 错误描述列名:描述错误信息的列名称
- 错误列的列名:出错列的名称
- 错误编码列名:描述错误的代码的列名
- 允许的最大错误数:允许的最大错误数,超过此数,不在处理错误
- 允许的最大错误百分比:
- 在计算百分百前最少要读入的行数:
添加错误处理后的转换如下:
记录错误信息的字段列表如下,可以看出,errorNum、errorDesc、errorName、errorCode都是在定义错误处理时候填入的列名称,a、id来自于输入的记录的列。
记录的错误信息如下:
分析 可以看到,错误日志里只是记录了出错的行里面的信息,并没有记录当前行所在的表名称以及执行时间等等,如果能够对此进行扩展,则该错误日志表才能更有实际意义。
说明 1.错误日志的错误码含义(如:TOP001)含义见参考文章2.
参考文章
Step Error Handling Step error handling codes