作者:坚乃
在数据集成的过程中,在一些场景下,需要对原始数据进行转换操作,过滤组件可对上游数据根据配置条件进行过滤,本文将介绍如何进行过滤组件的配置。
1 组件说明
用于对上游数据根据配置条件进行过滤。
2 原理说明
系统内置一些常用的用于比较的算子,支持对上游一个或多个字段进行预设组合逻辑判断
3 使用说明
如上图所示、分别可以配置步骤名称、筛选条件、其中输入字段与输出字段不可配置
- 步骤名称
- 步骤名称为组件步骤名称,必填且根据实际情况进行命名。对实际运行无影响。
- 筛选条件
- 脚本模式
- 点击界面上的脚本模式即可切换到脚本模式,根据业务情况进行预设的逻辑配置。
- 不需要写 where,直接填写 where 语句后的内容
- 操作符支持:=、!=、>、>=、<、<=、like、is null、is not null
- 写法示例: user_id is not null and name != 'xxx'
- 配置模式
- 字段处配置需要过滤的字段
-
操作符支持:
=、 !=、 >、 >=、 <、 <=、 LIKE、 IS NULL、 IS NOT NULL
- 内容在选择操作符之后,会弹出选项 表字段 或者 自定义,如果是选择表字段,那么字段内容只能选择上游输入组件的表字段。如果有自定义参数需求,那么选择自定义,且在后面的数据框中输入自定义内容
4 配置说明
[ { "func": ">", //枚举类型 >,>=,==,!=,<=,< ,CONTAINS,NOT_CONTAINS,START_WITH,END_WITH,IS_NULL,IS_NOT_NULL "leftValue": "id", // 字段名 "rightValue": { "text": "0", "type": "Number" // Column ,Number , String(支持单,双引号) } }, { "func": "=", "leftValue": "name", "rightValue": {}, "operator": "AND" // 枚举类型 AND , OR } ]
- condition
- 描述:条件表达式,例如 id>0
- 必选:是
- conditionObject
- 描述: 条件表达式对象
- 必选:是
5 特别注意
脚本模式需要特别注意不需要写WHERE