数据集成模块转换组件之过滤组件介绍

作者:坚乃


在数据集成的过程中,在一些场景下,需要对原始数据进行转换操作,过滤组件可对上游数据根据配置条件进行过滤,本文将介绍如何进行过滤组件的配置。

1 组件说明

用于对上游数据根据配置条件进行过滤。

2 原理说明

系统内置一些常用的用于比较的算子,支持对上游一个或多个字段进行预设组合逻辑判断

3 使用说明

数据集成模块转换组件之过滤组件介绍

如上图所示、分别可以配置步骤名称、筛选条件、其中输入字段与输出字段不可配置

  • 步骤名称
    • 步骤名称为组件步骤名称,必填且根据实际情况进行命名。对实际运行无影响。
  • 筛选条件
    • 脚本模式

数据集成模块转换组件之过滤组件介绍

      • 点击界面上的脚本模式即可切换到脚本模式,根据业务情况进行预设的逻辑配置。
        • 不需要写 where,直接填写 where 语句后的内容
        • 操作符支持:=、!=、>、>=、<、<=、like、is null、is not null
        • 写法示例: user_id is not null and name != 'xxx'
    • 配置模式

数据集成模块转换组件之过滤组件介绍

      • 字段处配置需要过滤的字段
      • 操作符支持:=、 !=、 >、 >=、 <、 <=、 LIKE、 IS NULL、 IS NOT NULL
      • 内容数据集成模块转换组件之过滤组件介绍在选择操作符之后,会弹出选项 表字段 或者 自定义,如果是选择表字段,那么字段内容只能选择上游输入组件的表字段。如果有自定义参数需求,那么选择自定义,且在后面的数据框中输入自定义内容

4 配置说明

[
 {
   "func": ">",   //枚举类型 >,>=,==,!=,<=,< ,CONTAINS,NOT_CONTAINS,START_WITH,END_WITH,IS_NULL,IS_NOT_NULL
   "leftValue": "id", // 字段名
   "rightValue": {
                "text": "0",
                "type": "Number"  // Column ,Number , String(支持单,双引号)
              }
  },
  {
    "func": "=",
    "leftValue": "name",
    "rightValue": {},
    "operator": "AND" // 枚举类型 AND , OR 
   }
]


  • condition
    • 描述:条件表达式,例如 id>0
    • 必选:是
  • conditionObject
    • 描述: 条件表达式对象
    • 必选:是

5 特别注意

脚本模式需要特别注意不需要写WHERE

上一篇:在Dataphin中怎么配置Hadoop数据源的kerberos信息


下一篇:数据集成模块中如何配置脚本模式输入组件