数据集成模块转换组件之字段计算介绍

作者:坚乃


在数据集成的过程中,在一些场景下,需要新增一些字段,字段计算组件可用于增加自定义字段,本文将介绍如何进行字段计算组件的配置。


1 组件说明

用于增加自定义字段。

2 原理说明

系统内置较为丰富的函数算子,包括日期类、字符串类、数学函数等常用的算子。可基于上游字段衍生新的字段,也可以生成常量等。

3 使用说明

当字段计算组件链接下游输出组件时,点击属性配置进行设置

数据集成模块转换组件之字段计算介绍

如上图所示、分别可以配置步骤名称、输出字段、新建字段

  • 步骤名称
    • 步骤名称为组件步骤名称,必填且根据实际情况进行命名。对实际运行无影响。
  • 输出字段
    • 输出的字段为上游输出组件的字段,需要输出的字段和字段数量可以根据需要进行删除或者调整位置
  • 新建字段

数据集成模块转换组件之字段计算介绍

    • 如上图所示,新建字段中可以配置名称表达式数据类型函数*
      • 名称 名称为字段名称,由字母、数字、下划线组成,长度应为64个字符以内。
      • 表达式 系统内预设大量可供使用的函数算子、可在表达式输入框内编写表达式来满足业务相关需求。
      • 数据类型 数据类型为pipeline映射类型并非数据库实际类型,为数据库类型抽象而来,根据实际情况选择需要的类型。
      • 函数*

数据集成模块转换组件之字段计算介绍

        • 系统内预设大量的函数算子可供使用,可根据实际情况进行选取使用
        • 使用方式可查询对应的函数的说明和示例来使用


4 配置说明

  • calculateColumns
    • 描述:新增的字段,JSON对象数组
{
              "columnType":"Long/Double/Date/String/Boolean",
              "expression":"计算表达式,参考算子使用说明",
              "function":"算子名称",
              "outputColumnName":"输出字段名称",
             --optional "dateFormat":"yyyy-MM-dd/yyyyMMdd",
              --optional "sensitiveType":"ID_CARD/PERSONAL_NAME/MOBILE_PHONE/EMAILBANK_CARD/IP_V4_ADDRESS/LICENSE_PLATE_NUMBER"
}


    • 必选:是
  • originalColumns
    • 描述:上游的原始字段列表
    • 必选:是

4 特别注意

字段计算组件中的数据类型为pipeline映射类型并非数据库实际类型,为数据库类型抽象而来。根据实际情况选择需要的类型。

上一篇:阿里聚安全 2016 年报阿里聚安全 2016 年报


下一篇:物联网(IoT)落地已日既定事实