作者：终古
1 组件简介
脚本模式组件采用的是配置json的方式配置同步任务。
主要使用场景：
- 当表单模式透出的配置参数无法支持同步场景诉求:
- 比如mysql等数据库输入组件读取多表join等任何复杂sql的结果
- 比如读取一些数据库的元数据表
- 比如某些组件需要一些额外的配置
- 比如表、字段存在关键字，表单模式组件无法处理
- 配置项比较复杂，目前dataphin自定义组件UI不支持时
本文将介绍如何同步Mysql 多表join的结果数据作为示例，其余场景均可参照此例的配置。
2 组件配置介绍
如上图所以，依次操作选择数据源类型、数据源、生成同步配置文件
- 数据源类型
dataphin离线数据集成支持的数据源以及自定义数据源
- 数据源实例
相应的数据源实例
- 生成同步配置文件
会根据所选的数据源类型生成配置json的模板，可根据自己的业务需求删减配置项、修改配置项的值
- 模版配置说明
主要有三部分组成: table、column、parameter
{ "table":"tableName", "column":[ { "name":"", "type":"" } ], "parameter":{ } }
- table
配置输入表，多表情况可以只写一个表
- column
作为输入表的输入字段，为了能让其下游组件后去输入字段及类型，所以要求字段对象至少具备 name 和 type 两个值，有些输入组件可能需要字段在字段列表中的索引位置 index。
- parameter
同步配置相关的参数，数据源不通配置不同
3 组件使用
本节，将介绍同步mysql（所有rdbms数据库都支持） 多表join的结果数据至odps。
join sql:
select a.id, b.name from sff_id_name a join sff_id_name_1 b on a.id = b.id
3.1 rdbms数据库-querySql
- 配置内容：
{ "table": "sff_id_name", "parameter": { "connection": [ { "querySql": [ "select a.id, b.name from sff_id_name a join sff_id_name_1 b on a.id = b.id" ] } ] }, "column": [ { "name": "id", "type": "Long" }, { "name": "name", "type": "String" } ] }
配置如上图所以，对于使用复杂的sql，则需要使用querySql配置项，该配置项是个字符串数组，即支持多个结构一致的select语句。且该配置项必须嵌套在connection中，可以看到connection也是个数组，也说明了是支持多个connection，即多个数据库连接。
- 预览结果：
3.2 rdbms数据库-connection
如上所述，支持多个数据库连接，比如我有一张表，分布在多个数据库下，想一次性读取，那使用这种方式也是可以的。但前提是多个数据库连接的用户名、密码相同。
{ "table": "sff_id_name", "parameter": { "connection": [ { "querySql": [ "select a.id, b.name from sff_id_name a join sff_id_name_1 b on a.id = b.id" ] }, { "jdbcUrl": [ "jdbc:mysql://xxxxxxxxxx.mysql.rds.aliyuncs.com:3306/dataphin" ], "querySql": [ "select id,name from sff_id_name" ] } ] }, "column": [ { "name": "id", "type": "Long" }, { "name": "name", "type": "String" } ] }
如上所示，多个数据库连接，第一个可以不配置jdbcUrl，这个会使用数据源配置的url，第二个开始便需要配置jdbcUrl，每个连接配置自己的querySql，但一定要保持select 字段名称、顺序、类型一致。
当然，多connection既支持querySql也支持直接配置表，直接使用"table":["tab1","tab"2]即可。注意querySql和table不能同时配置，只能选择一种
4 总结
脚本模式输入输出组件比较强大、灵活。使用的前提是对json的配置比较了解，尤其是了解每个数据源的配置项格式。
也就是说，每个数据源其实有很多配置项，这些配置项有的是用于性能，有的是用于业务，这些配置可以参见脚本模式输入输出组件的右上角的"组件说明"。这里也介绍了组件的脚本模式配置模板及常见配置参数