Kettle on MaxCompute使用指南


本示例使用的工具及驱动版本

Kettle

8.2.0.0-342

MaxCompute JDBC驱动

v3.2.8

Setup

  1. 下载并安装Kettle
  2. 下载MaxCompute JDBC driver
  3. 将MaxCompute JDBC driver置于Kettle安装目录下的lib子目录(data-integration/lib)
  4. 启动spoon

Job

我们可以通过Kettle + MaxCompute JDBC driver来实现对MaxCompute中任务的组织和执行。


首先需要执行以下操作:

  1. 新建Job
  2. 新建Database Connection
    JDBC连接串格式为:jdbc:odps:?project=
    JDBC driver class为:com.aliyun.odps.jdbc.OdpsDriver
    Username为阿里云AccessKey Id
    Password为阿里云AccessKey Secret
    JDBC更多配置见:https://help.aliyun.com/document_detail/161246.html

Kettle on MaxCompute使用指南

之后,可以根据业务需要,通过SQL节点访问MaxCompute。下面我们以一个简单的ETL过程为例:

Kettle on MaxCompute使用指南

Create table节点的配置如下:


需要注意:

  1. 这里Connection需要选择我们配置好的
  2. 不要勾选Send SQL as single statement


Load from OSS节点配置如下:

Kettle on MaxCompute使用指南

需要注意的点同Create table节点。有关更多Load的用法,见:https://help.aliyun.com/document_detail/157418.html


Processing节点配置如下:

Kettle on MaxCompute使用指南

需要注意的点同Create table节点。


Kettle on MaxCompute使用指南

上一篇:基于MaxCompute构建Noxmobi全球化精准营销系统


下一篇:如何使用光盘构建yum仓库