kettle系列-[KettleUtil]kettle插件，类似kettle的自定义java类控件

2022-12-03 19:29:27

新版长期维护文档

该kettle插件功能类似kettle现有的定义java类插件，自定java类插件主要是支持在kettle中直接编写java代码实现自定特殊功能，而本控件主要是将自定义代码转移到jar包，就是说自定义功能的实现改为在eclipse等ide中开发。

设计本插件的原因是直接在kettle中写java代码是很不容易的事，开发体验与eclipse差得远，java语法还要受到限制，调试麻烦。实现点简单的逻辑还行，稍微复杂一点就比较麻烦，需要对java和kettle相关接口很熟悉。而简单的功能可以采用javascript脚本实现，复杂的功能一般人很难直接在自定义java类控件中编写java实现。

有人说可以每次直接开发新插件，虽然说java的插件机制还是很不错的，但开发一个插件还是没那么容易的，需要设计元数据，插件件功能实现，插件操作界面设计等，其中操作界面的调整是我最不愿意花时间的，慢慢调我也能调出常见控件的配置界面，但我觉得没必要，所以要实现一个完善的插件需要做的事情还是很多的。

而本插件综合了以上两种机制，既有自定义java类的简单性，直接编写核心业务代码，操作界面统一使用一个JSON对象作为参数设置途径，所以基于此开发功能，只需继承一个基类而编写一个功能实现类就可以了；又有直接开发插件的便捷性，只需将相关的jar包作为用户类库导入项目，创建一个类，继承基类，就可以在eclipse中尽情的编写你的业务代码了。

该插件已经作为我的另一个开源项目kettle管理平台（http://www.cnblogs.com/majinju/p/5739820.html）的一个子项目开源，相关代码可以从github上那个项目中获取，下面介绍下基于该插件开发实现自己业务的插件。

  1. 在eclipse中创建用户类库ku，到kettle管理平台项目介绍的博文中下载0.1.0版部署包，然后将部署包的lib目录中的jar全部加入。
  2. 在eclipse中创建一个java项目，添加上一步创建的用户类库到构建路径，然后新建一个java类，以下是转换步骤实现代码样例。
/**

* Project Name:KettleUtil

* Date:2016年6月29日

* Copyright (c) 2016, jingma All Rights Reserved.

*/

package net.oschina.kettleutil.utilrun;

import net.oschina.kettleutil.KettleUtilRunBase;

import net.oschina.mytuils.KettleUtils;

import org.pentaho.di.core.row.RowMetaInterface;

import org.pentaho.di.core.row.ValueMeta;

import org.pentaho.di.core.variables.VariableSpace;

import org.pentaho.di.trans.TransMeta;

import org.pentaho.di.trans.step.StepMeta;

import com.alibaba.fastjson.JSON;

import com.alibaba.fastjson.JSONArray;

import com.alibaba.fastjson.JSONObject;

/**

 * kettle util 运行示例<br/>

 * date: 2016年6月29日 <br/>

 * @author jingma

 * @version

 */

public class KurDemo extends KettleUtilRunBase{

    /**

    * 具体处理每一行数据

    * @see net.oschina.kettleutil.KettleUtilRunBase#disposeRow(java.lang.Object[])

    */

    @Override

    protected void disposeRow(Object[] outputRow) {

        //设置JOB名称

        outputRow[getFieldIndex("JOB_NAME")] = KettleUtils.getRootJobName(ku);

    }

    /**

    *

    * @see net.oschina.kettleutil.KettleUtilRunBase#init()

    */

    @Override

    protected void init() {

        ku.logBasic("初始化插件");

    }

    /**

    *

    * @see net.oschina.kettleutil.KettleUtilRunBase#end()

    */

    @Override

    protected void end() {

        ku.logBasic("数据处理结束");

    }

    /**

     *

     * @see net.oschina.kettleutil.KettleUtilRunBase#getDefaultConfigInfo(org.pentaho.di.trans.TransMeta, java.lang.String)

     */

     @Override

     public String getDefaultConfigInfo(TransMeta transMeta, String stepName) throws Exception{

        //创建一个JSON对象，用于构建配置对象，避免直接拼字符串构建JSON字符串

        JSONObject params = new JSONObject();

        //设置一个参数key1

        params.put("key1", "");

        RowMetaInterface fields = transMeta.getPrevStepFields(stepName);

        if(fields.size()==0){

            throw new RuntimeException("没有获取到上一步骤的字段，请确认连接好上一步骤");

        }

        params.put("PrevInfoFields", fields.toString());

        //创建一个JSON数组对象，用于存放数组参数

        JSONArray arr = new JSONArray();

        arr.add("arr1");

        arr.add("arr2");

        params.put("array", arr);

        //生成的参数样例

        //{

        //  "array":[

        //          "arr1",

        //          "arr2"

        //  ],

        //  "key1":""

        //}

        //返回格式化后的默认JSON配置参数，供使用者方便快捷的修改配置

        return JSON.toJSONString(params, true);

    }

    public void getFields(RowMetaInterface r, String origin, RowMetaInterface[] info, StepMeta nextStep, VariableSpace space) {

        //添加输出到下一步的字段

        addField(r,"JOB_NAME",ValueMeta.TYPE_STRING,ValueMeta.TRIM_TYPE_BOTH,origin,"JOB名称");

    }

}

　　3. 以下是作业实体插件实现样例

/**

* Project Name:KettleUtil

* Date:2016年6月29日

* Copyright (c) 2016, jingma All Rights Reserved.

*/

package net.oschina.kettleutil.utilrun;

import net.oschina.kettleutil.jobentry.JobEntryKettleUtilRunBase;

import com.alibaba.fastjson.JSON;

import com.alibaba.fastjson.JSONArray;

import com.alibaba.fastjson.JSONObject;

/**

 * job entry kettle util 运行示例<br/>

 * date: 2016年6月29日 <br/>

 * @author jingma

 * @version

 */

public class JeurDemo extends JobEntryKettleUtilRunBase{

    /**

    *

    * @see net.oschina.kettleutil.jobentry.JobEntryKettleUtilRunBase#run()

    */

    @Override

    protected boolean run() throws Exception {

        //这里写自己的业务

        jeku.logBasic(jeku.getConfigInfo());

        jeku.logBasic(configInfo.toJSONString());

        return true;

    }

    /**

     *

     * @see net.oschina.kettleutil.KettleUtilRunBase#getDefaultConfigInfo(org.pentaho.di.trans.TransMeta, java.lang.String)

     */

     @Override

     public String getDefaultConfigInfo() throws Exception{

        //创建一个JSON对象，用于构建配置对象，避免直接拼字符串构建JSON字符串

        JSONObject params = new JSONObject();

        //设置一个参数key1

        params.put("key1", "");

        //创建一个JSON数组对象，用于存放数组参数

        JSONArray arr = new JSONArray();

        arr.add("arr1");

        arr.add("arr2");

        params.put("array", arr);

        //生成的参数样例

        //{

        //  "array":[

        //          "arr1",

        //          "arr2"

        //  ],

        //  "key1":""

        //}

        //返回格式化后的默认JSON配置参数，供使用者方便快捷的修改配置

        return JSON.toJSONString(params, true);

//         return "select *\n from dual";

    }

}

4. 开发完成后，打包放入kettle lib中，重启kettle。以下是该插件配置界面，可以修改步骤名称，在类名称处填写你的实现类的完整类路径，然后就可以点击【获取默认配置】按钮，获取你配置的实现类对应的配置信息，根据需要修改即可完成配置。以下分别是转换的插件实现示例和作业实体实现示例截图。

kettle系列-[KettleUtil]kettle插件，类似kettle的自定义java类控件

kettle系列-[KettleUtil]kettle插件，类似kettle的自定义java类控件

　　以上就完成了基于该插件的开发使用工作，由上可以看出，执行编写一个类，就可以完成一个插件的开发工作。

上一篇：java7-3 继承


下一篇：extern的困惑