ETL工具kettle实现数据同步

2023-12-18 23:02:33

ETL工具kettle实现数据同步

摘要:

这次记录是因为前段时间公司新开的项目,新建了一个数据库,有部分数据在新的项目中用的到,需要从原来的数据库中同步过来,

原来的做法是在项目中使用task定时任务来定时从原来的数据库中拉取数据,但是在一个项目中实现跨数据源是一个很烦凡人的事请而且代码实现方式效率不高还可能遇到其他一些问题:比如项目挂了那你的定时任务自然也挂挂了,后台项目组长让使用ETL工具实现同步,找了半天找到一个开源免费的工具Kettle.

前提:

我使用的window如果你的linux版本可以自行百度安装和配置教程

1 Kettle简介

kettle中文网对Kettle的介绍如下:

说还了就是Java语言开发的开源免费的ETL数据抽取工具.

2 Kettle安装和配置

Kettle的安装和配置相当简单,这里也简单介绍一下:

2.1 下载安装

管网下载

https://sourceforge.net/projects/pentaho/files/Data%20Integration/

安装相当简单直接解压即可大致目录如下(注意不要使用中文或者特殊符号的文件夹)

2.2 配置

因为Kettle是java环境开发所以我们需要简单配置一下Java8环境并"告诉"Kettle.如果你不知道怎么配置Java环境请移步"JDK环境配置"

2.2.1 环境配置

首先我们选中 Spoon.bat 右键使用文本编辑器打开它在此处添加如图配置

set JAVA_HOME=D:\StudyWorkspace\JavaWorkspace\java_tools\JDK8u231\install
set CLASSPATH=.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
set Path=%JAVA_HOME%\bin;

2.2.2 数据库驱动配置

如果你的数据库使用的Mysql,你需要下载mysql的数据库驱动,并且数据库驱动不能使用5.8 我们将下载好的mysql驱动包放在lib目录即可

3 启动GUI

双击Spoon.bat脚本即可完成启动.启动结面如下

4 简单使用

Kettle的使用非常简单,因为GUI界面直接就是中文

4.1 新建DB连接

经过上面的操作我们就能在左侧看到我们DB链接了,为了以后操作方便,并且其他数据库都可以互相访问我们可以将创建的DB连接共享一下

4.2 新建作业

使用Kettle的时候我们一把会先新建一个作业,相当于我们的job一样

点击 “文件”–>“新建”–>“作业”–>添加我们想要的组件(双击组件可以设置组件属性)

具体组件的用法自行百度,这些东西其实就是简单的API不再一一介绍,这里只对经常使用的做一个介绍

START: 作业开始组件我们可以设置属性让作业定时执行

转换: 数据转换组件,可以设置要执行的转换(后面我们会介绍新建转换)

成功: 结束标识