kettle在centos7下部署分布式集群

2022-06-15 13:07:59

首先安装三台centos7 ,分别配置好静态ip ssh免密码登录关闭防火墙

具体步骤这里不多说了

关于centos7配置静态ip大家可以参考：https://www.cnblogs.com/braveym/p/8523100.html

我这里已经安装好了，我是在虚拟机里面装了三个节点

我这里通过xshell远程工具来连接的

先把主机名和ip地址映射配置好

另外两个节点也是这样做，在这里不多赘述了。

修改一下权限

加上这么一句话

修改完之后把文件的权限恢复过来

另外两节点也一样操作。

创建目录

[kettle@kettlemaster ~]$ sudo mkdir /opt/softwares

[kettle@kettlemaster ~]$ sudo mkdir /opt/modules

[kettle@kettlemaster ~]$ sudo mkdir /opt/tools

[kettle@kettlemaster ~]$ sudo mkdir /opt/datas

[kettle@kettlemaster ~]$ cd /opt/

[kettle@kettlemaster opt]$ ls

datas  modules  rh  softwares  tools

[kettle@kettlemaster opt]$ ll

total

drwxr-xr-x.  root root  Sep  : datas

drwxr-xr-x.  root root  Sep  : modules

drwxr-xr-x.  root root  Mar    rh

drwxr-xr-x.  root root  Sep  : softwares

drwxr-xr-x.  root root  Sep  : tools

[kettle@kettlemaster opt]$ sudo chown -R kettle:kettle /opt/*

[kettle@kettlemaster opt]$ ll

total 0

drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 datas

drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 modules

drwxr-xr-x. 2 kettle kettle 6 Mar 26  2015 rh

drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 softwares

drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 tools

[kettle@kettlemaster opt]$

其他两个节点也是一样的操作。

下面安装jdk

先在本地上传一个jdk的安装包

解压

[kettle@kettlemaster softwares]$ pwd

/opt/softwares

[kettle@kettlemaster softwares]$ tar -zxf jdk-8u60-linux-x64.tar.gz -C /opt/modules/

[kettle@kettlemaster softwares]$ cd ../modules/

[kettle@kettlemaster modules]$ ls

jdk1.8.0_60

[kettle@kettlemaster modules]$

配置jdk的环境变量

#java

export JAVA_HOME=/opt/modules/jdk1.8.0_60

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

使其环境变量生效

[kettle@kettlemaster modules]$ sudo source /etc/profile

sudo: source: command not found

[kettle@kettlemaster modules]$ su

Password:

[root@kettlemaster modules]# source /etc/profile

[root@kettlemaster modules]# java -version

openjdk version "1.8.0_131"

OpenJDK Runtime Environment (build 1.8.0_131-b12)

OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

[root@kettlemaster modules]#

我们把jdk分发到另外两个节点

scp -r jdk1.8.0_60/ kettleslave1:/opt/modules/

scp -r jdk1.8.0_60/ kettleslave2:/opt/modules/

分别给另外两个节点配置环境变量，具体操作跟前面的一样，这里我不多说了。

Kettle的安装

先把kettle的安装包上传上来，然后解压

[kettle@kettlemaster softwares]$ ls

jdk-8u60-linux-x64.tar.gz  pdi-ce-7.1.0.0-12.zip

[kettle@kettlemaster softwares]$ unzip pdi-ce-7.1.0.0-12.zip -p /opt/modules/

我们可以进来看看

我们开始配置kettle

这个地方配置你主节点的ip地址

 <slaveserver>

    <name>master1</name>

    <hostname>192.168.86.11</hostname>

    <port>8080</port>

    <master>Y</master>

  </slaveserver>

  <masters>

    <slaveserver>

      <name>master1</name>

      <hostname>192.168.86.11</hostname>

      <port>8080</port>

      <username>cluster</username>

      <password>cluster</password>

      <master>Y</master>

    </slaveserver>

  </masters>

  <report_to_masters>Y</report_to_masters>

  <slaveserver>

    <name>slave1-8081</name>

    <hostname>192.168.86.12</hostname>

    <port>8081</port>

    <username>cluster</username>

    <password>cluster</password>

    <master>N</master>

  </slaveserver>

</slave_config>

  <masters>

    <slaveserver>

      <name>master1</name>

      <hostname>192.168.86.11</hostname>

      <port>8080</port>

      <username>cluster</username>

      <password>cluster</password>

      <master>Y</master>

    </slaveserver>

  </masters>

  <report_to_masters>Y</report_to_masters>

  <slaveserver>

    <name>slave2-8082</name>

    <hostname>192.168.86.13</hostname>

    <port>8082</port>

    <username>cluster</username>

    <password>cluster</password>

    <master>N</master>

  </slaveserver>

</slave_config>

我这里是搭建的三节点集群，所以我就配置了三个，当然也可以配置5节点，4节点了。

大家可以根据自己的需要去配置。

现在把配置好的kettle分发给另外两节点

[kettle@kettlemaster modules]$ scp -r data-integration/ kettleslave1:/opt/modules/

[kettle@kettlemaster modules]$ scp -r data-integration/ kettleslave2:/opt/modules/

在主节点上启动一下服务