Linux-Flink集群安装配置 (非HA模式)

Linux-Flink集群安装配置  (非HA模式)

Flink version:flink-1.9.1-bin-scala_2.12.tgz

服务器:203.3.235.176,203.3.235.177,203.3.235.178(后续文档中IP用node1/node2/node3代替)

部署目录:/home/admin/flink(后续文档中目录用$flink_path代替)

!在java1.8安装成功后

1. 解压Flink压缩包到目录$flink_path

  >tar -zxvf flink-1.9.1-bin-scala_2.12.tgz

2. 进入flink目录,编辑conf/masters,conf/slaves,(三个node都一样)

  Masters

node1:8081

  Slaves

node1   #不用加端口

node2

node3

3. 修改flink-conf.yaml文件参数(三个node都一样)

jobmanager.rpc.address: node1  #Job manager是node1

jobmanager.rpc.port: 6379

jobmanager.heap.size: 1024m

jobmanager.web.tmpdir: $flink_path/flink-web 

jobmanager.web.upload.dir: $flink_path/flink-web   #重启flink后之前所上传的jar包会重新自动上传

taskmanager.numberOfTaskSlots: 8   #每个taskmanager所拥有的slots数量

parallelism.default: 1

io.tmp.dirs: $flink_path/logs

4. 修改conf目录下zoo.cfg文件(三个node都一样,当flink用zookeeper管理时配置,否则可以不用配置此文件)

server.1 = zknode1:2888:3888

server.2 = zknode2:2888:3888

server.3 = zknode3:2888:3888

5. 通过scp指令将以上配置文件发给其他节点(如有需要请输入密码)

  >scp -r $flink_path/ admin@node2:$flink_path

  >scp -r $flink_path/ admin@node3:$flink_path

6. 在node1上启动zookeeper的quorum和flink,其他两台不用启动,启动时需要输入密码

  启动:> start-zookeeper-quorum.sh (当步骤4没配置时,不用执行此命令)

     >start-cluster.sh

  停止:>stop-cluster.sh

     >stop-zookeeper-quorum.sh(当步骤4没配置时,不用执行此命令)

7. 验证

  浏览器打开node1:8081,若看见Flink管理界面则启动成功,即可

Linux-Flink集群安装配置  (非HA模式)

 

Linux-Flink集群安装配置 (非HA模式)

上一篇:linux基础


下一篇:DRILLNET 2.0------第十七章 正常钻进水力参数计算模型