flink集群搭建

1.1 基础环境

  • jdk1.8及以上【配置JAVA_HOME环境变量】

  • ssh免密码登录【集群内节点之间免密登录】(教程:https://blog.csdn.net/qq_19520877/article/details/119490098)

1.2 安装包下载

https://archive.apache.org/dist/flink/flink-1.7.2/flink-1.7.2-bin-hadoop27-scala_2.11.tgz

1.3 集群规划

linux9527
JobManager+TaskManager
linux9528
TaskManager
linux9529
TaskManager

1.4 StandAlone模式部署

在linux9527节点操作

Step1、Flink安装包上传到linux9527对应目录并解压
Step2、修改 flink/conf/flink-conf.yaml 文件

jobmanager.rpc.address: linux9527
taskmanager.numberOfTaskSlots: 2

step2.1 修改/conf/masters

linux9527:8081

Step3、修改 /conf/slave文件

linux9527
linux9528
linux9529

step3.1 scp解压且配置好的文件到其他节点

scp -r flink-1.7.2/ linux9528:$PWD
scp -r flink-1.7.2/ linux9529:$PWD

step3.2 配置环境变量 /etc/profile

export FLINK_HOME=/opt/yyjzy/servers/flink-1.7.2
export PATH=$PATH:$FLINK_HOME/bin

保存退出后

source /etc/profile

其他节点也要这么配置

Step4、standalone模式启动

bin目录下执行./start-cluster.sh

Step5、jps进程查看核实

3857 TaskManagerRunner
3411 StandaloneSessionClusterEntrypoint
3914 Jps

Step6、查看Flink的web页面 ip:8081/#/overview

Step7、集群模式下运行example测试

./flink run ../examples/streaming/WordCount.jar
上一篇:Flink自定义函数


下一篇:Flink 同时按照计数和时间触发窗口计算