04-Flink 部署

https://flink.apache.org/downloads.html

左侧 Downloads   Binaries,1.14.2,.tgz包,300M+大小

yarn模式需要hadoop支持,在Additional Components下面下载

解压 tar -zxvf flink-1.14.2-bin-scala_2.12.tgz

最主要的三个目录:

bin :shell脚本文件

     start-cluster.sh  stop-cluster.sh   jobmanager.sh   taskmanager.sh 

     特别的:flink文件(没有.sh)

conf:yml配置文件

   flink-conf.yaml

       jobmanager.rpc.address: localhost    配置jobmanager

       jobmanager.rpc.port: 6123

       ......

       rest.port: 8081

       rest.address: localhost

   masters:配置jobmanager

   slaves:配置taskmanager,每行一个

lib:可用的库包,比如hadoop包

Standalone 模式

执行 ./start-cluster.sh 默认会启动一个standalonesession daemon和一个taskexecutor daemon

执行 jps 查看可以看到一个TaskManagerRunner和一个StandaloneSessionClusterEntrypoint

访问 localhost:8081,可以看到web页面

并行度优先级:代码中setParallelism(n)>提交job时候的设置的parallelism>flink-conf.yaml中parallelism.default设置的值

注意slot和task任务数的配置,可能存在任务提交失败的情况(slot资源不够)

命令行方式:   

./flink run -c   <mainClass> -p 3  <jarPath> --host localhost --port 7777

./flink cancel <jobId>

./flink list -a

Flink on Yarn 模式2种

Flink需要hadoop支持

Sesson Cluster

Per Job Cluster

Kubernetes部署(待整理)

 

上一篇:xshell连接centons


下一篇:windows上链接虚拟机