https://flink.apache.org/downloads.html
左侧 Downloads Binaries,1.14.2,.tgz包,300M+大小
yarn模式需要hadoop支持,在Additional Components下面下载
解压 tar -zxvf flink-1.14.2-bin-scala_2.12.tgz
最主要的三个目录:
bin :shell脚本文件
start-cluster.sh stop-cluster.sh jobmanager.sh taskmanager.sh
特别的:flink文件(没有.sh)
conf:yml配置文件
flink-conf.yaml
jobmanager.rpc.address: localhost 配置jobmanager
jobmanager.rpc.port: 6123
......
rest.port: 8081
rest.address: localhost
masters:配置jobmanager
slaves:配置taskmanager,每行一个
lib:可用的库包,比如hadoop包
Standalone 模式
执行 ./start-cluster.sh 默认会启动一个standalonesession daemon和一个taskexecutor daemon
执行 jps 查看可以看到一个TaskManagerRunner和一个StandaloneSessionClusterEntrypoint
访问 localhost:8081,可以看到web页面
并行度优先级:代码中setParallelism(n)>提交job时候的设置的parallelism>flink-conf.yaml中parallelism.default设置的值
注意slot和task任务数的配置,可能存在任务提交失败的情况(slot资源不够)
命令行方式:
./flink run -c <mainClass> -p 3 <jarPath> --host localhost --port 7777
./flink cancel <jobId>
./flink list -a
Flink on Yarn 模式2种
Flink需要hadoop支持
Sesson Cluster
Per Job Cluster
Kubernetes部署(待整理)