1. yarn-session 模式任务提交
配置环境变量 HADOOP_CLASSPATH
否则yarn-session.sh命令会报错
######## HADOOP_HOME
export HADOOP_HOME=/opt/hadoop-3.1.3
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH
####### HADOOP_CLASSPATH
export PATH=/opt/myshell:$PATH
export HADOOP_CLASSPATH=`${HADOOP_HOME}/bin/hadoop classpath`
- yarn-session模式 创建并启动集群
./flink/bin/yarn-session.sh
-s [每个taskManager的slot的数量,可省略]
-jm [jobManager的内存 1024m]
-tm [每个taskManager的内存 1024m]
-nm [yarn 的application的name]
-d 后台执行
-q 显示yarn中华可用的资源(内存,cpu核数)
-qu [指定yarn 队列]
- yarn-session模式提交任务
flink run
-c [程序入口类,可省略]
-p [设置并行度,可省略]
[jar包的路径] [jar包代码需要的参数]
- 停止flink-session 集群
yarn application -kill [yarn application id]
2. pre-job 模式任务提交
- pre-job模式直接提交任务
flink run
-m yarn-cluster
-c [程序入口类]
-p [设置并行度]
-yjm [指定jobManager内存大小,纯数字 1024]
-ytm [指定taskManager内存大小,纯数字 1024]
[jar包的路径] [jar包代码需要的参数]
- 取消任务
flink cancel -yid [yarn application id] [jobId]
或者直接kill掉 yarn application
yarn application -kill [yarn application id]