Flink任务提交on-YARN

1. yarn-session 模式任务提交

配置环境变量 HADOOP_CLASSPATH
否则yarn-session.sh命令会报错

######## HADOOP_HOME
export HADOOP_HOME=/opt/hadoop-3.1.3
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH
####### HADOOP_CLASSPATH
export PATH=/opt/myshell:$PATH
export HADOOP_CLASSPATH=`${HADOOP_HOME}/bin/hadoop classpath`
  • yarn-session模式 创建并启动集群
./flink/bin/yarn-session.sh
-s [每个taskManager的slot的数量,可省略] 
-jm [jobManager的内存 1024m]
-tm [每个taskManager的内存 1024m]
-nm [yarn 的application的name]
-d 后台执行
-q 显示yarn中华可用的资源(内存,cpu核数)
-qu [指定yarn 队列]
  • yarn-session模式提交任务
flink run 
-c [程序入口类,可省略] 
-p [设置并行度,可省略]
[jar包的路径] [jar包代码需要的参数] 
  • 停止flink-session 集群
yarn application -kill [yarn application id]

2. pre-job 模式任务提交

  • pre-job模式直接提交任务
flink run 
-m yarn-cluster  
-c [程序入口类] 
-p [设置并行度]
-yjm [指定jobManager内存大小,纯数字 1024]
-ytm [指定taskManager内存大小,纯数字 1024]
[jar包的路径] [jar包代码需要的参数] 
  • 取消任务
flink cancel -yid [yarn application id] [jobId]

或者直接kill掉 yarn application

yarn application -kill [yarn application id]
上一篇:一文了解Flink State Backends


下一篇:flink sql 知其所以然(十三):流 join 很难嘛?(下)