--spark-submit
--master yarn # 用yarn来管理资源
--deploy-mode cluster
--executor-cores # 每个excutor进程分配多少个内核,一般指定为【3-5】个
--num-executors 50 # 一共申请多少个executor进程
--executor-memory 12G # 每个executor进程分配多少内存,(yarn的cpu与内存的配比是1核:3~5G内存)
--driver-cores 2 # 一个driver的CPU数
--driver-memory 2G # 一个driver的内存大小
相关文章
- 11-22spark on k8s提交任务脚本示例
- 11-22使用CallerRunsPolicy时,线程池资源耗尽,继续提交任务,调用线程会阻塞吗
- 11-22Spark任务提交jar包依赖解决方案
- 11-22waterdrop使用cdh的spark2提交任务
- 11-22spark下使用submit提交任务后报jar包已存在错误
- 11-22spark-submit提交任务到集群,分发虚拟环境和第三方包
- 11-22提交Spark任务至YARN运行的3种方式
- 11-22win10 设定计划任务时提示所指定的账户名称无效,如何解决?
- 11-22cdh-5.14.2集群配置yarn的资源队列,并提交任务到指定队列
- 11-22spark基于不同模式下搭建集群及spark资源请求任务调度,广播变量和累加器