Spark提交任务时指定资源

--spark-submit
--master yarn               # 用yarn来管理资源
--deploy-mode cluster
--executor-cores            # 每个excutor进程分配多少个内核,一般指定为【3-5】个
--num-executors 50          # 一共申请多少个executor进程
--executor-memory 12G       # 每个executor进程分配多少内存,(yarn的cpu与内存的配比是1核:3~5G内存)
--driver-cores 2            # 一个driver的CPU数
--driver-memory 2G          # 一个driver的内存大小
上一篇:Web 日志mapreduce 预处理清洗


下一篇:微信程序开发系列教程(四)使用微信API创建公众号自定义菜单