YARN的job提交流程

1.客户端向ResourceManagement 提交 运行的请求 (hadoop jar xxxx.jar)

2.ResourceManager进行检查,没有问题的时候,向客户端返回一个共享资源的路径以及JobId

3.客户端HDFS提交资源,将共享资源放入共享路径下:(/tmp/hadoop-yarn/staging-dir/xxxxxxxx)

4.客户端ResourceManager反馈共享资源放置完毕,进行job的正式提交

5.ResourceManager为这个job分配一个节点,并在这个节点上启动MRAppMaster任务

6.ResourceManager到对应的节点上去启动container容器用于装载MRAppMaster

7.MRAppMaster对job进行初始化,生成一个job工作簿,job的工作簿记录着maptask和reduce的运行进度和状态

8.MRAppMasterResourceManager申请maptaskreducetask的运行的资源,先发maptask然后发reducetask

9.ResourceManagerMRAppMaster返回maptaskreduce的资源节点

YARN的job提交流程

 

YARN的job提交流程

 

 

 

上一篇:优化系统资源ulimit《高性能Linux服务器构建实战:运维监控、性能调优与集群应用》


下一篇:《大数据技术原理与应用》第二版-第八章Hadoop再探讨