Yarn主要负责集群的资源管理，以便于在一个集群中运行多种计算框架的任务，比如MR，Spark，Flink等

Yarn主要包括两个组件：

• ResourceManager：
  • 负责全局资源管理，简称RM
  • 包括Application Manager（AppManager，负责App master管理） 和 Resource Scheduler（调度器，负责资源调度）
  • 调度器分为容量调度器、公平调度器、队列调度器，具体区别不详
• NodeManager
  • 负责单节点资源管理，简称NM

运行一个MapReduce任务，其资源管理过程如下：

1 Client向RM提交作业，申请jobID

2 RM的AppManager返回给Client一个唯一的ID，并且返回一个HDFS的临时路径，用于上传作业资源（jar包，配置文件等）

3 Client将作业资源（jar包，配置文件等）上传到RM（的AppManager）返回的临时HDFS路径

4 上传成功后，Client向RM（的AppManager）发送启动作业的请求

5 启动作业的请求有AppManager转发给调度器

6 调度器将任务放置到队列中，当该启动作业请求被执行时，则调度器让AppManager分配容器

7 承接上一步，AppManager通知NM开辟资源池，启动AppMaster（每个MR程序都对应一个AppMaster）

8 AppMaster接收HDFS临时目录的作业资源文件，然后根据切片信息，准备创建Map任务和Reduce任务

9 AppMaster向RM的调度器请求MR任务运行所需的资源

10 RM的调度器返回启动MR任务所在的NM信息

11 AppMaster分别和上一步返回的NM通信，通知起在自己的节点上分别启动Map任务和（或）Reduce任务

12 NM分别在自己所管辖的节点上开辟一个资源池（container），用于运行Map任务和（或）Reduce任务

13 Map 和 Reduce任务接收HDFS临时路径的资源信息，运行任务

13.1 任务运行过程中，如果Map/Reduce任务挂掉，则AppMaster会和RM调度器通信重新分配NM及对应的container资源池，重新运行任务

13.2 任务运行过程中，如果AppMaster进程挂掉，则RM的AppManager会重新分配NM去启动新的AppMaster

14 任务运行完成后，AppMaster发送请求给RM调度器，释放资源

参流程图如下：