yarn中一个基本的调度单元是队列。
yarn的内置调度器：
1.FIFO先进先出，一个的简单调度器，适合低负载集群。
2.Capacity调度器，给不同队列（即用户或用户组）分配一个预期最小容量，在每个队列内部用层次化的FIFO来调度多个应用程序。
3.Fair公平调度器，针对不同的应用（也可以为用户或用户组），每个应用属于一个队列，主旨是让每个应用分配的资源大体相当。（当然可以设置权重），若是只有一个应用，那集群所有资源都是他的。 适用情况：共享大集群、队列之间有较大差别。
capacity调度器的启用：
在ResourceManager节点上的yarn-site.xml设置
Property===>yarn.resourcemanager.scheduler.class
Value=====>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
capacity调度器的配置:
在目录$HADOOP_HOME/hadoop/etc/hadoop/capacity-scheduler.xml
修改完成后，需要执行下面的命令：
$HADOOP_YARN_HOME/bin/yarn rmadmin -refreshQueues 使功能动态生效。
capacity-scheduler.xml的配置
1.定义层级队列
<property>
<name>yarn.scheduler.capacity.root.queues</name>
<value>a,b,c</value> //root根队列下有三个子队列
<description>The queues at the this level (root is the root queue).
</description>
</property> <property>
<name>yarn.scheduler.capacity.root.a.queues</name>
<value>a1,a2</value> //root.a队列下有2个子队列
<description>The queues at the this level (root is the root queue).
</description>
</property> <property>
<name>yarn.scheduler.capacity.root.b.queues</name>
<value>b1,b2,b3</value> //root.b队列下有3个子队列
<description>The queues at the this level (root is the root queue).
</description>
</property>
2.队列的调度
如上定义了
/----------a-----------a1
-----------a2
b----------b1
----------b2
----------b3
c
这种结构的队列。
队列调度算法工作方式
- 在每一层级，队列排序是根据当前队列使用资源的占比确定的，（占比相同，根据队列全路径名排序）
- 根队列将集群容量分配给第一层父队列（a,b,c），并对每个父队列递归调度。（a,b,c三个队列容量之和为100，容量是按百分比分配的）
- 父队列下的（同层级）子队列调度同上，也按容量限制。
- 子队列下管理的多个应用程序，按照FIFO方式调度资源。
每个队列都有最大最小资源占用限制，单个用户不会占尽集群资源，后文Capacity资源分配部分会详细介绍。
3.队列的访问权限控制
配置文件 $HADOOP_HOME/hadoop/etc/hadoop/capacity-scheduler.xml
<property>
<name>yarn.scheduler.capacity.root.a.acl_submit_applications</name>
<value>user1,user2 group</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.a.acl_administer_queue</name>
<value>"group"</value>
</property>
配置了可以提交任务到root.a队列的用户或用户组，其他用户没有权限提交任务到这个队列。value=*表示所有用户都可以提交。
root.a队列的管理员group，有权限查看该队列所有用户提交的应用程序细节。
4.队列容量配置
<property>
<name>yarn.scheduler.capacity.root.a.capacity</name>
<value>40</value>
<description>队列a占40%</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.b.capacity</name>
<value>50</value>
<description>队列b占50%</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.c.capacity</name>
<value>10</value>
<description>队列c占10%</description>
</property>
队列容量是以百分比表示的，按照a：b:c即4:5:1的比例共享集群资源。
子队列容量配置
<property>
<name>yarn.scheduler.capacity.root.a.a1.capacity</name>
<value>30</value>
<description>队列root.a.a1占30%</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.a.a2.capacity</name>
<value>70</value>
<description>队列root.a.a2占70%</description>
</property>
层级结构中同层级子队列容量之和不超过100%。
容量弹性配置项
<property>
<name>yarn.scheduler.capacity.root.a.a1.maximum-capacity</name>
<value>40</value>
</property>
该设置项表示可以超出父队列容量的40%，即总容量=分配的容量*140%。（实在其他队列空闲的情况下，若是其他队列有充足的任务进行，是按照比例分配的）
5.用户级别限制
用户最小资源占用设置
<property>
<name>yarn.scheduler.capacity.root.a.a1.minimun-user-limit-percent</name>
<value>20</value>
</property>
如上配置表示一个用户最少能占用队列root.a.a1容量的20%。
随着提交任务用户数的增长，有如下情况：
1.刚开始队列空闲，只有user1提交任务后，user1独占队列。
2.user2开始提交任务，user1多占用的资源不会立即释放，等user1的Container完成任务后才分配给user2。（如果Capacity调度器的抢占功能打开，user1占用的Container会被立即杀死并分配给user2）
3.第6个用户user6提交任务后（前5个用户都有任务在执行），不会分配资源给user6，应为要保证最少资源占用20%的保障，user6会放在等待列表，等待一个或多个用户任务结束。
4.每个用户提交的任务，基于FIFO顺序调度，先提交的任务优先级高于后提交的任务。
用户容量弹性配置项
<property>
<name>yarn.scheduler.capacity.root.a.a1.user-limit-factor</name>
<value>2</value>
</property>
该配置默认值为1，表示单个用户最大可以占该队列容量的100%，为2表示单个用户最大可以占该队列容量的200%。
6.队列的状态
YARN中队列有2种状态：运行和停止。
<property>
<name>yarn.scheduler.capacity.root.a.a1.state</name>
<value>RUNNING</value>
<description>
State can be one of RUNNING or STOPPED.
</description>
</property>
7.应用程序限制
<property>
<name>yarn.scheduler.capacity.maximum-applications</name>
<value>10000</value>
<description>
特定队列最大允许应用程序总数
</description>
</property> <property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>0.1</value>
<description>
AppMaster占用队列资源的最大比例
</description>
</property>
若要限制指定队列,修改为yarn.scheduler.capacity.root.a.maximum-am-resource-percent和yarn.scheduler.capacity.root.a.maximum-applications
参考：
《hadoop yarn权威指南》第8章 YARN中的Capacity调度器