cdh-5.14.2集群配置yarn的资源队列,并提交任务到指定队列

1.简介

本文主要在cdh集群中,添加一个yarn的资源队列,并将任务提交到新添加的资源队列中。

2.修改配置文件

首先选择Capacity Scheduler调度器,默认为FIFO Scheduler。
cdh-5.14.2集群配置yarn的资源队列,并提交任务到指定队列

在yarn的配置界面搜索:容量调度程序配置高级配置代码段(安全阀)
cdh-5.14.2集群配置yarn的资源队列,并提交任务到指定队列
默认的资源队列为default,新增一个资源队列的名称为:hive,并设置相关该资源队列的参数如下:

<configuration>
	<property>
		<name>yarn.scheduler.capacity.root.queues</name>
		<value>default,hive</value>
	</property>
	<property>
		<name>yarn.scheduler.capacity.root.capacity</name>
		<value>100</value>
	</property>
	<property>
		<name>yarn.scheduler.capacity.root.default.capacity</name>
		<value>50</value>
		<description>
			default队列的容量为50%
		</description>
	</property>
	
	<property>
		<name>yarn.scheduler.capacity.root.hive.capacity</name>
		<value>50</value>
		<description>
			hive队列的容量为50%
		</description>
	</property>
	
	<property>
		<name>yarn.scheduler.capacity.root.hive.user-limit-factor</name>
		<value>1</value>
		<description>
			一个用户最多能够获取到该队列资源容量的比例,取值0-1
		</description>
	</property>
	
		<property>
		<name>yarn.scheduler.capacity.root.hive.maximum-capacity</name>
		<value>80</value>
		<description>
			hive队列的最大容量(自己队列资源不够时,可以使用其他队列的资源上限)
		</description>
	</property>
	
	<property>
		<name>yarn.scheduler.capacity.root.hive.state</name>
		<value>RUNNING</value>
		<description>
			开启hive队列运行,不设置队列不能使用
		</description>
	</property>

	<property>
		<name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name>
		<value>*</value>
		<description>
			访问控制,控制谁可以将任务提交到该队列,*表示任何人
		</description>
	</property>

	<property>
		<name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name>
		<value>*</value>
		<description>
			访问控制,控制谁可以管理(包括提交和取消)该队列的任务
		</description>
	</property>
	
	<property>
		<name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</name>
		<value>*</value>
		<description>
			指定哪个用户可以提交配置任务优先级
		</description>
	</property>
	
	<property>
		<name>yarn.scheduler.capacity.root.hive.maximum-application-lifetime</name>
		<value>-1</value>
		<description>
			hive队列任务的最大生命时长,以秒为单位。任何小于或者等于零的值将被禁用
		</description>
	</property>
	
	<property>
		<name>yarn.scheduler.capacity.root.hive.default-application-lifetime</name>
		<value>-1</value>
		<description>
			hive队列任务的默认生命时长,以秒为单位。任何小于或者等于零的值将被禁用
		</description>
	</property>
</configuration>

重启yarn之后,提交相关任务到该hive队列
cdh-5.14.2集群配置yarn的资源队列,并提交任务到指定队列
在yarn的UI界面进行验证,如下如所示:
cdh-5.14.2集群配置yarn的资源队列,并提交任务到指定队列

上一篇:BUAA 面向对象课程 第二单元总结


下一篇:k8s排错(Unhealthy)