cloudera manager 进到cluster里面,点击Dynamic Resource Pools,没做任何配置默认情况下,资源池里有个default资源组 hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount shakespeare.txt result2 任何一个用户提交一个作业,会生成一个以这个用户的名字为资源池的名字的一个资源池。 sudo -u hdfs hadoop fs -mkdir /usr/root sudo -u hdfs hadoop fs -chown root:root /usr/root hadoop fs -ls 没报错 就是找到了家目录 不希望每次都生成一个用户的资源池,不希望单个作业占用太多资源,这就需要我们做一个多租户的设置。Configuration Add Resource Pool 比如名字较PROD 设置一下权重。如何绑定PROD呢,还需要两个参数,Placement Rules edit 把里面√去掉 Save Change!Save!对yarn组件重启,再提交一个作业,看到在default里。不是我们定义的,也没有指定资源池,就在default里运行;一般都会设置的比较小。 hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount -D mapreduce.job.queuename=root.PROD /user/carr/shakespeare.txt result3
Hadoop多租户架构配置
2024-03-08 19:04:58