开发者学堂课程【Hadoop 快速入门:启动 YARN 并运行 MR 程序】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/92/detail/1411
启动 YARN 并运行 MR 程序
一、分析
(1)配置集群在 YARN 上运行 MR
(2)启动、测试集群增、题、查
(3)在 YARN 上执行 WordCount. 案例
二、执行步骤
(1)配置集群
(a)配置 yarn-env.sh
配置一下 JAVA_HOME
export JAVA_HOME=/ opt/ module/ jdk1.8.0_144
(b)配置 yarn-site.xml
<!-- Reducer 获取数据的方式-->
<property>-
<name>yarn.nodemanager.aux.-services</ name>
<value>mapreduce.shuffle</value>
</property>
(c)配置: mapred-env.sh
配置一下 JAVA_IOME
Export JAVA_HOME=/ opt/ module/jdk1.8.0_144
(d)配置:(对 mapred-site.xml.template 重新命名为) mapred-site.xml
[atguigu@hadoop101 hadoop]$ mv mapred-site.xml .template mapred-site. xml
<!——指定 MR 运行在 YARN 上 -->
<property>
<name>mapreduce.framework.name</ name>
<value>yarn</value>
</property>
(2)启动集群
(a)启动前必须保证 NameNode_ 和 DataNode 已经启动
(b)启动 ResourceManager
[ atguiguhadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager-
(c)启动 NodeManager
[atguiguhadoop101 hadoop-2.7.2]$ sbin/yaxn-daemon.sh start nodemanager-
(3)集群操作
(a) YARN的浏览器页面查看,如图2-35所示,