启动 YARN 并运行 MR 程序|学习笔记

开发者学堂课程【Hadoop 快速入门:启动 YARN 并运行 MR 程序】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/92/detail/1411


启动 YARN 并运行 MR 程序


一、分析

(1)配置集群在 YARN 上运行 MR

(2)启动、测试集群增、题、查

(3)在 YARN 上执行 WordCount. 案例


二、执行步骤

(1)配置集群

(a)配置 yarn-env.sh

配置一下 JAVA_HOME

export  JAVA_HOME=/ opt/ module/ jdk1.8.0_144

(b)配置 yarn-site.xml

<!-- Reducer 获取数据的方式-->

<property>-

<name>yarn.nodemanager.aux.-services</ name>

<value>mapreduce.shuffle</value>

</property>

(c)配置: mapred-env.sh

配置一下 JAVA_IOME

Export  JAVA_HOME=/ opt/ module/jdk1.8.0_144

(d)配置:(对 mapred-site.xml.template 重新命名为) mapred-site.xml

[atguigu@hadoop101  hadoop]$  mv  mapred-site.xml .template mapred-site. xml

<!——指定 MR 运行在 YARN 上 -->

<property>

<name>mapreduce.framework.name</ name>

<value>yarn</value>

</property>

启动 YARN 并运行 MR 程序|学习笔记

(2)启动集群

(a)启动前必须保证 NameNode_ 和 DataNode 已经启动

(b)启动 ResourceManager

[ atguiguhadoop101 hadoop-2.7.2]$  sbin/yarn-daemon.sh  start resourcemanager-

(c)启动 NodeManager

[atguiguhadoop101 hadoop-2.7.2]$  sbin/yaxn-daemon.sh  start nodemanager-

(3)集群操作

(a) YARN的浏览器页面查看,如图2-35所示,

http://hadoop101:8088/cluster

启动 YARN 并运行 MR 程序|学习笔记

上一篇:HDFS 小文件处理|学习笔记


下一篇:虚拟机环境准备|学习笔记