yarn上运行mr程序
配置yarn-env.sh
配置yarn-site.xml
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>testnote01</value>
</property>
配置: (对mapred-site.xml.template重新命名为) mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
hadoop-daemon.sh start namenode和datanode分别启动
启动yarn
启动成功
在程序上执行案例
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/input /user/output
map 0% reduce 0% map 100% reduce 0% map 100% reduce 100% 出现这个标识
在浏览器上可以查看
历史服务器的配置
vim的添加操作
<property>
<name>mapreduce.jobhistory.address</name>
<value>testnote01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>testnote01:19888</value>
</property>
成功
检查原来是否含有output,有就删除
hadoop fs -rmr /user/output
yarn的8088端口点击history
知道跑了几个map和reduce,
左上角的Configuration有详细的配置信息