MapReduce文件配置和测试

  1.前提:MapReduce能配置的前提是hdfs能够正常运行

  2.在1的基础上,配置两个文件:
    在hadoop文件夹下配置两个文件mapred-site.xml(由mapred-site.xml.template) 和 yarn-site.xml
    
      yarn-site.xml

   <configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.72.100</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

  mapred-site.xml

  <configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

  3.启动start.yarn.sh 会多出nodeManager和resourceManager,说明启动成功

  4.测试是否可以使用,这里有一个MapReduce的helloworld
      写一个文件,往里面输入一些内容,将文件放到hdfs上
      运行命令:
      hadoop jar hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce- examples-2.7.3.jar wordcount /input /outputwordcount
      路径/文件 不存在的目录
    
      这时候在这个不存在的里面会有每个单词在这篇文档出现的次数。

上一篇:Linux 期中架构 PHP


下一篇:1632: [Usaco2007 Feb]Lilypad Pond