Hadoop集群测试wordcount程序

一.集群环境搭好了,我们来测试一下吧

  1.在java下创建一个wordcount文件夹:mkdir wordcount

  2.在此文件夹下创建两个文件,比如file1.txt和file2.txt

在file1.txt中写入:

Hello java

Hello world

在file2.txt中写入:

Hello hadoop

Hello wordcount

  3.在HDFS中创建一个input文件夹

hadoop fs mkdir /input

hadoop fs -ls /

Hadoop集群测试wordcount程序

  4.把刚刚写好的两个文件夹上传到HDFS中input文件夹

hadoop fs -put ./*.txt /input/

hadoop fs -ls /input/

Hadoop集群测试wordcount程序

  5.运行wordcount程序

去/usr/java/hadoop-2.8.5/share/hadoop/mapreduce文件下运行hadoop-mapreduce-examples-2.8.5.jar

命令:hadoop jar hadoop-mapreduce-examples-2.8.5.jar wordcount /input/ /output/

注:output文件夹是不存在的,使用上述命令后自动创建的。如果此文件夹存在会报错

  6.之后查看此文件夹

hadoop fs -cat /output/*

上一篇:javaWeb开发模式


下一篇:testng生成自定义html报告