第一个Hadoop程序-单词计数

上一篇配置了Hadoop,本文将测试一个Hadoop的小案例

hadoop的Wordcount程序是hadoop自带的一个小的案例,是一个简单的单词统计程序,可以在hadoop的解压包里找到,如下:

第一个Hadoop程序-单词计数

1、启动Hadoop

2、进入上面的路径找到hadoop-mapreduce-examples-2.6.5.jar 包

下面命令可以查看这个jar包括哪些工具

第一个Hadoop程序-单词计数

可以看出hadoop-mapreduce-examples-2.6.5.jar 下面不只有单词统计案例,本文只演示单词统计

3、执行命令查看wordcount

第一个Hadoop程序-单词计数

4、在当前目录下创建test1文件夹,在文件夹下创建两个TXT文件,cat命令查看文本内容

第一个Hadoop程序-单词计数

5、在Hadoop文件系统中中创建一个test1目录,注意目录的切换

第一个Hadoop程序-单词计数

查看Hadoop上创建的这个目录

第一个Hadoop程序-单词计数

6、将在刚刚(../share/hadoop/mapreduce/test1)创建好的文件上传到HDFS,注意目录的切换

第一个Hadoop程序-单词计数

查看目录,上传成功

第一个Hadoop程序-单词计数

7、运行程序

第一个Hadoop程序-单词计数

8、查看结果

第一个Hadoop程序-单词计数

第一个Hadoop程序-单词计数

9、若要删除,则执行下面指令
$ hadoop fs -rmr /input1
$ hadoop fs -rmr /output1
上一篇:【BZOJ 3997】 3997: [TJOI2015]组合数学 (DP| 最小链覆盖=最大点独立集)


下一篇:[NOI2001]炮兵阵地 状压DP