Hadoop实战之workcount

2024-01-02 17:59:22

介绍两种方法去实现这个案例

方式1：

Hadoop中自带mapreduce程序，什么是mapreduce呢？在我的博客Hadoop一栏中有详细的讲解这里不赘述，主要就是完成这个小案例。

1.找到文件所在目录

这个mapreduce计算框架在图片所示的文件目录下

2.创建一个文件

我们先创建一个文件，里面写上几行英文字符来统计里面的单词出现的个数。里面单词随机给。

3.执行命令

文件创建好了以后上传到hdfs文件中，目录自己记清楚

上传过后直接执行下面的命令：

 hadoop jar hadoop-mapreduce-examples-2.7.6.jar wordcount /work /output

这里又个过度的代码，执行完成以后就可以在hdfs中找到一个output文件

注意这个方法，生成的输出文件是不能有output文件的

方法2:

这里的方法我们是采用idea来编写map和reduce代码，然后通过maven打包上传中到下面红色的文件目录中。

第一步，创建java代码

在之前我就已经教过如何创建maven，这里我就不说了，上链接跳转过去看（点我点我）

然后我直接上代码，代码讲的很详细

package hadoop;


//用来统计文件中单词个数
//重写别覆盖mapreduce框架中的map()和reduce()方法

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import javax.swing.text.TabExpander;
import java.io.IOException;
import java.io.PrintStream;

public class DemoWorkCount {
    //map类，第一对kv，是决定数据输入的格式
    //第二对kv，是决定数据的输出格式

    public static class WCMapper extends Mapper<LongWritable, Text,Text,LongWritable>{
        /*
            map阶段数据是一行一行过来的
            并且所有的map的代码逻辑是一模一样的
            每一行数据过来都需要执行代码。
            Context context可以理解成输出的kv。
        */
        @Override
        protected void map(LongWritable key,Text value,Context context) throws IOException,InterruptedException {
            super.map(key, value, context);
            //如果一行有多个单词呢?
            String line = value.toString();


            //通过Context输出Text（一整行数据），1
            context.write(new Text(line),new LongWritable(1));


        }

    }

    //reduce类
    //用来接收map端输出的数据

    //map输出的数据和reduce接收的数据是一样的
    public static class WCReduce extends Reducer<Text,LongWritable,Text,LongWritable>{
        @Override
        //变成了Iterable迭代器
        //对values进行整体的求和
    protected void reduce(Text key,Iterable<LongWritable> values,Context context) throws IOException, InterruptedException {
            /**
             * reduce集合程序  每一个k都会调用一次这个方法
             * 默认是一个节点
             * key:就是每一个单词
             * values：map端当前k所对应的所有的v
             */
            long sum = 0l;
            for (LongWritable value : values) {
                sum = sum + value.get();

            }
            //输出把计算结果输出到hdfs
            context.write(key,new LongWritable(sum));
        }
    }
    //是当前mapreduce程序入口
    //并且用来构建mapreduce程序
    public static void main(String[] args) throws Exception{
        //创建一个job任务
        Job job = Job.getInstance();
        //指定job名称
        job.setJobName("第一个mr程序，单词统计");
        //构建mr
        //指定当前main所在类名()(识别具体的类)
        job.setJarByClass(DemoWorkCount.class);
        //指定map端的类
        job.setMapperClass(WCMapper.class);

        //指定map输出的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);
        //指定reduce端的类
        //指定reduce端输出的kv类型
        job.setReducerClass(WCReduce.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(LongWritable.class);

        //指定输入路径
        Path in = new Path("master:/work");
        FileInputFormat.addInputPath(job,in);
        //指定输出
        Path out = new Path("/output");
        //如果路径存在删除
        FileSystem fileSystem = FileSystem.get(new Configuration());
        if(fileSystem.exists(out)){
            //true表示迭代删除
            fileSystem.delete(out,true);
        }
        //如果不存在添加输出路径
        FileOutputFormat.setOutputPath(job,out);

        //启动任务
        job.waitForCompletion(true);
        System.out.println("正在ing中");

        /**
         * 提交任务
         * 1.通过maven中package功能将项目打包上传到服务器
         * 2.执行任务 hadoop jar hadoop-mapreduce-examples-2.7.6.jar hadoop/DemoWorkCount.java /word /output
         *
         */

    }

}

这里代码完成以后我们来打包

按照图片的步骤然后我们双击，就会自动打包文件，然后把文件上传到

这里，然后后面的操作就和后面一样了

这里注意
这里不需要删除output文件，代码会自动覆盖，我们写的代码把空格也算上了，所有和Hadoop自带的mapreduce会有所区别。

至此，操作完成，你学费了吗，当然有任何问题可以随时联系小编哦

码农公寓