在eclipse中用gradle搭建MapReduce项目

2022-09-22 13:30:22

我用的系统是ubuntu14.04
新建一个Java Project。

这里用的是gradle打包，gradle默认找src/main/java下的类编译。src目录已经有了，手动在src下创建main/java(也可以配置gradle去找其他路径的下的文件)。
在项目跟录下创建build.gradle文件。

apply plugin: 'java'

apply plugin: 'eclipse'

jar {

  baseName = 'hadoop'

  version =  '0.0.1'

}

sourceCompatibility = 1.8

targetCompatibility = 1.8

dependencies {

  compile fileTree(dir: 'lib', include: ['*.jar'])

}

根目录下创建一个lib文件夹，将hadoop安装目录下share/hadoop下的 common, common/lib, mapreduce, yarn, yarn/lib目录下的jar包拷进项目的lib文件夹里。选中所有的jar包，右键Build Path-->add to build path。
项目基础环境搭好，把源码包中的WordCount测试类中的代码拷进项目里。

package fzk;

import java.io.IOException;

import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

public class MR {

  public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

    private final static IntWritable one = new IntWritable(1);

    private Text word = new Text();

    public void map(Object key, Text value, Context context)

        throws IOException, InterruptedException {

      StringTokenizer itr = new StringTokenizer(value.toString());

      while (itr.hasMoreTokens()) {

        word.set(itr.nextToken());

        context.write(word, one);

      }

    }

  }

  public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {

    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, Context context)

        throws IOException, InterruptedException {

      int sum = 0;for (IntWritable val : values) {

        sum += val.get();

      }

      result.set(sum);

      context.write(key, result);

    }

  }

  public static void main(String[] args) throws Exception {

    Configuration conf = new Configuration();

    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

    if (otherArgs.length < 2) {

      System.err.println("Usage: wordcount <in> [<in>...] <out>");

      System.exit(2);

    }

    Job job = Job.getInstance(conf, "word count");

    job.setJarByClass(MR.class);

    job.setMapperClass(TokenizerMapper.class);

    job.setCombinerClass(IntSumReducer.class);

    job.setReducerClass(IntSumReducer.class);

    job.setOutputKeyClass(Text.class);

    job.setOutputValueClass(IntWritable.class);

    for (int i = 0; i < otherArgs.length - 1; ++i) {

      FileInputFormat.addInputPath(job, new Path(otherArgs[i]));

    }

    FileOutputFormat.setOutputPath(job, new Path(otherArgs[otherArgs.length - 1]));

    System.exit(job.waitForCompletion(true) ? 0 : 1);

  }

}

一切准备就绪后，想利用hadoop运行mapreduce项目，需要自己手动打包。利用gradle打包，打开一个终端，在build.gradle的目录下，执行

$ gradle build

等命令执行结束后，会发现项目中多出了一个build文件夹，我们打出来的jar包在build/lib目录下。确保jar下确实包含了我们自己编写的类可以用解压软件进入jar看一下(不用解压，只是查看一下)。里面有src目录下的文件就说明已经打包成功了。
我们在build.gradle中配置的打出来的jar包的名字叫hadoop-0.0.1.jar。随自己起什么名都可以。
接下来测试一下，测试需要的是一个已经存在的文件作文输入，名字随便（这里是input），为了方便把input放在和打出来的jar包放在一个目录下，在测试时还需要一个输出的目录(这里是output)，指定的目录下不可以存在这个目录。进入到jar包的目录下执行下面命令测试程序

$ hadoop jar hadoop-0.0.1.jar fzk.MR input output

fzk.MR前面的是包名，在代码中已经把包名粘出来了，说明我就是在fzk包下创建的MR类。这个地方指定类的时候前面需要加上包名。input就是手动创建的一个测试文件，output在这个目录下不可以存在，程序运行后会创建出一个output文件夹，结果就在里边。
为了方便我们可以创建一个run.sh这样每次运行的时候就不用输入那么多的命令：

rm -fr output

hadoop jar build/libs/hadoop-0.0..jar fzk.MR input output

每次执行前先把output文件夹删掉，这行这条命令的目录是在项目根目录下，input应该放在根目录下，也会在根目录生成output结果。

到这里，我们就是完整的运行完一个WordCount程序了。但是这样太麻烦，我们已经用eclipse了为什么还需要打包才能运行。我们确实是不需要每次都去打包才可以测试的。如果向直接在eclipse里运行，jar必须确保把需要的全部导入了，如果程序运行时报什么ClassDefNotFound之类的错误就是哪个jar没有导，自己找找导进去就行了。下面看看怎么直接在eclipse运行程序。
这里只需要把main方法修改一下即可，我们这里需要args中的参数，但是ctrl + f11 运行的时候肯定是传不进去参数的，这里你可以在配置run configuration中添加启动参数，至少两个，从第一个到倒数第一个是input，最后一个是output。也可以偷懒一下我们只是测试，只需要在用到args的时候赋值就可以了，在main方法的第一行加上

    args = new String[] {"input", "output/" + System.currentTimeMillis()};

output后面加上当前时间戳的目的是不用每次运行的时候都去手动删掉output目录。

这里只是对于初学的时候方便自己随便怎么修改。接下来就去探索了。

码农公寓

相关文章