在eclipse上跑hadoop的helloworld

2023-01-07 19:50:47

关于hadoop的用处什么我就不说了，在这里记录下在eclipse上第一次跑hadoop遇到的问题吧~

hadoop的安装我就不说啦，网上教程一大堆~我直接用的公司的Linux上的hadoop。

eclipse用的是mars，JDK1.8，win7，hadoop是公司的Linux上的hadoop 1.2.1，关联的JDK是1.7.

首先下载hadoop关联eclipse的插件hadoop-eclipse-plugin-1.2.1。最好下载相同版本的，不然容易出问题（我就是典型）。把插件放到eclipse安装目录的plugins下（hadoop-eclipse-plugin-2.2.0放到dropins目录下是可以的，但是1.2.1是不行的），重启eclipse，在eclipse的页面上出现这个东东~

接下来配置hadoop，点击图上的大象，在eclipse下面出现这个。点击右边蓝色小象，进入hadoop的配置页面。

关于配置的详细信息在图上都标注出来了。Linux的命令这在这里就不说了，连Linux推荐用secureCRT。

点击finish，等待完成。完成后，在eclipse的左边，project explorer下面会出现DFS location。成功的话会把hadoop的文件加载出来，相当于hadoop fs -ls这个命令出现的结果。这里如果出现连接失败，检查一下是不是地址或端口写错了，可以在cmd中telnet端口看是不是可以连通，telnet 192.168.0.201 49000。如果出现提示“你的电脑一个软件阻止访问”，那么可能就是hadoop-eclipse的插件版本不对了~

都OK得那么就可以写helloworld了。

package com.qldhlbs.hadoop.helloworld;

import java.io.IOException;

import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

public class WordCount {

	public static class WordCountMap extends

			Mapper<LongWritable, Text, Text, IntWritable> {

		private final IntWritable one = new IntWritable(1);

		private Text word = new Text();

		public void map(LongWritable key, Text value, Context context)

				throws IOException, InterruptedException {

			String line = value.toString();

			StringTokenizer token = new StringTokenizer(line);

			while (token.hasMoreTokens()) {

				word.set(token.nextToken());

				context.write(word, one);

			}

		}

	}

	public static class WordCountReduce extends

			Reducer<Text, IntWritable, Text, IntWritable> {

		public void reduce(Text key, Iterable<IntWritable> values,

				Context context) throws IOException, InterruptedException {

			int sum = 0;

			for (IntWritable val : values) {

				sum += val.get();

			}

			context.write(key, new IntWritable(sum));

		}

	}

	public static void main(String[] args) throws Exception {

		Configuration conf = new Configuration();

		Job job = new Job(conf);

		job.setJarByClass(WordCount.class);

		job.setJobName("wordcount");

		job.setOutputKeyClass(Text.class);

		job.setOutputValueClass(IntWritable.class);

		job.setMapperClass(WordCountMap.class);

		job.setReducerClass(WordCountReduce.class);

		job.setInputFormatClass(TextInputFormat.class);

		job.setOutputFormatClass(TextOutputFormat.class);

		FileInputFormat.addInputPath(job, new Path(args[0]));

		FileOutputFormat.setOutputPath(job, new Path(args[1]));

		job.waitForCompletion(true);

	}

}

主意要导入的包。其中hadoop包和Jackson包在下载的hadoop文件里面都有，几个commons包也要导入，不然会报错，其中commons-cli-1.3.1.jar是一个处理命令的工具。比如main方法输入的string[]需要解析。你可以预先定义好参数的规则，然后就可以调用CLI来解析。上面的代码不到这个包会报错。

接下来在hadoop中创建文件。命令hadoop fs -mkdir /user/qldhlbs/input创建文件夹。这些hadoop命令和Linux的差不多~后面的/user/qldhlbs/input是创建的文件夹目录。在eclipse上右键DFS location刷新或者重连，就会看到在user目录下出现qldhlbs/input目录。把要count的文件放到input中去，可以用简单的方法，就是右键创建的input，选择upload file to DFS。不出意外的话会提醒没有权限，那么就赋予权限。命令 hadoop fs -chmod 777 /user/qldhlbs/input。其中777是读写执行权限（因为它对应的二进制是4,2,1），/user/qldhlbs/input是给予权限的目录。在eclipse刷新一下就可以上传文件了~上传成功后再input目录下可以看到你上传的文件。

接下来右键run configurations，配置参数。hdfs://192.168.0.201:49000/user/qldhlbs/input hdfs://192.168.0.201:49000/user/qldhlbs/output，它会自动帮你建output目录，如果自己创建会报错，文件已存在。点击apply，run。参数地址不要写错了，原来我写错了找了半天错误没找到~zzZ。这里会提示qldhlbs这个目录没有权限，和前面一样赋予全县就行了。如果用1.2.1这个版本不出意外的话还会提示一个tmp/hadoop-Administrator/xxxx没有权限的错误，改一下hadoop-core-1.2.1.jar文件的源码就行了，反编译一下这个jar,在fs包下的fileUtil类中的checkReturnValue方法，把里面的内容注释掉就行了。

把改了的文件重新打包成jar放到工程中，跑一下就可以了。运行成功会在output下面出现两个文件。

到这儿hadoop的helloworld就完成了~当初做的时候没仔细看，出了一些不该出的小错误，浪费很多时间~

码农公寓

相关文章