在eclipse上跑hadoop的helloworld

关于hadoop的用处什么我就不说了,在这里记录下在eclipse上第一次跑hadoop遇到的问题吧~

hadoop的安装我就不说啦,网上教程一大堆~我直接用的公司的Linux上的hadoop。

eclipse用的是mars,JDK1.8,win7,hadoop是公司的Linux上的hadoop 1.2.1,关联的JDK是1.7.

首先下载hadoop关联eclipse的插件hadoop-eclipse-plugin-1.2.1。最好下载相同版本的,不然容易出问题(我就是典型)。把插件放到eclipse安装目录的plugins下(hadoop-eclipse-plugin-2.2.0放到dropins目录下是可以的,但是1.2.1是不行的),重启eclipse,在eclipse的页面上出现这个东东~

          在eclipse上跑hadoop的helloworld

接下来配置hadoop,点击图上的大象,在eclipse下面出现这个。点击右边蓝色小象,进入hadoop的配置页面。

     在eclipse上跑hadoop的helloworld

关于配置的详细信息在图上都标注出来了。Linux的命令这在这里就不说了,连Linux推荐用secureCRT。  在eclipse上跑hadoop的helloworld

点击finish,等待完成。完成后,在eclipse的左边,project explorer下面会出现DFS location。成功的话会把hadoop的文件加载出来,相当于hadoop fs -ls这个命令出现的结果。这里如果出现连接失败,检查一下是不是地址或端口写错了,可以在cmd中telnet端口看是不是可以连通,telnet 192.168.0.201 49000。如果出现提示“你的电脑一个软件阻止访问”,那么可能就是hadoop-eclipse的插件版本不对了~

在eclipse上跑hadoop的helloworld

都OK得那么就可以写helloworld了。

package com.qldhlbs.hadoop.helloworld;

import java.io.IOException;
import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat; public class WordCount { public static class WordCountMap extends
Mapper<LongWritable, Text, Text, IntWritable> { private final IntWritable one = new IntWritable(1);
private Text word = new Text(); public void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
String line = value.toString();
StringTokenizer token = new StringTokenizer(line);
while (token.hasMoreTokens()) {
word.set(token.nextToken());
context.write(word, one);
}
}
} public static class WordCountReduce extends
Reducer<Text, IntWritable, Text, IntWritable> { public void reduce(Text key, Iterable<IntWritable> values,
Context context) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
context.write(key, new IntWritable(sum));
}
} public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = new Job(conf);
job.setJarByClass(WordCount.class);
job.setJobName("wordcount"); job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class); job.setMapperClass(WordCountMap.class);
job.setReducerClass(WordCountReduce.class); job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class); FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1])); job.waitForCompletion(true);
}
}

主意要导入的包。其中hadoop包和Jackson包在下载的hadoop文件里面都有,几个commons包也要导入,不然会报错,其中commons-cli-1.3.1.jar是一个处理命令的工具。比如main方法输入的string[]需要解析。你可以预先定义好参数的规则,然后就可以调用CLI来解析。上面的代码不到这个包会报错。

                      在eclipse上跑hadoop的helloworld

接下来在hadoop中创建文件。命令hadoop fs -mkdir /user/qldhlbs/input创建文件夹。这些hadoop命令和Linux的差不多~后面的/user/qldhlbs/input是创建的文件夹目录。在eclipse上右键DFS location刷新或者重连,就会看到在user目录下出现qldhlbs/input目录。把要count的文件放到input中去,可以用简单的方法,就是右键创建的input,选择upload file to DFS。不出意外的话会提醒没有权限,那么就赋予权限。命令 hadoop fs -chmod 777 /user/qldhlbs/input。其中777是读写执行权限(因为它对应的二进制是4,2,1),/user/qldhlbs/input是给予权限的目录。在eclipse刷新一下就可以上传文件了~上传成功后再input目录下可以看到你上传的文件。

接下来右键run configurations,配置参数。hdfs://192.168.0.201:49000/user/qldhlbs/input   hdfs://192.168.0.201:49000/user/qldhlbs/output,它会自动帮你建output目录,如果自己创建会报错,文件已存在。点击apply,run。参数地址不要写错了,原来我写错了找了半天错误没找到~zzZ。这里会提示qldhlbs这个目录没有权限,和前面一样赋予全县就行了。如果用1.2.1这个版本不出意外的话还会提示一个tmp/hadoop-Administrator/xxxx没有权限的错误,改一下hadoop-core-1.2.1.jar文件的源码就行了,反编译一下这个jar,在fs包下的fileUtil类中的checkReturnValue方法,把里面的内容注释掉就行了。

          在eclipse上跑hadoop的helloworld

在eclipse上跑hadoop的helloworld

把改了的文件重新打包成jar放到工程中,跑一下就可以了。运行成功会在output下面出现两个文件。

在eclipse上跑hadoop的helloworld

到这儿hadoop的helloworld就完成了~当初做的时候没仔细看,出了一些不该出的小错误,浪费很多时间~

上一篇:Java中try,catch,finally的用法


下一篇:zabbix部署相关