myeclipse连接hadoop集群编程及问题解决

2023-07-23 14:03:10

　　原以为搭建一个本地编程测试hadoop程序的环境很简单,没想到还是做得焦头烂额,在此分享步骤和遇到的问题,希望大家顺利.

　　一.要实现连接hadoop集群并能够编码的目的需要做如下准备:

　　1.远程hadoop集群(我的master地址为192.168.85.2)

　　2.本地myeclipse及myeclipse连接hadoop的插件

　　3.本地hadoop(我用的是hadoop-2.7.2)

　　先下载插件hadoop-eclipse-plugin,我用的是hadoop-eclipse-plugin-2.6.0.jar,下载之后放在"MyEclipse Professional 2014\dropins"目录下,重启myeclipse会在perspective和views发现一个map/reduce的选项

切换到hadoop试图,然后打开MapReduce Tools

　　二.接下来新增hadoop服务,要开始配置连接,需要查看hadoop配置

　　1.hadoop/etc/hadoop/mapred-site.xml配置,查看mapred.job.tracker里面的ip和port,用以配置Map/Reduce Master

　　2.hadoop/etc/hadoop/core-site.xml配置,查看fs.default.name里面的ip和port,用以配置DFS Master

　　3.用户名直接写hadoop操作用户即可

　　到此配置就完成了,顺利的话可以看到:

　　新建hadoop工程.

　　File】->【New】->【Project...】->【Map/Reduce】->【Map/Reduce Project】->【Project name: WordCount】->【Configure Hadoop install directory...】->【Hadoop installation directory: D:\nlsoftware\hadoop\hadoop-2.7.2】->【Apply】->【OK】->【Next】->【Allow output folders for source folders】->【Finish】

　　工程下建立三个类,分别是Mapper,Reduce,和main

　　TestMapper

package bb;

import java.io.IOException;

import java.util.StringTokenizer;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Mapper.Context;

public class TestMapper 

extends Mapper<Object, Text, Text, IntWritable>{

private final static IntWritable one = new IntWritable(1);

private Text word = new Text();

public void map(Object key, Text value, Context context

             ) throws IOException, InterruptedException {

StringTokenizer itr = new StringTokenizer(value.toString());

while (itr.hasMoreTokens()) {

 word.set(itr.nextToken());

 context.write(word, one);

}

}

}

　　TestReducer

package bb;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.Reducer.Context;

public class TestReducer 

extends Reducer<Text,IntWritable,Text,IntWritable> {

private IntWritable result = new IntWritable();

public void reduce(Text key, Iterable<IntWritable> values, 

                Context context

                ) throws IOException, InterruptedException {

int sum = 0;

for (IntWritable val : values) {

 sum += val.get();

}

result.set(sum);

context.write(key, result);

}

}

　　WordCount

package bb;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();

        String[] otherArgs = new GenericOptionsParser(conf, args)

                .getRemainingArgs();

        if (otherArgs.length != 2) {

            System.err.println("Usage: wordcount <in> <out>");

            System.exit(2);

        }

        Job job = new Job(conf, "word count");

        job.setJarByClass(WordCount.class);

        job.setMapperClass(TestMapper.class);

        job.setCombinerClass(TestReducer.class);

        job.setReducerClass(TestReducer.class);

        job.setOutputKeyClass(Text.class);

        job.setOutputValueClass(IntWritable.class);

        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

        System.exit(job.waitForCompletion(true) ? 0 : 1);

    }

}

　　我在hdfs的input里面新建了两个tex文件,这时候可以用来测试,也可以用其他的文件测试.所以我的参数如图:

　　hdfs://192.168.85.2:9000/input/* hdfs://192.168.85.2:9000/output6

　　-Xms512m -Xmx1024m -XX:MaxPermSize=256m

　　稍作解释,参入的两个参数,一个是输入文件,一个是输出结果文件.指定正确目录即可. output6文件夹的名字是我随便写的.会自动创建

　　那么到了最后也是最关键的一步.我run as hadoop时遇到了

Server IPC version 9 cannot communicate with client version 4

　　报错.这是提示版本不对,我一看.远程hadoop版本与jar包版本不同导致的.远程是2.7.2的.所以我把hadoop相关jar包改为该版本即可(2.*版本的应该都可以,没有的话相近的也可以用)

　　然后错误换了一个

Exception in thread "main" ExitCodeException exitCode=-1073741515:

　　经过查阅资料发现这是因为window本地的hadoop没有winutils.exe导致的.原来本地hadoop的机理要去调用这个程序.我们先要去下载2.7的winutils.exe然后使得其运行没错才可以.

　　下载之后发现需要hadoop.dll文件.晕.再次下载并放在c:\windows\System32目录下.

　　然而我的winutils.exe还是无法启动,这个虽然是我的电脑问题.但是想来有些人还是会遇到(简单说一下).

　　报错缺少msvcr120.dll.下载之后再去启动提示,"应用程序无法正常启动0xc000007b".

　　这是内存错误引起的.下载DirectX_Repair修复directx终于解决了问题,最后成功启动了hadoop程序.

　　有同学可能能够启动winutils.exe但还是不能正常跑应用程序,依然报错,可以尝试修改权限验证.

　　修改hadoop/etc/hadoop/hdfs-site.xml

　　添加内容

<property>

  <name>dfs.permissions</name>

    <value>false</value>

</property>

　　取消权限验证.

码农公寓

相关文章