Win7 Eclipse Hadoop2.4插件配置

准备工作:

1、下载hadoop2x-eclipse-plugin-master.zip

Github地址:https://github.com/winghc/hadoop2x-eclipse-plugin

百度网盘地址:http://www.pan1234.com/result.jsp?wp=0&op=0&ty=gn&q=hadoop2x-eclipse-plugin

去自己360云盘备份软件中下载。

2、WinSCP将Hadoop-2.4.0主文件夹复制到Win7系统中

3、安装ant

官网地址:http://ant.apache.org/bindownload.cgi

去自己360云盘备份软件中下载。

本次下载apache-ant-1.9.6-bin.zip,解压后配置环境变量即可

Win7 Eclipse Hadoop2.4插件配置

配置步骤:

此处需要指定eclipse路径和hadoop路径是为了生成插件配置信息的对应?插件生成后是否可以通用?有待测试

1、进入解压后的hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin\目录中

2、运行命令: ant jar -Dversion=2.4.0 -Declipse.home=C:\Program Files (x86)\eclipse -Dhadoop.home=D:\StudyAndWork\hadoop-2.4.0

3、过程会在此处卡住:

Win7 Eclipse Hadoop2.4插件配置

4、终止该过程进行修改,进入hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin目录下,修改build.xml文件,

Win7 Eclipse Hadoop2.4插件配置

修改为:

Win7 Eclipse Hadoop2.4插件配置

然后重新ant命令

5、编译过程中会出现如下错误:

Win7 Eclipse Hadoop2.4插件配置

进入该目录,

Win7 Eclipse Hadoop2.4插件配置

所以将build.xml中对应位置改为对应版本号即可跳过该错误,其他类似错误以此处理。

其中有个错误

Win7 Eclipse Hadoop2.4插件配置

没有找到对应的htrace-core.jar包,直接在build.xml中删除相关信息

6、编译成功

Win7 Eclipse Hadoop2.4插件配置

去找到对应的插件包

7、放入eclipse安装路径下的plugins文件夹中,重启ecplise.

将此插件放到/usr/local/eclipse/pugins目录下,重新启动eclipse

Window ->prefrences->Hadoop MapReduce 找到对应的Hadoop安装路径.

Window -> Show View -> Other…

打开之后,选择MapReduce,会弹出来一个黄色的图标,双击,会发现eclipse的下面变成这样

Win7 Eclipse Hadoop2.4插件配置

然后单击右边的蓝色小象,出现

Win7 Eclipse Hadoop2.4插件配置

上面的端口是我的伪集群分布的配置,MapReduceV2端口号默认,DFS端口号改为9000,即core-site.xml中的配置弄好之后点击finish就可以了

然后新建一个项目,File -> Project -> MapReduce Project 出现下图

Win7 Eclipse Hadoop2.4插件配置

点击Configure Hadoop install directory设置安装的hadoop安装目录。之后,Project的左边如图所示

Win7 Eclipse Hadoop2.4插件配置

至此,大功告成。我们可以用WordCount测试一下,在hadoop/src里面添加WordCount.java文件。在文件空白出单击右键,Run As -> Run Configuration

Win7 Eclipse Hadoop2.4插件配置

注意,左边的小框选择Java Application,之后弹出右边的框。然后选择第二个Arguments,在上面第一个框里面设置输入目录 和 输出目录。点击Apply.

注:以上文章由两个部分组成,前面是在win7中生成相关插件,是在Win7系统中操作的。后面是插件生成后在Eclipse中的相关配置,是在Ubuntu中操作的,实际上这是两篇笔记,再此合二为一,对插件的生成和后续配置并不会有影响。

上一篇:Windows平台Hadoop编译、安装、配置与运行(转)


下一篇:18.scrapy中selector的用法