Hadoop2.x的Eclipse插件编译与安装

  Eclipse的Hadoop插件在开发hadoop应用程序中可以提供一些很方便的操作,可以直接Eclipse中浏览HDFS上的文件,可以直接新建选择MapReduce项目,项目自动包含所有需要的hadoop jar包,不必再手动拷贝。

一、安装Ant工具

   Ant是一种Java的项目打包管理工具,类似于Maven,操作比Maven简单。本次Eclipse Hadoop插件使用Ant进行编译,如果本机已安装Ant,请略过这一步骤。

1、下载Ant

   到官网(http://ant.apache.org/bindownload.cgi)下载最新的Ant包,本实验版本:apache-ant-1.9.5-bin.zip

2、配置环境变量

   1) Windows:① 环境变量新增:ANT_HOME=D:\apache-ant-1.9.5;② classpath新增:%ANT_HOME%\lib;③ path新增:%ANT_HOME%\lib。

   2) Linux:① /etc/profile新增:export ANT_HOME=/usr/local/ant;② 执行命令:source /etc/profile。

   验证安装:ant -version

二、使用ant编译插件

1、下载hadoop2.x插件

   https://github.com/hduhans/hadoop2x-eclipse-plugin-master

2、开始编译

   1) 打开命令行,进入插件解压后src/contrib/eclipse-plugin目录中;

   2) 执行编译命令:ant jar -Dversion=2.6.0 -Declipse.home=D:\desktop\eclipse -Dhadoop.home=D:\desktop\hadoop-2.6.0;

     其中Declipse.home为ecipse根目录,Dhadoop.home为hadoop根目录。

   3) 等待编译成功,出现如下“BUILD SUCCESSFUL”提示文字,说明编译成功;

    编译成功的jar包位于:build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar

三、在Eclipse中添加编译生成的jar插件

1、将编译后的 build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar 拷贝到 eclipse/plugins 目录中,重启eclipse;

2、在eclipse菜单中选择 windows → show view → other ,在弹出的对话框中选择“Map/Reduce Locations”,点击确定;

3、在控制台的“Map/Reduce Locations”页签空白处点击右键,选择“New Hadoop location”,填写参数,如下所示:Hadoop2.x的Eclipse插件编译与安装

图2.1 New Hadoop location参数填写说明

   其中Map/Reduce Master的端口地址该怎么填写,网上大都资料为hadoop1.x的mapred.job.tracker的端口号,但在hadoop2.x中已使用yarn来代替jobtracker,猜测这里填写mapreduce.jobtracker.http.address的端口值50030,也有资料说填写dfs.datanode.ipc.address端口值50020,具体填写何值有待进一步确认。

3、打开 Windows → Hadoop Map/Reduce ,右侧选择hadoop2.6所在路径:D:\desktop\hadoop-2.6.0;

4、打开 Windows → show view → other ,选择“Project Explorer”,可以在 DFS Locations 中看到HDFS的目录结构;

Hadoop2.x的Eclipse插件编译与安装

图2.2 Eclipse Hadoop插件浏览HDFS目录

5、新建MapReduce项目,打开 New → Project ,选择“Map/Reduce Project”,输入项目名即可,项目创建后会自动导入hadoop下所需的jar包。

上一篇:LVM逻辑卷基本概念及LVM的工作原理


下一篇:最好的简明NodeJS学习材料