1、Hadoop源代码下载、eclipse下载、jdk、Ant下载
2、eclipse导入hadoop工程
3、修改build.xml 与build-contrib.xml 配置文件
4、解决出现的相关错误与异常问题
5、编译、安装、检查
-------------------------------------------------------------------------------------------------------------------------------------------------
下载地址:以下软件都为64位
Eclipse:
http://yunpan.cn/QIIKcHbAjeMxh
Jdk1.7:
http://yunpan.cn/QIIKcHbAjeMxh
Hadoop-1.0.0:
http://yunpan.cn/QIIKmEG7TVcjR
Ant :
http://yunpan.cn/QIIK3RnbcvvyL
1、在Eclipse中选择File-->Import-->Existing Projects into Workspace导入已有项目,假设路径为:
/download/hadoop-1.0.1/src/contrib/eclipse-plugin,默认的项目名称是MapReduceTools
2、默认项目名称为MapReduceTools,然后在项目MapReduceTools中新建lib目录,并把hadoop的hadoop-core、commons-cli-1.2.jar、commons-lang-2.4.jar、commons-configuration-1.6.jar、jackson-mapper-asl-1.0.1.jar、jackson-core-asl-1.0.1.jar、commons-httpclient-3.0.1.jar拷贝到该目录。
3、修改build-contrib.xml (将\src\contrib下的build-contrib.xml文件拷贝到MapReduceTools项目根目录底下。)
<property name="version" value="1.0.1"/>
<property name="hadoop.root" location="/download/develop/hadoop-1.0.1"/>
<property name="eclipse.home" location="/download/eclipse" />
4、修改build.xml
---
<import file="build-contrib.xml"/>
---
<target name="jar" depends="compile" unless="skip.contrib">
<mkdir dir="${build.dir}/lib"/>
<copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-cli-1.2.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/>
<jar
jarfile="${build.dir}/hadoop-${name}-${version}.jar"
manifest="${root}/META-INF/MANIFEST.MF">
<fileset dir="${build.dir}" includes="classes/ lib/"/>
<fileset dir="${root}" includes="resources/ plugin.xml"/>
</jar>
</target>
5、解决问题:Could not find file \hadoop\hadoop-1.0.0\hadoop-core-${version}.jar to copy
将
<target name="compile" depends="init">
<javac srcdir="${src}" destdir="${dest}" />
</target>
修改为:
<javac srcdir="${src}" destdir="${dest}" includeantruntime="on" />
6、解决 错误: 程序包org.apache.hadoop.fs不存在.....
<path id="hadoop-jars">
<fileset dir="${hadoop.root}/">
<include name="hadoop-*.jar"/>
</fileset>
</path>
在<path id="classpath">中添加:<path refid="hadoop-jars"/>
7、解决:Warning: Could not find file /hadoop/hadoop-1.0.0/build/hadoop-core-1.0.0.jar to copy. (不是必须)
将build.xml 中的 ${version}替换成具体的版本号,如:1.0.0
8、最后是编译:有三种方法可以进行编译:
1)eclipse导出式
右键选择项目-->Export,类型选择JAR file,把plugin.xml文件、classes目录、lib目录和resources目录选上,选择导出的jar目录,即可导出hadoop-eclipse-plugin-1.0.0.jar文件
2)eclipse 的ant编译式
MapReduceTools工程下的build.xml 右键-〉Run As->Ant Build
3)cmd下ant编译时
cmd下进入到 \src\contrib\eclipse-plugin 下:
执行: ant -Declipse.home=D:/eclipse -Dversion=1.0.0
9、插件安装:
关闭eclipse,
将生成后的hadoop-eclipse-plugin-1.0.0.jar (默认在hadoop-1.0.0\build\contrib\eclipse-plugin 下),放到eclipse/plugin目录下面,启动eclipse。
10、检查是否安装成功:
打开Windows->Open Perspective->Other->如果有Map/Reduce则成功 或者是在 project explorer中看到 DFS Locations
参考:
http://my.oschina.net/HIJAY/blog/190840
http://blog.csdn.net/zhqingyun163/article/details/8148711
《Hadoop技术内幕》