Hadoop开发环境搭建
感谢参考网站：http://www.cnblogs.com/huligong1234/p/4137133.html
一、软件准备
JDK：jdk-7u80-windows-x64.exe
http://www.oracle.com/technetwork/java/javase/archive-139210.html
Eclipse：eclipse-jee-mars-2-win32-x86_64.zip
http://www.eclipse.org/downloads/
Hadoop：hadoop-2.6.4.tar.gz
Hadoop-Src：hadoop-2.6.4-src.tar.gz
http://hadoop.apache.org/releases.html
Ant：apache-ant-1.9.6-bin.zip
http://ant.apache.org/bindownload.cgi
Hadoop-Common：hadoop2.6(x64)V0.2.zip (2.4以后)、(hadoop-common-2.2.0-bin-master.zip)
2.2：https://github.com/srccodes/hadoop-common-2.2.0-bin
2.6：http://download.csdn.net/detail/myamor/8393459
Hadoop-eclipse-plugin：hadoop-eclipse-plugin-2.6.0.jar
https://github.com/winghc/hadoop2x-eclipse-plugin
二、搭建环境
1. 安装JDK
执行“jdk-7u80-windows-x64.exe”，步骤选择默认下一步即可。
2. 配置JDK、Ant、Hadoop环境变量
解压hadoop-2.6.4.tar.gz、apache-ant-1.9.6-bin.zip、hadoop2.6(x64)V0.2.zip、hadoop-2.6.4-src.tar.gz到本地磁盘，位置任意。
配置系统环境变量JAVA_HOME、ANT_HOME、HADOOP_HOME，并将这些环境变量的bin子目录配置到path变量中。
将hadoop2.6(x64)V0.2下的hadoop.dll和winutils.exe复制到HADOOP_HOME/bin目录下。
3. 配置Eclipse
将hadoop-eclipse-plugin-2.6.0.jar复制到eclilpse的plugins目录下。
启动eclipse，并设置好workspace。插件安装成功的话，启动之后可以看到如下内容：
4. 配置hadoop
打开“window”-“Preferenes”-“Hadoop Mep/Reduce”，配置到Hadoop_Home目录。
打开“window”-“show view” -“Mepreduce Tools” –“Mep/Reduce Locations”，创建一个Locations，配置如下。
1位置为配置的名称，任意。
2位置为mapred-site.xml文件中的mapreduce.jobhistory.address配置。
3位置为core-site.xml文件中的fs.default.name配置。
配置好以上信息之后，可以在Project Explorer中看到以下内容，即表示配置成功。
上图表示读取到了配置的hdfs信息，一共有3个文件夹input、output、output1，input目录下有3个文件。
注：以上内容为我自己环境中创建的，你看到的可能跟我的不一样。
内容可以通过在hadoop.master上执行
hadoop fs -mkdir input --创建文件夹
hadoop fs -put $localFilePath input --将本地文件上传到HDFS的input目录下
三、创建示例程序
1. 新建一个WordCount类
打开eclipse，创建一个Map/Reduce Project，并创建一个org.apache.hadoop.examples.WordCount类。
拷贝hadoop-2.6.4-src.tar.gz中hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples下的WordCount.java文件中的内容到新创建的类中。
2. 配置log4j
在src目录下，创建log4j.properties文件
log4j.rootLogger=debug,stdout,R
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=mapreduce_test.log
log4j.appender.R.MaxFileSize=1MB
log4j.appender.R.MaxBackupIndex=1
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%
log4j.logger.com.codefutures=DEBUG
3. 配置运行参数
选择“run”-“run configurations”，在“Arguments”里加入“hdfs://hadoop.master:9000/user/hadoop/input hdfs://hadoop.master:9000/user/hadoop/output1”。
格式为“输入路径 输出路径”，如果输出路径必须为空或未创建，否则会报错。
如下图：
注：如果”Java Application”下面没有“WordCount”，可以选择右键，New一个即可。
4. 执行查看结果
配置好之后，执行。查看控制台输出以下内容，表示执行成功：
|
INFO - Job job_local1914346901_0001 completed successfully INFO - Counters: 38 FILE: Number of bytes read=4109 FILE: Number of bytes written=1029438 FILE: Number of read operations=0 FILE: Number of large read operations=0 FILE: Number of write operations=0 HDFS: Number of bytes read=134 HDFS: Number of bytes written=40 HDFS: Number of read operations=37 HDFS: Number of large read operations=0 HDFS: Number of write operations=6 Map-Reduce Framework Map input records=3 Map output records=7 Map output bytes=70 Map output materialized bytes=102 Input split bytes=354 Combine input records=7 Combine output records=7 Reduce input groups=5 Reduce shuffle bytes=102 Reduce input records=7 Reduce output records=5 Spilled Records=14 Shuffled Maps =3 Failed Shuffles=0 Merged Map outputs=3 GC time elapsed (ms)=21 CPU time spent (ms)=0 Physical memory (bytes) snapshot=0 Virtual memory (bytes) snapshot=0 Total committed heap usage (bytes)=1556611072 Shuffle Errors BAD_ID=0 CONNECTION=0 IO_ERROR=0 WRONG_LENGTH=0 WRONG_MAP=0 WRONG_REDUCE=0 File Input Format Counters Bytes Read=42 File Output Format Counters Bytes Written=40 |
在“DFS Locations”下，刷新刚创建的“hadoop”看到本次任务的输出目录下是否有输出文件。
四、问题FAQ
1. 问题1：NativeCrc32.nativeComputeChunkedSumsByteArray错误
【问题描述】启动示例程序时，报nativeComputeChunkedSumsByteArray异常。控制台日志显示如下：
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V
at org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(Native Method)
【原因分析】hadoop.dll文件版本错误，替换对应的版本文件。由于hadoop.dll 版本问题出现的，这是由于hadoop.dll 版本问题，2.4之前的和自后的需要的不一样，需要选择正确的版本(包括操作系统的版本),并且在 Hadoop/bin和 C：\windows\system32 上将其替换。
【解决措施】下载对应的文件替换即可。http://download.csdn.net/detail/myamor/8393459 (2.6.X_64bit)