零. 相关文件
链接：https://pan.baidu.com/s/1KmfZlxevk07p-_Aosnsm2w
提取码：df5l
一. MapReduce环境配置
1. 解压hadoop
把hadoop的安装包解压到Windows下(这里的安装包就是你搭hadoop集群时的安装包,我的是hadoop-2.9.2.tar.gz)
2. 配置环境变量hadoop_home配置PATH配置
3. 其他
-
我们需要把windows运行Hadoop的一个系统文件放到system32中
-
还有一个Windows运行Hadoop的工具执行文件放到{$HADOOP_HOME}\bin下
二. eclipse配置
1. 安装插件
下载插件
将hadoop-eclipse-plugin-2.8.5.jar放到eclipse的插件文件夹内(我用的是SpringToolSuite, 前面的目录可能不太一样)
2. 启动eclipse
检查插件是否运行成功(注意:这里是在Project Explorer查看, 出现DFS Location说明插件运行成功)
3. 配置本地Hadoop所在目录(这里配置自己的目录)
4. 配置远程Hadoop的ip地址与端口号
在window -> show view -> other中找到mapreduce，并进行如下配置
右键 New Hadoop...
如果报错需要在hdfs中创建一个input文件夹：hadoop fs –mkdir /input
我们可以把要分析的文件放到input目录下 hadoop fs –put README.txt /input
三. MapReduce编程
1. 新建java项目
2.导入jar包
直接建一个自己的library，方便统一管理Hadoop相关的jar包，window -> Preferences
这里(hadoop) Library加入的jar包为
-
hadoop-2.9.2\share\hadoop\common目录下三个jar包 -
hadoop-2.9.2\share\hadoop\common\lib下所有(69)jar包 -
hadoop-2.9.2\share\hadoop\hdfs下9个jar包 -
hadoop-2.9.2\share\hadoop\mapreduce下9个jar包 -
hadoop-2.9.2\share\hadoop\yarn下15个jar包
把自己建的这个hadoop Library加入项目: 项目右键 -> Properties -> Java Build Path -> Add Library -> User Library -> 勾选自己刚刚新建的hadoop 完成 添加并保存
然后, 就可以进行编程了