基于Windows下eclipse的MapReduce开发环境配置

零. 相关文件

链接:https://pan.baidu.com/s/1KmfZlxevk07p-_Aosnsm2w
提取码:df5l

一. MapReduce环境配置

1. 解压hadoop
把hadoop的安装包解压到Windows下(这里的安装包就是你搭hadoop集群时的安装包,我的是hadoop-2.9.2.tar.gz)
基于Windows下eclipse的MapReduce开发环境配置

2. 配置环境变量
hadoop_home配置
基于Windows下eclipse的MapReduce开发环境配置
PATH配置
基于Windows下eclipse的MapReduce开发环境配置

3. 其他

  • 我们需要把windows运行Hadoop的一个系统文件放到system32中
    基于Windows下eclipse的MapReduce开发环境配置

  • 还有一个Windows运行Hadoop的工具执行文件放到{$HADOOP_HOME}\bin下
    基于Windows下eclipse的MapReduce开发环境配置

二. eclipse配置

1. 安装插件
下载插件
将hadoop-eclipse-plugin-2.8.5.jar放到eclipse的插件文件夹内(我用的是SpringToolSuite, 前面的目录可能不太一样)
基于Windows下eclipse的MapReduce开发环境配置

2. 启动eclipse
检查插件是否运行成功(注意:这里是在Project Explorer查看, 出现DFS Location说明插件运行成功)
基于Windows下eclipse的MapReduce开发环境配置

3. 配置本地Hadoop所在目录(这里配置自己的目录)
基于Windows下eclipse的MapReduce开发环境配置

4. 配置远程Hadoop的ip地址与端口号
在window -> show view -> other中找到mapreduce,并进行如下配置
基于Windows下eclipse的MapReduce开发环境配置
右键 New Hadoop...
基于Windows下eclipse的MapReduce开发环境配置
基于Windows下eclipse的MapReduce开发环境配置

如果报错需要在hdfs中创建一个input文件夹:hadoop fs –mkdir /input
我们可以把要分析的文件放到input目录下 hadoop fs –put README.txt /input

三. MapReduce编程

1. 新建java项目
2.导入jar包
直接建一个自己的library,方便统一管理Hadoop相关的jar包,window -> Preferences
基于Windows下eclipse的MapReduce开发环境配置
这里(hadoop) Library加入的jar包为

  • hadoop-2.9.2\share\hadoop\common目录下三个jar包
    基于Windows下eclipse的MapReduce开发环境配置

  • hadoop-2.9.2\share\hadoop\common\lib 下所有(69)jar包

  • hadoop-2.9.2\share\hadoop\hdfs 下9个jar包
    基于Windows下eclipse的MapReduce开发环境配置

  • hadoop-2.9.2\share\hadoop\mapreduce 下9个jar包
    基于Windows下eclipse的MapReduce开发环境配置

  • hadoop-2.9.2\share\hadoop\yarn 下15个jar包
    基于Windows下eclipse的MapReduce开发环境配置

把自己建的这个hadoop Library加入项目: 项目右键 -> Properties -> Java Build Path -> Add Library -> User Library -> 勾选自己刚刚新建的hadoop 完成 添加并保存
然后, 就可以进行编程了

基于Windows下eclipse的MapReduce开发环境配置

上一篇:Win10访问Ubuntu的samba共享文件


下一篇:Windows 10大内存优化(关闭内存压缩功能)