搭建基于MyEclipse的Hadoop开发环境

  不多说,直接上干货!

  前面我们已经搭建了一个伪分布模式的Hadoop运行环境。请移步,

hadoop-2.2.0.tar.gz的伪分布集群环境搭建(单节点)

  我们绝大多数都习惯在Eclipse或MyEclipse中做Java开发,本次随笔我就教大家如何搭建一个基于MyEclipse IDE的Hadoop开发环境。

  闲话少说,走起!

第一步 安装MyEclipse的Hadoop插件

  1 打开MyEclipse,查看是否已经安装过

  window  ->  preferences

搭建基于MyEclipse的Hadoop开发环境

  没有显示Hadoop Map/Reduce,则说明MyEclipse是没有安装过Hadoop的插件。

  首先,确认你本地的Windows上已经安装JDK和Eclipse或者MyEclipse,并能开发java程序。

2、下载Eclipse的Hadoop插件hadoop-eclipse-plugin-2.2.0

  将下载下来的jar文件放入安装的MyEclipse 10\dropins目录下,然后重启MyEclipse。

搭建基于MyEclipse的Hadoop开发环境

  放进去

搭建基于MyEclipse的Hadoop开发环境

  重启后,会出现下面的这个界面,即弹出Drop-in Changes Detected检测,点击ok即可,

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

  即,出现了Hadoop Map/Reduce,说明在MyEclipse里安装Hadoop插件成功。

第二步 本地的Hadoop安装

1、hadoop-2.2.0-x64.rar的下载

  首先,明确了本地的JDK是64位版本,所以需要下载对应位的hadoop运行包。其实,也是为了与CentOS6.5里的hadoop运行包和jdk对应一致。

2 、解压下载的文件包,存放在你希望的某个目录下,比如:D:\Software\hadoop-2.2.0

  重启MyEclipse,菜单的Windows   ->   Preferences 中

  会多出一个 Hadoop Map/Reduce的项。点击这一项,右侧选择你的Hadoop存放目录 (D:\Software\hadoop-2.2.0)

  解压前,

搭建基于MyEclipse的Hadoop开发环境

  解压后,

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

3、配置环境变量

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

  新建环境变量HADOOP_HOME,变量值为D:\Software\hadoop-2.2.0

搭建基于MyEclipse的Hadoop开发环境

修改Path变量,添加:

;D:\Software\hadoop-2.2.0\bin   注意分号

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

4、添加Map/Reduce Location

  将Eclipse/MyEclipse切换到Map/Reduce视图,

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

  底部操作区会出现Map/Reduce Locations项,如下图所示:

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

  在上图所示区域点击鼠标右键或者如上图所示点击它也行,然后New Hadoop location.

  在弹出的界面中做如下设置:

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

50020 -> 50070      (50070是MapReduce的Web界面)

50040-> 9000

zhouls -> hadoop

搭建基于MyEclipse的Hadoop开发环境

5、sbin/start-all.sh , 再 jps

搭建基于MyEclipse的Hadoop开发环境

6、 点击windows  ->  show view  ->  project Exploer ,可以出现以下

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

  这就表明,hadoop与本地的MyEclipse搭建成功。

新建MapReduce项目

  下面,新建一个

  1、File  ->  New  ->  Map/Reduce Project

搭建基于MyEclipse的Hadoop开发环境

2、将Map/Reduce Project 项目工程的名字设置为Hadoop

搭建基于MyEclipse的Hadoop开发环境

3、Open Associated Perspective选择界面,点击“Yes”

搭建基于MyEclipse的Hadoop开发环境

4、即出现Hadoop

搭建基于MyEclipse的Hadoop开发环境

5、新建包Package

src   ->    New  Package

Source  folder: Hadoop/src

Name:com.dajiangtai.hadoop.test

搭建基于MyEclipse的Hadoop开发环境

6、新建类名,WordCount

搭建基于MyEclipse的Hadoop开发环境

7、来看下WordCount自带的程序:

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

改之前,是

搭建基于MyEclipse的Hadoop开发环境

改之后,是

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

8、window -> show view -> other ->

搭建基于MyEclipse的Hadoop开发环境

9、运行下程序。

搭建基于MyEclipse的Hadoop开发环境

10、

搭建基于MyEclipse的Hadoop开发环境

11、

搭建基于MyEclipse的Hadoop开发环境

12、在本地的Hadoop安装目录下的src目录里,将log4j.properties复制到其下。

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

13、重启后的MyEclipse对应的位置。

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

  然后,再执行WordCount.java

搭建基于MyEclipse的Hadoop开发环境

  刷新,查询下结果

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

  这个统计结果跟之前一致。

  即表明搭建基于MyEclipse的Hadoop开发环境已经成功!

欢迎大家,加入我的微信公众号:大数据躺过的坑        人工智能躺过的坑
 
 
 

同时,大家可以关注我的个人博客

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   详情请见:http://www.cnblogs.com/zlslch/p/7473861.html

  人生苦短,我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网。
  目前研究领域:大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及:Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里,每天必须有收获

对应本平台的讨论和答疑QQ群:大数据和人工智能躺过的坑(总群)(161156071)搭建基于MyEclipse的Hadoop开发环境搭建基于MyEclipse的Hadoop开发环境搭建基于MyEclipse的Hadoop开发环境搭建基于MyEclipse的Hadoop开发环境搭建基于MyEclipse的Hadoop开发环境 

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

 

上一篇:gRpc NET Core


下一篇:ActiveMQ基础教程(二):安装与配置(单机与集群)