(1)环境说明
hadoop的集群环境我已经在虚拟机上搭建并能正常运行(见前2篇文章),现在我要在windows下搭建hadoop+eclipse的开发环境。
(2)安装hadoop-eclipse-plugin-1.1.2.jar插件
hadoop-eclipse-plugin-1.1.2.jar这个插件大家可以自己编译,或者直接到网上下载。我是直接在网上下载安装。
下载好后,将hadoop-eclipse-plugin-1.1.2.jar放到eclipse安装目录下的plugins文件夹下。然后重启eclipse。
在window菜单下选择prefernece选项,可以看到右边出现Hadoop Map/Reduce选项,说明插件安装成功。
(3)添加hadoop文件夹路径
首相将下载好的hadoop-1.1.2.tar.gz源码包解压到某一个磁盘上。
启动eclipse,点击window菜单栏选择prefernece选项,在左侧点击Hadoop Map/Reduce选项,在右边的输入框输入你解压的hadoop-1.1.2.tar.gz文件夹位置即可。
(4)配置hadoop链接
选择window菜单栏下的show view选项下的other选项,在弹出的的框中选择Map/Reduce Locations选项。
这是你会在eclipse下看到多出了Map/Reduce Locations选项:
右键选择New Hadoop Locations。
Host是你的Master主机的地址,Port是端口号,User name是你登陆的用户。
点击finish后你会连接上你的hadoop。
这是后你就可以上传或下载文件到hadoop上了。
如果出现上传或下载失败,那么请看下面这篇文章。我是通过添加JAVA_HOME=D:\Program Files\Java\jdk1.7.0_51这个系统变量来解决的。
http://www.huqiwen.com/2013/07/18/hdfs-permission-denied/
备注:我也是刚起步学习hadoop,可能文章有一些不完整或错误的地方,还请大家多多指教,也希望能交流学习,互相促进提高。