实验-hadoop开发环境部署


hadoop-0.20.2自带了eclipse插件,比如1.0.0和2.2.0就没有


1.windows下

1)把插件hadoop-0.20.2-eclipse-plugin.jar复制到eclipse目录下的plugins目录中;

2)启动eclipse;

3) windown->preferences->Hadoop Map/Reduce

实验-hadoop开发环境部署

4)打开Map/Reduce视图

window->show view->Map/Reduce Location

实验-hadoop开发环境部署

实验-hadoop开发环境部署

5)配置hadoop

右键选择New Hadoop location

实验-hadoop开发环境部署

(名字随意、第一个是MR的地址和端口,第二个是HDFS的地址和端口,要配的和配置文件中的一样,特别注意User name一定要填Namenode的用户名,之前因为没注意,一直报错)

然后运行集群,即可链接

实验-hadoop开发环境部署

如果链接不上

<1>.namenode的防火墙关掉(root用户);

实验-hadoop开发环境部署

<2>.关掉HDFS的用户检查

实验-hadoop开发环境部署

6)能查看HDFS上的文件说明HDFS链接成功了,再测试一下MR

<1>.新建一个hadoop工程

实验-hadoop开发环境部署

<2>.自己写个代码或者直接贴上wordcount的代码

实验-hadoop开发环境部署

<3>.运行。设置输入输出参数

实验-hadoop开发环境部署

这时出现问题:

实验-hadoop开发环境部署

windows中chmod这个命令,解决办法:安装cygwin,然后把它的安装目录bin目录设置到环境变量Path中就可以了

实验-hadoop开发环境部署


2.Linux下(这个要更简单点)

1)安装eclipse(省略)

实验-hadoop开发环境部署

2)安装hadoop插件、Map/Reduce Locations、Hadoop installation Directoy等

这个不需要配置Linux环境和不用关心用户问题。

3)测试wordcount也同上。


其中有个问题我没懂得就是在配置运行参数的时候不能直接用/input/ /output/,必须用hdfs://192.168.126.129:9000/in这样的全称

我看到别人的文档中可以,不知道是我哪儿设置有问题还是他们在忽悠人

上一篇:HTML 之 标准后台布局菜单设计


下一篇:关于python的itertools模块