windows下hadoop的集群分布式部署

下面我们进行说明一下hadoop集群的搭建配置.

本文假设读者具有hadoop单机配置的基础,相同的部分不在重述。

以三台测试机为例搭建一个小集群,三台机器的ip分别为

192.168.200.1;192.168.200.2;192.168.200.3

cygwin,jdk的安装同windows下hadoop的单机伪分布式部署(1),这里略过。

1、配置 hosts

在三台机子的hosts文件中加入如下记录:

192.168.200.1 hadoop1  #master namenode

192.168.200.2 hadoop2  #datanode

192.168.200.3 hadoop3  #datanode

2、配置 hadoop1上的hadoop

hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml配置同windows下hadoop的单机伪分布式部署(1)

只是将其中的主机名localhost换成hadoop1这里略过。

配置masters文件:hadoop1

配置slaves文件:hadoop2 hadoop3

3、然后将hadoop1上的hadoop文件夹拷贝到hadoop2、hadoop3机器上面;

如果jdk安装目录不同,需要更改hadoop-env.sh中java_home的配置路径。

4、配置无密码登陆

分别在三台机器上运行命令ssh-keygen,然后将hadoop1和hadoop2上的id_rsa.pub文件拷贝到hadoop1上,

并将三台机器上id_rsa.pub都导入到authorized_keys文件中,然后该authorized_keys文件拷贝到hadoop2,hadoop3上。

5、在hadoop1上先格式化namenode格式,

hadoop namenode -format

然后运行命令:start-all.sh 启动整个集群。

利用jps命令检查master和slave上的hadoop进程是否成功启动,jps命令检查master上的namenode,jobtracker进程,

检查slave上的datanode,tasktracker进程。

 

6、与myeclipes的集成同windows下hadoop的单机伪分布式部署(3)

 

windows下hadoop的集群分布式部署,布布扣,bubuko.com

windows下hadoop的集群分布式部署

上一篇:深入CSS属性(六):margin


下一篇:一个不错的JavaScript解析浏览器路径方法(转)