Hadoop的学习前奏（二）——Hadoop集群的配置

2023-08-12 11:07:28

前言：

Hadoop集群的配置即全然分布式Hadoop配置。

笔者的环境：

Linux:  CentOS 6.6(Final) x64

  JDK:    java version "1.7.0_75"

          OpenJDK Runtime Environment (rhel-2.5.4.0.el6_6-x86_64 u75-b13)

          OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)

  SSH:    OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013

  Hadoop: hadoop-1.2.1

步骤：

注：本文的实验是基于伪分布式Hadoop环境的。这里默认你的系统已经能够安装伪分布式的Hadoop了。假设你的系统还不能安装伪分布式Hadoop，请參考《Hadoop的学习前奏——在Linux上安装与配置Hadoop》一文完毕配置。

1.首先在三台主机上创建同样的用户

2.在三台主机上分别设置/etc/hosts和/etc/hostname

$ vim /etc/hosts

Hadoop的学习前奏（二）——Hadoop集群的配置

$ vim /etc/hostname

Hadoop的学习前奏（二）——Hadoop集群的配置

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

3.在这三台主机上安装OpenSSH，并配置SSH能够免password登录。

关于在单机上进行免password登录的部分，我在上一篇博客中有具体说明。假设你的配置出了问题以致无法免password登录。上一篇博客中有具体的做法，这里不再赘述。

将master中的authorized_keys复制给两台slave，做法例如以下：

$ scp authorized_keys slave1:~/.ssh/

$ scp authorized_keys slave2:~/.ssh/

4.配置三台主机的Hadoop文件。

$ vim core-site.xml

Hadoop的学习前奏（二）——Hadoop集群的配置

$ vim hdfs-site.xml

Hadoop的学习前奏（二）——Hadoop集群的配置

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

$ vim mapred-site.xml

Hadoop的学习前奏（二）——Hadoop集群的配置

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

$ vim masters

Hadoop的学习前奏（二）——Hadoop集群的配置

$ vim slaves

Hadoop的学习前奏（二）——Hadoop集群的配置

至此，Hadoop的配置已基本完毕，你能够通过

5.启动Hadoop

bin/hadoop namenode -format

bin/start-all.sh

6.验证

你能够通过下面命令或是通过訪问http://master:50030和http://master:50070查看集群状态

hadoop dfsadmin -report

上一篇：JavaSE基础部分（1）


下一篇：Hadoop集群的配置（一）