文章目录

• 1. 搭建环境
• 1.1 实验环境
• 1.2 架构模型
• 1.3 前期准备
• 2. 软件环境依赖部署
• 2.1 jdk安装及配置
• 2.2 ssh免密钥配置
• 3. Hadoop及Zookeeper部署
• 3.1 Hadoop安装及配置
• 3.1.1 解压hadoop-2.6.5.tar.gz：
• 3.1.2 修改配置文件/etc/profile:
• 3.1.3 修改 hadoop-env.sh 和 mapred-env.sh 配置文件
• 3.1.4 配置hdfs-site.xml 文件
• 3.1.5 配置 core-site.xml 和 Slaves 文件
• 3.1.5.1 core-site.xml 文件的配置
• 3.1.5.2 Slaves 文件的配置
• 3.1.6 Hadoop 分发以及 HA HDFS on yarn 配置
• 3.1.6.1 Hadoop 分发
• 3.1.6.2 HA HDFS on yarn 配置
• 3.2 ZooKeeper 安装及配置
• 3.2 .1 ZooKeeper 安装
• 3.2 .1 ZooKeeper 配置
• 3.3 HDFS 、ZooKeeper 和 yarn 启动
• 3.3.1 启动 ZooKeeper
• 3.3.2 启动 HDFS
• 3.3.3 启动 yarn

1. 搭建环境

1.1 实验环境

本文基于 HA 分布式文件系统（HDFS），搭建 MapReduce on yarn 大数据集群。总共需要四台虚拟机node01、node02、node03、node04，各个角色进程的分配如下表所示：

虚拟机	Namenode-1	Namenode-2	Datanode	zookeeper	zkfc	journalnode	ResourceManager	NodeManager
node01	*				*	*
node02		*	*	*	*	*		*
node03			*	*		*	*	*
node04			*	*			*	*

1.2 架构模型

HDFS 2.x 通过Namenode主备模型解决了 HDFS 1.x 的单点故障和内存受限问题。本文采用基于 ZooKeeper 的名称节点自动切换方案。由 ZooKeeper Failover Controller 进程实时的监控 namenode 的健康状态，ZooKeeper Failover Controller 进程帮助 Namenode 向 ZooKeeper 争抢锁，获得锁的 Namenode 成为 Active ，另一台 Namenode 为 standby。 Active 对外提供服务，Standby 通过 journalnode 保持通信，同步 Active 元数据，随时以待切换。此外，Standby 完成了edits.log 文件的合并，并产生新的 image ，然后推回给 Active。如果 Active 发生故障，则自动切换到备 Standby。Datanode 同时向 Active 和 Standby 保持心跳，报告数据块的信息。HDFS 2.x 的架构模型如下图所示：

1.3 前期准备

• 修改 /etc/hosts 文件，使IP地址与主机一一映射。

//修改node01/etc/hosts文件：
[root@node01~]#  vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.179.101 node01
192.168.179.102 node02
192.168.179.103 node03
192.168.179.104 node04

• 软件包资源
  jdk-7u67-linux-x64.rpm、hadoop-2.6.5.tar.gz、zookeeper-3.4.6.tar.gz：
  软件包百度网盘资源链接
  提取码：2nma

2. 软件环境依赖部署

众所周知，Hadoop是由热门的Java语言开发的，所以，大数据集群的运行需要依赖Java环境。首先，需要准备java环境。

2.1 jdk安装及配置

把jdk-7u67-linux-x64.rpm、hadoop-2.6.5.tar.gz两个软件包通过ftp上传到node01/home目录下：

1. 解压jdk-7u67-linux-x64.rpm：

 //将jdk解压至node01的/usr/local目录下
 [root@node01 ~]#  rpm -ivh  jdk-7u67-linux-x64.rpm

2. 修改配置文件/etc/profile:

[root@node01 ~]# vi /etc/profile

3. 执行并验证

1 [root@node01 ~]# source /etc/profile  //使配置文件生效
2 [root@node01 ~]# jps          //验证Java环境
  1348 jps                     //java环境成功安装

4. 分发给node02、node03、node04

//将jdk部署到其它三台机器
[root@node01 ~]# scp -r  /usr/local/java node02：/usr/local/  
[root@node01 ~]# scp -r  /usr/local/java node03：/usr/local/  
[root@node01 ~]# scp -r  /usr/local/java node04：/usr/local/  

//将配置文件远程拷贝到其它三台机器
[root@node01 ~]# scp -r  /etc/profile node02：/etc/
[root@node01 ~]# scp -r  /etc/profile node03：/etc/
[root@node01 ~]# scp -r  /etc/profile node04：/etc/

2.2 ssh免密钥配置

• 免密钥需求场景
  • 管理脚本远程管理其它节点启停服务时，namenode上的管理脚本需要免密钥访问其他节点
  • 在HA架构模型中，主备namenode上的ZKFC需要通过免密钥控制对方和自己

[root@node01 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa   //获取密钥，四台节点都要做
  
  ##想免密钥访问谁，就把自己的公钥放到谁的authorized_keys文件中
1 [root@node01 .ssh]# cat id_dsa.pub >> authorized_keys   //和自己免密钥
2 [root@node01 .ssh]# scp id_dsa node02:`pwd`/node01.pub   //把node01公钥发给node02，并命名为node01.pub
3 [root@node02 .ssh]# cat node01.pub >> authorized_keys   //实现了node01对node02的免密钥登录
 
 ##对node03、node04采用上述2、3步骤
 ##本集群搭建需要做node01免密钥访问node02、node03、node04
 ##以及node02免密钥访问node01
 

3. Hadoop及Zookeeper部署

3.1 Hadoop安装及配置

3.1.1 解压hadoop-2.6.5.tar.gz：

为了简便，只需要在 node01 上安装和配置好 Hadoop ，然后通过远程拷贝命令分发给 node02、node03、node04。

 //将hadoop-2.6.5.tar.gz解压至node01的/opt/soft目录下
 [root@node01 ~]# tar -zxvf  hadoop-2.6.5.tar.gz
 [root@node01 ~]# mv hadoop-2.6.5 /opt/soft   //把解压的目录移动至/opt/soft

3.1.2 修改配置文件/etc/profile:

[root@node01 ~]# vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_67
export HADOOP_HOME=/opt/sxt/hadoop-2.6.5 #配置家目录
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  #配置bin和sbin执行目录

3.1.3 修改 hadoop-env.sh 和 mapred-env.sh 配置文件

在 Hadoop 中主要修改的配置文件有以下7个：
hadoop-env.sh、mapred-env.sh、hdfs-site.xml、core-site.xml、slaves、mapred-site.xml、yarn-site.xml。
在 MR 离线计算时，名称节点在使用脚本远程访问其它节点时，不会读取到 /etc/pofile 文件的 java 配置，所以要在这两个文件中配置 java 的绝对路径,上述配置的 JAVA_HOME。

[root@node01~]# cd $HADOOP_HOME
[root@node01 hadoop-2.6.5]# cd etc/hadoop
[root@node01 hadoop]# vi hadoop-env.sh

[root@node01 hadoop]# vi mapred-env.sh

3.1.4 配置hdfs-site.xml 文件

该文件的配置总共包含以下五点：

• 指定存放block块的数据节点（Datanode）的副本数，一般不超过所设定的数据节点数，本文设为3，提供以下配置源代码：

[root@node01 hadoop]# vi hdfs-site.xml

	<property>
        <name>dfs.replication</name>
        <value>3</value>
	</property>

• 逻辑到物理的映射，namenode服务集群node01、node02，以及他们的启动时所用的端口：8020，和浏览器访问时所用的端口：50070。提供以下配置源代码：

 <property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
 </property>

 <property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
 </property>
 
 <property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node01:8020</value>
 </property>
 
 <property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node02:8020</value>
 </property>
 
 <property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node01:50070</value>
 </property>
 
 <property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node02:50070</value>
 </property>

• journalnode相关信息配置，包括三台journalnode的节点及启动端口，和存放数据的目录。提供以下配置源代码：

 <property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
 </property>
 
 <property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/var/hadoop/ha/jn</value>
 </property>

• 故障的切换的实现和代理。提供以下配置源代码：

 <property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
 </property>

 <property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
 </property>

 <property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_dsa</value>
 </property>

• 实现 HDFS 的 HA（高可用）模型自动故障转移开关，打开后，会在名称节点上创建 ZooKeeper Failover Controller 进程，监控名称节点的健康状态。提供以下配置源代码：

 <property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

3.1.5 配置 core-site.xml 和 Slaves 文件

3.1.5.1 core-site.xml 文件的配置

• fs.defaultFS 的入口修改为上述配置的逻辑名称：hdfs://mycluster

[root@node01 hadoop]# vi core-site.xml

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop/ha</value>
    </property>

注意：hadoop.tmp.dir 是存放数据的目录，默认是 /tmp/ ，需要手动指定一个持久目录例：/var/hadoop/ha

• ZooKeeper Failover Controller 会用到 ZooKeeper ，需要配置 ZooKeeper 节点信息

 <property>
   <name>ha.zookeeper.quorum</name>
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>

3.1.5.2 Slaves 文件的配置

配置数据节点（Datanode）的位置：

[root@node01 hadoop]# vi slaves

#打开后添加如下内容：
node02
node03
node04

3.1.6 Hadoop 分发以及 HA HDFS on yarn 配置

3.1.6.1 Hadoop 分发

鉴于以上所有的操作全部都在 node01 虚拟机上操作，所以需要把 node01 上安装配置好的 Hadoop 远程分发到 node02 、node03 、node04 上。

#分发 Hadoop
[root@node01~]# cd $HADOOP_HOME  //回到 hadoop 的家目录
[root@node01 hadoop-2.6.5]# scp ./hadoop-2.6.5/   node2:`pwd`
[root@node01 hadoop-2.6.5]# scp ./hadoop-2.6.5/   node3:`pwd`
[root@node01 hadoop-2.6.5]# scp ./hadoop-2.6.5/   node4:`pwd`

#分发 Hadoop 的配置文件 /etc/profile
[root@node01 hadoop-2.6.5]# cd    //回到家目录
[root@node01~]# scp /etc/profile  node02:/etc/
[root@node01~]# scp /etc/profile  node03:/etc/
[root@node01~]# scp /etc/profile  node04:/etc/

3.1.6.2 HA HDFS on yarn 配置

• yarn 是 Hadoop 2.x 新引入的资源管理系统，yarn 的引入把资源管理和计算调度进行解耦，可使得多个计算框架运行在一个集群，如MapReduce、spark、storm 。yarn 主要有 Resourcemanager （负责整个集群的资源管理及调度）和 Nodemanager (向 RM 汇报集群节点的资源使用情况，管理container的生命周期)两个角色。
  该项配置主要包括 mapre-site.xml 和 yarn-site.xml 两个文件：

[root@node01 hadoop]# cp  mapre-site.xml.template  mapre-site.xml   //复制一份
[root@node01 hadoop]# vi mapre-site.xml

 #实现了 MapReduce on yarn
 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
  </property>

注：以上为配置源代码

[root@node01 hadoop]# vi yarn-site.xml

 <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node03</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node04</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>

注： 以上为配置源代码。主要配置 Resourcemanager 和 Nodemanager 的主机位置

• 将 mapre-site.xml 和 yarn-site.xml 两个文件分发给 node02。

[root@node01 hadoop]# scp  mapre-site.xml  yarn-site.xml  node02:`pwd`

至此所有虚拟机 Hadoop 的安装及配置已经完成。

3.2 ZooKeeper 安装及配置

由 1.1 中的角色进程分配表可知，ZooKeeper 分配在node02、node03、node04 三台节点上，所以只需要在 node02 上安装配置好 ZooKeeper ,然后通过远程拷贝命令分发给 node03、node04。

3.2 .1 ZooKeeper 安装

[root@node02~]# tar -zxvf zookeeper-3.4.6.tar.gz
[root@node02~]# mv  zookeeper-3.4.6.tar.gz  /opt/soft    //把解压的文件移至此目录
[root@node02~]# vi /etc/profile

//配置 ZooKeeper home 目录和 bin 目录
export JAVA_HOME=/usr/java/jdk1.7.0_67
export HADOOP_HOME=/opt/sxt/hadoop-2.6.5
export ZOOKEEPER_HOME=/opt/sxt/zookeeper-3.4.6
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin

3.2 .1 ZooKeeper 配置

[root@node02~]# cd $ZOOKEEPER_HOME
[root@node02 zookeeper-3.4.6]# cd conf
[root@node02 conf]# mv  zoo_sample.cfg  zoo.cfg  //复制一份并重命名为 zoo.cfg
[root@node02 conf]# vi zoo.cfg

保存后退出。
创建刚刚配置的目录，并把事务 id 存入 myid 文件中。

[root@node02 conf]# mkdir -p /var/hadoop/zk   //创建目录
[root@node02 conf]# echo 1  >>  /var/hadoop/zk/myid   //把事务 id 存入 myid 文件中
[root@node02 conf]# cd /opt/soft
[root@node02 soft]# scp -r  ./zookeeper-3.4.6  node03:`pwd` //将 ZooKeeper 分发给node03
[root@node02 soft]# scp -r  ./zookeeper-3.4.6  node04:`pwd` //将 ZooKeeper 分发给node04

//同时将 /etc/profile 配置文件分发给 node03 node04
[root@node02 soft]# scp -r /etc/profile  node03:/etc/
[root@node02 soft]# scp -r /etc/profile  node03:/etc/

值得注意的是，需要分别切换到 node03 、node04 上，重复创建目录和存事务 id两件事。

# 在 node03 上：
[root@node03 ~]# mkdir -p /var/hadoop/zk   //创建目录
[root@node03 ~]# echo 2  >>  /var/hadoop/zk/myid   //把事务 id 存入 myid 文件中

# 在 node04 上：
[root@node04 ~]# mkdir -p /var/hadoop/zk   //创建目录
[root@node04 ~]# echo 3  >>  /var/hadoop/zk/myid   //把事务 id 存入 myid 文件中

值得恭喜，Hadoop 和 ZooKeeper 两个软件都已经安装配置成功啦！

3.3 HDFS 、ZooKeeper 和 yarn 启动

3.3.1 启动 ZooKeeper

# 分别在 node02 node03 node04 执行以下命令,依次启动 ZooKeeper，ZooKeeper 要先启动
[root@node02 ~]# zkServer.sh  start

3.3.2 启动 HDFS

启动 HDFS 前，需要格式化 Namenode，格式化 Namenode 前需要启动 journalnode ，因为主备两台 Namenode 需要通过 journalnode 传递数据。

  # 第一、分别在 node01 node02 node03 执行以下命令，依次启动 journalnode
[root@node01 ~]# hadoop-daemon.sh  start  journalnode

 # 第二、在 node01 上格式化 namenode
[root@node01 ~]# hdfs namenode  -format  

 # 第三、启动 node01 上的 namenode 
 [root@node01 ~]# hadoop-daemon.sh  start  namenode

 # 第四、在 node02 上同步
 [root@node02 ~]# hdfs  namenode  -bootstrapStandby

 # 第五、在 node01 上格式化 ZooKeeper，此步是启动  ZooKeeper Failover Controller 进程的前置依赖
 [root@node01 ~]# hdfs  zkfc  -formatZK

注意：第二步，需要见到 successfully 字样，namenode才算格式化成功，否则重来

两次格式化做完，终于可以启动 HDFS 了。

 # 在 node01 上 执行以下命令启动 HDFS
[root@node01 ~]# start-dfs.sh

 # 在四台虚拟机上执行 jps 命令验证 HDFS 启动情况
 # node01
[root@node01 ~]# jps 
4213 NameNode
5148 Jps
4089 JournalNode
4650 DFSZKFailoverController

 # node02
[root@node02 ~]# jps
3099 DFSZKFailoverController
2809 JournalNode
1813 QuorumPeerMain
2923 NameNode
4475 Jps

 # node03
[root@node03 ~]# jps
 2372 Jps
1610 QuorumPeerMain
2171 JournalNode

 # node04
[root@node04 ~]# jps
1511 QuorumPeerMain
1982 Jps

3.3.3 启动 yarn

 # 第一、在 node01 上执行以下命令，启动 三台 Nodemanager
[root@node01 ~]# start-yarn.sh

 # 第二、在 node03 上执行以下命令，手工启动 Resourcemanager
[root@node03 ~]# yarn-daemon.sh  start  resourcemanager

# 第三、在 node04 上执行以下命令，手工启动 Resourcemanager
[root@node04 ~]# yarn-daemon.sh  start  resourcemanager  

注意：上述命令执行完后，依次在 node02、node03 、node04 上执行 jps 验证：node02 比原来多了一个 NodeManager 进程；node03 和 node04 都多了一个 NodeManager 和 ResourceManager 进程。

结语：感谢你！耐心的看完了这篇文章！也恭喜你！我们又成长了一步！建议大家亲手实践一遍，搭建集群不是最终目的，最重要的是理解整个基于 HDFS ，MapReduce on yarn 架构模型！