hadoop集群HA高可用搭建
❀❀❀❀❀搭建前的简单介绍❀❀❀❀❀
主机配置环境如下表：

Hadoop HA原理:
   在一典型的HA集群中，每个NameNode是一*立的服务器。在任一时刻，只有一个NameNode处于active状态，另一个处于standby状态。其中，active状态的NameNode负责所有的客户端操作，standby状态的NameNode处于从属地位，维护着数据状态，随时准备切换(两种切换方式，选择手动切换和自动切换)。手动切换是通过命令实现主备之间的切换，可以用HDFS升级等场合，自动切换方案基于Zookeeper。两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了。

HA集群的架构图

将四台机子node01,node02,node03,node04，按如下HA安装方案图进行集群规划。
HA安装方案图

*表示虚拟机要配置该角色

hadoop 2.X介绍
 Hadoop 2.x由HDFS、MapReduce和YARN三个分支构成；
 HDFS：NN Federation（联邦）、HA；
 2.X:只支持2个节点HA，3.0实现了一主多从
 MapReduce：运行在YARN上的MR；
   离线计算，基于磁盘I/O计算
 YARN：资源管理系统
作用：
 a.解决HDFS 1.0中单点故障和内存受限问题。
 b.解决单点故障
   HDFS HA：通过主备NameNode解决
   如果主NameNode发生故障，则切换到备 NameNode上
 c.解决内存受限问题
   HDFS Federation(联邦)
   水平扩展，支持多个NameNode；
 （1）每个NameNode分管一部分目录；
 （2）所有NameNode共享所有DataNode存储资源

xftp和xshell介绍：
  xftp 是一个基于 MS windows 平台的功能强大的SFTP、FTP 文件传输软件。
  xshell 是一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。
 本人安装了xshell5.0和Xftp-4.0。在搭建过程中，使用xshell连接4台虚拟机，进行命令操作，这样十分方便，免去了鼠标在windows和linux之间来回切换的不便性。
xftp传输文件页面如下（左右两边文件可互传）：

准备工作：
 开启node01，node02，node03，node04四台虚拟机，4台虚拟机之间可以互相访问（可ping通），root用户登录。

开启虚拟机出现虚拟机繁忙问题解决办法：
 当你启动虚拟机时，虚拟机卡住或者关不掉虚拟机的情况，可以试试重启一下你的计算机，如果还是无法解决的话，接下来可以win+R,输入msconfig命令，重新启动一下VMware相关的五项服务。

xshell连接上四台虚拟机，接下来的命令都在xshell中进行。

现在就可以动手开始搭建啦~~

一、搭建集群

1、软件安装

1.1 安装jdk

在node01上用rpm装jdk，命令如下：

-rpm -i jdk-7u67-linux-x64.rpm
-whereis java
-vi + /etc/profile
	export JAVA_HOME=/usr/bin/java
	export PATH=$PATH:$JAVA_HOME/bin
-source /etc/profile

运行图如下：