hadoop2.8 ha 集群搭建

简介:

  最近在看hadoop的一些知识,下面搭建一个ha (高可用)的hadoop完整分布式集群:

  hadoop的单机,伪分布式,分布式安装

hadoop2.8 集群 1 (伪分布式搭建

hadoop2.8 ha 集群搭建

  hbase完整分布式集群搭建

  hadoop完整集群遇到问题汇总

搭建步骤:

主机 别名 安装软件 现有进程 服务地址
192.168.248.138 cdh1 hadoop2.8 jdk1.8 namenode DFSZKFailoverController http://cdh1:50070 
192.168.248.139 cdh2 hadoop2.8 jdk1.8 namenode DFSZKFailoverController http://cdh1:50070
192.168.248.140 cdh3 hadoop2.8 jdk1.8 ResourceManager  
192.168.248.141 cdh4 hadoop2.8 jdk1.8 zookeeper3.4.13 QuorumPeerMain JournalNode DataNode NodeManager  http://cdh3:8088
192.168.248.142 cdh5 hadoop2.8 jdk1.8 zookeeper3.4.13  QuorumPeerMain JournalNode DataNode NodeManager   
192.168.248.143 cdh6 hadoop2.8 jdk1.8 zookeeper3.4.13  QuorumPeerMain JournalNode DataNode NodeManager   
192.168.248.144 cdh7 hadoop2.8 jdk1.8  JournalNode DataNode NodeManager   

1>  关闭防火墙,禁止设置开机启动:

    (1) //临时关闭 systemctl stop firewalld

    (2) //禁止开机启动 systemctl disable firewalld

     hadoop2.8   ha 集群搭建

    注意:centos7防火墙默认是:firewalld

      centos6 的命令是:

        //临时关闭

        service iptables stop

        //禁止开机启动

        chkconfig iptables off

      2> 修改selinux 属性为disabled

        hadoop2.8   ha 集群搭建

      注意:修改了selinux或者修改了hostname需要重启使其生效【在这我没立即启动,下面配置好基础环境后再统一启动】

    3> Yum 安装net-tools.x86_64和lrzsz.x86_64

      (1) Net-tools是为了ifconfig    yum install -y net-tools.x86_64

      (2) Lrzsz是方便拖文件上传    yum install -y  lrzsz.x86_64

      因为我的镜像是,mini版的centos,除了基础命令和yum其他命令都需要自己安装。如果用完整版centos这些命令都已经集成进去了。 

    4>  准备集群所需要的相应软件安装包

      (1) Jdk1.8

      (2) Hadoop2.8

      (3) Zookeeper3.4.13

    暂时准备这这些基本软件,在cdh家目录下创建一个hadoop目录,把上述基本软件上传到该家目录下的hadoop文件夹下。

      hadoop2.8   ha 集群搭建

      (4) 安装jdk【用root权限去安装】

        ① [cdh@localhost hadoop]$ tar -zxvf jdk-8u181-linux-x64.tar.gz

        ② 修改环境变量  vi ~/.bash_profile |   vi /etc/profile

        hadoop2.8   ha 集群搭建

        source ~/.bash_profile  使其生效

        Java -version 验证安装是否成功

        hadoop2.8   ha 集群搭建

    到这cdh1号机器基本软件安装完成:下面我来关闭cdh1来克隆几份服务器,这样cdh1安装配置那些软件和配置都会同步过去。克隆步骤如下

      (1) 首先关闭cdh1服务器,因为在启动和挂起的状态下无法克隆机器。

        hadoop2.8   ha 集群搭建

        hadoop2.8   ha 集群搭建

        hadoop2.8   ha 集群搭建

        hadoop2.8   ha 集群搭建

        hadoop2.8   ha 集群搭建

        hadoop2.8   ha 集群搭建

        hadoop2.8   ha 集群搭建

       启动cdh1-cdh7   在xshell中建立对七个虚机的连接

          hadoop2.8   ha 集群搭建

        注意,在这我使用的不是root用户,都是普通用户cdh

    5> 安装hadoop集群的准备工作:

      (1) 修改主机名:

      root用户登录

        vi /etc/hostname

        自定义主机名

      重启 reboot

      (2) ssh免密登录问题。

      分别在每个节点上生成公钥私钥:
              cd /root/.ssh    
              ssh-keygen -t rsa三次回车
              cp id_rsa.pub  authorized_keys

        hadoop2.8   ha 集群搭建

       复制秘钥报错,是因为解析主机报错。配置/etc/hosts即可

        hadoop2.8   ha 集群搭建

        hadoop2.8   ha 集群搭建

    将cdh2、cdh3、cdh4、cdh5、cdh6,cdh7的私钥复制到cdh1节点上:

       在cdh2节点上执行:ssh-copy-id -i cdh1

        在cdh3节点上执行:ssh-copy-id -i cdh1

        在cdh4节点上执行:ssh-copy-id -i cdh1

       在cdh5节点上执行:ssh-copy-id -i cdh1

      在cdh6节点上执行:ssh-copy-id -i cdh1

        在cdh7节点上执行:ssh-copy-id -i cdh1

  将cdh1节点上的authorized_keys复制给cdh2、cdh3、cdh4、cdh5、cdh6,cdh7节点:

        在cdh1节点上执行:scp /root/.ssh/authorized_keys cdh2:/root/.ssh/

      在cdh1节点上执行:scp /root/.ssh/authorized_keys cdh3:/root/.ssh/

       在cdh1节点上执行:scp /root/.ssh/authorized_keys cdh4:/root/.ssh/

       在cdh1节点上执行:scp /root/.ssh/authorized_keys cdh5:/root/.ssh/

      在cdh1节点上执行:scp /root/.ssh/authorized_keys cdh6:/root/.ssh/

      在cdh1节点上执行:scp /root/.ssh/authorized_keys cdh7:/root/.ssh/

  验证ssh免密码登录(包括登录自己):

      在cdh1节点上执行:ssh cdh1、ssh cdh2、ssh cdh3、ssh cdh4、ssh cdh5、ssh cdh6,ssh cdh7

       在cdh2节点上执行:ssh cdh1、ssh cdh2、ssh cdh3、ssh cdh4、ssh cdh5、ssh cdh6,ssh cdh7

      在cdh3节点上执行:ssh cdh1、ssh cdh2、ssh cdh3、ssh cdh4、ssh cdh5、ssh cdh6,ssh cdh7

      在cdh4节点上执行:ssh cdh1、ssh cdh2、ssh cdh3、ssh cdh4、ssh cdh5、ssh cdh6,ssh cdh7

      在cdh5节点上执行:ssh cdh1、ssh cdh2、ssh cdh3、ssh cdh4、ssh cdh5、ssh cdh6,ssh cdh7

      在cdh6节点上执行:ssh cdh1、ssh cdh2、ssh cdh3、ssh cdh4、ssh cdh5、ssh cdh6,ssh cdh7

       在cdh7节点上执行:ssh cdh1、ssh cdh2、ssh cdh3、ssh cdh4、ssh cdh5、ssh cdh6,ssh cdh7

  6> 在cdh1节点上配置hadoop2.8

    (1) 配置hadoop环境变量

      hadoop2.8   ha 集群搭建

      source /etc/profile  保存生效

    (2) 修改位于hadoop/etc/hadoop下的配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves)

      修改hadoop-env.sh:

        hadoop2.8   ha 集群搭建

      修改core-site.xml

        hadoop2.8   ha 集群搭建

      修改hdfs-site.xml

        

<configuration>
<!--指定hdfs的nameservice为ns1,需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode,分别是nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>cdh1:</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>cdh1:</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>cdh2:</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>cdh2:</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://cdh4:8485;cdh5:8485;cdh6:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/cloud/hadoop/journal</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
</configuration>

      修改mapred-site.xml

        hadoop2.8   ha 集群搭建

      修改yarn-site.xml

        hadoop2.8   ha 集群搭建

      修改slaves:(datanode节点设置,cdh7是我预留的机器,装ozzie或者pig的暂时不放入datanode节点中)【如果需要把其他机器作为datanode节点。只需要在这配置,然后同步到其他机器上,然后namenode重新格式化即可

        cdh4

        cdh5

        cdh6

注意:core-site.xml中指定了hadoop数据存放的本地磁盘路径是/hadoop/data,而这个/hadoop/下data文件夹是不存在需要创建;
         hdfs-site.xml中指定了JournalNode在本地磁盘存放数据的位置是/hadoop/journal,而/hadoop/下的journal文件夹是不存在的需要创建。
    此上6个配置文件都是hdp1节点上的,修改完成后将配置好的环境变量/etc/profile文件、/cloud/jdk文件夹和/cloud/hadoop文件夹复制到其他节点:
        
              在hdp1节点上执行: scp -r /hadoop/ cdh2:/

    在hdp1节点上执行: scp -r /hadoop/ cdh3:/

    在hdp1节点上执行: scp -r /hadoop/ cdh4:/

    在hdp1节点上执行: scp -r /hadoop/ cdh5:/

    在hdp1节点上执行: scp -r /hadoop/ cdh6:/

  在hdp1节点上执行: scp -r /hadoop/ cdh7:/
     将环境变量/etc/profile文件复制到其他节点(在其他节点上要执行source /etc/profile使其修改立即生效):
           scp /etc/profile cdh2:/etc/

    scp /etc/profile cdh3:/etc/

    scp /etc/profile cdh4:/etc/

    scp /etc/profile cdh5:/etc/

    scp /etc/profile cdh6:/etc/

    scp /etc/profile cdh7:/etc/

7> 在cdh4,cdh5,cdh6配置zk集群

  cd /hadoop/目录下

  解压zookeeper-3.4.13.tar.gz:tar -zxvf zookeeper-3.4.13.tar.gz(当前目录下多了一个zookeeper-3.4.13文件夹)

    重命名zookeeper-3.4.13:mv zookeeper-3.4.13 zookeeper

  cd到/hadoop/zookeeper/conf/目录下:cp zoo_sample.cfg zoo.cfg

    vi zoo.cfg

    修改:dataDir=/hadoop/zookeeper/data

在最后面添加:

   server.1=cdh4:2888:3888

   server.2=cdh5:2888:3888

  server.3=cdh6:2888:3888

在/hadoop/zookeeper/创建data文件夹,进入/hadoop/zookeeper/data下创建myid文件,内容为1

将/hadoop/zookeeper文件夹复制到cdh5和cdh6下:

在cdh4节点上执行:scp -r /hadoop/zookeeper cdh5:/hadoop/

在cdh4节点上执行:scp -r /hadoop/zookeeper cdh6:/hadoop/

在cdh5节点上修改/hadoop/zookeeper/data/myid为2

在cdh6节点上修改/hadoop/zookeeper/data/myid为3

  启动zk集群:

    启动cdh4、cdh5和cdh6节点上的zk

     分别在每个节点上执行:

      cd /hadoop/zookeeper/bin目录下

      启动zk:./zkServer.sh start

     查看状态:

     zkServer.sh status(leader或follower)

     jps后多出来个quorumpeerMain

8> 8在cdh1节点上启动journalnode(会启动所有journalnode)

cd /hadoop/hadoop-2.8.0/sbin目录下

启动journalnode:hadoop-daemons.sh start journalnode(在cdh4、cdh5和cdh6节点上运行jps命令检验,多了JournalNode进程)

    hadoop2.8   ha 集群搭建

9> 在hdp1节点上格式化HDFS
    格式化HDFS:hadoop namenode -format
    将格式化后生成的hadoop的数据文件都在hdp1节点上,需要将hdp1节点上的数据同步到hdp2节点上,因为hdp1节点和hdp2节点是ha,这里我直接复制:

scp -r /hadoop/data hdp2:/hadoop

10> 在cdh1节点上格式化ZK

格式化ZK:hdfs zkfc -formatZK

11> 在cdh1节点上启动HDFS

cd /cloud/hadoop/sbin目录下

启动HDFS:start-dfs.sh

12> 在cdh3节点上启动YARN
    cd /hadoop/hadoop2.8.0/sbin目录下
    启动YARN:start-yarn.sh

13> 验证namenode

验证cdh1节点上的NameNode:jps或者http://cdh1:50070
    验证cdh2节点上的NameNode:jps或者http://cdh2:50070
    验证cdh3节点上的YARN:jps或者http://cdh3:8088/

 hadoop2.8   ha 集群搭建

    hadoop2.8   ha 集群搭建

    hadoop2.8   ha 集群搭建

 


到这,hadoop的高可用集群已经搭建好了,有兴趣的可以仔细看看搭建过程


补充:各节点的启动进程  (jps看)

   hadoop2.8   ha 集群搭建

 

  

上一篇:golang交叉编译:Linux - Windows


下一篇:Golang 交叉编译跨平台的可执行程序 (Mac、Linux、Windows )