Zookeeper分布式安装部署

在 hadoop102、hadoop103 和 hadoop104 三个节点上部署 Zookeeper

同步脚本xsync

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ==================== $host ====================
    #3. 遍历所有目录，挨个发送
    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

1. 集群配置

1. 解压安装

   • 解压 Zookeeper 安装包到/opt/module/目录下

     [codecat@hadoop102 software]$ tar -zxvf zookeeper3.4.10.tar.gz -C /opt/module/
     

   • 同步/opt/module/zookeeper-3.4.10 目录内容到 hadoop103、hadoop104

     [codecat@hadoop102 module]$ xsync zookeeper-3.4.10/
     

2. 配置服务器编号

   • 在/opt/module/zookeeper-3.4.10/这个目录下创建 zkData

     [codecat@hadoop102 zookeeper-3.4.10]$ mkdir -p zkData
     

   • 在/opt/module/zookeeper-3.4.10/zkData 目录下创建一个 myid 的文件，并在文件中添加与 server 对应的编号：2

     [codecat@hadoop102 zkData]$ vim myid
     

   • 分发配置好的myid到其他机器上，并分别在 hadoop103、hadoop104 上修改 myid 文件中内容为 3、4

     [codecat@hadoop102 zkData]$ xsync myid
     

3. 配置 zoo.cfg 文件

   • 重命名/opt/module/zookeeper-3.4.10/conf 这个目录下的 zoo_sample.cfg 为 zoo.cfg

     [codecat@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg
     

   • 打开zoo.cfg文件

     [codecat@hadoop102 conf]$ vim zoo.cfg
     

     1. 修改数据存储路径配置

        dataDir=/opt/module/zookeeper-3.4.10/zkData
        

     2. 增加如下配置

        #######################cluster##########################
        server.2=hadoop102:2888:3888
        server.3=hadoop103:2888:3888
        server.4=hadoop104:2888:3888
        

   • 同步 zoo.cfg 配置文件

     [codecat@hadoop102 conf]$ xsync zoo.cfg
     

2. 配置zoo.cfg参数解读

1. tickTime =2000：通信心跳数，Zookeeper 服务器与客户端心跳时间，单位毫秒
2. initLimit =10：LF 初始通信时限
   • 集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限
3. syncLimit =5：LF 同步通信时限
   • 集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。
4. dataDir：数据文件目录+数据持久化路径
   • 主要用于保存 Zookeeper 中的数据
5. clientPort =2181：客户端连接端口
6. server.A=B:C:D
   • A 是一个数字，表示这个是第几号服务器。集群模式下配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面有一个数据就是A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server
   • B 是这个服务器的地址
   • C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口
   • D 是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口

3. 集群操作

编写zk.sh脚本

#!/bin/bash
case $1 in
"start"){
		for i in hadoop102 hadoop103 hadoop104
		do
				echo ---------- zookeeper $i 启动 ------------
				ssh $i "/opt/module/zookeeper-3.5.9/bin/zkServer.sh start"
		done
};;
"stop"){
		for i in hadoop102 hadoop103 hadoop104
		do
				echo ---------- zookeeper $i 停止 ------------
				ssh $i "/opt/module/zookeeper-3.5.9/bin/zkServer.sh stop"
		  done
};;
"status"){
		for i in hadoop102 hadoop103 hadoop104
		do
				echo ---------- zookeeper $i 状态 ------------
				ssh $i "/opt/module/zookeeper-3.5.9/bin/zkServer.sh status"
		done
};;
esac

1. 启动
   

2. 查看状态
   

3. 停止