大数据之03Zookeeper分布式集群搭建

2023-12-10 21:53:21

03Zookeeper分布式集群搭建

Zookeeper的特点

Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

第一步：集群规划

在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper

第二步：解压安装

解压Zookeeper安装包到/opt/module/目录下

[tan@hadoop102 software]$tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/

第三步：重命名

将apache-zookeeper-3.5.7-bin重命名为zookeeper

cd /opt/module/
mv apache-zookeeper-3.5.7-bin zookeeper

将zoo-sample.cfg 重命名为 zoo.cfg

cd /opt/module/zookeeper/conf
mv zoo-sample.cfg zoo.cfg

第四步：修改zook.cfg文件

（1）打开zoo.cfg文件

[tan@daoop102 conf]$ pwd
/opt/module/zookeeper/conf
[tan@daoop102 conf]$ vim zoo.cfg

（2）修改数据存储路径配置

dataDir=/opt/module/zookeeper-3.5.7/zkData

增加以下配置

server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

（3）同步/opt/module/zookeeper目录内容到hadoop103、hadoop104

[tan@hadoop102 module]$ xsync zookeeper/

（4）配置参数解读

server.A=B:C:D。

A是一个数字，表示这个是第几号服务器；
集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
B是这个服务器的地址； C是这个服务器Follower与集群中的Leader服务器交换信息的端口；
D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

第五步：配置服务器编号

（1）在/opt/module/zookeeper/这个目录下创建zkData

[tan@daoop102 zookeeper]$ pwd
/opt/module/zookeeper
[tan@daoop102 zookeeper]$ mkdir zkData

（2）在/opt/module/zookeeper/zkData目录下创建一个myid的文件

[tan@daoop102 zkData]$ pwd
/opt/module/zookeeper/zkData
[tan@daoop102 zkData]$ touch myid

（3）编辑myid文件

[tan@daoop102 zkData]$ vim myid

在文件中添加与server对应的编号：

（4）拷贝配置好的zookeeper到其他机器上

[tan@hadoop102 zkData]$ xsync myid

并分别在hadoop103、hadoop104上修改myid文件中内容为3、4

第六步编辑环境变量

[tan@daoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

（1）添加如下配置：

#ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

（2）分发配置文件，同步集群

[tan@daoop102 ~]$ sudo xsync /etc/profile.d/my_env.sh

（3）重启xshell窗口，让环境变量生效

第七步：集群操作

（1）分别启动Zookeeper

[tan@daoop102 ~]$ zkServer.sh start
[tan@daoop103 ~]$ zkServer.sh start
[tan@daoop104 ~]$ zkServer.sh start

（2）查看状态

[tan@daoop102 ~]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower

[tan@hadoop103 ~]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: leade

[tan@hadoop104 ~]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower

利用jpsall脚本查看节点进程，当出现QuorumPeerMain，说明启动成功！

[tan@daoop102 ~]$ jpsall
========    hadoop102    ========
11066 QuorumPeerMain
========    hadoop103    ========
9797 QuorumPeerMain
========    hadoop104    ========
8922 QuorumPeerMain

Zookeeper安装包

链接：https://pan.baidu.com/s/1c1yg9miy0sjy51O24n7MPg 提取码：1907
复制这段内容后打开百度网盘手机App，操作更方便哦

码农公寓