尚硅谷Zookeeper学习笔记

2023-09-29 23:27:10

一、ZooKeeper简介

ZooKeeper的说明：是一个分布式的，开放源码的分布式应用程序协调服务
ZooKeeper的目标：就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

ZooKeeper的特点：
尚硅谷Zookeeper学习笔记
1、Zookeeper:一个领导者(Leader)，多个跟随者(Follower）组成的集群。
2、集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。
3、全局数据一致:每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。
4、更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行。
5、数据更新原子性,—次数据更新要么成功，要么失败。
6、实时性,在一定时间范围内，Client能读到最新数据。

ZooKeeper的数据结构：树
ZooKeeper数据模型的结构与Unix文件系统很类以，整体上可以看作是一棵树，每个节点称做一个ZNode。
每一个ZNode默认能够存储1MB的数据，每个ZNTode都可以通过其路径唯一标识。

尚硅谷Zookeeper学习笔记

ZooKeeper的运用场景：提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。,

统一命名服务
在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。
例如∶IP不容易记住，而域名容易记住。
尚硅谷Zookeeper学习笔记
统一配置管理
1)分布式环境下，配置文件同步非常常见。
(1)一般要求一个集群中，所有节点的配置信息是一致的，比如Kafka集群。
(2)对配置文件修改后，希望能够快速同步到各个节点上。
2）配置管理可交由ZooKeeper实现。
(1)可将配置信息写入ZooKeeper上的一个Znode。
(2)各个客户端服务器监听这个Znode。
(3)一旦Znode中的数据被修改，ZooKeeper将通知各个客户端服务器。
尚硅谷Zookeeper学习笔记

统一集群管理
1)分布式环境中，实时掌握每个节点的状态是必要的。
(1)可根据节点实时状态做出一些调整。
2)ZooKeeper可以实现实时监控节点状态变化
(1)可将节点信息写入ZooKeeper上的一个ZNode。
(2)监听这个ZNode可获取它的实时状态变化。
尚硅谷Zookeeper学习笔记

服务器节点动态上下线
尚硅谷Zookeeper学习笔记

软负载均衡。
尚硅谷Zookeeper学习笔记

二、ZooKeeper的下载安装

ZooKeeper的下载地址
https://zookeeper.apache.org/releases.html#download
或
http://archive.apache.org/dist/zookeeper/
解压
尚硅谷Zookeeper学习笔记
修改配置文件名
尚硅谷Zookeeper学习笔记

修改存储路径
尚硅谷Zookeeper学习笔记

启动服务
尚硅谷Zookeeper学习笔记
启动客户端
尚硅谷Zookeeper学习笔记
关闭客户端
尚硅谷Zookeeper学习笔记
关闭服务端
尚硅谷Zookeeper学习笔记

三、配置参数解读

Zookeeper中的配置文件zoo.cfg中参数含义解读如下：

1．tickTime =2000：通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒
Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。
它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

2．initLimit =10：LF初始通信时限
集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。

3．syncLimit =5：LF同步通信时限
集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。

4．dataDir：数据文件目录+数据持久化路径
主要用于保存Zookeeper中的数据。

5．clientPort =2181：客户端连接端口
监听客户端连接的端口。

四、Zookeeper内部原理

3.1 选举机制（面试重点）
1）半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。

2）Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。

3）以一个简单的例子来说明整个选举的过程。

假设有五台服务器组成的Zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么，
尚硅谷Zookeeper学习笔记
（1）服务器1启动，此时只有它一台服务器启动了，它发出去的报文没有任何响应，所以它的选举状态一直是LOOKING状态。

（2）服务器2启动，它与最开始启动的服务器1进行通信，互相交换自己的选举结果，由于两者都没有历史数据，所以id值较大的服务器2胜出，但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3)，所以服务器1、2还是继续保持LOOKING状态。

（3）服务器3启动，根据前面的理论分析，服务器3成为服务器1、2、3中的老大，而与上面不同的是，此时有三台服务器选举了它，所以它成为了这次选举的Leader。

（4）服务器4启动，根据前面的分析，理论上服务器4应该是服务器1、2、3、4中最大的，但是由于前面已经有半数以上的服务器选举了服务器3，所以它只能接收当小弟的命了。

（5）服务器5启动，同4一样当小弟。

五、节点类型

尚硅谷Zookeeper学习笔记

六、Stat结构体

1）czxid-创建节点的事务zxid

每次修改ZooKeeper状态都会收到一个zxid形式的时间戳，也就是ZooKeeper事务ID。

事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid，如果zxid1小于zxid2，那么zxid1在zxid2之前发生。

2）ctime - znode被创建的毫秒数(从1970年开始)

3）mzxid - znode最后更新的事务zxid

4）mtime - znode最后修改的毫秒数(从1970年开始)

5）pZxid-znode最后更新的子节点zxid

6）cversion - znode子节点变化号，znode子节点修改次数

7）dataversion - znode数据变化号

8）aclVersion - znode访问控制列表的变化号

9）ephemeralOwner- 如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0。

10）dataLength- znode的数据长度

11）numChildren - znode子节点数量

七、监听器原理（面试重点）

尚硅谷Zookeeper学习笔记

八、写数据流程

尚硅谷Zookeeper学习笔记

九、Zookeeper实战（开发重点）

1．集群规划
在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。

十、API应用

Eclipse环境搭建
1．创建一个Maven工程
2．添加pom文件

<dependencies>
     <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>RELEASE</version>
     </dependency>

     <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>2.8.2</version>
     </dependency>

     <!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper -->

     <dependency>
        <groupId>org.apache.zookeeper</groupId>
        <artifactId>zookeeper</artifactId>
        <version>3.4.10</version>
     </dependency>
</dependencies>

拷贝log4j.properties文件到项目根目录

需要在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入。

log4j.rootLogger=INFO, stdout 

log4j.appender.stdout=org.apache.log4j.ConsoleAppender 

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 

log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 

log4j.appender.logfile=org.apache.log4j.FileAppender 

log4j.appender.logfile.File=target/spring.log 

log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 

log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

创建ZooKeeper客户端

private static String connectString =

 "hadoop102:2181,hadoop103:2181,hadoop104:2181";

  private static int sessionTimeout = 2000;

  private ZooKeeper zkClient = null;

 

  @Before

  public void init() throws Exception {

 

  zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {

 

        @Override

        public void process(WatchedEvent event) {

 

           // 收到事件通知后的回调函数（用户的业务逻辑）

           System.out.println(event.getType() + "--" + event.getPath());

 

           // 再次启动监听

           try {

              zkClient.getChildren("/", true);

           } catch (Exception e) {

              e.printStackTrace();

           }

        }

     });

  }

创建子节点

// 创建子节点
@Test
public void create() throws Exception {
    // 参数1：要创建的节点的路径； 参数2：节点数据 ； 参数3：节点权限 ；参数4：节点的类型
    String nodeCreated = zkClient.create("/atguigu", "jinlian".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);

}

获取子节点并监听节点变化

// 获取子节点
@Test
public void getChildren() throws Exception {
     List<String> children = zkClient.getChildren("/", true);
     for (String child : children) {
        System.out.println(child);
     }
     // 延时阻塞
     Thread.sleep(Long.MAX_VALUE);
}

判断Znode是否存在

// 判断znode是否存在
@Test
public void exist() throws Exception {
  Stat stat = zkClient.exists("/eclipse", false);
  System.out.println(stat == null ? "not exist" : "exist");
}

十一、监听服务器节点动态上下线案例

1．需求
某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器的上下线。
2．需求分析，如图所示
尚硅谷Zookeeper学习笔记
（1）服务器端向Zookeeper注册代码

package com.atguigu.zkcase;
import java.io.IOException;
import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.ZooDefs.Ids;

public class DistributeServer {
  private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
  private static int sessionTimeout = 2000;
  private ZooKeeper zk = null;
  private String parentNode = "/servers";
  // 创建到zk的客户端连接
  public void getConnect() throws IOException{
      zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
         @Override
         public void process(WatchedEvent event) {
         }
      });
  }

  // 注册服务器
  public void registServer(String hostname) throws Exception{
      String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
      System.out.println(hostname +" is online "+ create);
  }
  // 业务功能
  public void business(String hostname) throws Exception{
      System.out.println(hostname+" is working ...");
      Thread.sleep(Long.MAX_VALUE);
  }
  public static void main(String[] args) throws Exception {
// 1获取zk连接
      DistributeServer server = new DistributeServer();
      server.getConnect();
      // 2 利用zk连接注册服务器信息

      server.registServer(args[0]);
      // 3 启动业务功能
      server.business(args[0]);
  }
}

（2）客户端代码

package com.atguigu.zkcase;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;

public class DistributeClient {
  private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";

  private static int sessionTimeout = 2000;

  private ZooKeeper zk = null;

  private String parentNode = "/servers";

  // 创建到zk的客户端连接
  public void getConnect() throws IOException {
      zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
         @Override
         public void process(WatchedEvent event) {
            // 再次启动监听
            try {
               getServerList();
            } catch (Exception e) {
               e.printStackTrace();
            }
         }
      });
  }
  // 获取服务器列表信息
  public void getServerList() throws Exception {
      // 1获取服务器子节点信息，并且对父节点进行监听
      List<String> children = zk.getChildren(parentNode, true);
        // 2存储服务器信息列表
      ArrayList<String> servers = new ArrayList<>();
        // 3遍历所有节点，获取节点中的主机名称信息
      for (String child : children) {
         byte[] data = zk.getData(parentNode + "/" + child, false, null);
         servers.add(new String(data));
      }
        // 4打印服务器列表信息
      System.out.println(servers);
  }

  // 业务功能
  public void business() throws Exception{
      System.out.println("client is working ...");
Thread.sleep(Long.MAX_VALUE);
  }
  public static void main(String[] args) throws Exception {
      // 1获取zk连接
      DistributeClient client = new DistributeClient();
      client.getConnect();
      // 2获取servers的子节点信息，从中获取服务器信息列表
      client.getServerList();
      // 3业务进程启动
      client.business();
  }
}

十二、企业面试真题

请简述ZooKeeper的选举机制
半数机制

ZooKeeper的监听原理是什么？
详见7。

5.3 ZooKeeper的部署方式有哪几种？集群中的角色有哪些？集群最少需要几台机器？
（1）部署方式单机模式、集群模式

（2）角色：Leader和Follower

（3）集群最少需要机器数：3

5.4 ZooKeeper的常用命令
ls create get delete set…

可参考：https://www.cnblogs.com/woju/p/15691349.html

上一篇：已解决—org.apache.catalina.core.StandardContext.filterStart 启动过滤器异常


下一篇：【Hadoop】——MapReduce：概述&案例