Zookeeper入门看这篇就够了 命令 服务搭建

2024-04-05 16:29:18

Zookeeper

引言（重点必看）：本篇简介进行Zookeeper的介绍，以帮助各位更快的入手Zookeeper

  1. 一、Zookeeper理解 可以放到后面来看
  2. 二、Zookeeper功能 这个先看，想学一门技术，最起码要知道人家是干什么的。在没有学习Zookeeper之前我也是很懵的，因为网上对zookeeper的功能介绍很多都过与笼统，这一块比较细致的介绍
  3. 三、搭建Zookeeper服务器 开始动手进行服务器搭建
  4. 四、Zookeeper内部的数据模型
  5. 五、 Zookeeper 客户端( zkCli )的使用 zk常见命令

1、什么是Zookeeper

  • 他是一个分布式服务框架，是Appache Hadoop的一个子项目
  • Zookeeper是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。Zookeeper通过其简单的架构和API解决了这个问题，Zookeeper允许开发人员专注于核心应用程序逻辑，而不必担心应用程序的分布式特性。

2、Zookeeper干嘛的？

  • 主要用来解决分布式应用中经常遇到的一些数据管理问题
  • ZooKeeper主要服务于分布式系统，可以用ZooKeeper来做：统一配置管理、统一命名服务、分布式锁、集群管理。 也可以作为注册中心
  • 简单来说 Zookeeper = 文件系统 + 监听通知机制。

3、怎么学习Zookeeper?

  • ZooKeeper的数据结构，跟Unix文件系统非常类似，可以看做是一颗树，每个节点叫做ZNode。每一个节点可以通过路径来标识，结构图如下：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传Zookeeper入门看这篇就够了 命令 服务搭建

一、Zookeeper理解

那ZooKeeper这颗"树"有什么特点呢？ZooKeeper的节点我们称之为Znode，Znode分为两种类型

  • 短暂/临时(Ephemeral)：当客户端和服务端断开连接后，所创建的Znode(节点)会自动删除
  • 持久(Persistent)：当客户端和服务端断开连接后，所创建的Znode(节点)不会删除
  • 顺序节点 ：顺序节点可以是持久的或临时的。如果将具有路径 /myapp 的znode创建为顺序节点，则ZooKeeper会将路径更改为 /myapp0000000001 ，并将下一个序列号设置为0000000002。如果两个顺序节点是同时创建的，那么ZooKeeper不会对每个znode使用相同的数字。顺序节点在锁定和同步中起重要作用。

ZooKeeper和eureka、Redis一样，也是C/S结构(分成客户端和服务端)

Sessions（会话）

会话对于ZooKeeper的操作非常重要。会话中的请求按FIFO顺序执行。一旦客户端连接到服务器，将建立会话并向客户端分配会话ID 。

客户端以特定的时间间隔发送心跳以保持会话有效。如果ZooKeeper集合在超过服务器开启时指定的期间（会话超时）都没有从客户端接收到心跳，则它会判定客户端死机。

会话超时通常以毫秒为单位。当会话由于任何原因结束时，在该会话期间创建的临时节点也会被删除。

二、Zookeeper功能

2.1 监听器

在上面我们已经简单知道了ZooKeeper的数据结构了，ZooKeeper还配合了监听器才能够做那么多事的。常见的监听场景有以下两项：

  • 监听Znode节点的数据变化
  • 监听子节点的增减变化

没错，通过监听+Znode节点(持久/短暂[临时])，ZooKeeper就可以玩出这么多花样了。

2.2 统一配置管理

比如我们现在有三个系统A、B、C，他们有三份配置，分别是ASystem.yml、BSystem.yml、CSystem.yml，然后，这三份配置又非常类似，很多的配置项几乎都一样。

  • 此时，如果我们要改变其中一份配置项的信息，很可能其他两份都要改。并且，改变了配置项的信息很可能就要重启系统

于是，我们希望把ASystem.yml、BSystem.yml、CSystem.yml相同的配置项抽取出来成一份公用的配置common.yml，并且即便common.yml改了，也不需要系统A、B、C重启。
Zookeeper入门看这篇就够了 命令 服务搭建

做法：我们可以将common.yml这份配置放在ZooKeeper的Znode节点中，系统A、B、C监听着这个Znode节点有无变更，如果变更了，及时响应。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
Zookeeper入门看这篇就够了 命令 服务搭建

2.3 统一命名

统一命名服务的理解其实跟域名一样，是我们为这某一部分的资源给它取一个名字，别人通过这个名字就可以拿到对应的资源。

比如说，现在我有一个域名www.java3y.com，但我这个域名下有多台机器：

  • 192.168.1.1
  • 192.168.1.2
  • 192.168.1.3
  • 192.168.1.4

别人访问www.java3y.com即可访问到我的机器，而不是通过IP去访问。

2.4 分布式协调组件

就是在znode节点进行数据存储，其他几台需要协调的服务进行监听这个节点，一但节点发生改变，就会进行通知所有监听方改变自己的数据

在分布式系统中，需要有zookeeper作为分布式协调组件，协调分布式系统中的状态

2.5 分布式锁

点击了解 分布式锁 (非本人编写)
我们可以使用ZooKeeper来实现分布式锁，那是怎么做的呢？？下面来看看：

系统A、B、C都去访问/locks节点[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
Zookeeper入门看这篇就够了 命令 服务搭建

访问的时候会创建带顺序号的临时/短暂(EPHEMERAL_SEQUENTIAL)节点，比如，系统A创建了id_000000节点，系统B创建了id_000002节点，系统C创建了id_000001节点。
Zookeeper入门看这篇就够了 命令 服务搭建

接着，拿到/locks节点下的所有子节点(id_000000,id_000001,id_000002)，判断自己创建的是不是最小的那个节点

  • 如果是，则拿到锁。
    释放锁：执行完操作后，把创建的节点给删掉
  • 如果不是，则监听比自己要小1的节点变化

举个例子：

  • 系统A拿到/locks节点下的所有子节点，经过比较，发现自己(id_000000)，是所有子节点最小的。所以得到锁
  • 系统B拿到/locks节点下的所有子节点，经过比较，发现自己(id_000002)，不是所有子节点最小的。所以监听比自己小1的节点id_000001的状态
  • 系统C拿到/locks节点下的所有子节点，经过比较，发现自己(id_000001)，不是所有子节点最小的。所以监听比自己小1的节点id_000000的状态
  • ……
  • 等到系统A执行完操作以后，将自己创建的节点删除(id_000000)。通过监听，系统C发现id_000000节点已经删除了，发现自己已经是最小的节点了，于是顺利拿到锁
  • ….系统B如上

2.6 无状态化的实现

进行几个服务公共部分的数据信息进行存储到zookeeper上面，那几个服务需要数据的时候到zookeeper里面获取

如：用户进行登录后，登录(token)就可以直接放在zookeeper上面，这样就不需要分别在几个负载均衡的设备上面进行这个登录信息的存储，需要的时候直接去zookeeper上面进行获取。
Zookeeper入门看这篇就够了 命令 服务搭建

2.7 服务注册中心

内部有临时文件，注册的服务进行定时向zookeeper发送心跳进行续约实现
类似与eureka

2.8 集群状态

经过上面几个例子，我相信大家也很容易想到ZooKeeper是怎么"感知"节点的动态新增或者删除的了。还是以我们三个系统A、B、C为例，在ZooKeeper中创建临时节点即可：

三、搭建Zookeeper服务器

http://zookeeper.apache.org/ zk官网进行Zookeeper下载
Zookeeper入门看这篇就够了 命令 服务搭建
进行之后下载最新版本，windows和linux是同一个包。解压即可使用（需要有jdk环境 就是电脑装过jdk）

1、zoo.cfg 配置文件说明

#zookeeper 时间配置中的基本单位(毫秒) 
tiekTime=2000
#允许 follower 初始化连接到1eader最大时长,它表示 tickTime 时间倍数即: initLimit*tickrime
initEimito=10
#允许 follower 与1eader数据同步最大时长,它表示 tickTime 时间信数 
yncLimi =5
# zookeper 数据存储目录及日志保存目录(如果没有指明 dataLogDir ,则日志也保存在这个文件中) 
dataDir=/tmp/zookeeper
#对客户端提供的端ロ号 
clientPort=2181
#单个客户端与 zonkemper 量大并发连接数
maxC1ientCnxns=60
#保存的致据决照数量,之外的将会被清除 
autopurge.snapRetainCount=3
#自动触发清除任务时间间隔,小时为单位。默认为 0,表示不自动清除。 
autopurge.purgeInterval=1

2.Zookeeper服务器的操作命令

  • 重命名 conf中的文件zoo_sample.cfg ->zoo.cfg
  • 启动zk服务器
./bin/zkServer.sh start ./conf/zoo.cfg
  • 查看zk服务器状态
./bin/zkServer.sh status ./conf/zoo.cfg
  • 停止zk服务器
./bin/zkServer.sh stop ./conf/zoo.cfg

四、Zookeeper内部的数据模型

1.zk是如何保存数据的

zk中的数据是保存在节点上的,节点就是 znode ,多个 znode 之间构成一颗树的目录结构。 Zookeeper 的数据模型是什么样子呢?它很像数据结构当中的树,也很像文件系统的目录
Zookeeper入门看这篇就够了 命令 服务搭建

树是由节点所组成, Zookeeper 的数据存储也同样是基于节点,这种节点叫做 Znode 但是,不同于树的节点, Znode 的引用方式是路径引用,类似于文件路径:

/动动/猫

/汽车/宝马

这样的层级结构,让毎一个 Znode 节点拥有唯一的路径,就像命名空间一样对不同信息作出清晰的隔离。

2.zk中的 znode 是什么样的结构

zk中的 znode ,包含了四个分：

  • data：保存数据

  • acl：权限,定义了什么样的用户能够操作这个节点，且能够进行怎样的操作

    • c：create 创建权限。允许在该节点下创建子节点
    • w：write 更新权限。允许更新该节点的数据
    • r：read 读取权限。允许读取该节点的内容以及子节点的列表信息
    • d : delete 删除权限。允许删除该节点的子节点
    • admin 管理者权限，运行对该节点进行 acl 权限设置

  • stat：描述当前 znode 的元数据

  • child：当前节点的子节点

3.zk中节点 znode 的类型

  • 特久节点：创建出的节点,在会话结束后依然存在。保存数据

  • 持久序号节点：创建出的节点,根据先后顺序，会在节点之后带上一个数值，越后执行数值越大,适用于分布式锁的应用场景 - 单调递增

  • 临时节点：临时节点在会话结束后，自动被删除，通过这个特性，zk可以实观服务注册与发现的效果。那么临时节点如何维持心跳的呢？

  • Zookeeper入门看这篇就够了 命令 服务搭建

  • 临时序号节点：跟持久序号节点相同,适用于临时的分布式锁。

  • Container 节点(3.5,3版本新增）: Container 容器节点,当容器中没有子节点,该容器节点会被 zk 定期删(60s)

  • TTL 节点：可以指定节点的到期时间，到期后被 zk 定时删除。只能通过系统配置 zookeeper.extendedTypesEnabled = true 开启

4.zk的数据持久化

zk 的数据是运行在内存中, zk 提供了两种持久化机制

  • 事务日志

    zk把执行的命令以日志形式保存在 dataLogDir 指定的路径中的文件中（如果没有指定 dataLogDir，则按dataDir 指定的路径)。

  • 数据快照
    zk会在一定的时间间隔内做一次内存数据的快照。把该时刻的内存数据保存在快照文件中。

zk通过两种形式的持久化，在恢复时先恢复快照文件中的数据到到内存中，再用日志文件中的数据做增量恢复，这样的恢复速度更快。

五、 Zookeeper 客户端( zkCli )的使用

1，多节点类型创建

  • 创建持久节点 create path data
  • 创建持久序号节点 create -s path data
  • 创建临时节点 create -e path data
  • 创建临时序号节点 create -s -e path data
  • 创建容器节点 create -c path data

2，查询节点

  • 普通查询 get [-s] [-w] path [-s] :查看节点数据加元信息 [-w] : 查看节点并为节点添加一个监听
  • 查询节点相关信息 stat [-w] path //查看节点元信息 [-w] :查看节点并为节点添加一个监听
    • cZxid：创建节点的事务id
    • mZxid：修改节点的事务id
    • pZxid：添加和删除节点的事务id
    • ctime：节点创建时间
    • mtime：节点最近修改时间
    • dataVersion：节点内数据的版本，每更新一次，版本会+1
    • aciVersion：此节点的权限版本
    • ephemeralOwner：如果当前节点是临时节点，该值是当前节点所有者的session id。如果节点不是临时节点，该值为零
    • dataLength：节点内数据的长度
    • numChildren：该节点的子节点个数

3，删除节点

  • 普通删除 delete [-v] path [-v]:指定版本
  • 乐观锁删除

本文参考：
【千锋最新Zookeeper集群教程-全网最全Zookeeper应用及原理分析课程-
哔哩哔哩】https://b23.tv/brRBIT
建议最近需要进行Zookeeper学习的小伙伴可以，去B站搜索学习

上一篇：zookeeper基础知识


下一篇：docker下nginx反向代理和负载均衡配置