Kafka数据迁移至nfs

Zookeeper Kafka部署

硬件环境信息表

IP 192.168.40.10
IP 192.168.40.11
IP 192.168.40.12
IP 192.168.40.13    //nfs使用

部署路径:/usr/local
Cpu内存: 4C/16G
磁盘:200G

应用安装目录布局

zookeeper

zookeeper在单机环境部署了3个实例,进程侦听端口分别为2184、2185、2186,myid分别为3、4、5。

kafka

kafka在单机环境部署了3个实例,进程侦听端口分别为9092、9093、9094,broker id分别为0、1、2。

zookeeper集群节点

zookeeper的运行模式有standalone和replicated两种模式。
zookeeper集群的角色有Leader、follower和Observer。

Leader作为整个ZooKeeper集群的主节点,负责响应所有对ZooKeeper状态变更的请求,它会将每个状态更新请求进行排序和编号,以便保证整个集群内部消息处理的FIFO。
Follower响应本服务器上的读请求外,处理leader的提议,并在leader提交该提议时在本地也进行提交。
Observer和Follower比较相似,只有一些小区别:首先observer不属于法定人数,不参加选举也不响应提议;其次是observer不需要将事务持久化到磁盘,一旦observer被重启,需要从leader重新同步整个名字空间。如果ZooKeeper集群的读取负载很高,或者客户端多到跨机房,可以设置一些observer服务器,以提高读取的吞吐量。
另外需要注意的是,leader和follower构成ZooKeeper集群的法定人数,也就是说,只有他们才参与新leader的选举、响应leader的提议。
zookeeper集群模式部署,因其分布式机制中的leader投票选举算法因素,为了保证Zookeeper本身的Leader投票选举顺利进行,通常将Server部署为奇数个,并且只允许不过半的节点数停机,若需容忍n个Server的失败,zookeeper集群必须至少保证有2n+1个Server节点。
当前zookeeper集群部署为replicated模式,节点数为3个。

kafka集群节点

本次测试的kafka集群节点数为3个,分布式模式部署运行,一个kafka集群由多个kafka实例组成,每个kafka实例就是一个broker,每个broker有一个唯一的broker id,zookeeper来选举出一个broker成为kafka集群中的leader,kafka集群的broker、producer、consumer、topic、partition、isr也依赖于zookeeper来保存meta信息来保证集群系统可用性。

部署 NFS 存储

NFS 存储主要是为了给 Kafka、ZooKeeper 提供稳定的后端存储,当 Kafka、ZooKeeper 的 Pod 发生故障重启或迁移后,依然能获得原先的数据。
另外我们会在nfs创建zookeeper kafka的存储目录。

安装 NFS

这里我选择13这个节点创建 NFS 存储,首先执行如下命令安装 NFS:

yum -y install nfs-utils
yum -y install rpcbind

创建共享文件夹

编辑 /etc/exports 文件:

vi /etc/exports
/usr/local/kafka/pv1 *(rw,sync,no_root_squash)
/usr/local/kafka/pv2 *(rw,sync,no_root_squash)
/usr/local/kafka/pv3 *(rw,sync,no_root_squash)
/usr/local/zookeeper/pv1 *(rw,sync,no_root_squash)
/usr/local/zookeeper/pv2 *(rw,sync,no_root_squash)
/usr/local/zookeeper/pv3 *(rw,sync,no_root_squash)

保存退出后执行如下命令重启服务:

systemctl restart rpcbind
systemctl restart nfs
systemctl enable nfs

执行exportfs -v 命令可以显示出所有的共享目录:
而其他的 zookeeper kafka节点上需要执行如下命令安装 nfs-utils 客户端:

yum -y install nfs-util

迁移步骤

因为kafka zookeeper数据存储在本地,nfs服务端存储目录挂载到本地,只需要把本地数据目录分别拷贝到nfs相应数据目录即可,迁移即可完成。
迁移后再做kafka的生产消费测试,生产和消费成功。
再消费和查询历史数据,也可以消费到和查询到,证明迁移成功。

上一篇:[数据结构]栈的实现与应用-二、栈的基本概念


下一篇:Kafka SASL/PLAIN认证模式