redis(9)集群搭建

一、搭建流程

以下我们将构建这样一个redis集群:三个主节点,分别备有一个从节点,主节点之间相互通信,如果主节点挂掉,从节点将被提升为主节点。

redis(9)集群搭建

redis集群至少需要3个redis实例

那么我们需要做以下几件事:

1)编译一个redis-server

2)创建6个redis.conf配置文件

3)启动6个redis实例

4)redis-trib.rb集群工具创建集群

其实redis的集群实现有难度,但是只是内部有难度,对于黑盒子操作的我们来说要实现redis集群只是需要创建多个单实例,然后通过集群工具创建各个单实例的集群关系,所以显得很简单。

二、创建集群

1)编译一个redis-server

$ wget http://download.redis.io/releases/redis-4.0.10.tar.gz
$ tar xzf redis-4.0.10.tar.gz
$ cd redis-4.0.10
$ make

这里不详细说明了,详细可以参考:https://www.cnblogs.com/lay2017/p/9248454.html

2)创建6个redis.conf配置文件

我们先创建以下文件夹目录:

mkdir redis-cluster
cd redis-cluster
mkdir 7000 7001 7002 7003 7004 7005

然后我们将第一步编译出来的src/redis-server拷贝一份到redis-cluster下,然后把redis.conf拷贝6份分别放入到上面创建的6个文件夹内。

分别修改每个redis.conf的内容:

port 7000 # 端口
cluster-enabled yes # 开启集群
cluster-config-file nodes.conf # 集群节点文件
cluster-node-timeout 5000 # 超时时间
appendonly yes # AOF日志开启
daemonize yes # 守护进程方式运行

这里的port分别设置为:7000、7001、7002、7003、7004、7005

3)启动6个redis实例

./redis-server 7000/redis.conf

分别执行启动命令,加载redis.conf配置文件

查看一下启动进程:

ps -ef | grep redis

显示如下:

  501 37933     1   0  9:10PM ??         0:03.85 ../redis-server 127.0.0.1:7000 [cluster]
501 37941 1 0 9:11PM ?? 0:03.82 ../redis-server 127.0.0.1:7001 [cluster]
501 37949 1 0 9:11PM ?? 0:03.82 ../redis-server 127.0.0.1:7002 [cluster]
501 37968 1 0 9:11PM ?? 0:03.75 ../redis-server 127.0.0.1:7003 [cluster]
501 37977 1 0 9:11PM ?? 0:03.76 ../redis-server 127.0.0.1:7004 [cluster]
501 37988 1 0 9:12PM ?? 0:03.76 ../redis-server 127.0.0.1:7005 [cluster]

则表示每个实例已经启动成功

4)redis-trib.rb创建集群

在src目录下自带了redis-trib.rb可以用于创建集群

但是在使用之前需要安装ruby(redis-trib.rb是用ruby写的),以及redis和ruby连接

yum -y install ruby ruby-devel rubygems rpm-build
gem install redis

然后采用redis-trib.rb创建集群(这里的 --replicas 1 表示每个主节点分配一个从节点)

redis-trib.rb create --replicas 1  127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006

如果你最终看到:

[OK] All 16384 slots covered

说明集群创建完成,节点覆盖了所有的哈希槽

我们可以用命令检查一下目前的集群情况

./redis-trib.rb check 127.0.0.1:7000

输出内容如下:

>>> Performing Cluster Check (using node 127.0.0.1:7000)
M: ca34d6741d5b3f5bfc7941c652a09961fddb6d0a 127.0.0.1:7000
slots:0-5460 (5461 slots) master
1 additional replica(s)
S: e04be0db2d11fb98133c163bd97426e0f3f2f540 127.0.0.1:7003
slots: (0 slots) slave
replicates ca34d6741d5b3f5bfc7941c652a09961fddb6d0a
M: 048c96b56c043aab8d297b147cfe7068c74498c9 127.0.0.1:7002
slots:10923-16383 (5461 slots) master
1 additional replica(s)
M: b711233443a7a097511fc1681403f2d83b5c8773 127.0.0.1:7001
slots:5461-10922 (5462 slots) master
1 additional replica(s)
S: cb6ee10ec8a45f68efddc84b4acaf01fbd244627 127.0.0.1:7005
slots: (0 slots) slave
replicates 048c96b56c043aab8d297b147cfe7068c74498c9
S: b630796514a48438d177fbe8f89610f1afe9b41f 127.0.0.1:7004
slots: (0 slots) slave
replicates b711233443a7a097511fc1681403f2d83b5c8773
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

我们看到:

  master主节点是:7000、7001、7002,7003是7000的从节点、7004是7001的从节点、7005是7002的从节点;

  7000分配的哈希槽[0,5460],7001分配的哈希槽[5461,10922],7002分配的哈希槽[10923,16383]

5)测试

5-1、测试数据共享

我们使用redis-cli命令连接7000,并设置一个值:

lay-macdeAir:redis-cluster lay$ ./redis-cli -c -p 7000
127.0.0.1:7000> set name lay
-> Redirected to slot [5798] located at 127.0.0.1:7001
OK

这里redirected to slot [5798] ... 7001,表示name 这个key计算出的哈希槽,落在[5461, 10922] 范围内,所以重定向到了7001这个节点。

我们连接7001,执行获取这个值:

lay-macdeAir:redis-cluster lay$ ./redis-cli -c -p 7001
127.0.0.1:7001> get name
"lay"

我们发现我们从7001中获取7000设置的值,集群的数据共享成功。

5-2、测试主从切换

当前有6个实例

  501 37933     1   0  9:10PM ??         0:03.85 ../redis-server 127.0.0.1:7000 [cluster]
501 37941 1 0 9:11PM ?? 0:03.82 ../redis-server 127.0.0.1:7001 [cluster]
501 37949 1 0 9:11PM ?? 0:03.82 ../redis-server 127.0.0.1:7002 [cluster]
501 37968 1 0 9:11PM ?? 0:03.75 ../redis-server 127.0.0.1:7003 [cluster]
501 37977 1 0 9:11PM ?? 0:03.76 ../redis-server 127.0.0.1:7004 [cluster]
501 37988 1 0 9:12PM ?? 0:03.76 ../redis-server 127.0.0.1:7005 [cluster]

我们先杀死7000

lay-macdeAir:redis-cluster lay$ kill -9 37933
lay-macdeAir:redis-cluster lay$ ps -ef|grep redis
501 37941 1 0 9:11PM ?? 0:05.08 ../redis-server 127.0.0.1:7001 [cluster]
501 37949 1 0 9:11PM ?? 0:05.08 ../redis-server 127.0.0.1:7002 [cluster]
501 37968 1 0 9:11PM ?? 0:05.02 ../redis-server 127.0.0.1:7003 [cluster]
501 37977 1 0 9:11PM ?? 0:05.00 ../redis-server 127.0.0.1:7004 [cluster]
501 37988 1 0 9:12PM ?? 0:05.01 ../redis-server 127.0.0.1:7005 [cluster]

检查现在集群情况

lay-macdeAir:redis-cluster lay$ ./redis-trib.rb check 127.0.0.1:7001
>>> Performing Cluster Check (using node 127.0.0.1:7001)
M: b711233443a7a097511fc1681403f2d83b5c8773 127.0.0.1:7001
slots:5461-10922 (5462 slots) master
1 additional replica(s)
S: cb6ee10ec8a45f68efddc84b4acaf01fbd244627 127.0.0.1:7005
slots: (0 slots) slave
replicates 048c96b56c043aab8d297b147cfe7068c74498c9
M: 048c96b56c043aab8d297b147cfe7068c74498c9 127.0.0.1:7002
slots:10923-16383 (5461 slots) master
1 additional replica(s)
M: e04be0db2d11fb98133c163bd97426e0f3f2f540 127.0.0.1:7003
slots:0-5460 (5461 slots) master
0 additional replica(s)
S: b630796514a48438d177fbe8f89610f1afe9b41f 127.0.0.1:7004
slots: (0 slots) slave
replicates b711233443a7a097511fc1681403f2d83b5c8773
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

我们看到7000挂掉以后它的从节点7003提升为了主节点,并且所有16384个哈希槽都覆盖了

如果要恢复7000,我们只需要把7000这个实例重新启动即可,redis的从节点会自动重新连接,并复制主节点数据。关于redis主从复制可以参考:https://redis.io/topics/replication

注意:redis不是强一致性,主从节点之间的数据可能会不一致

以上我们简单实现了redis-cluster模块的集群效果,更多功能如:添加、删除节点、移动哈希槽等参考入门文档:https://redis.io/topics/cluster-tutorial

以及官方给了一份明细文档详细讲解一些集群的内部实现:https://redis.io/topics/cluster-spec

上一篇:《Linux内核设计与实现》Chapter 5 读书笔记


下一篇:HDU-1002.大数相加(字符串模拟)