Redis——Redis主从复制

2021-08-02 05:23:27

Redis主从复制

Redis主从复制概念

主从复制，是指将一台Redis服务器的数据,，复制到其他的Redis服务器。前者称为主节点(masterleader)，后者称为从节点(slave/follower);数据的复制是单向的，只能由主节点到从节点。Master以写为主，Slave以读为主。
默认情况下，每台Redis服务器都是主节点
且一个主节点可以有多个从节点(或没有从节点)，但一个从节点只能有一个主节点。
主从复制的作用主要包括:
- 数据冗余∶主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。
- 故障恢复∶当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复;实际上是一种服务的冗余。
- 负载均衡︰在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务(即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载;尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量
- 高可用基石∶除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础

一般来说，要将Redis运用于工程项目中，只使用一台Redis是万万不能的（宕机，一主二从），原因如下∶
- 从结构上，单个Redis服务器会发生单点故障，并且一台服务器需要处理所有的请求负载，压力较大;
- 从容量上，单个Redis服务器内存容量有限，就算一台Redis服务器内存容量为256G，也不能将所有内存用作Redis存储内存，一般来说，单台Redis最大使用内存不应该超过20G。
- 电商网站上的商品，一般都是一次上传，无数次浏览的，说专业点也就是"多读少写"。
- 对于这种场景，我们可以使如上这种架构

集群环境配置

只配置从库，不用配置主库！
因为Redis默认就是一个主库

127.0.0.1:6379> info replication                             #查看当前库的基本信息
# Replication
role:master                                                  #当前角色master
connected_slaves:0                                           #没有从机
master_failover_state:no-failover
master_replid:da7835383800aab344482c4efdd805f485fc28eb
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

打开四个窗口，架构为1主2从另外一个为测试，均进入 /bin 目录

[root@pakho bin]# pwd
/usr/local/bin

增加配置文件
- 复制三个配置文件，修改对应信息
1. 端口
2. pid名字
3. 日志名字
4. 备份文件名字 dump.rdb

#位于redis配置文件
[root@pakho redis_config]# pwd
/usr/local/bin/redis_config

#根据端口copy配置文件,根据端口修改配置文件
[root@pakho redis_config]# cp redis.conf redis79.conf 
[root@pakho redis_config]# cp redis.conf redis80.conf 
[root@pakho redis_config]# cp redis.conf redis81.conf

#配置配置文件
[root@pakho redis_config]# vim redis79.conf
logfile "6379.log"
dbfilename dump6379.rdb

[root@pakho redis_config]# vim redis80.conf
port 6380
pidfile /var/run/redis_6380.pid
logfile "6380.log"
dbfilename dump6380.rdb

[root@pakho redis_config]# vim redis81.conf
port 6381
pidfile /var/run/redis_6381.pid
logfile "6381.log"
dbfilename dump6381.rdb

集群启动使用

[root@pakho bin]# redis-server redis_config/redis79.conf   #启动79 redis服务
[root@pakho bin]# ls
6379.log                                                   #此时会生成一个6379.log表明以及启动

[root@pakho bin]# redis-server redis_config/redis80.conf  #启动80 redis服务

[root@pakho bin]# redis-server redis_config/redis81.conf  #启动81 redis服务

修改完毕后启动3个redis服务，通过进程查看，表明启动成功

[root@pakho bin]# ps aux | grep -v grep | grep redis 
root       6674  0.1  0.9 162396  9916 ?        Ssl  20:30   0:00 redis-server 127.0.0.1:6379
root       6683  0.1  0.9 162396  9924 ?        Ssl  20:33   0:00 redis-server 127.0.0.1:6380
root       6689  0.0  0.9 162396  9912 ?        Ssl  20:34   0:00 redis-server 127.0.0.1:6381

一主二从配置

默认情况下，每台Redis服务器都是主节点
一般情况下配置从机就好了，“认老大”
一主（79），二从（80、81）

6379
[root@pakho bin]# redis-cli -p 6379
127.0.0.1:6379> ping
PONG
127.0.0.1:6379> info replication
# Replication
role:master

6380
[root@pakho bin]# redis-cli -p 6380
127.0.0.1:6380> info replication
# Replication
role:master

6381
[root@pakho bin]# redis-cli -p 6381
127.0.0.1:6381> ping
PONG
127.0.0.1:6381> info replication
# Replication
role:master

从机设置master

slaveof host 6379

127.0.0.1:6380> SLAVEOF 127.0.0.1 6379
OK
127.0.0.1:6380> info replication
# Replication
role:slave                                                          #当前角色从机
master_host:127.0.0.1                                               #可以看到主机角色
master_port:6379
master_link_status:up
master_last_io_seconds_ago:6
master_sync_in_progress:0
slave_repl_offset:0
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:38aa9e9204f21b598c2c162f176a599497082d95
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:0

#79 master检查
127.0.0.1:6379> info replication
# Replication
role:master                                                          #当前角色主机
connected_slaves:1                                                   #连接一个从机
slave0:ip=127.0.0.1,port=6380,state=online,offset=224,lag=0          #连接一个从机,目前是在线的
master_failover_state:no-failover
master_replid:38aa9e9204f21b598c2c162f176a599497082d95
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:224
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:224

6381同理

127.0.0.1:6381> SLAVEOF 127.0.0.1 6379
OK
127.0.0.1:6381> info replication
# Replication
role:slave
master_host:127.0.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:10
master_sync_in_progress:0
slave_repl_offset:700
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:38aa9e9204f21b598c2c162f176a599497082d95
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:700
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:659
repl_backlog_histlen:42

通过都配置完成后会显示两个配置
- 真实的主从配置应该在配置文件中配置，这样的话是永久的，我们这里使用的是命令，暂时的！

127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:2
slave0:ip=127.0.0.1,port=6380,state=online,offset=742,lag=0
slave1:ip=127.0.0.1,port=6381,state=online,offset=742,lag=0
master_failover_state:no-failover
master_replid:38aa9e9204f21b598c2c162f176a599497082d95
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:742
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:742

关于配置文件配置主从永久生效

################################# REPLICATION #################################
# replicaof <masterip> <masterport>                                  #设置对应主机地址,主机端口
# masterauth <master-password>                                       #如果主机有密码,设置密码

配置完成后的一些验证

主机可以写，从机不能写只能读！主机中的所有信息和数据，都会自动被从机保存！

127.0.0.1:6379> set k1 v1                                             #主机设置值
OK

127.0.0.1:6380> keys *                                                #从机查看
1) "k1"
127.0.0.1:6380> get k1
"v1" 

127.0.0.1:6381> keys *
1) "k1"
127.0.0.1:6381> get k1
"v1"

试验从机能否写入？
- 只读主从复制
- 从机只能读取内容

127.0.0.1:6381> set k2 v2 
(error) READONLY You can't write against a read only replica.

假设主机宕机

127.0.0.1:6379> shutdown 
not connected> exit

从机不会自动切换，需手动切换，也可使用哨兵模式

127.0.0.1:6380> info replication
# Replication
role:slave                                                           #从机不会自动切换
master_host:127.0.0.1     
master_port:6379
master_link_status:down
master_last_io_seconds_ago:-1
master_sync_in_progress:0
slave_repl_offset:1886
master_link_down_since_seconds:108
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:38aa9e9204f21b598c2c162f176a599497082d95
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1886
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:1886

验证主机修复好后，从机能否依然可以读取主机数据
- 主机断开连接，从机依旧连接主机，但是没有写操作，这个时候主机如果回来了，从机依旧可以直接获取主机写的信息
- 保证了高可用性！

[root@pakho bin]# redis-server redis_config/redis79.conf 
[root@pakho bin]# redis-cli -p 6379
127.0.0.1:6379> ping
PONG

127.0.0.1:6380> get k2
"v2"
127.0.0.1:6381> get k2
"v2"

假设从机宕机

127.0.0.1:6381> shutdown 
not connected> exit

127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:1
slave0:ip=127.0.0.1,port=6380,state=online,offset=458,lag=1
master_failover_state:no-failover
master_replid:5e4a8baf094e06a17e005d33b09d52c190cea5f7
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:472
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:472

主机设置值
- 如果是使用命令行配置的主从，这时重启就会变回主机

127.0.0.1:6379> set k3 v3
OK

#重新连接从机
[root@pakho bin]# redis-server redis_config/redis81.conf 
[root@pakho bin]# redis-cli -p 6381
127.0.0.1:6381> ping
PONG
127.0.0.1:6381> get k3
(nil)

#主机重新配置一个值
127.0.0.1:6379> set k4 v4
OK
#从机依旧无法查看
127.0.0.1:6381> get k4
(nil)

重新定义为从机
- 只要变为从机，立马会从主机中获取值

127.0.0.1:6381> SLAVEOF 127.0.0.1 6379
OK
127.0.0.1:6381> info replication
# Replication
role:slave
127.0.0.1:6381> get k4                                             #此时又会重新拿到数据
"v4"

复制原理

Slave启动成功连接到 master 后会发送一个sync（同步）命令
Master 接到命令，启动后台的存盘进程，同时收集所有接收到的用于修改数据集命令，在后台进程执行完毕之后，master将传送整个数据文件到slave，并完成一次完全同步。
全量复制:而slave服务在接收到数据库文件数据后，将其存盘并加载到内存中。
增量复制:Master继续将新的所有收集到的修改命令依次传给slave，完成同步
但是只要是重新连接master，一次完全同步（全量复制)将被自动执行！我们的数据一定可以在从机中看到！

#增量复制
127.0.0.1:6379> set k5 v5
OK

127.0.0.1:6381> get k5
"v5"

层层链路

上一个M连接下一个S！
- 这时候也可以完成我们的主从复制！

127.0.0.1:6381> SLAVEOF 127.0.0.1 6380
OK
127.0.0.1:6381> info replication
# Replication
role:slave
master_host:127.0.0.1
master_port:6380
master_link_status:up
master_last_io_seconds_ago:1
master_sync_in_progress:0
slave_repl_offset:1758
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:5e4a8baf094e06a17e005d33b09d52c190cea5f7
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1758
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:909
repl_backlog_histlen:850

master插入新值，验证node是否能够拿到数据

127.0.0.1:6379> set k6 v6
OK

127.0.0.1:6380> get k6
"v6"
127.0.0.1:6381> get k6
"v6"

如果没有老大，这个时候能否选择一个老大出来？手动！

127.0.0.1:6379> shutdown
not connected> exit

宕机后手动配置主机

如果主机断开连接，我们可以使用slaveof no one 让自己变成主机！其他主机可以手动连接到最新的主节点（手动）；

127.0.0.1:6381> SLAVEOF no one 
OK
127.0.0.1:6381> info replication
# Replication
role:master
connected_slaves:0
master_failover_state:no-failover
master_replid:e171928680f81750502ae220981e2aa417dc118e
master_replid2:5e4a8baf094e06a17e005d33b09d52c190cea5f7
master_repl_offset:2557
second_repl_offset:2558
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:909
repl_backlog_histlen:1649

如果这个时候老大修复，那就重新连接

#恢复原状
127.0.0.1:6381> SLAVEOF 127.0.0.1 6379
OK

码农公寓

Redis主从复制

Redis主从复制概念

集群环境配置

集群启动使用

一主二从配置

配置完成后的一些验证

复制原理

层层链路

宕机后手动配置主机

相关文章