Redis系列-2 Redis持久化机制-1.RDB

RDB持久化当前内存快照的数据,属于全量同步。RDB有两种触发类型: 当Redis客户端执行save命令时,使用Redis主进程进行持久化,会阻塞此期间的用户请求;当Redis客户端执行bgsave命令或者配置文件中save规则触发持久化时,通过创建子进程并将持久化任务委托给子进程,从而不会阻塞Redis主线程。持久化完成后会生成一个持久化文件dump.rdb文件, 文件内容是二进制数据。当RDB开启而AOF关闭,重启服务时,Redis会根据dump.rdb文件恢复内存数据。
save规则可通过redis.conf配置文件或通过命令形式:

# 查看save规则
traffic:0>config get save
1) "save"
2) "900 1 300 10 60 10000"

# 清空save规则
traffic:0>config set save ""
"OK"
traffic:0>config get save
1) "save"
2) ""

# 新增save规则
traffic:0>config set save "900 1"
"OK"
traffic:0>config get save
1) "save"
2) "900 1"

“save 900 1"持久化规则表示每900秒内有key进行了修改,触发持久化;将save设置为""时,表示关闭RDB。
另外,dir(持久化存放文件路径)和dbfilename(持久化文件名称)是受保护的配置,不可通过config set命令修改。

RDB实现机制

在这里插入图片描述
如上图所示,通过bgsave指令或者save规则(本质也是bgsave指令)触发,Redis主进程会创建一个子进程,将RDB持久化操作委托给子进程处理, 子进程将内存快照写入临时dump.rdb文件,之后替换原有的dump.rdb文件。其中,Redis主进程fork子进程时会阻塞,且内存越大阻塞时间越长。

内存快照
Redis主进程fork子进程时,子进程共享主进程的所有内存信息,如下图所示:
在这里插入图片描述
通过CopyOnWrite技术,Redis数据库信息在内存中仅保存一份:主进程修改数据时,复制一份副本并在副本的基础上进行修改,未修改的部分与之前保持一致。当主进程将内存中0x3b地址的值由4改成400时,有如下变化:
在这里插入图片描述
当主进程对0x3b的数据写操作时,系统的CopyOnWrite机制将复制0x3b数据至0x3f, 并将主进程的内存地址由0x3b切换至0x3f; 主进程对0x3f进行写操作,数据由4修改为40。
需要注意的是,主进程未修改部分内存地址无变化,子进程全部内存地址无变化。因此,子进程被fork后,Redis主进程的数据变化对子进程不可见,子进程保留了被fork瞬间主进程的全部内存信息, 也叫做内存快照。
在这里插入图片描述
子进程将该部分内存快照(0x34,0x38,0x3b)持久化写入dump.rdb文件,而主进程改动的部分(4->400)未被写入RDB文件,改动部分将在下次RDB时持久化,如果下次RDB前Redis服务被重启,可能存在数据丢失的风险。
在这里插入图片描述
绿色部分表示正在持久化的内存数据(RDB子进程的内存快照),黄色部分表示Redis待持久化的部分(Redis主进程修改的部分)。如果快照数据较大,持久化时间较长,待持久化的数据积累越多,此时Redis重启会丢失大量的数据。因此,为保障数据的可靠性,RDB一般与AOF结合使用。

2.AOF

一般而言,POSIX 标准的 I/O 库,因直接使用内核缓冲区(涉及用户态和内核态的来回切换),适合小文件的读写;而封装的C语言标准IO库,使用用户态缓存区(无需切换内核形态),更适合大文件的读写。AOF据此将内核缓冲区和用户缓冲区分别用于AOF持久化和重写AOF持久化文件。下文仅用缓存区指代,不再区分。

与RDB全量同步不同,AOF(Append Only File只追加文件), 向文件中增量追加变化(类似mysql的binlog),AOF的流程如下所示:
在这里插入图片描述
AOF持久化可以分为以下两个部分。
(1) 将数据写入缓存区
当Redis主线程完成内存修改后,将修改数据写入到缓存区;这部分也会占据主线程的时间。
(2) 将缓存刷入硬盘
当Redis主线程将数据写入缓存区后,根据配置的持久化策略确定是否调用 flushAppendOnlyFile方法将缓存数据刷入硬盘。之前提到的aof的配置项appendfsync表示持久化策略,有三个取值:always—每次修改都进行持久化(立即调用);everysec—每秒持久化一次(每秒调用一次);no不主动持久化(不调用),由系统决定。
数据刷入磁盘后,生成一个AOF文件,可通过如下配置配置文件名称:

#开启AOF, 默认是no关闭状态
appendonly yes

#配置aof的文件名
appendfilename "appendonly.aof"

# aof持久化策略: everysec表示每秒持久化一次, always每次修改都进行持久化
appendfsync everysec

当RDB关闭,而AOF开启:重启Redis时,redis会根据AOF的持久化文件(appendonly.aof)恢复内存数据。
当RDB和AOF都开启时:优先使用AOF持久化文件恢复数据;如果AOF文件不存在或者损坏,再尝试使用RDB持久化文件恢复数据。

rewrite

每个操作都会记录在appendonly.aof文件中,会导致文件变大且存放很多无意义的中间操作。

traffic:0>set key1 value1
"OK"
traffic:0>set key1 value2
"OK"
traffic:0>del key1
"1"

Redis经理上述新增、修改和删除key1键后,内存不变化,但是AOF文件内容如下所示:

*2
$6
SELECT
$1
0
*3
$3
set
$4
key1
$6
value1
*3
$3
set
$4
key1
$6
value2
*2
$3
del
$4
key1

为解决该问题,Redis引入rewrite重写机制。

rewrite可以通过redis.conf配置文件的auto-aof-rewrite-percentage和auto-aof-rewrite-min-size确定触发频率:

#需要二者同时满足,才会触发
# aof文件增长达到上一次的100%时才会触发
auto-aof-rewrite-percentage 100
# aof需要大于64M才会触发
auto-aof-rewrite-min-size 64mb

触发rewrite后,流程如下所示:
在这里插入图片描述
[1] 主进程fork出子进程(阻塞),然后继续工作;
[2] 与RDB相同,子进程此刻拥有与主进程的全部内存信息,子进程将该部分信息写入临时AOF文件;
[3] 在此期间,主进程会接收数据库操作指令并修改内存数据库,此时,Redis主进程会将该部分指令数据写入重写缓存区和AOF缓冲区(写入AOF文件);
[4] 当子进程将快照写完时,重写缓存区中累积的数据写入临时AOF;
[5] 使用临时AOF替换原AOF文件;
这里有个细节需要注意:子进程将重新缓存数据写入到临时AOF文件之前,需要先向主进程发送消息:“暂时不要发数据给我”,此过程中累积的消息后续会直接更新到AOF文件中。

上一篇:【java数据结构之八大排序(上)-直接插入排序,希尔排序,选择排序,堆排序,向下调整(大根堆,小根堆)等知识详解】-????选择排序


下一篇:setitimer