一起看懂Redis两种持久化方式的原理(下)

RDB的原理

在Redis中RDB持久化的触发分为两种:自己手动触发与Redis定时触发。


针对RDB方式的持久化,手动触发可以使用:


save:会阻塞当前Redis服务器,直到持久化完成,线上应该禁止使用。


bgsave:该触发方式会fork一个子进程,由子进程负责持久化过程,因此阻塞只会发生在fork子进程的时候。


而自动触发的场景主要是有以下几点:


根据我们的 save m n 配置规则自动触发;

从节点全量复制时,主节点发送rdb文件给从节点完成复制操作,主节点会触发 bgsave;


执行 debug reload 时;


执行 shutdown时,如果没有开启aof,也会触发。


由于 save 基本不会被使用到,我们重点看看 bgsave 这个命令是如何完成RDB的持久化的。



一起看懂Redis两种持久化方式的原理(下)



这里注意的是 fork 操作会阻塞,导致Redis读写性能下降。我们可以控制单个Redis实例的最大内存,来尽可能降低Redis在fork时的事件消耗。以及上面提到的自动触发的频率减少fork次数,或者使用手动触发,根据自己的机制来完成持久化。


AOF的原理

AOF的整个流程大体来看可以分为两步,一步是命令的实时写入(如果是 appendfsync everysec 配置,会有1s损耗),第二步是对aof文件的重写。


对于增量追加到文件这一步主要的流程是:命令写入=》追加到aof_buf =》同步到aof磁盘。那么这里为什么要先写入buf在同步到磁盘呢?如果实时写入磁盘会带来非常高的磁盘IO,影响整体性能。


aof重写是为了减少aof文件的大小,可以手动或者自动触发,关于自动触发的规则请看上面配置部分。fork的操作也是发生在重写这一步,也是这里会对主进程产生阻塞。


手动触发: bgrewriteaof,自动触发 就是根据配置规则来触发,当然自动触发的整体时间还跟Redis的定时任务频率有关系。


下面来看看重写的一个流程图:


一起看懂Redis两种持久化方式的原理(下)


对于上图有四个关键点补充一下:


1、在重写期间,由于主进程依然在响应命令,为了保证最终备份的完整性;因此它依然会写入旧的AOF file中,如果重写失败,能够保证数据不丢失。

2、为了把重写期间响应的写入信息也写入到新的文件中,因此也会为子进程保留一个buf,防止新写的file丢失数据。

3、重写是直接把当前内存的数据生成对应命令,并不需要读取老的AOF文件进行分析、命令合并。

4、AOF文件直接采用的文本协议,主要是兼容性好、追加方便、可读性高可认为修改修复。



不能是RDB还是AOF都是先写入一个临时文件,然后通过 rename 完成文件的替换工作。


从持久化中恢复数据


数据的备份、持久化做完了,我们如何从这些持久化文件中恢复数据呢?如果一台服务器上有既有RDB文件,又有AOF文件,该加载谁呢?


其实想要从这些文件中恢复数据,只需要重新启动Redis即可。我们还是通过图来了解这个流程:


一起看懂Redis两种持久化方式的原理(下)


启动时会先检查AOF文件是否存在,如果不存在就尝试加载RDB。那么为什么会优先加载AOF呢?因为AOF保存的数据更完整,通过上面的分析我们知道AOF基本上最多损失1s的数据。


性能与实践

通过上面的分析,我们都知道RDB的快照、AOF的重写都需要fork,这是一个重量级操作,会对Redis造成阻塞。因此为了不影响Redis主进程响应,我们需要尽可能降低阻塞。


降低fork的频率,比如可以手动来触发RDB生成快照、与AOF重写;

控制Redis最大使用内存,防止fork耗时过长;

使用更牛逼的硬件;

合理配置Linux的内存分配策略,避免因为物理内存不足导致fork失败。

在线上我们到底该怎么做?我提供一些自己的实践经验。


1、如果Redis中的数据并不是特别敏感或者可以通过其它方式重写生成数据,可以关闭持久化,如果丢失数据可以通过其它途径补回;

2、自己制定策略定期检查Redis的情况,然后可以手动触发备份、重写数据;

3、单机如果部署多个实例,要防止多个机器同时运行持久化、重写操作,防止出现内存、CPU、IO资源竞争,让持久化变为串行;

4、可以加入主从机器,利用一台从机器进行备份处理,其它机器正常响应客户端的命令;

5、RDB持久化与AOF持久化可以同时存在,配合使用。


本文的内容主要是运维上的一些注意点,但我们开发者了解到这些知识,在某些时候有助于我们发现诡异的bug。接下来会介绍Redis的主从复制与集群的知识。


上一篇:常用内置方法


下一篇:【JAVA】将分散于多个文件夹的文件汇集于同一个文件