数据库技术丛书
点击查看第二章
点击查看第三章
Redis 5设计与源码分析
陈雷 等编著
第1章
引 言
Redis是目前最流行的键值对（key-value）数据库，以出色的性能著称，官方提供的数据是可以支持100 000以上的+QPS。Redis具有高性能的主要原因如下。
1）Redis是基于内存的存储数据库，绝大部分的命令处理只是纯粹的内存操作，内存的读写速度非常快。
2）Redis是单进程线程的服务（实际上一个正在运行的Redis Server肯定不止一个线程，但只有一个线程来处理网络请求），避免了不必要的上下文切换，同时不存在加锁/释放锁等同步操作。
3）Redis使用多路I/O复用模型（select、poll、epoll），可以高效处理大量并发连接。
4）Redis中的数据结构是专门设计的，增、删、改、查等操作相对简单。
本章主要介绍Redis简介、Redis 5.0的新特性、Redis源代码概念、Redis安装与调试，希望对读者阅读和研究Redis源码有一定的帮助。
1.1 Redis简介
Redis（REmote DIctionary Server）是一个使用ANSI C编写的、开源的、支持网络的、基于内存的、可选持久化的键值对存储系统。在2013年5月之前，Redis的开发由VMware赞助；2013年5月至2015年6月，由Pivotal赞助；从2015年6月起，Redis的开发由Redis Labs赞助。根据数据库使用排行网站db-engines.com上的排名，Redis是目前最流行的键值对存储系统。
Redis由Salvatore Sanfilippo在2009年发布初始版本，开源后不断发展壮大，目前的最新版为Redis 5.0。Redis的主要版本如下。
1）2009年5月发布Redis初始版本。
2）2012年发布Redis 2.6.0。
3）2013年11月发布Redis 2.8.0。
4）2015年4月发布Redis 3.0.0，该版本引入了集群。
5）2017年7月发布Redis 4.0.0，该版本引入了模块系统。
6）2018年10月发布Redis 5.0.0，该版本引入了Streams结构。
Redis在互联网数据存储方面应用广泛，主要具有以下优点。
1）Redis是内存型的数据库，也就是说Redis中的key-value对是存储在内存中的，因而效率比磁盘型的快。
2）Redis的工作模式为单线程，不需要线程间的同步操作。Redis采用单线程主要因为其瓶颈在内存和带宽上，而不是CPU。
3）Redis中key-value的value不仅可以是字符串，也可以是复杂的数据类型，如链表、集合、散列表等。
4）Redis支持数据持久化，可以采用RDB、AOF、RDB&AOF三种方案。计算机重启后可以在磁盘中进行数据恢复。
5）Redis支持主从结构，可以利用从实例进行数据备份。
1.2 Redis 5.0的新特性
相较于Redis 4.0，Redis 5.0增加了很多新的特性，限于篇幅，本节主要介绍几个较重要的特性，具体内容可以参考官方文档。
1）新增Streams数据类型，这是Redis 5.0最重要的改进之一。可以把Streams当作消息队列，详细内容参见后续章节。
2）新的模块API、定时器、集群及字典。
3）RDB中持久化存储LFU和LRU的信息。
4）将集群管理功能完全用C语言集成到redis-cli中，Redis 3.x和Redis 4.x的集群管理是通过Ruby脚本实现的。
5）有序集合新增命令ZPOPMIN/ZPOPMAX。
6）改进HyperLogLog的实现。
7）新增Client Unblock和Client ID。
8）新增LOLWUT命令。
9）Redis主从复制中的从不再称为Slave，改称Replicas。
10）Redis 5.0引入动态哈希，以平衡CPU的使用率和相应性能，可以通过配置文件进行配置。Redis 5.0默认使用动态哈希。
11）Redis核心代码进行了部分重构和优化。
1.3 Redis源码概述
Redis源代码主要存放在src文件夹中，作者没有整理这些文件，统一存放到了一个文件夹中，如图1-1所示。其中server.c为服务端程序，redis-cli.c为客户端程序。
Redis源代码的核心部分主要如下。
（1）基本的数据结构
- 动态字符串sds.c
- 整数集合intset.c
- 压缩列表ziplist.c
- 快速链表quicklist.c
- 字典dict.c
- Streams的底层实现结构listpack.c和rax.c
（2）Redis数据类型的底层实现
- Redis对象object.c
- 字符串t_string.c
- 列表t_list.c
- 字典t_hash.c
- 集合及有序集合t_set.c和t_zset.c
- 数据流t_stream.c
（3）Redis数据库的实现
- 数据库的底层实现db.c
- 持久化rdb.c和aof.c
（4）Redis服务端和客户端实现
- 事件驱动ae.c和ae_epoll.c
- 网络连接anet.c和networking.c
- 服务端程序server.c
- 客户端程序redis-cli.c
（5）其他
- 主从复制replication.c
- 哨兵sentinel.c
- 集群cluster.c
- 其他数据结构，如hyperloglog.c、geo.c等
- 其他功能，如pub/sub、Lua脚本
以上为Redis核心代码的简单划分，本书重点介绍Redis客户端使用命令的底层实现，在阅读后续章节时，建议按照本书编排顺序进行阅读。首先学习Redis底层的数据存储结构；然后学习Redis每个命令的具体实现；最后可以根据需要学习Redis其他方面的内容，如主从复制、哨兵、集群、持久化等。
1.4 Redis安装与调试
我们以 Linux 环境为例来进行安装。
通过网址http://download.redis.io/releases/ 可以获得各个版本的Redis源码，本书以Redis 5.0为例，下载源码包并编译安装（源码包URL为http://download.redis.io/releases/redis-5.0.0.tar.gz） 。
$ wget http://download.redis.io/releases/redis-5.0.0.tar.gz
$ tar -zxvf redis-5.0.0.tar.gz
$ cd redis-5.0.0
$ make
$ cd src
$make install
到此，我们完成了Redis 5.0的编译安装，生成的可执行文件在/usr/local/bin目录中：
redis-benchmark redis-check-aof redis-check-rdb redis-cli
redis-sentinel redis-server
其中redis-benchmark是官方自带的Redis性能测试工具；当AOF文件或者RDB文件出现语法错误时，可以使用redis-check-aof或者redis-check-rdb修复；redis-cli是客户端命令行工具，可以通过命令redis-cli -h {host} -p {port}连接到指定Redis服务器；redis-sentinel是Redis哨兵启动程序；redis-server是Redis服务端启动程序。
例如，使用redis-server启动服务端程序（默认监听端口是6379）：
$ /usr/local/bin/redis-server
使用redis-cli连接Redis服务器并添加键值对：
$ redis-cli -h 127.0.0.1 -p 6379
127.0.0.1:6379> set name zhangsan
OK
127.0.0.1:6379> get name
"zhangsan"
GDB是一个由GNU开源组织发布的、UNIX/Linux操作系统下的、基于命令行的、功能强大的程序调试工具。下面我们演示如何通过GDB来调试Redis。
用GDB启动redis-server服务端程序：
$ gdb /usr/local/bin/redis-server
(gdb)
使用b命令在main函数入口增加断点：
(gdb) b main
Breakpoint 1 at 0x427770: file server.c, line 4000.
使用r命令运行：
(gdb) r
Starting program: /usr/local/bin/redis-server
[Thread debugging using libthread_db enabled]
Using host libthread_db library "/lib64/libthread_db.so.1".
Breakpoint 1, main (argc=1, argv=0x7fffffffe528) at server.c:4000
4000 int main(int argc, char **argv)
从上面的输出中可以看到，代码执行到main函数停止。接下来，使用n命令执行下一步：
(gdb) n
4034 spt_init(argc, argv);
使用p命令查看某个变量的信息：
(gdb) p argc
$1 = 1
这里只是简要介绍使用GDB调试Redis程序的方法，更多GDB的使用技巧有待读者去研究。
当然，还可使用很多方便的源码阅读工具阅读代码。例如，Windows环境下有一款功能强大的IDE（集成开发环境）—Source Insight，内置C++代码分析功能；同时能自动维护项目内的符号数据库，非常方便。另外，Mac 平台下功能强大的 IDE（集成开发环境）—Understand具备代码依赖、图形化等实用功能。Linux环境下可以使用 Vim + Ctags 来阅读代码，其中Ctags 是Vim下阅读代码的一个辅助工具，可以生成函数、类、结构体、宏等语法结构的索引文件，使用方法也非常简单。读者可以自行学习这些源码阅读工具的具体安装教程，这里不再赘述。
1.5 本章小结
本章首先介绍了Redis的发展历程及Redis 5.0的新特性。然后重点讲解了如何阅读Redis源代码，并简单介绍了Redis源码的安装与调试方法，为读者学习后续章节奠定基础。