目前线上的 redis内存容量急剧增加,已经达到98%了.解决方案除了 扩容 redis内存,还需要分析下线上的数据增加是否符合预期.
所以需要下载线上的 rdb 文件来分析 数据使用情况.
目前使用的工具有两个一个 python 的 redis_rdb_tools,另外一个是 golang的rdr.
redis_rdb_tools
- 安装 python
2.安装 pip
3.安装rdbtools
- pip 安装(推荐):
pip install rdbtools
- github上下载源码进行安装
git clone https://github.com/sripathikrishnan/redis-rdb-tools
cd redis-rdb-tools
sudo python setup.py install
4.使用
例如:
-
解析rdb文件并向屏幕打印输出json数据
rdb --command json dump.rdb
结果:
[{"fruit":["apple","banana"],
"webset":{"baidu":"www.baidu.com"},
"baiduyun":"redis",
"languages":["python","java"],
"page_rank":{"baidu.com":"10"}}] -
只输出匹配某个key的数据
rdb --command json --key "fruit" dump.rdb
结果:
[{"fruit":["apple","banana"]}] -
使用 redis-rdb-tools 生成内存快照,可以查看具体的 key 和过期时间,我们可以重点查看那些没有过期时间的 key,如果是脏数据可以考虑清理一波
rdb --command memory dump.rdb > memory.csv
生成 CSV 格式的内存报告。包含的列有:数据库 ID,数据类型,key,内存使用量(byte),编码。内存使用量包含 key、value 和其他值,结果:
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry
0,set,fruit,252,hashtable,2,6,
0,hash,webset,81,ziplist,1,13,
0,string,baiduyun,64,string,5,5,
0,list,languages,161,quicklist,2,6,
0,sortedset,page_rank,80,ziplist,1,9 -
redis-rdb-tools和mysql进行数据分析
将redis-rdb-tools产生的csv导入到mysql中,用户就可以根据自己的需求进行更详尽的分析。
a 创建表格:
CREATE TABLEmemory
(database
int(128) DEFAULT NULL,type
varchar(128) DEFAULT NULL,key
varchar(128),size_in_bytes
int(128) DEFAULT NULL,encoding
varchar(128) DEFAULT NULL,num_elements
int(128) DEFAULT NULL,len_largest_element
varchar(128) DEFAULT NULL,expiry
varchar(128) DEFAULT NULL, PRIMARY KEY (KEY
) );
b 导入文件:
load data infile ‘memory.csv‘ into table memory FIELDS TERMINATED BY ‘,‘ IGNORE 1 LINES;
c 展示结果:
rdr
更加偏向于整体统计和分析,各个数据结构的占比和某些前缀的的 key 占比情况:
源码地址
安装参考
安装步骤:
Linux amd64
$ wget https://github.com/xueqiu/rdr/releases/download/v0.0.1/rdr-linux -O /usr/local/bin/rdr
$ chmod +x /usr/local/bin/rdr
MacOS
$ curl https://github.com/xueqiu/rdr/releases/download/v0.0.1/rdr-darwin -o /usr/local/bin/rdr
$ chmod +x /usr/local/bin/rdr
Windows # 浏览器下载下面链接,在点击运行
https://github.com/xueqiu/rdr/releases/download/v0.0.1/rdr-windows.exe
rdr 路径:/usr/local/bin/rdr
/usr/local/bin/rdr show -p 8080 dump.rdb
/usr/local/bin/rdr keys dump.rdb
已 mac为例:
下载下来的文件就是二进制文件,可以直接使用 ./rd-darwin
用 web页面查看数据分析:
./rdr-darwin show -p 8080 ~/Downloads/dump.rdb
直接访问: localhost:8080即可看到 web分析结果,类似于:
查看所有的redis key
./rdr keys example.rdb