redis rdb 文件分析工具和使用

目前线上的 redis内存容量急剧增加,已经达到98%了.解决方案除了 扩容 redis内存,还需要分析下线上的数据增加是否符合预期.
所以需要下载线上的 rdb 文件来分析 数据使用情况.
目前使用的工具有两个一个 python 的 redis_rdb_tools,另外一个是 golang的rdr.

redis_rdb_tools

  1. 安装 python
    2.安装 pip
    3.安装rdbtools
  • pip 安装(推荐): pip install rdbtools
  • github上下载源码进行安装
git clone https://github.com/sripathikrishnan/redis-rdb-tools
cd redis-rdb-tools
sudo python setup.py install

4.使用
例如:

  • 解析rdb文件并向屏幕打印输出json数据
    rdb --command json dump.rdb
    结果:
    [{"fruit":["apple","banana"],
    "webset":{"baidu":"www.baidu.com"},
    "baiduyun":"redis",
    "languages":["python","java"],
    "page_rank":{"baidu.com":"10"}}]

  • 只输出匹配某个key的数据
    rdb --command json --key "fruit" dump.rdb
    结果:
    [{"fruit":["apple","banana"]}]

  • 使用 redis-rdb-tools 生成内存快照,可以查看具体的 key 和过期时间,我们可以重点查看那些没有过期时间的 key,如果是脏数据可以考虑清理一波
    rdb --command memory dump.rdb > memory.csv
    生成 CSV 格式的内存报告。包含的列有:数据库 ID,数据类型,key,内存使用量(byte),编码。内存使用量包含 key、value 和其他值,结果:
    database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry
    0,set,fruit,252,hashtable,2,6,
    0,hash,webset,81,ziplist,1,13,
    0,string,baiduyun,64,string,5,5,
    0,list,languages,161,quicklist,2,6,
    0,sortedset,page_rank,80,ziplist,1,9

  • redis-rdb-tools和mysql进行数据分析
    将redis-rdb-tools产生的csv导入到mysql中,用户就可以根据自己的需求进行更详尽的分析。
    a 创建表格:
    CREATE TABLE memory ( database int(128) DEFAULT NULL, type varchar(128) DEFAULT NULL, key varchar(128), size_in_bytes int(128) DEFAULT NULL, encoding varchar(128) DEFAULT NULL, num_elements int(128) DEFAULT NULL, len_largest_element varchar(128) DEFAULT NULL, expiry varchar(128) DEFAULT NULL, PRIMARY KEY (KEY) );

b 导入文件:
load data infile ‘memory.csv‘ into table memory FIELDS TERMINATED BY ‘,‘ IGNORE 1 LINES;

c 展示结果:
redis rdb 文件分析工具和使用
redis rdb 文件分析工具和使用

rdr

更加偏向于整体统计和分析,各个数据结构的占比和某些前缀的的 key 占比情况:
源码地址
安装参考
安装步骤:
Linux amd64
$ wget https://github.com/xueqiu/rdr/releases/download/v0.0.1/rdr-linux -O /usr/local/bin/rdr
$ chmod +x /usr/local/bin/rdr

MacOS
$ curl https://github.com/xueqiu/rdr/releases/download/v0.0.1/rdr-darwin -o /usr/local/bin/rdr
$ chmod +x /usr/local/bin/rdr

Windows # 浏览器下载下面链接,在点击运行
https://github.com/xueqiu/rdr/releases/download/v0.0.1/rdr-windows.exe

rdr 路径:/usr/local/bin/rdr
/usr/local/bin/rdr show -p 8080 dump.rdb
/usr/local/bin/rdr keys dump.rdb
已 mac为例:
下载下来的文件就是二进制文件,可以直接使用 ./rd-darwin
用 web页面查看数据分析:
./rdr-darwin show -p 8080 ~/Downloads/dump.rdb
直接访问: localhost:8080即可看到 web分析结果,类似于:
redis rdb 文件分析工具和使用
查看所有的redis key
./rdr keys example.rdb

redis rdb 文件分析工具和使用

上一篇:美团、滴滴在线笔试、面试题


下一篇:《Java并发程编程艺术》重点总结