为什么用Redis
- 是什么
- 一个小程序
- 缓存 & 数据库
- 单线程worker
- 新版本：IO threads
- epoll：多路复用
- 速度
- 硬盘：寻址时间ms，带宽（吞吐）百兆~G/s（固态硬盘pci-e nvme）
- 内存：寻址时间ns，比硬盘快10w倍
- 文件
- 全量扫描（高IO），过大（T级）时，查询会变慢
- 数据库
- 对数据进行规划，分页存储
- 为1kb的数组建立索引，若将数组分成4bit的数据块，索引大小为1byte
- 索引大小可设置，窗口越小，索引越大
- 索引也是数据，存在磁盘中
- B+树，树干在内存，索引磁盘
- datapage->索引->B+树
- 读取数据：先扫描B+树，读取相应索引到内存扫描，再读取相应datapage到内存扫描
- 表很大时，增删改（写）查（读）中，写操作会变慢
- 读操作单线程不受影响，但并发很大或查询复杂时会受影响（分布式、微服务解决并发问题）
- 把数据全部放到内存，且支持sql查询
- SAP HANA：关系型数据库（内存中运行），内存2T（erp+hana+2T服务器=￥2E）
- 数据在内存中比在硬盘中小：如有1000个user对象，住址字段是“Beijing”，JVM中只有一个“Beijing”字段，但序列化到磁盘后有1000个（内存指针实现了数据复用）
- 公司全部数据存在哪？
- 折中方案：将全量数据中频繁使用的数据放到内存中，其他放在硬盘数据库中
- 内存型数据库：redis、memcache
- 为什么是key-value型？内存中只有部分数据，无法按SQL的范式进行设计（空间换时间）
- 关系型数据库中的约束（范式）设计减少了数据冗余
- key-value的使用者只需关注每条记录自身，而不需查看其他记录
- worker 单线程，6.x io threads 多线程（多线程读取，单线程处理）
- Value类型：String、list、set、hash，每种类型有自己的本地方法
- 先用json把所有对象序列化为字符串，再存到memcache
原理
- memcache和redis：都是k-v，但redis的value有类型，以及基于类型的方法
- memcache的k，v都是string类型，数据向计算移动
- redis实现了计算向数据移动，减少IO量
安装
- 在Redis官网进入下载页面，复制下载链接
- 进入linux命令行，创建目录
- wget 下载链接
- tar xf 压缩包文件
- 进入redis目录
- vi READMI.md
- make：编译源码
- make PREFIX=安装路径 install：安装
- yum install gcc -y：安装gcc
- make distclean：清理
- vi ~/.bash_profile：添加环境变量
- REDIS_HOME=/root/training/redis-5.0.8
- export REDIS_HOME
- PATH=$REDIS_HOME/bin:$PATH
- export PATH
- source /etc/profile
- cd utils
- sudo ./install_server.sh：开启服务，设置端口号，配置文件，日志文件，持久化目录
- service redis_6379 status：查看redis进程状态
- ps -fe | grep redis：查看所有redis进程状态
- strace -ff -o ~/stracedir/ooxx ./redis-server：追踪线程文件
- cd /proc/task/8625
- cd /proc/8625/fd
- redis-cli
- >bgsave：记录日志
- 业务处理是单线程的
- 一个线程如何处理多个客户端请求
- BIO->NIO->epoll（多路复用）
- yum install man man-pages
- fcntl（可设置非阻塞）
- 用户很多时（如1000个），轮询的代价太大（用户态 / 内核态切换1000次）
- select（多路复用，同步非阻塞，用户态 / 内核态切换1次，拷贝1000个fd到内核，内核遍历1000次，然后告诉redis需要读哪个用户）
- 缺点在于redis->kernel传参太多，且内核遍历次数太多
- 多路复用器：在内核中，如select、poll、epoll，告诉redis有没有数据到达，再由redis自己去读取
- 单线程不足：只能工作在一个CPU上，不能发挥硬件资源
- IO thread 事务性：保证一个client的一个connection中发送的指令是有顺序的
- 不需使用分布式锁/事务
- 类似：kafka k,v 消息构建
- 6.x之后，io threads多线程（io读写），无论哪个版本，工作线程就一个
使用
- 方法一
- redis-cli
- 方法二
- nc localhost 6379
- 方法三
- exec 8<> /dev/tcp/localhost/6379
- echo -e ‘keys *‘ >& 8
- cat <& 8
- 常用命令
- flushall：清除所有内容
- help @String：查看String的使用方法
- 5种value类型
- String
- 字符串
- strlen：字节个数
- 二进制安全：客户端根据自身编码方式发送byte数组
- hbase、zookeeper、kafka
- 数值
- incr
- decr
- 单线程原子
- 秒杀限流
- 二进制bitmap
- setbit k1 1 1
- 从左向右，自动扩容
- 场景1：统计用户任意时间窗口内登录几次（如一年内）
- setbit sean 3 1：sean在第4天登录了
- setbit sean 364 1：sean在第365天登录了
- bitcount sean 0 -1：统计一共登录了几次
- strlen sean：用了多大空间
- 场景2：统计一段时间内有多少人登录
- setbit 20200101 7 1
- setbit 20200101 3 1
- setbit 20200102 3 1
- bitop or res 20200101 20200102
- bitcount res 0 -1
- list
- 模拟栈、队列、数组
- 操作
- lpush k1 a b c d：左侧插入数据
- lrange k1 0 -1：查看范围内元素
- rpush k1 x y z：右侧插入数据
- ltrim k1 0 -1：删除区间之外的元素
- hash
- 场景：详情页 / 聚合，数据来自不同的库
- set
- 无序，去重
- 操作
- sadd k1 ooxx xxoo oxox ooxx：添加元素
- smembers k1：显示元素
- srandmember k1 3：不重复地取出3个元素
- srandmember k1 -8：可重复地取出8个元素
- sunion k1 k2：k1 k2 并集
- sinter k1 k2：k1 k2 交集
- sdiff k1 k2:
- 场景
- 随机事件：抽奖
- 集合运算：单线程串行，成本较大，通常会独立到一个redis实例
- sorted_set
- 有序，去重，动态维护顺序，底层是跳表（skiplist）
- 操作
- zadd k1 3.1 apple 2.5 orange 7 banana：插入数据
- zrange k1 0 -1 withscores：按分值排序
- zrange k1 0 1：取出前两名
- 场景
- 排行榜
- 动态翻页
参考
数据库知识网站