[DB] Redis

为什么用Redis

  • 是什么
    • 一个小程序
    • 缓存 & 数据库
    • 单线程worker
    • 新版本:IO threads
    • epoll:多路复用
  • 速度
    • 硬盘:寻址时间ms,带宽(吞吐)百兆~G/s(固态硬盘pci-e nvme)
    • 内存:寻址时间ns,比硬盘快10w倍
  • 文件
    • 全量扫描(高IO),过大(T级)时,查询会变慢
  • 数据库
    • 对数据进行规划,分页存储
    • 为1kb的数组建立索引,若将数组分成4bit的数据块,索引大小为1byte
    • 索引大小可设置,窗口越小,索引越大
    • 索引也是数据,存在磁盘中
    • B+树,树干在内存,索引磁盘
    • datapage->索引->B+树
    • 读取数据:先扫描B+树,读取相应索引到内存扫描,再读取相应datapage到内存扫描
    • 表很大时,增删改(写)查(读)中,写操作会变慢
    • 读操作单线程不受影响,但并发很大或查询复杂时会受影响(分布式、微服务解决并发问题)

[DB] Redis

  • 把数据全部放到内存,且支持sql查询
    • SAP HANA:关系型数据库(内存中运行),内存2T(erp+hana+2T服务器=¥2E)
    • 数据在内存中比在硬盘中小:如有1000个user对象,住址字段是“Beijing”,JVM中只有一个“Beijing”字段,但序列化到磁盘后有1000个(内存指针实现了数据复用)
  • 公司全部数据存在哪?
    • 折中方案:将全量数据中频繁使用的数据放到内存中,其他放在硬盘数据库中
    • 内存型数据库:redis、memcache
    • 为什么是key-value型?内存中只有部分数据,无法按SQL的范式进行设计(空间换时间)
    • 关系型数据库中的约束(范式)设计减少了数据冗余
    • key-value的使用者只需关注每条记录自身,而不需查看其他记录
    • worker 单线程,6.x io threads 多线程(多线程读取,单线程处理)
    • Value类型:String、list、set、hash,每种类型有自己的本地方法
    • 先用json把所有对象序列化为字符串,再存到memcache

原理

  • memcache和redis:都是k-v,但redis的value有类型,以及基于类型的方法
  • memcache的k,v都是string类型,数据向计算移动
  • redis实现了计算向数据移动,减少IO量

[DB] Redis

安装

  • 在Redis官网进入下载页面,复制下载链接
  • 进入linux命令行,创建目录
  • wget 下载链接
  • tar xf 压缩包文件
  • 进入redis目录
  • vi READMI.md
  • make:编译源码
  • make PREFIX=安装路径 install:安装
  • yum install gcc -y:安装gcc
  • make distclean:清理
  • vi ~/.bash_profile:添加环境变量
    • REDIS_HOME=/root/training/redis-5.0.8
    • export REDIS_HOME
    • PATH=$REDIS_HOME/bin:$PATH
    • export PATH
  • source /etc/profile
  • cd utils
  • sudo ./install_server.sh:开启服务,设置端口号,配置文件,日志文件,持久化目录
  • service redis_6379 status:查看redis进程状态
  • ps -fe | grep redis:查看所有redis进程状态

[DB] Redis

  • strace -ff -o ~/stracedir/ooxx ./redis-server:追踪线程文件

[DB] Redis

  • cd /proc/task/8625

[DB] Redis

  • cd /proc/8625/fd

[DB] Redis

  • redis-cli
  • >bgsave:记录日志
  • 业务处理是单线程的
  • 一个线程如何处理多个客户端请求
  • BIO->NIO->epoll(多路复用)
  • yum install man man-pages
  • fcntl(可设置非阻塞)
  • 用户很多时(如1000个),轮询的代价太大(用户态 / 内核态切换1000次)
  • select(多路复用,同步非阻塞,用户态 / 内核态切换1次,拷贝1000个fd到内核,内核遍历1000次,然后告诉redis需要读哪个用户)
  • 缺点在于redis->kernel传参太多,且内核遍历次数太多
  • 多路复用器:在内核中,如select、poll、epoll,告诉redis有没有数据到达,再由redis自己去读取
  • 单线程不足:只能工作在一个CPU上,不能发挥硬件资源
  • IO thread 事务性:保证一个client的一个connection中发送的指令是有顺序的
  • 不需使用分布式锁/事务
  • 类似:kafka k,v 消息构建
  • 6.x之后,io threads多线程(io读写),无论哪个版本,工作线程就一个

[DB] Redis [DB] Redis[DB] Redis [DB] Redis

[DB] Redis

[DB] Redis

使用

  • 方法一
    • redis-cli
  • 方法二
    • nc localhost 6379
  • 方法三
    • exec 8<> /dev/tcp/localhost/6379
    • echo -e ‘keys *‘ >& 8
    • cat <& 8
  • 常用命令
    • flushall:清除所有内容
    • help @String:查看String的使用方法
  • 5种value类型
  • String
    • 字符串
      • strlen:字节个数
      • 二进制安全:客户端根据自身编码方式发送byte数组
      • hbase、zookeeper、kafka
    • 数值
      • incr
      • decr
      • 单线程原子
      • 秒杀限流
    • 二进制bitmap
      • setbit k1 1 1
      • 从左向右,自动扩容
      • 场景1:统计用户任意时间窗口内登录几次(如一年内)
        • setbit sean 3 1:sean在第4天登录了
        • setbit sean 364 1:sean在第365天登录了
        • bitcount sean 0 -1:统计一共登录了几次
        • strlen sean:用了多大空间
      • 场景2:统计一段时间内有多少人登录
        • setbit 20200101 7 1
        • setbit 20200101 3 1
        • setbit 20200102 3 1
        • bitop or res 20200101 20200102
        • bitcount res 0 -1

[DB] Redis  [DB] Redis  [DB] Redis

  • list
    • 模拟栈、队列、数组
    • 操作
      • lpush k1 a b c d:左侧插入数据
      • lrange k1 0 -1:查看范围内元素
      • rpush k1 x y z:右侧插入数据
      • ltrim k1 0 -1:删除区间之外的元素
  • hash
    • 场景:详情页 / 聚合,数据来自不同的库
  • set
    • 无序,去重
    • 操作
      • sadd k1 ooxx xxoo oxox ooxx:添加元素
      • smembers k1:显示元素
      • srandmember k1 3:不重复地取出3个元素
      • srandmember k1 -8:可重复地取出8个元素
      • sunion k1 k2:k1 k2 并集
      • sinter k1 k2:k1 k2 交集
      • sdiff k1 k2:
    • 场景
      • 随机事件:抽奖
      • 集合运算:单线程串行,成本较大,通常会独立到一个redis实例
  • sorted_set
    • 有序,去重,动态维护顺序,底层是跳表(skiplist)
    • 操作
      • zadd k1 3.1 apple 2.5 orange 7 banana:插入数据
      • zrange k1 0 -1 withscores:按分值排序
      • zrange k1 0 1:取出前两名
    • 场景
      • 排行榜
      • 动态翻页

[DB] Redis  

参考

数据库知识网站

https://db-engines.com/en/

[DB] Redis

上一篇:mysql获取给定时间段内的所有日期列表


下一篇:C# 数据操作系列 - 13 SugarSql初探