redis

Redis配置

Redis安装

yum install gcc automake autoconf libtool make -y && mkdir -p /apps/redis/{etc,bin,data,logs,run}
cd /usr/local/src/ && wget https://repo.huaweicloud.com/redis/redis-6.2.2.tar.gz
tar -xf redis-6.2.2.tar.gz 
cd redis-6.2.2
make PREFIX=/apps/redis install 
cp redis.conf /apps/redis/etc/
useradd -s /sbin/nologin redis
ln -s /apps/redis/bin/redis-* /usr/bin/
chown -R redis.redis /apps/redis

编辑service文件

cat > /usr/lib/systemd/system/redis.service <<EOF
[Unit]
Description=Redis persistent key-value database
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
ExecStart=/apps/redis/bin/redis-server /apps/redis/etc/redis.conf --supervised systemd
ExecStop=/bin/kill -s TERM \$MAINPID
LimitNOFILE=100000
User=redis
Group=redis
RuntimeDirectory=redis
RuntimeDirectoryMode=0755

[Install]
WantedBy=multi-user.target
EOF

编辑配置文件

bind 0.0.0.0
port 6379
tcp-backlog 511
timeout 30
tcp-keepalive 300
daemonize yes
pidfile /apps/redis/run/redis_6379.pid
loglevel notice
logfile "/apps/redis/logs/redis.log"
databases 16
always-show-logo no

dir /apps/redis/data
dbfilename dump.rdb
rdbcompression yes
rdbchecksum yes
stop-writes-on-bgsave-error no

save 900 1
save 300 10
save 60 1000


maxclients 10000
maxmemory  1073741824

修改内核参数

vm.overcommit_memory = 1
net.core.somaxconn = 512

启动Redis

systemctl start redis

Redis持久化配置

• 配置RDB持久化

  cat >> /data/6379/redis.conf << EOF
  dir "/data/6379"             # 数据存放目录 
  dbfilename "dump.rdb"        # 数据文件名称
  rdbcompression yes           # 是否压缩,默认为yes 采用LZF压缩 设置为no可以节省CPU,但是会使文件变得巨大
  rdbchrcksum yes              # 是否进行RDB数据校验(校验在读写时均进行),设置为no可以节省10%时间消耗,但是存储的数据有损坏风险
  stop-write-on-bgsave-err yes # 后台持久化过程中如果出现错误现象，是否停止保存操作。
  save 900 1                   # 900s内有1次更改则进行一次保存
  save 300 10                  # 300s内有10次更改则进行一次保存
  save 60  10000               # 60s内有10000次更改则进行一次保存
  EOF
  

  • 特点：可以在指定的时间间隔内生成数据集的时间点快照(point-in-time snapshot)
  • 优点：
    1. RDB是一个紧凑压缩的二进制文件，存储效率高
    2. RDB内部存储的是Redis在某个时间点的数据快照，非常适合数据备份，全量复制等场景
    3. RDB恢复数据的速度比AOF快很多
  • 缺点：
    1. 无法做到实时持久化，具有较大的可能性丢失数据
    2. bgsave指令每次运行需要执行fork()函数创建子进程，需要牺牲一些性能
    3. Redis的众多版本中未进行RDB文件格式的版本同一，有可能出现个版本服务之间数据格式无法兼容的现象
  • 应用：
    1. 服务器每隔一段时间执行bgsave备份，并将RDB文件拷贝到远程机器中用于灾难恢复。

• 配置AOF持久化

  cat >> /data/6379/redis.conf << EOF
  appendonly yes  
  # appendfsync always       # 每次操作执行落盘
  appendfsync everysec       # 每秒执行落盘
  # appendfsync no           # 交由系统执行落盘
  EOF
  

  • AOF重写规则

    1. 进程内已经超时的数据不再写入
    2. 忽略无效指令，重写时使用进程内数据直接生成，新的AOF文件值保留最终数据写入的命令
    3. 对同一数据的多条命令合并为一条命令(为防止数据量过大造成客户端缓冲区溢出，对list、set、hash、zset等类型，每条指令最多写入64个元素)
    • 手动重写bgrewriteaof
    • 自动重写
      1. 自动重写参数

         auto-aof-rewrite-min-size size
         auth-aof-rewrite-percentage percentage%
         

      2. 自动重写参数对比条件

         aof_current_size   
         aof_base_size
         

      3. 自动重写触发条件
         1. aof_current_size > auto-aof-rewrite-min-size
         2. aof_base_size/(aof_current_size-aof_base_size) >= auth-aof-rewrite-percentage

  • 特点：记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据集，AOF文件中的命令全部以Redis协议的格式来保存，新命令会被追加到文件的末尾

  • 优点：可以最大程度保证数据不丢

  • 缺点：日志记录量级比较大

• 两种持久化方式的区别

  • RDB：基于快照的持久化，速度更快，一般用作备份，主从复制也是依赖于rdb持久化功能
  • AOF：以追加的方式记录redis操作日志的文件。可以最大程度的保证redis数据安全，类似于mysql的binlog

• RDB与AOF如何选择

  1. 对数据非常敏感，优先使用AOF everysec持久化策略，在该策略下Redis仍然可以保持很好的性能，出现问题时最多丢失1s的数据（AOF文件较大，恢复较慢）
  2. 数据呈现阶段有效性，优先使用RDB持久化策略，在该策略下Redis可以做到阶段性数据持久化，且恢复速度较快
  • 综合
    1. RDB与AOF各有利弊
    2. AOF数据相对于RDB更加安全
    3. RDB相对于AOF在大数据集恢复时速度更快
    4. 灾难恢复选择RDB
    5. 可以同时开启RDB与AOF，重启后优先使用AOF来恢复数据，降低丢失的数据量

Redis数据类型

String数据类型的操作

String数据类型注意事项

• nil代表空值
• 单个value最大512MB
• 数值计算最大范围9223372036854775807
• key命名规则 表名:主键名:主键值:属性名 = value

Hash数据类型的操作

Hash数据类型注意事项

• Hash 类型下的vlaue只能存储字符串，不允许存储其他数据类型，不存在嵌套，如果入局未找到对应的值为nil
• 每个Hash可以存储2^32 - 1 个键值对
• hgetall操作可以获取全部属性，如果内部字段过多，遍历整体数据效率会很低，可能会成为数据访问的瓶颈

List数据类型的操作（双向链表）

List数据类型注意事项

• List中保存的数据都是string类型
• 每个List可以存储2^32 - 1 个元素
• List具有索引的概念，但是操作数据时通常以队列的形式进行入队出队操作，或以入栈的形式进行入栈出栈操作

Set数据类型的操作

Sorted_Set数据类型的操作

通用命令

Key通用命令

数据库通用命令

Redis事务(乐观锁)

事务的基本操作

• 开启事务(设定事务的开启位置，后续的所有指令加入到事务中)

  multi 
  

• 执行事务(设定事务的结束位置并执行队列中的所有指令，与multi成对出现)

  exec
  

• 取消事务(取消当前事务的定义并取消所有在队列中的指令)

  discard 
  

Redis主从复制

RedisSlave需要开启持久化并设置和MASTER相同的密码，在Slave更换MASTER之后会删除之前的所有数据，重新从新的MASTER同步数据。但当断开同步关系之后不会删除当前已经同步过的数据。

配置主从复制在5.0版本之后命令发生变化，使用replicaof masterIP port，在5.0之前的版本用的命令是slaveof命令，配置文件内也使用此选项。

config set masterauth password

将配置保存到redis配置文件

echo -e "replicaof ip port\nasterauth password" >> /apps/redis/etc/redis.conf

查看slave状态可以使用info replication

# Replication
role:slave  # 当前redis的角色
master_host:172.20.1.101 
master_port:6379
master_link_status:up  # master 连接状态
master_last_io_seconds_ago:2   # 检测master状态倒计时 repl-ping-replica-period选项定义，默认10
master_sync_in_progress:0    # 同步状态
slave_repl_offset:545   
slave_priority:100   # 优先级
slave_read_only:1   # 只读
replica_announced:1
connected_slaves:0    # 已连接的从节点数
master_failover_state:no-failover
master_replid:dd2749f5a4e443ba9cf5203d5386e34043db11aa
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:545
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:545

redis-Cluster配置

1. 创建集群之前需要修改配置文件打开cluster-enabled yes cluster-config-file filename

redis-cli -a 123456 --cluster create --cluster-replicas 1 172.20.1.1:6379 172.20.1.2:6379 172.20.1.3:6379 172.20.1.4:6379 172.20.1.5:6379 172.20.1.6:6379

>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 172.20.1.5:6379 to 172.20.1.1:6379
Adding replica 172.20.1.6:6379 to 172.20.1.2:6379
Adding replica 172.20.1.4:6379 to 172.20.1.3:6379
M: cb6ed6788013b82422dde56426b49c458c8443f4 172.20.1.1:6379
   slots:[0-5460] (5461 slots) master
M: 7662cfc1db4c64e8d55e58f8587c587756741b8e 172.20.1.2:6379
   slots:[5461-10922] (5462 slots) master
M: ab658b879f482b1840aa4af9e64ed65dee687c06 172.20.1.3:6379
   slots:[10923-16383] (5461 slots) master
S: 1b97b4a960fb82a4c14b00fe69181364e34dc11f 172.20.1.4:6379
   replicates ab658b879f482b1840aa4af9e64ed65dee687c06
S: cddafbed60a366bb525e4d76f94c5126108cddd1 172.20.1.5:6379
   replicates cb6ed6788013b82422dde56426b49c458c8443f4
S: 925c64a13537e2403922de354ce7db5468401462 172.20.1.6:6379
   replicates 7662cfc1db4c64e8d55e58f8587c587756741b8e
Can I set the above configuration? (type ‘yes‘ to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
.
>>> Performing Cluster Check (using node 172.20.1.1:6379)
M: cb6ed6788013b82422dde56426b49c458c8443f4 172.20.1.1:6379
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: cddafbed60a366bb525e4d76f94c5126108cddd1 172.20.1.5:6379
   slots: (0 slots) slave
   replicates cb6ed6788013b82422dde56426b49c458c8443f4
M: 7662cfc1db4c64e8d55e58f8587c587756741b8e 172.20.1.2:6379
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
S: 925c64a13537e2403922de354ce7db5468401462 172.20.1.6:6379
   slots: (0 slots) slave
   replicates 7662cfc1db4c64e8d55e58f8587c587756741b8e
S: 1b97b4a960fb82a4c14b00fe69181364e34dc11f 172.20.1.4:6379
   slots: (0 slots) slave
   replicates ab658b879f482b1840aa4af9e64ed65dee687c06
M: ab658b879f482b1840aa4af9e64ed65dee687c06 172.20.1.3:6379
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

2. 为slave配置masterauth

redis-cli 
auth 123456
info replication
config set masterauth 123456

3. 修改配置文件添加masterauth选项

masterauth 123456

Redis安装配置