redis 学习笔记——redis集群

redis-cluster
简介
  • redis-cluster是一个分布式、容错的redis实现,redis-cluster通过将各个单独的redis实例通过特定的协议连接到一起实现了分布式、集群化的目标。
  • redis-cluster中不存在中心节点或者代理节点,这样的设计目标是为了实现线性化扩展,也解决了单一中心(或代理)节点带来的性能瓶颈,但是随着集群规模的增大,节点之间通信的开销也会成指数级的增长,这样的机制也反过来限制了redis-cluster的规模无限扩充的可能。
  • redis-cluster的容错性采用的基本的主备(1-N)模式,由主节点提供服务,备节点定期与主节点同步数据,且备节点与主节点采用完全一致的配置,只有在主节点异常的情况下才会切换到备用节点。这种简单主备的模式浪费过多资源,不知道是否考虑过节点互为主备的情况(可以保留几台设备作为备机,当然这种情况只在集群故障率较低的情况下使用)
 
redis-cluster 通信    
  • redis-cluster中的每一个节点都包含以下信息:1、保存k-v信息;2、记录集群中slot到node的映射信息(因为slot是由key根据固定的算法计算出来的,而且slot数量固定为16384,如果保存key-node映射,则需要大量空间存储映射关系);3、通过Gossip协议与cluster中的其他节点进行通信,自动发现其他节点、识别出工作异常的节点(PING-PONG机制)、传播自身以及获取到的其他节点的信息。4、集群间可以通过PUB/SUB进行分发、订阅事件
  • redis-cluster中每个节点都有一个独一无二的ID,这个ID是一个十六进制表示的160位随机数,在节点第一次启动时由/dev/urandom生成。生成的节点ID会保存到配置文件中,只要配置文件存在该节点就会已知沿用这个ID。节点的ip、port都有可能改变,所以用ID来作为集群节点的唯一识别符。当某一结点的ip、port发生变化时,会通过gossip协议将关联信息发送到集群中其他节点:*当前的ip、port;标识(flags);负责处理的hash_slot;最后一次使用集群连接发送PING的时间;最后一次收到PONG的时间;被集群标记为下线状态的时间;如果是从节点,会记录主节点的ID,否则主节点ID这一栏值为0000*。example:```` 3886e65cc906bfd9b1f7e7bde468726a052d1dae 127.0.0.1:6380 master - 1318428930 1318428931 connected 1365-2729````
  • 节点通信:redis-cluster中的节点总是应答来自集群节点的连接请求,并对收到的PING数据包进行回复;对于来自本集群之外的节点的数据包,除了PING之外一概拒绝。这种情况下,集群中添加一个新的节点需要通过以下的步骤:1、新节点向原有节点发送MEET信息,强制接收信息的节点承认该节点是本集群的一份子,但是MEET信息只有在管理员手动执行````CLUSTER MEET ip port````命令时才能发送。2、redis-cluster支持A->B,B->C=A->C,这种传递方式C认识A的方式。 这种添加节点的方式有效防止了多个集群节点的mix,增强了集群的健壮性。
  • MOVED和ASK命令:客户端向Node1请求key,如果key存在于Node1上就会直接返回,如果不在该节点上,就会返回````-MOVED *slot addr:port*````给客户端,告知客户端请求的slot所在的Node,然后客户端会重新向新的Node发送请求同时更新本地的slot-node映射缓存;如果请求的key所在的node正在和另一个node进行slot迁移,如果key仍然在当前node上,node会正常返回;否则会返回一个ASK转向命令,客户端收到这个ASK应答后(这里与MOVED的最大区别就是客户端不会去更新本地的slot-node映射缓存,也就是说客户端下次请求依然会指向原来的node),会向新的node节点先发送一个ASKING命令,node节点收到ASKING命令后会设置一个一次性的flag,使得可以接受一次客户端对该node节点的请求,如果没有收到ASKING命令,node节点是拒绝接收任何客户端请求的。
  • 由于redis-cluster没有中心节点或者代理节点,客户端与redis-cluster通信都是采用与节点直接连接发送消息的方式进行的。redis-cluster中的节点采用ASK、MOVED两种机制来解决客户端请求的key不在当前节点的问题,通常情况下只有在新增、删除、主备切换才会出现slot迁移的情况,此时会用到AKS、MOVED机制。为了使客户端可以尽快的找到目标key所在的节点,通常客户端都会缓存一份slot-node映射关系,根据这个映射关系客户端可以直接访问到目标key所在的节点。
 
集群操作
  • redis-cluster支持在运行过程中进行节点的增加、删除操作,而且还不影响集群的正常工作。redis-cluster整个集群总共有16384(16*1024)个slot,所有的key都会指向一个特定的slot,每个node上可以负责其中的一部分,节点的增删,实际上就是slot迁移的过程。slot迁移除了因为主节点down会自动发生主备切换时是自动发生的,其他情况下都需要人工干预,即通过向集群发送命令来进行节点增删、slot迁移,slot迁移(resharding之后的文章会具体介绍)过程中会涉及到ASK、MOVED命令。
  • 节点失效检测:当一个节点向另一个节点发送PING消息时,目标节点没有在超时时间内返回PONG,当前节点就会将目的节点标记为PFAIL(possible failure);每次当节点对其他节点发送PING命令的时候,都会随机的广播三个它所知道的节点信息,其中包括已经被标记为PFAIL或者FAIL的节点(如果有的话);当一个节点收到广播的信息,会记下被标记为PFAIL和FAIL的节点;如果节点已经将某个节点标记为PFAIL,并根据节点所收到其他节点关于状态的反馈,如果反馈其为PFAIL的节点数过半,就可以将那个节点标记为FAIL;一旦一个节点被标记为FAIL,其为FAIL的状态信息会很快广播到整个集群。在以下两种情况下节点的FAIL状态会被移除:
    1. 如果被标记的时从节点,那么当这个节点重新上线时,FAIL标记就会被移除,保持从节点的FAIL状态没有任何意义,因为不处理任何slot,只会在主节点发生failover时才会影响其是否能够被提升为主节点;
    2. 如果一个主节点被打上FAIL标记后,结果节点的超时时间的4倍再加10秒钟之后,针对这个主节点的故障slot转移操作仍未完成,并且这个主节点重新上线的话,那么就移除这个节点的FAIL标记。
 
  • 节点failover选举:如果一个主节点进入FAIL状态,如果这个主节点有从节点,那么就会将一个从节点设置为主节点,其他从节点(如果有的话)就会开始从这个节点复制数据。从节点变主节点的条件:
    • 必须为已下线主节点的从节点;
    • 原主节点负责的slot数不为0;
    • 从节点数据被认为是可靠的,即主从节点间复制连接的断线时长不得超过  节点超时时限*REDIS_CLUSTER_SLAVE_VALIDITY_MULT  常量的乘积。
 
  • 从节点满足条件后,就会向集群中其他的主节点发送授权请求,询问是否能够转换成新的主节点。集群中主节点审核从节点升级主节点的请求时,考虑一下内容:
    • 发送请求消息的节点目前是从节点状态,其主节点为FAIL状态;
    • 该从节点在原主节点的所有从节点中,ID最小;
    • 该从节点没有被标记PFAIL或者FAIL。
 
一旦一个从节点在一定时间内收到大部分的集群主节点的授权,就会开始故障转移操作:
    • 显式的向集群中所有节点广播一个PONG数据包,表面自身是一个已升级的从节点(promoted slave),目前已经是主节点,接管原有主节点负责处理的所有槽;
    • 原有主节点的slot全部被更新;
    • 已下线主节点其他所有的从节点(有的话)接收到promoted标志,开始从当前新的主节点复制数据;
    • 如果已下线的主节点重新上线,察觉到PROMOTED标志,就会将自身调整为目前主节点的从节点。
 
  • 集群失效检测:每当集群配置发生变化时(slot更新或者slot迁移),集群中的每个节点都会对它所知道的节点进行扫描。配置更新完毕后,集群会根据扫描结果进入不同的状态:
    • FAIL:集群不能正常工作,即对每个请求,集群都会返回错误回复;
    • 集群可以正常工作,负责处理全部16384个槽的节点中,没有一个主节点进入FAIL状态。当集群中的大部分主节点都进入下线状态,即此时大部分为PFAIL,就无法完成FAIL状态确认,因为需要过半数的主节点投票,这种情况下,整个集群就会停止处理客户端的命令请求,并进入到集群FAIL状态。
 
注:部分内容引用于http://redisdoc.com/topic/cluster-spec.html#id4
 

具体操作
 
创建redis运行实例
先修改redis.conf,把其中的cluster-enabled、daemonize选项改成yes,设置maxmemory(单位byte)。然后执行下面脚本
#!/bin/sh
 
port=10000
redis_data="/home/sxhlinux/redis_data"
cd $redis_data
while [ $port -le 10009 ]
do
    mkdir $dir
    cd $dir
    cp /home/sxhlinux/redis/redis.conf .
    sed -i "s/\(port \)[0-9]*/\1${dir}/" redis.conf
    /usr/local/bin/redis-server ./redis.conf
    cd ..
 
    let port+=1
done

  

创建主备1:1的redis cluster集群
#注:参数中的... 表示实例的缩写,这里的10个实例会生成一个5主5从的集群。
$ redis-trib.rb create --replicas 1 127.0.0.1:10000 127.0.0.1:10001 127.0.0.1:10002 ... 127.0.0.1:10009 
 
$ redis-trib.rb check 127.0.0.1:10000 #检查整个集群状态
 
$ redis-cli -c [-h IP_ADDR] -p 10000 cluster nodes  #查看当前端口号为10000的节点所在集群的节点数 -h 选项用于连接远程的redis实例

  

集群中新增一个redis节点
#创建两个redis运行实例10010的过程省略
#将10010两个节点添加到127.0.0.1:10009运行的集群中,默认节点类型为master;
#--slave选项可以将新节点作为slave节点加入到集群中,可以通过--master-id选项指定搭配的主节点,否则集群就会随机分配给一个主节点
$ redis-trib.rb add-node [--slave] [--master-id MASTERID]127.0.0.1:10010 127.0.0.1:10009     #新添加一个节点
 
$ redis-cli -c -p 10001 cluster meet 127.0.0.1 10010     #新添加一个主节点
 
$ redis-cli -c -h [IP_ADDR] -p 10010 cluster replicate MASTER_ID     #将IP_ADDR 10001实例作为MASTER_ID的slave节点

  

集群中删除一个redis节点
$ redis-trib.rb del-node IP:PORT NODE_ID   #将IP:PORT实例删除,并结束掉该实例进程(如果该实例上有slot,需要先执行reshard操作,将slot迁移走)   

#将NODE_ID从IP_ADDR:PORT节点上的集群信息中移除,但是被删除节点的还在其它节点的node.conf中,#由于redis-cluster的gossip协议作用,
#删除的节点信息很快会被加到IP_ADDR:PORT节点的node.conf中。所以想要彻底将一个节点从集群中移除,
#需要使用下面的redis-trib.rb call 命令来对所有的节点执行forget命令
$ redis-cli -c [-h IP_ADDR] -p PORT cluster forget NODE_ID    
 
$ redis-trib.rb call IP:PORT CMD     #对IP:PORT所在集群上所有的节点上执行CMD命令

  

 
集群失败与恢复
$ redis-cli -c [-h IP_ADDR] -p 10001 debug segfault     #手动将10001节点关掉,模拟实例挂掉的情况,测试故障转移

  

slot操作
#将0-5000,6000这5002个slot指派到该节点上
$ redis-cli -c [-h IP_ADDR] -p PORT cluster addslots {0..5000,6000}     
 
#移除指派给当前结点的部分slot
$ redis-cli -c [-h IP_ADDR] -p PORT cluster delslots {0..5000,6000} 
 
#移除指派给当前结点的所有slot
$ redis-cli -c [-h IP_ADDR] -p PORT cluster flushslots
 
#指派slot给NODE_ID代表的节点,如果要指派的节点已经在其它节点,则需要delslots命令先把这些slot从其它节点上删除
$ redis-cli -c [-h IP_ADDR] -p PORT cluster setslot {1..500, 5000} node NODE_ID
 
#将本节点指定的slot迁移到NODE_ID代表的节点
$ redis-cli -c [-h IP_ADDR] -p PORT cluster setslot {1..500, 5000} migrating NODE_ID
 
#从NODE_ID代表的节点中将指定的slot迁移到本节点中
$ redis-cli -c [-h IP_ADDR] -p PORT cluster setslot {1..500, 5000} importing NODE_ID
 
#取消对指定slot的migrating或者importing
$ redis-cli -c [-h IP_ADDR] -p PORT cluster setslot {1..500, 5000} stable
 
#在IP:PORT所在集群进行slot迁移,可以从特定节点(NODE_ID1..)也可以是全部(all)节点迁移NUMS个slot到NODE_ID3(NODE_ID3必须时master节点,否则会失败)上(注:源可以多个,但目的只有一个)
$ redis-trib.rb reshard IP:PORT --from all/NODE_ID1[,NODE_ID2...] --to NODE_ID3 --slots NUMS --yes [--timeout SECS]

  

上一篇:cmd命令之查看进程到杀掉进程


下一篇:vs2012 不显示最近项目