MC的分布式算法的实现和一些总结

首先我们知道Memcached是一个分布式的缓存系统,但memcached并不像是mongodb那样,允许配置多个节点,且节点之间是自动分配数据的

也就是说memcached节点之间,是互不相通信的,因此,memcached的分布式,要靠用户去设计算法,把数据分布在多个memcached节点中。

我们来看一下常用的分布式的算法:

1.取模算法:

最容易想到的就是取模算法,即N个节点要从0-》n-1进行编号,key对N取模,余i,则key落在第i台服务器上。

就是将server的hash值与server的总台数进行求余,即hash%N,这种方法的弊端是当增减服务器时,将会有较多的缓存需要被重新分配且会造成缓存分配不均匀的情况(有可能某一台服务器分配的很多,其它的却很少).

MC的分布式算法的实现和一些总结

但我们来看一下这种算法对缓存命中率的影响:

我们假设有8台服务器,运行中突然down一台,则求余的底数变成7

我们来推算一下产生的后果:

MC的分布式算法的实现和一些总结

一般地,我们从数学上归纳之:

有N台服务器,变成了N-1台服务器,

每N*(N-1)个数中,只有(n-1)个单元,%n,%(n-1)得到相同的结果

所以 命中率在服务器down的短期内,急遽下降至1/(N-1)

所以 服务器越多,则down机的后果越严重!

我们来讨论下一致性hash的算法:

通俗理解一致性哈希:

把各个服务器节点放在钟表的各个时刻上,我们将Key也映射到钟表的某个时刻上,该key沿钟表顺时针走,碰到第一个比它小的节点后,则这个key就落到这台服务器上。

MC的分布式算法的实现和一些总结

 疑问1:时钟上的指针最大才11点,如果我有上百个memcached节点怎么办?
答: 时钟只是为了便于理解做的比喻,在实际应用中,我们可以在圆环上分布[,^-]的数字,
这样,全世界的服务器都可以装下了. 疑问2:我该如何把”节点名”,”键名”转化成整数?
答: 你可以用现在的函数,如crc32().
也可以自己去设计转化规则,但注意转化后的碰撞率要低.
即不同的节点名,转换为相同的整数的概率要低.

好了,那我们再考虑一下当某个节点Down了之后,后产生什么样的影响?

当某个节点down后,只影响该节点顺时针之后的1个节点,而其他节点不受影响.因此,Consistent Hashing最大限度地抑制了键的重新分布

MC的分布式算法的实现和一些总结

我们通过上图看到,6号节点down后,所有的压力都转移到7号节点上,造成了7号节点服务器的压力特别的大,那我们考虑是否能够将6号节点的压力注意到其余的节点上呢?

所以我们引入了虚拟节点的概念:

虚拟节点即----N个真实节点,把每个真实节点映射成M个虚拟节点, 再把M*N个虚拟节点,

散列在圆环上. 各真实节点对应的虚拟节点相互交错分布

这样,某真实节点down后,则把其影响平均分担到其他所有节点上

MC的分布式算法的实现和一些总结

好了,上面就是一致性hash的理论知识点,接下来我们来考虑一下怎样实现?

下面是用php来实现的代码:

 <?php

 class Consistent {
protected $_nodes = array(); //生成一个数值
public function _hash($str){
return sprintf("%u",crc32($str));
} public function find($key){
$point = $this->_hash($key);
$pos = current($this->_nodes); foreach($this->_nodes as $k=>$v){
if($point <= $k){
$pos = $v;
break;
}
}
return $pos;
} public function addServer($server){
for($i=1;$i<=32;$i++){
$pos = $this->_hash($server."-".$i);
$this->_nodes[$pos] = $server;
} ksort($this->_nodes,SORT_REGULAR);
} public function printNodes(){
print_r($this->_nodes);
} } $cons = new Consistent(); $cons->addServer('a');
$cons->addServer('b');
$cons->addServer('c'); echo $cons->_hash('name')."<br/>";
echo '应该落在'.$cons->find('name')."<br/>"; $cons->printNodes();
?>
上一篇:【代码笔记】iOS-由身份证号码返回性别


下一篇:hdu2662