Memcached是一个高效的分布式内存cache,了解memcached的内存管理机制,便于我们理解memcached,让我们可以针对我们数据特点进行调优,让其更好的为我所用。
首先需要我们先了解两个概念:Slab和chunk。
Slab和chunk在Memcached的内部结构中是非常两个重要的概念,先上一张图来感性认识下:
Slab是一个内存块,是Memcached一次申请内存的最小单位。在启动Memcached的时候一般会使用参数-m来指定其可用内存,但并不是在启动哪一刻时所有内存全被分配出去了,而是只有在需要的时候才去申请,每次申请的就是一个Slab。Slab的大小是固定为1M(1048576 Byte)的,而一个Slab是由若干个大小相等的chunk组成,每个chunk中都保存了一个item结构体。
虽然在同一个Slab中的chunk大小相等,但在不同的Slab中chunk的大小不一定相等。因此在Memcached中按照chunk的大小不同,把Slab分成了很多种类(class)。在启动Memcached的时候可以通过-vv来查看Slab的种类:
从上图可以看到,默认情况下memcached把slab分为40类(class1~class40):
- 第一列数据(slab class),为slab的编号;
- 第二列数据是chunk的大小,跟slab class是一一对应的关系,可以通俗的理解为slab就是存放一组相同大小chunk的集合,只不过这个集合是固定的(1M),
- 第三列数据,表示每种不同slab中的page可以存放的chunk个数,实际上等于1MB/ (chunk size),例如在class 1中,chunk的大小为80字节,因此在class1中最多可以有13107个chunk:
13107×80 + 16 = 1048576
很显然,slab的chunk size越大,其中的每个page包含的chunk数量就越少。
在class1中,剩余的16字节因为不够一个chunk的大小(80byte),因此会被浪费掉。每类chunk的大小有一定的计算公式的,假定i代表分类,class i的计算公式如下:
chunk size(class i) : (default_size+item_size)*f^(i-1)+ CHUNK_ALIGN_BYTES
- default_size: 默认大小为48字节,也就是memcached默认的key+value的大小为48字节,可以通过-n参数来调节其大小;
- item_size: item结构体的长度,固定为32字节。default_size大小为48字节,item_size为32,因此class1的chunk大小为48+32=80字节;
- f为factor,是chunk变化大小的因素,默认值为1.25,调节f可以影响chunk的步进大小,在启动时可以使用-f来指定;
- CHUNK_ALIGN_BYTES是一个修正值,用来保证chunk的大小是某个值的整数倍(在32位机器上要求chunk的大小是4的整数倍)。
从上面的分析可以看到,我们实际可以调节的参数有-f、-n,在memcached的实际运行中,我们还需要观察我们的数据特征,合理的调节f,n的值,使我们的内存得到充分的利用减少浪费。
内存申请分配
Memcached默认情况下采用了名为Slab Allocator的机制分配、管理内存,Slab Allocator的基本原理是按照预先规定的大小,将分配的内存分割成特定长度的块,以完全解决内存碎片问题。
Memcached在重复利用分配的内存时,不会主动删除过期的,而是通过两种策略来实现的:
- Lazy Expiration:就是Memcached不会去监视服务器上的数据是否过期,而是等待get的时候检查时间戳是否过期,如果过期将不返回值,来减少Memcached在监控数据上所用到的时间。
- Least Recently Used(LRU):Memcached 不会去释放已经使用的内存空间,但是如果分配的内存空间已经满了,当此处内存空间数据最长时间没有使用,而且使用次数很少,在存储新的数据的同时就会覆盖此处内存块。
而LRU是针对Slab做的操作,而非全局哦。
下面解释一下memcached的内存预分配过程:
- 向memcached添加一个item时候,memcached首先会根据 item的大小,来选择最合适的slab class:例如item的大小为190字节,默认情况下class 4的chunk大小为160字节显然不合适,class 5的chunk大小为200字节,大于190字节,因此该item将放在class 5中(显然这里会有10字节的浪费是不可避免的)。
- 计算好所要放入的chunk之后,如果这个item对应的slab未出现过,则申请1个page(注意,这1M空间不论是否达到memcached使用内存都可以申请成功)并加该item存入slab中的chunk。
- 如果item对应的slab出现过,则在该slab中优先选择expired(free_chunks)和delete的chunk进行存储,其次将选择未使用过的chunk(free_chunks_end)进行存储。
- 如果item对应的slab出现过,但是对应的slab已经存储满了,那么会申请一个新的page,这个page被分为对应大小的chunk,继续存储。例如我们第一次向memcached中放入一个190字节的item 时,memcached会产生一个slab class 5(也叫一个page),并会用去一个chunk,剩余5241个chunk供下次有适合大小item时使用,当我们用完这所有的5242个chunk之后,下次再有一个在160~200字节之间的item添加进来时,memcached会再次产生一个class 5的slab(这样就存在了2个pages)。
- 如果item对应的slab出现过,但是对应的slab已经存储满了并且memcache也达到了最大内存使用。将使用lru算法,清除item(可能将未过期的item清除)此时会有eviction++。
Page其实就是分配给Slab的内存空间,默认是1MB,Slab是逻辑概念。