Memcache内存缓存框架

转载请注明原文地址:https://www.cnblogs.com/ygj0930/p/10923221.html

一:Memcache是什么,为什么要用它

  MemCache是一个高性能、“分布式”的内存缓存系统,它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高了网站访问的速度,减轻数据库的负载。

  MemCaChe是一个存储键值对的HashMap,在内存中对任意的数据(比如字符串、对象等)使用key-value形式进行存储。

  数据可以来自数据库查询、API调用结果返回,或者网页传输过来的数据(session信息、request信息或者所携带的参数)。

  

二:Memcache安装与运维

  1、在本机或者集群服务器上安装Memcache

(Ubuntu/Debian)
sudo apt-get install libevent ibevent-dev
sudo apt-get install memcached (Redhat/Fedora/Centos)
yum install libevent libevent-devel
yum install memcached

  2、启动memcache:使用 memcached命令

  cd到memcached目录/bin下,通过 memcached [-options][value] 来启动memcache。

  启动选项:

  • -d是启动一个守护进程;
  • -m是分配给Memcache使用的内存数量,单位是MB;
  • -u是运行Memcache的用户;
  • -l是监听的服务器IP地址,可以有多个地址;
  • -p是设置Memcache监听的端口,,最好是1024以上的端口;
  • -c是最大运行的并发连接数,默认是1024;
  • -P是设置保存Memcache的pid文件。

  3、memcache服务器运维

  我们还可以在终端窗口使用telnet指令,通过IP和端口连接到memcache服务器进行操作。

telnet HOST PORT

  

  4、memcache操作指令

  1)存储指令

  Memcache内存缓存框架

  2)查找与操作指令

Memcache内存缓存框架  

  3)运维指令

  Memcache内存缓存框架

三:Memcache在开发中的应用——Java

  1、添加依赖

  2、连接memcache服务器

// 连接 Memcached 服务,创建memcache客户端对象
MemcachedClient mcc = new MemcachedClient(new InetSocketAddress("ip", port));

  3、通过memcache对象调用api进行存储、查找操作,api的参数同上面第二点中的指令参数

 // 存储数据
Future fo = mcc.set(key, 有效期, 值);
//查找数据
mcc.get(key)

  4、操作完成后关闭连接,以免占用memcache服务器资源

// 关闭连接
mcc.shutdown();

四:Memcache深入解读

  1、memcache与redis的区别和联系

  1)存储数据类型区别

  redis:支持较多的数据类型(String/list/set/sortset/hash)作为值;每个value最大数据存储量为1G;支持持久化;目前只支持在linux下运行。

  memcache:各种框架(tp/yii等等)都支持使用;session的信息可以非常方便的保存到memcache中,每个key保存的数据量最大为1M;不支持持久化,断电重启就没有了。

  2)分布式模式区别

  redis:主从模式,一个redis负责数据写入,其他多个redis负责数据读取。

  memcache:平均分摊模式,每个子服务器之间都是平级的,每个服务器都要执行数据的写入、读取操作。

  3)联系

  两者都是把数据保存在内存中,优化数据存取速度。

  2、memcache的数据类型存储

  1)基本数据类型——转化为String字符串格式来存储

  2)引用类型对象——原型存储

  由于原型存储对资源的消耗比较大,为了节省资源,可以把引用类型信息都变为字符串形式进行存储,这时需要进行 序列化 操作。

  3、memcache的分布式

  memcache的分布式 不是通过架构手段去实现的,我们只需要部署多台memcache服务器,然后在代码中为memcache对象添加多个server即可。

  其分布式特性是内置好了的,无需我们再通过架构手段实现一遍。

  memcache本身有算法,可以保证数据“平均”地存储在不同的服务器里边。【注意:是平均,而不是复制,各台memcache中存储的内容是不同的。】

Memcache内存缓存框架

  4、Memcache的访问模型(参考:https://www.cnblogs.com/xrq730/p/4948707.html)

  Memcache内存缓存框架

  MemCache虽然被称为"分布式缓存",但是MemCache本身完全不具备分布式的功能,MemCache集群之间不会相互通信(与之形成对比的,比如JBoss Cache,某台服务器有缓存数据更新时,会通知集群中其他机器更新缓存或清除缓存数据),所谓的"分布式",完全依赖于客户端程序的实现[通过代码]。

  MemCache一次写缓存的流程:

  1)应用程序输入需要写缓存的数据

  2)API将Key输入路由算法模块,路由算法根据Key和MemCache集群服务器列表得到一台服务器编号

  3)由服务器编号得到MemCache及其的ip地址和端口号

  4)API调用通信模块和指定编号的服务器通信,将数据写入该服务器,完成一次分布式缓存的写操作

  读缓存和写缓存一样,只要使用相同的路由算法和服务器列表,只要应用程序查询的是相同的Key,MemCache客户端总是访问相同的客户端去读取数据,只要服务器中还缓存着该数据,就能保证缓存命中。

  5、memcache路由算法(参考:https://www.cnblogs.com/xrq730/p/4948707.html)

  1)余数Hash策略

  例如,key的HashCode为50,memcache服务器有3台,则key.hashcode % 3 == 2,路由算法将key路由到第二台服务器上进行存储。

  原理:由于hashcode的随机性,可以保证数据“较为平均”地分布在memcache服务器集群中。

  缺点:服务器集群伸缩性差。当memcache服务器集群横向扩展时,服务器数量变化,会导致同样的key路由到新的服务器上,而旧路由器上的值不会被清除。

  解决方案:

  (1)在网站访问量低谷时段,通常是深夜,技术团队加班,扩容、重启服务器;

  (2)然后通过模拟请求的方式,对缓存内容重新读写一遍,逐渐预热缓存,使缓存服务器中的数据重新分布;

  2)一致性Hash算法

  一致性Hash算法通过一个叫做一致性Hash环的数据结构实现Key到缓存服务器的Hash映射。

  我们将服务器节点分布在Hash环上,每个key路由时,指向该key沿着hash环顺时针最近的服务器节点上。

  例如:服务器扩展前的Hash环

Memcache内存缓存框架

  当我们新增了一台服务器时,环上新增了一个节点:

Memcache内存缓存框架

  这样会导致上图中加粗部分缓存内容被重新分布,但相比第一种策略,这样已经优化了好多倍了。并且,集群中缓存服务器节点越多,增加节点带来的影响越小。

  6、memcache的存储原理(参考:https://www.cnblogs.com/xrq730/p/4948707.html)

  MemCache采用的内存分配方式是 固定空间分配:

  Memcache内存缓存框架

  

  1)MemCache将内存空间分为一组slab

  2)每个slab下又有若干个page,每个page默认是1M,如果一个slab占用100M内存的话,那么这个slab下应该有100个page

  3)每个page里面包含一组chunk,chunk是真正存放数据的地方,同一个slab里面的chunk的大小是固定的

  4)有相同大小chunk的slab被组织在一起,称为slab_class

  如果slab中没有chunk可以分配了怎么办:如果MemCache启动没有追加-M(禁止LRU,这种情况下内存不够会报Out Of Memory错误),那么MemCache会把这个slab中最近最少使用的chunk中的数据清理掉,然后放上最新的数据。

  为什么MemCache存放的value大小是限制的:因为一个新数据过来,slab会先以page为单位申请一块内存,申请的内存最多就只有1M,所以value大小自然不能大于1M了。

  7、memcache的特性与限制

  1)MemCache中可以保存的item数据量是没有限制的,只要内存足够

  2)MemCache单进程在32位机中最大使用内存为2G,64位机则没有限制

  3)Key最大为250个字节,超过该长度无法存储

  4)单个item最大数据是1MB,超过1MB的数据不予存储

  5)MemCache服务端是不安全的,比如已知某个MemCache节点的ip和port,可以直接telnet过去,并通过flush_all让已经存在的键值对立即失效

  6)不能够遍历MemCache中所有的item,因为这个操作的速度相对缓慢且会阻塞其他的操作

  7)MemCache的高性能源自于两阶段哈希结构:第一阶段在客户端,通过Hash算法根据Key值算出一个节点;第二阶段在服务端,通过一个内部的Hash算法,查找真正的item并返回给客户端。

  8)MemCache设置添加某一个Key值的时候,传入expiry为0表示这个Key值永久有效,然而这个Key值也会在30天之后失效,这是在源码中写死了的。

五:常见的memcache使用

  1、session共享

  一个大型网站或系统,往往部署在多台服务器上。多台服务器彼此之间需要共享session信息,这时可以把session缓存在memcache中,而各服务器都可以从memcache中提取session进行分布式处理的同时又能保持一致性。

  2、网页内容缓存

  网站有一个页面需要获得许多数据信息,并且这些数据信息在短时间内不会发生变化时。可以把这些数据获得出来存入到memacache中过去,供后续访问。

  

上一篇:nodejs爬虫——汽车之家所有车型数据


下一篇:回顾ThreadLocal