redis结合mysql、自动同步

1.redis结合mysql
由于目前互联网巨大的访问量,在生产环境中常常需要redis结合mysql来用,如下图例,
我们可以将redis当作mysql的缓存,应用(app)所有读的操作都负载到redis上,因为redis够快,如果直接从mysql上读会对它造成巨大的压力,之前的mysql主从复制同样也是为了解决这样的问题,如果redis中没有想要的内容再从mysql中读并把读到的内容缓存到redis中。但是现在存在一个问题:当应用执行update操作时,就是往mysql中添加内容时,这时候redis无法完成更新,并且mysql无法将更改传递到redis中,因为二者的数据结构不同并且没有专门的连接端口,这时候我们该如何解决呢?
第一种传统的方式:在mysql中事先定义好触发器,通过udf(用户自定义函数)将mysql数据做映射,比如说将其映射为json数据,json数据可以跨平台传输,因此可以将json文件传递给redis从而完成数据的同步。但是这种方式从根本上是对mysql做操作,相当于给数据库创建函数对象,这种操作对数据库的侵入度是比较高的
第二种方式是:目前比较主流的,阿里开发的canal应用,它直接伪装成mysql slave的身份来对mysql进行复制,相当于mysql主从复制,然后通过事先准备好的javaclient将数据同步到redis,由于主从复制是mysql本身的功能,通过mysql主从复制协议实现的,因此侵入mysql数据库的程度更小
redis结合mysql、自动同步

 

2.实验前准备

server2:需要提供redis

server3:需要php组件

server4:需要MySQL

 redis结合mysql、自动同步

redis结合mysql、自动同步redis结合mysql、自动同步redis结合mysql、自动同步redis结合mysql、自动同步 

redis结合mysql、自动同步redis结合mysql、自动同步redis结合mysql、自动同步redis结合mysql、自动同步redis结合mysql、自动同步 

检测php是否可用 

redis结合mysql、自动同步 

server4  

redis结合mysql、自动同步 

3.实验:redis与mysql结合

配置mysql数据库

scp test.sql server4: ##将测试数据复制到mysql主机中 

 redis结合mysql、自动同步

mysql < test.sql ##测试数据导入数据库 

redis结合mysql、自动同步 redis结合mysql、自动同步

grant all on test.* to redis@'%' identified by 'westos'; ##授权远程用户连接 

 redis结合mysql、自动同步

redis结合mysql、自动同步 

 检测redis与mysql是否建立连接

redis结合mysql、自动同步 

 修改php配置文件test.php

将redis指向server2端;将MySQL指向server4端 

redis结合mysql、自动同步 

第一次访问,redis中没有缓存,看不到数据库中相关内容  

redis结合mysql、自动同步 

再次访问,已将mysql中相关内容缓存进redis中,可以访问到 修改test组内容

redis结合mysql、自动同步 

 修改test组内容

 redis结合mysql、自动同步

mysql中更新后,redis并没有同步 

 redis结合mysql、自动同步

删除redis中的缓存,nginx自动将新的内容缓存进redis中。 

redis结合mysql、自动同步 

redis结合mysql、自动同步 

4.自动同步
介绍

配置 gearman 实现数据同步:
Gearman 是一个支持分布式的任务分发框架:

Gearman Job Server:Gearman 核心程序,需要编译安装并以守护进程形式运行在后台。
Gearman Client:可以理解为任务的请求者。
Gearman Worker:任务的真正执行者,一般需要自己编写具体逻辑并通过守护进程方式运行,Gearman Worker 接收到 Gearman Client 传递的任务内容后,会按顺序处理。
大致流程:下面要编写的 mysql 触发器,就相当于 Gearman 的客户端。修改表,插入表就相当于直接下发任务。然后通过 lib_mysqludf_json UDF 库函数将关系数据映射为 JSON 格式,然后再通过 gearman-mysql-udf 插件将任务加入到 Gearman 的任务队列中,最后通过redis_worker.php,也就是 Gearman 的 worker 端来完成 redis 数据库的更新。

整体流程框图

redis结合mysql、自动同步

5.实验前准备

下载依赖性

 redis结合mysql、自动同步

redis结合mysql、自动同步 

redis结合mysql、自动同步 

检查函数 

 redis结合mysql、自动同步

拷贝 lib_mysqludf_json.so 模块 

redis结合mysql、自动同步 

查看 mysql 的模块目录 

redis结合mysql、自动同步redis结合mysql、自动同步 

gearman-mysql-udf用来管理调用 Gearman 的分布式的队列 

 redis结合mysql、自动同步

编译  

redis结合mysql、自动同步redis结合mysql、自动同步 

注册 UDF 函数 

 redis结合mysql、自动同步

解决依赖性问题 

redis结合mysql、自动同步redis结合mysql、自动同步 

开启4730端口  

redis结合mysql、自动同步

 指定gearman后台,负责接收mysql更改,但不负责处理,处理交给指定的worker

 redis结合mysql、自动同步

6.实验

 客户提交update任务,然后触发器启动,通过触发器中定义的函数将数据同步到redis。

vim test.php

 redis结合mysql、自动同步

查看触发器状态 

redis结合mysql、自动同步redis结合mysql、自动同步

修改redis指向 

 redis结合mysql、自动同步

gearman与redis  

redis结合mysql、自动同步 

/usr/local/worker.php 打入后台  

redis结合mysql、自动同步 

 修改mysql内容

redis结合mysql、自动同步 

实现自动同步 

redis结合mysql、自动同步 

redis结合mysql、自动同步 

 

上一篇:PHP-用GearmanManager添加新工作?


下一篇:Gearman doBackground()无法与php一起使用