Gearman简介:
Gearman是一个支持分布式的任务分发框架。设计简洁,获得了非常广泛的支持。一个典型的Gearman应用包括以下这些部分:
1、Gearman Job Server:Gearman核心程序,以守护进程形式运行在后台
2、Gearman Client:可以理解为任务的收件员,比如我要在后台执行一个发送邮件的任务,可以在程序中调用一个Gearman Client并传入邮件的信息,然后就可以将执行结果立即展示给用户,而任务本身会慢慢在后台运行。
3、Gearman Worker:任务的真正执行者,一般需要自己编写具体逻辑并通过守护进程方式运行,4、Gearman Worker接收到Gearman Client传递的任务内容后,会按顺序处理。
设计思路:
首先利用mysql UDF(通过了lib_mysqludf_json和gearman-mysql-udf的组合实现)在mysql中的数据发生改变时触动触发器将数据传入Gearman中,这时的mysql相当于Gearman的clinet。然后运行自己编写的php程序作为worker,将Gearman中的数据传到Redis中去,这时的Redis相当于是Gearman的consumer。
实施过程:
1、 配置YUM源,安装gearmand
http://down.51cto.com/data/2274661 ##YUM包文件配置,和GEARMAND 需要的包
1、yum install -y php-pecl-gearman libgearman libgearman-devel gearmand nc
2、启动服务/etc/init.d/gearmand start
3、检查状态是否OK netstat -alnutp |grep gearman
###gearman默认使用的端口为4370
2、 安装数据库、php-MySQL插件
1、 数据库安装(略)
2、 插件安装yum -yinstall php-mysql #安装这个插件主要是用PHP来数据收集写入操作
3、 启动MySQL
3、在数据服务器上安装lib_mysqludf_json
1、 unzip master.zip
2、 cd lib_mysqludf_json-master
3、 rm -rf lib_mysqludf_json.so
4、 gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.solib_mysqludf_json.c
##把重新编译的lib_mysqludf_json.so 拷贝到/usr/local/mysql/lib/plugin目录下
4、在数据服务器上安装gearman-mysql-udf
1、 解压包tar xf gearman-mysql-udf-0.6.tar.gz -C ./
2、 Cd gearman-mysql-udf-0.6
3、 编译./configure--with-mysql=/usr/local/mysql/bin/mysql_config --libdir=/usr/local/mysql/lib/plugin/
#注意这是自己定义的数据安装包的目录,若用YUM包安装则用
./configure --with-mysql=/usr/bin/mysql_config --libdir=/usr/lib64/plugin/
编译报错:configure: error:At least version 0.33 of libgearman is required for gearman-mysql-udf
安装:yum -y installlibgearman-devel #由于原来包版本低,重新安装个即可。
5、 安装make&& make install ##插件安装到MySQL的插件目录下。
6、进入数据库,创建对应的function,trigger及设置gearmanserver信息
1、createfunction json_object returns string soname 'lib_mysqludf_json.so'
2、create functiongman_do_background returns string soname 'libgearman_mysql_udf.so'
3、createfunction gman_servers_set returns string soname 'libgearman_mysql_udf.so';
7、安装redis#建议用3.0.7的版本且安装php连接redis的驱动,测试环境用yum安装redis
1、yum install php-pecl-redis redis –y
2、启动redis服务servie redis start
3、登录redis简单验证
root@nod1 gearman-mysql-udf-0.6]#redis-cli
redis 127.0.0.1:6379> keys *
1) "counter:__rand_int__"
2) "key:__rand_int__"
3) "save"
4) "mylist"
8、登录数据库,根据业务对某个库下的某个表添加触发器,且设置gearman server的信
1、/usr/local/mysql/bin/mysql-S /tmp/mysql3306.sock -p
2、create database wy
3、create table test(idint primary key,name char(20))
4、设置gearman server信息##非常重要,若不执行会导致数据无法收集到REDIS中去
MariaDB [wy]> SELECTgman_servers_set('127.0.0.1:4730');
+------------------------------------+
| gman_servers_set('127.0.0.1:4730') |
+------------------------------------+
| 127.0.0.1:4730 |
+------------------------------------+
9、 添加触发器
DELIMITER $$
CREATE TRIGGER datatoredis AFTER UPDATE ON test FOR EACH ROW BEGIN
SET@ret=gman_do_background('syncToRedis', json_object(NEW.id AS `id`, NEW.name AS`name`));
END$$
DELIMITER ;
10、 编写一个worker程序,负责将gearman中的数据传入到redis中去:
文件名:redis_workder.php
1、编写:
2、启动phpredis_worker.php
启动报错:PHPWarning: GearmanWorker::work():send_packet(GEARMAN_ERRNO) Failed to send server-options packet ->libgearman/connection.cc:485 in /home/redis_worker.php on line 8
解决办法:/usr/sbin/gearmand -d -L 127.0.0.1 -p 4730
然后在启动:nohup php redis_worker.php & 保持后台运行
启动gearmand报错/var/log/mearmond.log错误未解决
ERROR 2016-12-28 07:46:38.000000 [ main ] socket()(Address family not supported by protocol) ->libgearman-server/gearmand.cc:468
ERROR 2016-12-28 07:46:38.000000 [ main ] gearmand_sockfd_close() called with aninvalid socket -> libgearman-server/io.cc:933
总结:
测试通过在MYSQL数据库写入数据,然后观察REDIS是否有数据,若有则成功,这种方式效率是非常低的,在100W数据,数据库写入性能降低非常大。
本文转自 DBAspace 51CTO博客,原文链接:http://blog.51cto.com/dbaspace/1887632