Amoeba是一个类似MySQL Proxy的分布式数据库中间代理层软件，是由陈思儒开发的一个开源的java项目

2022-09-15 10:25:34

http://www.cnblogs.com/xiaocen/p/3736095.html

amoeba实现mysql读写分离

application  shang  2年前 (2013-03-28)  4095浏览  0评论

说明：
要实现mysql的主从读写分离，目前主要有以下几种方案：
1.通过程序实现，网上很多现成的代码，比较复杂，如果添加从服务器要更改多台服务器的代码。
2.通过mysql-proxy来实现，由于mysql-proxy的主从读写分离是通过lua脚本来实现，目前lua的脚本的开发跟不上节奏，而写没有完美的现成的脚本，因此导致用于生产环境的话风险比较大，据网上很多人说mysql-proxy的性能不高。
3.自己开发接口实现，这种方案门槛高，开发成本高，不是一般的小公司能承担得起。
4.利用阿里巴巴的开源项目Amoeba来实现，具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库，并且安装配置非常简单，但是目前还不支持事务。

本文主要讲如何通过amoeba实现mysql读写分离。

实现：
1.java环境的安装，Amoeba框架是基于Java SE1.5开发的，建议使用Java SE 1.5版本。目前Amoeba经验证在JavaTM SE 1.5和Java SE 1.6能正常运行
可以到http://www.oracle.com/technetwork/java/javasebusiness/downloads/java-archive-downloads-javase6-419409.html#jdk-6u41-oth-JPR免费注册，下载
我这里下载jdk-6u41-linux-x64-rpm.bin,下载完成后执行sh jdk-6u41-linux-x64-rpm.bin开始安装，将会安装到/usr/java/jdk1.6.0_41目录。

2.amoeba编译安装

# cd /usr/local/src/tmp

# mkdir /usr/local/amoeba

# wget http://sourceforge.net/projects/amoeba/files/Amoeba%20for%20mysql/2.2.x/amoeba-mysql-binary-2.2.0.tar.gz/download

# tar xzf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba

3.配置java的用户环境变量

# vi ~/.bash_profile 修改为以下内容：

PATH=$PATH:$HOME/bin:/usr/local/amoeba/bin

JAVA_HOME=/usr/java/jdk1.6.0_41

export JAVA_HOME

export PATH

# source  ~/.bash_profile  //立即生效

4.1 /usr/local/amoeba/conf/dbServers.xml配置，此文件定义由Amoeba代理的数据库如何连接，比如最基础的：主机IP、端口、Amoeba使用的用户名和密码等等。
Amoeba for mysql读写分离主要涉及两个文件：/usr/local/amoeba/conf/dbServers.xml和/usr/local/amoeba/conf/amoeba.xml
abstractServer配置

<dbServer name="abstractServer" abstractive="true">

                <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">

                        <property name="manager">${defaultManager}</property>

                        <property name="sendBufferSize">64</property>

                        <property name="receiveBufferSize">128</property>

                        <!-- mysql port -->

                        <property name="port">3306</property>

                        <!-- mysql schema -->

                        <property name="schema">dbname</property>

                        <!-- mysql user -->

                        <property name="user">root</property>

                        <!--  mysql password -->

                        <property name="password">root</property>

                </factoryConfig>

                <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">

                        <property name="maxActive">500</property>

                        <property name="maxIdle">500</property>

                        <property name="minIdle">10</property>

                        <property name="minEvictableIdleTimeMillis">600000</property>

                        <property name="timeBetweenEvictionRunsMillis">600000</property>

                        <property name="testOnBorrow">true</property>

                        <property name="testWhileIdle">true</property>

                </poolConfig>

        </dbServer>

此部分定义真实mysql服务器的端口，数据库名称，mysql用户及密码。

主从数据库定义：

<dbServer name="Master"  parent="abstractServer">

                <factoryConfig>

                        <!-- mysql ip -->

                        <property name="ipAddress">192.168.0.1</property>

                </factoryConfig>

        </dbServer>

<dbServer name="Slave1"  parent="abstractServer">

                <factoryConfig>

                        <!-- mysql ip -->

                        <property name="ipAddress">192.168.0.2</property>

                </factoryConfig>

        </dbServer>

<dbServer name="Slave2"  parent="abstractServer">

                <factoryConfig>

                        <!-- mysql ip -->

                        <property name="ipAddress">192.168.0.3</property>

                </factoryConfig>

        </dbServer>

        <dbServer name="virtualSlave" virtual="true">

                <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">

                        <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->

                        <property name="loadbalance">1</property>

                        <!-- Separated by commas,such as: server1,server2,server1 -->

                        <property name="poolNames">Slave1,Slave2</property>

                </poolConfig>

        </dbServer>

此部分定义主服务器，从服务器，及从服务器连接池。这里只定义数据库地址，它们的用户及密码就是上面的abstractServer里的设置。注意用来连接真实mysql服务器的用户必须拥有远程连接权限。

4.2 /usr/local/amoeba/conf/amoeba.xml配置，此文件定义了amoeba代理的相关配置
amoeba连接验证配置：

<property name="authenticator">

                                <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">

                                        <property name="user">root</property>

                                        <property name="password">root</property>

                                        <property name="filter">

                                                <bean class="com.meidusa.amoeba.server.IPAccessController">

                                                        <property name="ipFile">${amoeba.home}/conf/access_list.conf</property>

                                                </bean>

                                        </property>

                                </bean>

                        </property>

这里定义连接amoeba时用来验证的用户及密码。

读写分离配置：

<property name="defaultPool">Master</property>

                <property name="writePool">Master</property>

                <property name="readPool">virtualSlave</property>

defaultPool:配置了默认的数据库节点，一些除了SELECTUPDATEINSERTDELETE的语句都会在defaultPool执行。
writePool :配置了数据库写库，通常配为Master，如这里就配置为之前定义的Master数据库。
readPool :配置了数据库读库，通常配为Slave或者Slave组成的数据库池，如这里就配置之前的virtualSlave数据库池。

5.amoeba启动

# amoeba start  //此命令以前台的方式启动，会输出启动时的信息，检查没有错误信息后，中断，并后台运行：

# amoeba start &  //后台运行

6.测试
在amoeba上登8066端口跟amoeba远程登陆主mysql服务器效果一样。

# /usr/local/mysql/bin/mysql -uroot -p123456 -h127.0.0.1 -P8066

# /usr/local/mysql/bin/mysql -uroot -p123456 -h192.168.45.7 -P3306

附录：
1.启动amoeba时出现The stack size specified is too small, Specify at least 160k
#vim /usr/loca/amoeba/bin/amoeba文件，修改 DEFAULT_OPTS=”-server -Xms256m -Xmx256m -Xss128k”
为 DEFAULT_OPTS=”-server -Xms256m -Xmx256m -Xss256k”
保存，再次启动即可

2.amoeba查询数据库时出现：java.util.NoSuchElementException: Could not create a validated object, cause: ValidateObject failed

> select * from user;

ERROR 2013 (HY000): Lost connection to MySQL server during query

mysql> java.util.NoSuchElementException: Could not create a validated object, cause: ValidateObject failed

        at org.apache.commons.pool.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:1191)

        at com.meidusa.amoeba.net.poolable.GenericObjectPool.borrowObject(GenericObjectPool.java:381)

        at com.meidusa.amoeba.mysql.handler.CommandMessageHandler.startSession(CommandMessageHandler.java:633)

        at com.meidusa.amoeba.mysql.handler.MySqlCommandDispatcher.handleMessage(MySqlCommandDispatcher.java:123)

        at com.meidusa.amoeba.mysql.net.MysqlClientConnection$2.run(MysqlClientConnection.java:291)

        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:895)

        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:918)

        at java.lang.Thread.run(Thread.java:662)

仔细检查dbServers.xml配置后发现factoryConfig中 password默认是被注释掉的，取消注释后正常。

# vim /usr/local/amoeba/conf/dbServers.xml，删除<!--  mysql password和后面的-->

<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">

                        <property name="manager">${defaultManager}</property>

                        <property name="sendBufferSize">64</property>

                        <property name="receiveBufferSize">128</property>

                        <!-- mysql port -->

                        <property name="port">3306</property>

                        <!-- mysql schema -->

                        <property name="schema">test</property>

                        <!-- mysql user -->

                        <property name="user">root</property>

                        <!--  mysql password

                        <property name="password">password</property>

                        -->

</factoryConfig>

使用Amoeba 实现MySQL DB 读写分离

 

Amoeba(变形虫)项目是一个开源框架，于2008年开始发布一款 Amoeba for Mysql软件；

这个软件致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的时候充当SQL路由功能，专注于分布式数据库代理层（Database Proxy）开发；位于 Client、DB Server(s)之间,对客户端透明；

===================================================================

1 简介

2 准备

2.1 时间同步

2.2 配置MySQL主从复制架构

3 ameoba安装配置

3.1 安装配置JDK

3.2 安装ameoba

3.3 配置ameoba

3.4 使用验证

3.5 后期扩展

4 问题记录

===================================================================

1 简介

Amoeba(变形虫)项目是一个开源框架，于2008年开始发布一款 Amoeba for Mysql软件；

这个软件致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的时候充当SQL路由功能，专注于分布式数据库代理层（Database Proxy）开发；位于 Client、DB Server(s)之间,对客户端透明；

具有负载均衡、高可用性、SQL 过滤、读写分离、可路由相关的请求到目标数据库、可并发请求多台数据库并合并结果；

通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能，目前Amoeba已在很多企业的生产线上面使用；

2 准备

2.1 时间同步

# crontab -e

# Dscrip: Time Sync

# CTime: 2014.03.23

*/5 * * * * /usr/sbin/ntpdate 172.16.0.1 &>/dev/null

2.2 配置MySQL主从复制架构

详见博文"MariaDB 主从复制"

 

3 ameoba安装配置

3.1 安装配置JDK

chmod +x jdk-6u31-linux-x64-rpm.bin

vi /etc/profile.d/java.sh # 采用bin文件安装jdk

    export JAVA_HOME=/usr/java/latest

    export PATH=$JAVA_HOME/bin:$PATH

3.2 安装ameoba

Amoeba是一个类似MySQL Proxy的分布式数据库中间代理层软件，是由陈思儒开发的一个开源的java项目
mkdir /usr/local/amoeba

tar xf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba # 使用二进制程序文件安装amoeba

cd /usr/local/amoeba

bin/amoeba start # 前台运行

nohup /usr/local/amoeba/bin/amoeba start & # 后台运行

mysql -h127.0.0.1 -uroot -p -P8066 # amoeba默认监听端口为8066
Amoeba是一个类似MySQL Proxy的分布式数据库中间代理层软件，是由陈思儒开发的一个开源的java项目

3.3 配置ameoba

Amoeba是一个类似MySQL Proxy的分布式数据库中间代理层软件，是由陈思儒开发的一个开源的java项目
cd /usr/local/amoeba/conf

vi ameoba.xml # 前端定义配置文件

# 修改ameoba前端监听端口

<service name="Amoeba for Mysql" class="com.meidusa.amoeba.net.ServerableConnectionManager">

    <property name="port">3306</property> # 默认端口是8066，修改为3306，便于实现前端程序连接数据库的透明性

# 修改连接amoeba接口的认证信息

<property name="authenticator">

    <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">

        <property name="user">root</property>

        <property name="password">mypass</property> # 添加登录密码

# 查询路由设置

<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">

    <property name="ruleLoader">

        <bean class="com.meidusa.amoeba.route.TableRuleFileLoader">

            <property name="ruleFile">${amoeba.home}/conf/rule.xml</property>

            <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>

        </bean>

    </property>

    <property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>

    <property name="LRUMapSize">1500</property>

    <property name="defaultPool">master</property> # 设定默认节点

    <property name="writePool">master</property>    # 设定可写节点，节点定义见dbServers.xml文件

    <property name="readPool">readservers</property> # 设定只读池，可配置多个slave节点

    <property name="needParse">true</property>

</queryRouter>

vi dbServers.xml # 后端节点配置文件

# 定义抽象服务器，为每个后端MySQL服务器提供默认连接配置

<dbServer name="abstractServer" abstractive="true">

    <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">

        <property name="manager">${defaultManager}</property>

        <property name="sendBufferSize">64</property>

        <property name="receiveBufferSize">128</property>

        <property name="port">3406</property>

        <property name="schema">test</property>

        <property name="user">root</property>
<property name="password">magedu</property>

    </factoryConfig>

# 定义后端MySQL的IP地址，一个master，一个slave

<dbServer name="master"  parent="abstractServer">

    <factoryConfig>

        <property name="ipAddress">192.168.0.45</property>

    </factoryConfig>

</dbServer>

<dbServer name="slave"  parent="abstractServer">

    <factoryConfig>

        <property name="ipAddress">192.168.0.46</property>

    </factoryConfig>

</dbServer>

# 定义虚拟服务器组，即只读池readservers

<dbServer name="readservers" virtual="true">

    <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">

        <property name="loadbalance">1</property>

        <property name="poolNames">master,slave</property>

    </poolConfig>

</dbServer>
Amoeba是一个类似MySQL Proxy的分布式数据库中间代理层软件，是由陈思儒开发的一个开源的java项目
 

3.4 使用验证

在主库上授权：

Amoeba是一个类似MySQL Proxy的分布式数据库中间代理层软件，是由陈思儒开发的一个开源的java项目
MariaDB [(none)]> grant all on *.* to'root'@'172.16.%.%' identified by 'magedu';

Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> grant all on *.* to'root'@'%mysql.com' identified by 'magedu'; # 这里的密码应该与dbServer.xml中的数据库密码一致

Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> flush privileges;

Query OK, 0 rows affected (0.00 sec)
Amoeba是一个类似MySQL Proxy的分布式数据库中间代理层软件，是由陈思儒开发的一个开源的java项目
Amoeba是一个类似MySQL Proxy的分布式数据库中间代理层软件，是由陈思儒开发的一个开源的java项目
# 登录验证

[root@mysql conf]# mysql -h127.0.0.1 -uroot -p -P3306

Enter password:

Welcome to the MariaDB monitor.  Commands end with ; or \g.

Your MySQL connection id is 2097086015

Server version: 5.1.45-mysql-amoeba-proxy-2.2.0 Source distribution

Copyright (c) 2000, 2014, Oracle, SkySQL Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [(none)]> show master status;

+------------------+----------+--------------+------------------+

| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |

+------------------+----------+--------------+------------------+

| mysql-bin.000030 |      326 |              |                  |

+------------------+----------+--------------+------------------+

1 row in set (0.00 sec)

MySQL [(none)]>

# 读写验证

[root@mysql conf]# mysql -h127.0.0.1 -uroot -p -P3306

Enter password:

Welcome to the MariaDB monitor.  Commands end with ; or \g.

Your MySQL connection id is 2097086015

Server version: 5.1.45-mysql-amoeba-proxy-2.2.0 Source distribution

Copyright (c) 2000, 2014, Oracle, SkySQL Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [(none)]> create database amoeba_test;

Query OK, 1 row affected (0.04 sec)

MySQL [(none)]>

[root@mysql bin]# mysql -h127.0.0.1 -uroot -p -P3406

Enter password:

Welcome to the MariaDB monitor.  Commands end with ; or \g.

Your MariaDB connection id is 33

Server version: 10.0.10-MariaDB-log Source distribution

Copyright (c) 2000, 2014, Oracle, SkySQL Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> show databases;

+--------------------+

| Database           |

+--------------------+

| amoeba_test        |

| information_schema |

| mysql              |

| performance_schema |

| test               |

+--------------------+

9 rows in set (0.01 sec)

MariaDB [(none)]>

# 从amoeba接口登录创建数据库amoeba_test后，再从主库的接口中去查询数据库已创建，说明写入确实是落在了主库节点上；

# 若要验证ameoba对于读操作的调度，则需要暂时停止从库的复制操作，然后在主库上更新数据，这样从ameoba读取数据将出现不一致的情况；
Amoeba是一个类似MySQL Proxy的分布式数据库中间代理层软件，是由陈思儒开发的一个开源的java项目
 

3.5 后期扩展

利用MMM双主复制架构+Amoeba代理，可以实现对MySQL的高可用性和高性能；

关于MMM的内容参加博文"MySQL Scale Out"

4 问题记录

现象：使用mysql -uroot -p -P8066命令始终无法连接进入ameoba的配置接口，一直都是进入mysql数据库的配置接口

原因：在测试环境下，ameoba和mysql的主库都部署在同一台主机上，当启动ameoba服务后，即使指定-P8066连接，mysql客户端还是默认采用可被识别的socket文件(/tmp/mysql.sock)连接，同样指定-hlocalhost也是一样的；

当使用mysql命令连接mysqld时：

  • 连接主机为localhost或不指定时，mysql会采用Unix Socket的连接方式；

  • 连接主机为127.0.0.1时，mysql会采用TCP的方式连接；

解决方法：指定-h127.0.0.1连接即可，即mysql -h127.0.0.1 -uroot -p -P8066

上一篇：CodeForces#275--DIV 2--B(BinarySearch)(!!)


下一篇：CentOS系统下中文文件名乱码