Mysql集群读写分离（Amoeba）

2022-12-04 22:19:59

Amoeba原理戳这里：Amoeba详细介绍

实验环境

Master、Amoeba--IP:192.168.1.5

Slave---IP:192.168.1.10

安装JDK

JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

[root@dep5 ~]# mkdir /usr/local/JDF

[root@dep5 ~]# tar -xvf jdk-8u101-linux-x64.tar.gz -C /usr/local/JDF/

[root@dep5 ~]#vim /etc/profile

JAVA_HOME=/usr/local/JDF/jdk1.8.0_101

export JAVA_HOME

PATH=$JAVA_HOME/bin:$PATH

export PATH

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

export CLASSPATH

####测试JDK是否OK

[root@dep5 ~]# java -version

java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

安装Amoeba

Amoeba下载地址：https://sourceforge.net/projects/amoeba/files/Amoeba%20for%20mysql/

[root@dep5 ~]# mkdir /usr/local/amoeba

[root@dep5 ~]# unzip amoeba-mysql-1.3.1-BETA.zip -d /usr/local/amoeba

[root@dep5 ~]# chmod -R +x /usr/local/amoeba/bin/

主从授权，增加用户，修改配置文件

主（192.168.1.5 vim /etc/my.cnf）：

server-id = 1 #主数据库标志

从（192.168.1.10 vim /etc/my.cnf）：

server-id = 2 #从数据库标志

所有参与主从分离的机器（192.168.1.5，192.168.1.10）：

mysql-->grant all privileges on *.* to amoeba@'%' identified by 'amoeba';

mysql-->flush privileges;

Amoeba配置介绍

Amoeba For MySQL 的使用非常简单，所有的配置文件都是标准的XML 文件，总共有四个配置文件。分别为：

amoeba.xml：主配置文件，配置所有数据源以及Amoeba 自身的参数设置；实现主从的话配置这个文件就可以了；
rule.xml：配置所有Query 路由规则的信息；
functionMap.xml：配置用于解析Query 中的函数所对应的Java 实现类；
rullFunctionMap.xml：配置路由规则中需要使用到的特定函数的实现类；

下面是一份已经修改OK的amoeba.xml配置文件

[root@dep5 ~]# vim /usr/local/amoeba/conf/amoeba.xml

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">

<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">

    <server>

        <!-- proxy server绑定的端口 -->

        <property name="port">8888</property>

        <!-- proxy server绑定的IP -->

        <property name="ipAddress">192.168.1.5</property>

        <!-- 对外验证的用户名 -->

        <property name="user">amoeba</property>

        <!-- 对外验证的密码 -->

        <property name="password">amoeba</property>

        <!-- proxy server net IO Read thread size -->

        <property name="readThreadPoolSize">20</property>

        <!-- proxy server client process thread size -->

        <property name="clientSideThreadPoolSize">30</property>

        <!-- mysql server data packet process thread size -->

        <property name="serverSideThreadPoolSize">30</property>

        <!-- socket Send and receive BufferSize(unit:K)  -->

        <property name="netBufferSize">128</property>

        <!-- Enable/disable TCP_NODELAY (disable/enable Nagle's algorithm). -->

        <property name="tcpNoDelay">true</property>

        <!-- query timeout( default: 60 second , TimeUnit:second) -->

        <property name="queryTimeout">60</property>

    </server>

    <!--

        每个ConnectionManager都将作为一个线程启动。

        manager负责Connection IO读写/死亡检测

    -->

    <connectionManagerList>

        <connectionManager name="defaultManager" class="com.meidusa.amoeba.net.MultiConnectionManagerWrapper">

            <property name="subManagerClassName">com.meidusa.amoeba.net.AuthingableConnectionManager</property>

            <!--

              default value is avaliable Processors

            <property name="processors">5</property>

             -->

        </connectionManager>

    </connectionManagerList>

    <dbServerList>

        <!--

            一台mysqlServer 需要配置一个pool，

            如果多台 平等的mysql需要进行loadBalance，

            平台已经提供一个具有负载均衡能力的objectPool：com.meidusa.amoeba.mysql.server.MultipleServerPool

            简单的配置是属性加上 virtual="true",该Pool 不允许配置factoryConfig

            或者自己写一个ObjectPool。

        -->

        <dbServer name="server1">

            <!-- PoolableObjectFactory实现类 -->

            <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">

                <property name="manager">defaultManager</property>

                <!-- 真实mysql数据库端口 -->

                <property name="port">3306</property>

                <!-- 真实mysql数据库IP -->

                <property name="ipAddress">192.168.1.5</property>

                <property name="schema">test</property>

                <!-- 用于登陆mysql的用户名 -->

                <property name="user">amoeba</property>

                <!-- 用于登陆mysql的密码 -->

                <property name="password">amoeba</property>

            </factoryConfig>

            <!-- ObjectPool实现类 -->

            <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">

                <property name="maxActive">200</property>

                <property name="maxIdle">200</property>

                <property name="minIdle">10</property>

                <property name="minEvictableIdleTimeMillis">600000</property>

                <property name="timeBetweenEvictionRunsMillis">600000</property>

                <property name="testOnBorrow">true</property>

                <property name="testWhileIdle">true</property>

            </poolConfig>

        </dbServer>

        <dbServer name="server2">

            <!-- PoolableObjectFactory实现类 -->

            <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">

                <property name="manager">defaultManager</property>

                <!-- 真实mysql数据库端口 -->

                <property name="port">3306</property>

                <!-- 真实mysql数据库IP -->

                <property name="ipAddress">192.168.1.10</property>

                <property name="schema">test</property>

                <!-- 用于登陆mysql的用户名 -->

                <property name="user">amoeba</property>

                <!-- 用于登陆mysql的密码 -->

                <property name="password">amoeba</property>

            </factoryConfig>

            <!-- ObjectPool实现类 -->

            <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">

                <property name="maxActive">200</property>

                <property name="maxIdle">200</property>

                <property name="minIdle">10</property>

                <property name="minEvictableIdleTimeMillis">600000</property>

                <property name="timeBetweenEvictionRunsMillis">600000</property>

                <property name="testOnBorrow">true</property>

                <property name="testWhileIdle">true</property>

            </poolConfig>

        </dbServer>

        <dbServer name="master" virtual="true">

            <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">

                <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->

                <property name="loadbalance">1</property>

                <!-- 参与该pool负载均衡的poolName列表以逗号分割 -->

                <property name="poolNames">server1</property>

            </poolConfig>

        </dbServer>

        <dbServer name="slave" virtual="true">

            <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">

                <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->

                <property name="loadbalance">1</property>

                <!-- 参与该pool负载均衡的poolName列表以逗号分割 -->

                <property name="poolNames">server2</property>

            </poolConfig>

        </dbServer>

    </dbServerList>

    <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">

        <property name="ruleConfig">${amoeba.home}/conf/rule.xml</property>

        <property name="functionConfig">${amoeba.home}/conf/functionMap.xml</property>

        <property name="ruleFunctionConfig">${amoeba.home}/conf/ruleFunctionMap.xml</property>

        <property name="LRUMapSize">1500</property>

        <property name="defaultPool">server1</property>

   　　 <!-- 读写分离在这里 -->

        <property name="writePool">master</property>

        <property name="readPool">slave</property>

        <property name="needParse">true</property>

    </queryRouter>

</amoeba:configuration>

启动Amoeba

# cd /usr/local/amoeba/bin

这种启动方便看nohup.log日志.防止提示溢出

#:nohup bash -x amoeba &

常见错误：1

The stack size specified is too small, Specify at least 228k

Error: Could not create the Java Virtual Machine.

Error: A fatal exception has occurred. Program will exit.

解决办法:

# vim /usr/local/amoeba/bin/amoeba

#DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss128k" 注释

DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss256k" 增加

常见错误2:

org.xml.sax.SAXParseException; lineNumber: 406; columnNumber: 6; 注释中不允许出现字符串 "--"。

解决办法：

后来改了一大通，试了一下午，才发现。我们的注释两边要有空格，才行。

测试是否读写分离

在(master)主上的test库建立一个los的表

Mysql->use test;

Mysql->create table los(id int(10),name char(10));

在(slave)从上查看test库是否同步了los表

Mysql-> use test;

Mysql->show tables;

在主(master)操作.插入一条数据.

mysql-->insert into alvin values(1,'master');

在从(slave)操作,插入一条数据.

mysql-->insert into alvin values(2,'slave');

注意因为从同步主的数据。所以这里有2条数据，

(1) 先验证读。我们配置文件是用的是DR轮询,注意这个IP地址要写：amoeba的IP地址，不是master也不是slave （只是实验，就把amoeba跟master放在同一个机器上面）是通过amoeba代理登陆。192.168.1.5

(2) 验证写，正常来说。如果只有全部写到主里面，两边的数据才会以致。如果其中有一个不一致的话。那么说明写到从里面去了。因为主不会同步从的数据。都是单向数据传输。

我就稍微稍微偷一下懒嘛，弄清楚读写分离的原理，弄懂原理就好办了，肯定有各种想法在里面，如果这些想法都能得到验证，那么主从就Ok了

参考度娘时好多博客文件，然后自己做实验通过OK

码农公寓