Mycat 读写分离

2022-07-12 10:23:54

简介

Mycat 是 MySQL中间件，Mycat的原理中最重要的一个动词就是'拦截'，它拦截了用户发送过来的SQL语句，首先对SQL语句做了一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此SQL发往后端的真实数据库，并将返回的结果做适当的处理，最终再返回给用户。

强烈推荐阅读官方PDF，中文版下载地址：http://www.mycat.io/document/mycat-definitive-guide.pdf

Mycat 可以对mysql进行分片路由，我这里数据还没到达数据需要分片的量级，所以这里只说读写分离。

Mycat 读写分离

之前使用mysql的中间件是 amoeba， 日常使用中，经常出现突然异常，表现为：端口正常，但是无法路由到后端mysql，因此前端程序出现大量的无法连接数据库的报错，因此准备切换到 mycat ，后续继续爬坑。

mycat读写分离配置

基本信息

Mycat 读写分离

1. 安装MySQL

以下操作在MySQL 两个节点上执行：

[root@192.168.118.16 ~]#yum install mariadb-server mysql -y

[root@192.168.118.16 ~]#systemctl start mariadb ; systemctl enable mariadb

2. 配置mysql主从复制

（推荐查看下mysql GTID方式的主从配置）
主从配置不再赘述，具体请参考：https://www.cnblogs.com/hukey/p/5912874.html

这里在主mysql中创建 sbtest库，并且创建该库所有权的用户，该用户必须能够查看到 show slave status 主从同步状态，因为后面 mycat 监控主从状态需要使用到。

[root@192.168.118.16 ~]#mysql

Welcome to the MariaDB monitor.  Commands end with ; or \g.

Your MariaDB connection id is

Server version: 5.5.-MariaDB-log MariaDB Server

Copyright (c) , , Oracle, Monty Program Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> create database sbtest;　　# 创建库

Query OK,  row affected (0.00 sec)

MariaDB [(none)]> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| mysql              |

| performance_schema |

| sbtest             |

| test               |

+--------------------+

 rows in set (0.00 sec)

MariaDB [(none)]> grant all privileges on sbtest.* to 'sbtest'@'%' identified by 'sbtest' with grant option;　　# 添加所有权的用户

Query OK,  rows affected (0.01 sec)

MariaDB [(none)]> flush privileges;

Query OK,  rows affected (0.00 sec)

MariaDB [(none)]> grant replication client on *.* to sbtest;　　# 设置可以查看复制权限，这里一定要设定，否则后面配置mycat监控主从时，会报错。

Query OK,  rows affected (0.00 sec)

3. 配置mycat

（所有软件包官网都可以下载到）

首先安装 jdk

[root@192.168.118.15 /usr/local/src/mycat_tools]#tar xf jdk-8u77-linux-x64.tar.gz -C /usr/local/

[root@192.168.118.15 /usr/local/src/mycat_tools]#vim /etc/profile

# jdk

JAVA_HOME=/usr/local/jdk1..0_77

JAVA_BIN=$JAVA_HOME/bin

PATH=$PATH:$JAVA_BIN

CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BIN PATH CLASSPATH

# --------------

[root@192.168.118.15 /usr/local/src/mycat_tools]#. /etc/profile

修改mycat配置：

mycat中主要有两个配置文件：
Mycat 读写分离

[root@192.168.118.15 /usr/local/src/mycat_tools]#tar xf Mycat-server-1.6.-release--linux.tar.gz -C /usr/local/

[root@192.168.118.15 /usr/local/src/mycat_tools]#cd /usr/local/mycat/conf/

[root@192.168.118.15 /usr/local/mycat/conf]#vim schema.xml

   <?xml version="1.0"?>

   <!DOCTYPE mycat:schema SYSTEM "schema.dtd">

   <mycat:schema xmlns:mycat="http://io.mycat/">

           <schema name="sbtest" checkSQLschema="false" sqlMaxLimit="" dataNode="sbtest">

           </schema>

           <dataNode name="sbtest" dataHost="sbtest" database="sbtest" />

           <dataHost name="sbtest" maxCon="" minCon="" balance=""

                             writeType="" dbType="mysql" dbDriver="native" switchType=""  slaveThreshold="">

                  <heartbeat>show slave status</heartbeat>

                  <!-- can have multi write hosts -->

                  <writeHost host="hostM1" url="192.168.118.16:3306" user="sbtest"

                                     password="sbtest">

                          <!-- can have multi read hosts -->

                          <readHost host="hostS2" url="192.168.118.17:3306" user="sbtest" password="sbtest" />

                  </writeHost>

          </dataHost>

  </mycat:schema>

在上面的配置中，特别要注意标黄的部分：

balance

balance="1"

负载均衡类型，目前的取值有 3 种：

  • balance="0", 不开启读写分离机制，所有读操作都发送到当前可用的 writeHost 上。
  • balance="1"，全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡，简单的说，当双主双从模式(M1->S1，M2->S2，并且 M1 与 M2 互为主备)，正常情况下，M2,S1,S2 都参与 select 语句的负载均衡。
  • balance="2"，所有读操作都随机的在 writeHost、readhost 上分发。
  • balance="3"，所有读请求随机的分发到 wiriterHost 对应的 readhost 执行，writerHost 不负担读压力，注意 balance=3 只在 1.4 及其以后版本有，1.3 没有。

这里只有将 balance 设置为 1 才开启读写分离。

switchType

switchType="2"

  • switchType="1" 默认值，自动切换
  • switchType="2" 基于 MySQL 主从同步的状态决定是否切换 心跳语句为 show slave status
  • switchType="3" 基于 MySQL galary cluster 的切换机制（适合集群）（1.4.1）心跳语句为 show status like ‘wsrep%’

如果mycat通过查看 show slave status 查看主从down掉或者超过设置的 slaveThreshold 时，说明这时的数据同步不准确或者无法访问从节点

switchType="1" 时，mycat不会出现任何切换，读请求依然路由到从节点，无法访问最新的数据；

switchType="2" 时，mycat会自动剔除从节点，因为这时的从节点无法保证和主节点的一致性，读写都会路由到主节点保证数据的准确。

其他具体参数参考：https://www.processon.com/view/5bfd0f54e4b00684ca0bed1f  写成树形图更能清晰查看。

修改 server.xml 为逻辑添加用户和规则

[root@192.168.118.15 /usr/local/mycat/conf]#vim server.xml

        # 修改如下

        <firewall>

           <whitehost>

              <host host="*" user="sbtest"/>    # 可以限制指定的ip访问

           </whitehost>

       <blacklist check="true">

           <property  name ="selectAllColumnAllow">false</property>    # 禁止 select * 访问数据库

       </blacklist>

        </firewall>

        ...

        <user name="sbtest">

                <property name="password">sbtest</property>

                <property name="schemas">sbtest</property>

                <!--<property name="readOnly">true</property> -->

        </user>

在 firewall 规则里，可以限定 ip 和 具体规则， 这里做了禁止 select * 的操作，有些程序员写的SQL真的很令人费解，其他具体的限定规则，请参考上面分享的官网 PDF

启动服务

[root@192.168.118.15 /usr/local/mycat/conf]#/usr/local/mycat/bin/mycat start

Starting Mycat-server...

[root@192.168.118.15 /usr/local/mycat/conf]#netstat -ntplu | egrep "8066|9066"

tcp               0.0.0.0:            0.0.0.0:*               LISTEN      /java

tcp               0.0.0.0:            0.0.0.0:*               LISTEN      /java

: mycat服务端口

: mycat管理端口

到此，mycat读写分离已经配置完毕。

[root@192.168.118.15 /usr/local/mycat/logs]#ls

mycat.log  mycat.pid  wrapper.log

# wrapper.log mycat启动日志，启动报错查看该日志

# mycat.log mycat运行日志

性能测试

MySQL主节点：

[root@192.168.118.16 ~]#yum install sysbench -y    # 需要配置 epel源

# 添加测试数据 创建10张表，每张表里10万条数据

[root@192.168.118.16 ~]#sysbench /usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.118.16 --mysql-port= --mysql-user=sbtest --mysql-password=sbtest --db-driver=mysql --oltp_tables_count= --oltp-table-size= --rand-init=on prepare    

# 开始测试

[root@192.168.118.16 ~]#sysbench /usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.118.16 --mysql-port= --mysql-user=sbtest --mysql-password=sbtest --db-driver=mysql --oltp_tables_count= --oltp-table-size= --num-threads= --max-time= --report-interval= --rand-init=on run

Mycat 读写分离

每次测试完毕，记得清理数据

[root@192.168.118.16 ~]#sysbench /usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.118.16 --mysql-port= --mysql-user=sbtest --mysql-password=sbtest --db-driver=mysql --oltp_tables_count= --oltp-table-size= --num-threads= --max-time= --report-interval= --rand-init=on cleanup

mycat 节点

[root@192.168.118.15 ~]#yum install sysbench -y    # 需要配置 epel源

# 添加测试数据 创建10张表，每张表里10万条数据

[root@192.168.118.15 ~]#sysbench /usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.118.15 --mysql-port= --mysql-user=sbtest --mysql-password=sbtest --db-driver=mysql --oltp_tables_count= --oltp-table-size= --rand-init=on prepare    

# 开始测试

[root@192.168.118.15 ~]#sysbench /usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.118.15 --mysql-port= --mysql-user=sbtest --mysql-password=sbtest --db-driver=mysql --oltp_tables_count= --oltp-table-size= --num-threads= --max-time= --report-interval= --rand-init=on run

Mycat 读写分离

清除数据

[root@192.168.118.15 ~]#sysbench /usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.118.15 --mysql-port= --mysql-user=sbtest --mysql-password=sbtest --db-driver=mysql --oltp_tables_count= --oltp-table-size= --num-threads= --max-time= --report-interval= --rand-init=on cleanup

通过简单的对比，mycat对性能的消耗很小。这只是个简单的例子，如果要求准确性，最少得30分钟以上的测试数据。

Mycat-web 的安装使用

安装步骤：

  1. 安装 zookeeper 并启动服务
  2. 安装 mycat-web 并启动服务

安装 zookeeper 并启动服务

[root@192.168.118.15 /usr/local/src/mycat_tools]#tar xf zookeeper-3.4..tar.gz -C /usr/local/

[root@192.168.118.15 /usr/local/src/mycat_tools]#cd /usr/local/zookeeper-3.4./conf/

[root@192.168.118.15 /usr/local/zookeeper-3.4./conf]#mv zoo_sample.cfg zoo.cfg

[root@192.168.118.15 /usr/local/zookeeper-3.4./bin]#./zkServer.sh start

JMX enabled by default

Using config: /usr/local/zookeeper-3.4./bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

[root@192.168.118.15 /usr/local/zookeeper-3.4./bin]#netstat -ntplu | egrep 2181　　# zookeeper 默认端口2181，启动成功

tcp               0.0.0.0:            0.0.0.0:*               LISTEN      /java

安装 mycat-web 并启动服务

[root@192.168.118.15 /usr/local/src/mycat_tools]#tar xf Mycat-web-1.0-SNAPSHOT--linux.tar.gz -C /usr/local/

[root@192.168.118.15 /usr/local/src/mycat_tools]#cd /usr/local/mycat-web/

[root@192.168.118.15 /usr/local/mycat-web]#nohup sh start.sh &　　# 启动日志可以直接查看 nohup.out

[root@192.168.118.15 /usr/local/mycat-web]#netstat -ntplu | egrep 8082　　# mycat-web默认端口8082

tcp               0.0.0.0:            0.0.0.0:*               LISTEN      /java

现在就可以通过浏览器直接访问 mycat-web

Mycat 读写分离

Mycat-配置 --> mycat服务配置 --> 新增

Mycat 读写分离

这一步注意：点击保存，如果一直在loading 状态没有反应，就是版本的问题，如果没问题会直接提示添加成功，这里是个坑。

添加mysql节点的管理

Mycat配置 --> mysql管理 --> 新增

Mycat 读写分离

其他的监控项可以自行研究了，mycat-web获取数据真的很慢，感觉 mycat-web 是比较鸡肋的。

上一篇：基于ZYNQ的uart传输任意长度的数据


下一篇：A Node Influence Based Label Propagation Algorithm for Community detection in networks 文章算法实现的疑问