使用mycat做Mysql读写分离

2022-11-23 08:12:15

实验环境： Centos6.5 minimal 64位系统
服务器IP：192.168.10.22（mycat）
         192.168.10.27（master）
         192.168.10.29（slave）
         192.168.10.21（测试客户端）

说明：

1.  安装包已经提前下载好，此文档中不再演示下载步骤
2.  根据笔者习惯，所有的源码包都在/a01/apps/apps_src/
3.  所有的服务安装路径都在/a01/apps/xxxxxxx
4.  服务器只安装了MySQL，如果不会安装，请参考之前文章

包版本：

MySQL：      mysql-5.7.19.tar.gz或者mysql-boost-5.7.19.tar.gz
Mycat：      Mycat-server-1.6.5-release-20171117203123-linux.tar
JDK：        jdk-8u151-linux-x64.tar.gz

JDK去oracle官网下载：

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Mycat官网下载：

http://www.mycat.io/

MySQL读写分离的概述

Mysql作为目前世界上使用最广泛的免费数据库，在实际的生产环境中，由单台Mysql作为独立的数据库是完全不能满足实际需求的，无论是在安全性，高可用性以及高并发等各个方面。因此，一般来说都是通过主从复制（Master-Slave）的方式来同步数据，再通过读写分离来提升数据库的并发负载能力，这样的方案来进行部署与实施的。

读写分离工作原理

基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

数据内部交换过程

为什么要读写分离

面对越来越大的访问压力，单台的服务器的性能成为瓶颈，需要分担负载

1、主从只负责各自的写和读，极大程度的缓解X锁和S锁争用
2、从库可配置myisam引擎，提升查询性能以及节约系统开销
3、增加冗余，提高可用性

实现读写分离的方式

A．应用程序层实现，网站的程序实现

指的是在应用程序内部及连接器中实现读写分离

优点：

1、应用程序内部实现读写分离，安装既可以使用
2、减少一定部署难度
3、访问压力在一定级别以下，性能很好

缺点：

1、架构一旦调整，代码要跟着变
2、难以实现高级应用，如自动分库，分表
3、无法适用大型应用场景

B．中间件层实现

指在外部中间件程序实现读写分离

常见的中间件程序：

1、Cobar:
阿里巴巴B2B开发的关系型分布式系统，管理将近3000个MySQL实例。 在阿里经受住了考验，后面由于作者的走开的原因cobar没有人维护 了，阿里也开发了tddl替代cobar。

2、MyCAT:
社区爱好者在阿里cobar基础上进行二次开发，解决了cobar当时存 在的一些问题，并且加入了许多新的功能在其中。目前MyCAT社区活 跃度很高，目前已经有一些公司在使用MyCAT。总体来说支持度比 较高，也会一直维护下去，

3、OneProxy:
数据库界大牛，前支付宝数据库团队领导楼总开发，基于mysql官方 的proxy思想利用c进行开发的，OneProxy是一款商业收费的中间件， 楼总舍去了一些功能点，专注在性能和稳定性上。有朋友测试过说在 高并发下很稳定。

4、Vitess:
这个中间件是Youtube生产在使用的，但是架构很复杂。 与以往中间件不同，使用Vitess应用改动比较大要 使用他提供语言的API接口，我们可以借鉴他其中的一些设计思想。

5、Kingshard:
Kingshard是前360Atlas中间件开发团队的陈菲利用业务时间 用go语言开发的，目前参与开发的人员有3个左右， 目前来看还不是成熟可以使用的产品，需要在不断完善。

6、Atlas:
360团队基于mysql proxy 把lua用C改写。原有版本是支持分表， 目前已经放出了分库分表版本。在网上看到一些朋友经常说在高并 发下会经常挂掉，如果大家要使用需要提前做好测试。

7、MaxScale与MySQL Route:
这两个中间件都算是官方的吧，MaxScale是mariadb (MySQL原作者维护的一个版本)研发的，目前版本不支持分库分表。MySQL Route是现在MySQL官方Oracle公司发布出来的一个中间件。

中间件优点：

1、架构设计更灵活
2、可以在程序上实现一些高级控制，如：透明化水平拆分，failover,监控
3、可以依靠些技术手段提高mysql性能，
4、对业务代码的影响小，同时也安全

缺点：

需要一定的开发运维团队的支持

什么是Mycat

1、一个彻底开源的，面向企业应用开发的大数据库集群
2、支持事务、ACID、可以替代MySQL的加强版数据库
3、一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群
4、一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
5、结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
6、一个新颖的数据库中间件产品

Mycat部署

Mycat依赖JDK1.7或者以上版本

mkdir -p /usr/local/java
tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/local/java/

配置环境变量：

vim /etc/profile

JAVA_HOME=/usr/local/java/jdk1.8.0_151
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH

source /etc/profile
java –version

开始安装Mycat，这是二进制包，直接解压就能使用

tar -zxvf Mycat-server-1.6.5-release-20171117203123-linux.tar.gz -C /a01/apps/

1、配置环境变量：

vim /etc/profile

MYCAT_HOME=/a01/apps/mycat PATH=$MYCAT_HOME/bin:$PATH

source /etc/profile

2、配置mycat用户账号和授权信息

cp /a01/apps/mycat/conf/server.xml /a01/apps/mycat/conf/server.xml.bak
vim /a01/apps/mycat/conf/server.xml

这部分为登录mycat默认的用户账号授权信息：

去修改成成我们的：

        <user name="root" defaultAccount="true">
                <property name="password">123456</property>
                <property name="schemas">nongkaige</property>

                <!-- 表级 DML 权限设置 -->
                <!--            
                <privileges check="false">
                        <schema name="TESTDB" dml="0110" >
                                <table name="tb01" dml="0000"></table>
                                <table name="tb02" dml="1111"></table>
                        </schema>
                </privileges>           
                 -->
        </user>

        <user name="slave">
                <property name="password">123456</property>
                <property name="schemas">nongkaige</property>
                <property name="readOnly">true</property>
        </user>

</mycat:server>

参数说明：

以上配置中，配置了一个root用户和slave用户提供应用连接到mycat，同时mycat在schema.xml中配置了一个逻辑库nongkaige，配置好逻辑库与用户的映射关系。root用户可读写，slave只读

3、配置mycat逻辑库

Mycat作为一个中间件，实现mysql协议那么对前端应用连接来说就是一个数据库，也就有数据库的配置，mycat的数据库配置是在schema.xml中配置，配置好后映射到server.xml里面的用户就可以了。

cp /a01/apps/mycat/conf/schema.xml /a01/apps/mycat/conf/schema.xml.bak
vim /a01/apps/mycat/conf/schema.xml

大家可以看到，mycat的默认配置文件中，有太多的默认配置以及注释信息，太过于杂乱，因为刚刚我已经备份了，所以这里边的内容直接全删了，写上我们自己需要的配置即可。

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">



<mycat:schema xmlns:mycat="http://io.mycat/">

<!-- 配置逻辑库schema -->
<schema name="nongkaige" checkSQLschema="true" sqlMaxLimit="100" dataNode="dn1">
</schema>

<!-- 配置分片dataNode -->
<dataNode name="dn1" dataHost="mycat1" database="nongkaige"/>

<!-- 配置物理库分片映射dataHost -->
<dataHost name="mycat1" writeType="0" switchType="-1" slaveThreshold="100" balance="1" dbType="mysql" maxCon="10" minCon="1" dbDriver="native">
        <heartbeat>show status like 'wsrep%'</heartbeat>
        <writeHost host="test02centos6.5" url="192.168.10.27:3306" user="root" password="123456" >
        <readHost host="test02centos6.5" url="192.168.10.29:3306" user="root" password="123456" />
        </writeHost>
</dataHost>

</mycat:schema>

有两个参数需要注意，balance 和switchType

其中，balance指的负载均衡类型，目前的取值有4种：

1. balance="0", 不开启读写分离机制，所有读操作都发送到当前可用的writeHost上。
2. balance="1"，全部的readHost与stand by writeHost参与select语句的负载均衡，简单的说，当双主双从模式(M1->S1，M2->S2，并且M1与 M2互为主备)，正常情况下，M2,S1,S2都参与select语句的负载均衡。
3. balance="2"，所有读操作都随机的在writeHost、readhost上分发。
4. balance="3"，所有读请求随机的分发到wiriterHost对应的readhost执行，writerHost不负担读压力

switchType指的是切换的模式，目前的取值也有4种：

1. switchType='-1' 表示不自动切换
2. switchType='1' 默认值，表示自动切换
3. switchType='2' 基于MySQL主从同步的状态决定是否切换,心跳语句为 show slave status
4. switchType='3'基于MySQL galary cluster的切换机制（适合集群）（1.4.1），心跳语句为 show status like 'wsrep%'。

4、启动Mycat

mycat start

检查一下是否启动成功：

tail -f /a01/apps/mycat/logs/wrapper.log

报错了，大概意思是未知的主机名test02centos6.5，域名解析失败，what the mean？添加本机的hosts，然后再来启动Mycat

mycat start

5、防火墙开启8066和9066端口

vim /etc/sysconfig/iptables

-A INPUT -m state --state NEW -m tcp -p tcp --dport 8066 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 9066 -j ACCEPT

service iptables restart

6、为了方便查看效果，修改mycat日志记录模式为debug，默认为info

debug级别下，会输出更多的信息，方便排查问题

vim /a01/apps/mycat/conf/log4j2.xml

Mysql主从同步M-S部署

此步省略步骤，可参考之前文章：《Mysql主从同步M-S部署》

注意：

mysql主和从上还要设置授权mycat，否则客户端连接mycat无法获取后端数据库的数据

主和从分别授权：

mysql> grant all on nongkaige.* to root@'%' identified by '123456';
mysql> flush privileges;

测试Mycat读写分离

使用192.168.10.21客户机来测试：

登录mycat

mysql -u root -p123456 -h 192.168.10.22 -P8066

读测试，查看日志：

tail -f /a01/apps/mycat/logs/mycat.log

码农公寓

使用mycat做Mysql读写分离

MySQL读写分离的概述

读写分离工作原理

数据内部交换过程

为什么要读写分离

实现读写分离的方式

A．应用程序层实现，网站的程序实现

B．中间件层实现

什么是Mycat

Mycat部署

1、配置环境变量：

2、配置mycat用户账号和授权信息

3、配置mycat逻辑库

4、启动Mycat

5、防火墙开启8066和9066端口

6、为了方便查看效果，修改mycat日志记录模式为debug，默认为info

Mysql主从同步M-S部署

测试Mycat读写分离

使用192.168.10.21客户机来测试：

登录mycat

读测试，查看日志：

写测试，查看日志：

码农公寓

MySQL读写分离的概述

读写分离工作原理

数据内部交换过程

为什么要读写分离

实现读写分离的方式

A．应用程序层实现，网站的程序实现

B．中间件层实现

什么是Mycat

Mycat部署

1、配置环境变量：

2、配置mycat用户账号和授权信息

3、配置mycat逻辑库

4、启动Mycat

5、防火墙开启8066和9066端口

6、为了方便查看效果，修改mycat日志记录模式为debug，默认为info

Mysql主从同步M-S部署

测试Mycat读写分离

使用192.168.10.21客户机来测试：

登录mycat

读测试，查看日志：

写测试，查看日志：

相关文章