大觅网05Day

1.Mycat概述

  在此前的服务器对数据库的存储数量不多的时候,MySql数据库基本能够满足对数据存储的要求。

  但随着技术的不断发展,MySql甚至Redis都无法满足现今存储数量的指数级增长的要求,在面对千万级以上的数据存储时,MySql的性能将大幅下降,此时我们需要一个能够解决这些问题的办法。

  而MyCat(数据库中间件)则是当下主流的解决海量数据存储问题的方法,接下来我将简略的介绍它的主要功能与原理。

 

2.Mycat的分库分表

  Mycat是一个数据库中间件,也可以理解为是数据库代理。

  Mycat的分表操作,即在配置文件中预先配置好将数据分开存储的几张表,且设定分开存储的相关规则,此时注意真实数据库的表名与配置文件中的表名一致。

  当我们进行数据存储的操作时,Mycat将这些数据根据配置,把这些数据存储到不同的表中,以减少单表存储时的压力,提高读取与写入的性能。

 

3.Mycat快速搭建

 

  1.在搭建Mycat时,我们需要预先准备三个配置文件,它们的文件名分别是server.xml、rule.xml和schema.xml。

  server.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
    <system>
    <property name="useSqlStat">0</property>  <!-- 1为开启实时统计、0为关闭 -->
    <property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->

        <property name="sequnceHandlerType">2</property>
      <!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
        <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
    <!-- <property name="processorBufferChunk">40960</property> -->
    <!-- 
    <property name="processors">1</property> 
    <property name="processorExecutor">32</property> 
     -->
        <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena-->
        <property name="processorBufferPoolType">0</property>
        <!--默认是65535 64K 用于sql解析时最大文本长度 -->
        <!--<property name="maxStringLiteralLength">65535</property>-->
        <!--<property name="sequnceHandlerType">0</property>-->
        <!--<property name="backSocketNoDelay">1</property>-->
        <!--<property name="frontSocketNoDelay">1</property>-->
        <!--<property name="processorExecutor">16</property>-->
        <!--
            <property name="serverPort">8066</property> <property name="managerPort">9066</property> 
            <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property> 
            <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
        <!--分布式事务开关,0为不过滤分布式事务,1为过滤分布式事务(如果分布式事务内只涉及全局表,则不过滤),2为不过滤分布式事务,但是记录分布式事务日志-->
        <property name="handleDistributedTransactions">0</property>
        
            <!--
            off heap for merge/order/group/limit      1开启   0关闭
        -->
        <property name="useOffHeapForMerge">1</property>

        <!--
            单位为m
        -->
        <property name="memoryPageSize">1m</property>

        <!--
            单位为k
        -->
        <property name="spillsFileBufferSize">1k</property>

        <property name="useStreamOutput">0</property>

        <!--
            单位为m
        -->
        <property name="systemReserveMemorySize">384m</property>


        <!--是否采用zookeeper协调切换  -->
        <property name="useZKSwitch">true</property>


    </system>
    
    <!-- 全局SQL防火墙设置 -->
    <!-- 
    <firewall> 
       <whitehost>
          <host host="127.0.0.1" user="mycat"/>
          <host host="127.0.0.2" user="mycat"/>
       </whitehost>
       <blacklist check="false">
       </blacklist>
    </firewall>
    -->
    
    <user name="root">
        <property name="password">123456</property>
        <property name="schemas">dm_order</property>
        
        <!-- 表级 DML 权限设置 -->
        <!--         
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>        
         -->
    </user>
</mycat:server>

 

  rule.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
     <tableRule name="auto-sharding-rang-mod-order">
    <rule>
        <columns>id</columns>
        <algorithm>rang-mod-dm</algorithm>
    </rule>
</tableRule>
<function name="rang-mod-dm"  class="io.mycat.route.function.PartitionByMod">
    <property name="count">3</property>
</function>
</mycat:rule>

  

  schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    <schema name="dm_order"  checkSQLschema="true" sqlMaxLimit="100">
       <table name="dm_order" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2,dn3"
        rule="auto-sharding-rang-mod-order"/>
    </schema>

<dataNode name="dn1" dataHost="a" database="dm_order1"/>
<dataNode name="dn2"   dataHost="a"  database="dm_order2"/>
<dataNode name="dn3"   dataHost="a"  database="dm_order3"/>
<dataHost  name="a"   maxCon="1000"  minCon="10"  balance="0"
    writeType="0"   dbType="mysql"
        dbDriver="native" switchType="1"  slaveThreshold="100">
    <heartbeat>select 1</heartbeat>
<!--注意下方的“url”中的IP地址应改为对应你的ubantu系统的IP地址-->
    <writeHost host="hostM1"
        url="192.168.115.158:3306" user="root" password="123456">
    </writeHost>
</dataHost>
</mycat:schema>

  

  2.接下来将这些文件复制到linux的root目录下,使用Xftp进行文件的传输

 

大觅网05Day

 

  3.将宿主机中的三个xml文件复制到mycat容器中的/usr/local/mycat/conf目录,使用Xshell进行相关的操作

 

root@ubuntu:~# docker cp server.xml springcloudv20_mycat_1:/usr/local/mycat/conf 
root@ubuntu:~# docker cp rule.xml springcloudv20_mycat_1:/usr/local/mycat/conf 
root@ubuntu:~# docker cp schema.xml springcloudv20_mycat_1:/usr/local/mycat/conf

  如下图

大觅网05Day

 

  最后,重启Mycat容器。至此,Mycat的配置已基本完成,接下来进行相关的测试

 

4.Mycat相关测试

  首先我们先连接Mycat的逻辑库,使用配置文件schema.xml中的设定好的账号密码连接MySql数据库,端口号为8066.

  连接成功后数据库内部的表如下图所示:

 大觅网05Day

 

  接下来连接本地的数据库,端口号为3306。

  连接成功后数据库内部的我们需要的表如下图所示:

 大觅网05Day

 

 

  最后我们在逻辑库中的表dm_order随意添加复数条的数据,然后刷新本地库的表,就可以看到,之前在逻辑库中存储的数据已经自动被分别保存在不同的表中。

 

 

 

5.springboot+mybatis实现分库分表

 

   使用老师发给我们的项目文件,在运行后,与网址中输入相应的地址http://localhost:9090/addOrder.do并给予参数,然后刷新数据库中的表,可以查看添加的成果。

上一篇:软件系统架构之Mycat分布式数据库中间件,分库分表


下一篇:Mycat分布式数据库架构解决方案--Mycat实现读写分离