基于Docker搭建MySQL多源复制环境

2023-08-08 20:20:52

MySQL5.7在主从复制上面相对之前版本多了一些新特性，包括多源复制、基于组提交的并行复制、在线修改Replication Filter、GTID增强、半同步复制增强等。

多源复制：多源复制加入了一个叫做Channel的概念，每一个Channel都是一个独立的Slave，都有一个IO_THREAD和SQL_THREAD。原理和普通复制一样。我们只需要对每一个Master执行Change Master 语句，只需要在每个语句最后使用For Channel来进行区分。由于复制的原理没有改变，在没有开启GTID的时候Master的版本可以是MySQL5.5、5.6、5.7。并且从库需要master-info-repository、relay-log-info-repository设置为table，否则会报错：

ERROR 3077 (HY000): To have multiple channels, repository cannot be of type FILE; Please check the repository configuration and convert them to TABLE.

这里需要注意：从的版本若是5.7.x～5.7.13，主的版本不能是MySQL5.5，因为MySQL5.5没有server_uuid函数。该问题在MySQL5.7.13里修复(Bug #22748612)。

部署三个MySQL实例

MySQL5.5镜像：https://www.cnblogs.com/wshenjin/p/9585696.html

MySQL5.7镜像：https://www.cnblogs.com/wshenjin/p/10100949.html

环境

[root@Docker_Machine_192.168.31.130 ~]# mkdir -p  mysql5.5_master1/data  mysql5.5_master2/data  mysql5.7_slave/data

[root@Docker_Machine_192.168.31.130 ~]# chown mysql:mysql -R mysql5.5_master* mysql5.7_slave1

slave的配置文件:

server-id=3

#rep

log_slave_updates = 1

master_info_repository=TABLE

relay_log_info_repository=TABLE

replicate_wild_ignore_table=mysql.%

不管是使用基于二进制日志的复制或者基于事务的复制，要开启多源复制功能，必须需要在从库上设置master_info_repository和relay_log_info_repository两个参数为’TABLE’（在mysql库下可以看见这两个表信息），是用来存储同步信息的，可以设置的值为’FILE’和’TABLE’，默认是FILE。为’FILE’时，会生成master.info 和 relay-log.info两个文件，如果是’TABLE’，信息就会存在mysql.slave_relay_log_info和mysql.slave_master_info两个表中。

GLOBAL master_info_repository、GLOBAL relay_log_info_repository这两个值可以动态调整：

mysql> SET GLOBAL master_info_repository = 'TABLE';

mysql> SET GLOBAL relay_log_info_repository = 'TABLE';

启动两个master实例：

[root@Docker_Machine_192.168.31.130 ~]# docker run -itd -v /data/dokcer/docker_local_volume/mysql5.5_master1/data/:/data/database/mysql/ -v /data/dokcer/docker_local_volume/mysql5.5_master1/my.cnf:/etc/my.cnf  --network=net_bridge_192.168.2.0 --ip=192.168.2.101 --name=mysql5.5_master1 volumes/my_percona_server:v5.5.61.2

[root@Docker_Machine_192.168.31.130 ~]# docker run -itd -v /data/dokcer/docker_local_volume/mysql5.5_master2/data/:/data/database/mysql/ -v /data/dokcer/docker_local_volume/mysql5.5_master2/my.cnf:/etc/my.cnf  --network=net_bridge_192.168.2.0 --ip=192.168.2.102 --name=mysql5.5_master2 volumes/my_percona_server:v5.5.61.2

启动一个slave实例

[root@Docker_Machine_192.168.31.130 ~]# docker run -itd -v /data/dokcer/docker_local_volume/mysql5.7_slave/data/:/data/database/mysql/ -v /data/dokcer/docker_local_volume/mysql5.7_slave/my.cnf:/etc/my.cnf  --network=net_bridge_192.168.2.0 --ip=192.168.2.100 --name=mysql5.7_slave  me/my_percona_server:5.7.23.24

建立主从

两个主库上对从库进行主从授权

mysql> grant replication slave , replication client on *.* to slave@192.168.2.100 identified by 'slave#123';

Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges ;

Query OK, 0 rows affected (0.00 sec)

mysql> quit

Bye

从主库上导数据和查看**master status **就忽略了

从库建立主从

mysql> change master to  master_host='192.168.2.101', master_port=3306, master_user='slave', master_password='slave#123', master_log_file='mysql-bin.000004', master_log_pos=357 for channel 'master1';

Query OK, 0 rows affected, 2 warnings (0.05 sec)

mysql> change master to  master_host='192.168.2.102', master_port=3306, master_user='slave', master_password='slave#123', master_log_file='mysql-bin.000004', master_log_pos=357 for channel 'master2';

Query OK, 0 rows affected, 2 warnings (0.04 sec)

多源复制的相关操作：

查看单个channel的状态：

mysql> show slave status for channel 'master1'\G

停止单个channel的同步：

mysql> stop slave for channel 'master1';

开启单个channel的同步：

mysql> start slave for channel 'master1';

重置单个channel：

mysql> reset slave all for channel 'master1';

查看所有channel：

mysql> show slave status\G

停止所有channel：

mysql> stop slave;

开启所有channel：

mysql> start slave;

监控

监控：系统库performance_schema增加了一些replication的监控表：

mysql> use performance_schema

Database changed

mysql> show tables like 'replicat%';

+-------------------------------------------+

| Tables_in_performance_schema (replicat%)  |

+-------------------------------------------+

| replication_applier_configuration         |###查看各个channel是否配置了复制延迟

| replication_applier_status                |###查看各个channel是否复制正常（service_state）以及事务重连的次数

| replication_applier_status_by_coordinator |###查看各个channel是否复制正常，以及复制错误的code、message和时间

| replication_applier_status_by_worker      |###查看各个channel是否复制正常，以及并行复制work号，复制错误的code、SQL和时间

| replication_connection_configuration      |###查看各个channel的连接配置信息：host、port、user、auto_position等

| replication_connection_status             |###查看各个channel的连接信息

| replication_group_member_stats            |###

| replication_group_members                 |###

+-------------------------------------------+

Replication Filter

在线过滤mysql库:

先关闭sql线程，要是在多源复制中，是关闭所有channel的sql thread。

mysql> stop slave sql_thread;

Query OK, 0 rows affected (0.01 sec)

mysql> CHANGE REPLICATION FILTER REPLICATE_IGNORE_DB=(mysql);

mysql> start slave sql_thread;

Query OK, 0 rows affected (0.04 sec)

若要还原，stop slave sql_thread，然后置空REPLICATE_IGNORE_DB即可。

Replication Filter的语法：

CHANGE REPLICATION FILTER filter[, filter][, ...]

filter:

    REPLICATE_DO_DB = (db_list)

  | REPLICATE_IGNORE_DB = (db_list)

  | REPLICATE_DO_TABLE = (tbl_list)

  | REPLICATE_IGNORE_TABLE = (tbl_list)

  | REPLICATE_WILD_DO_TABLE = (wild_tbl_list)

  | REPLICATE_WILD_IGNORE_TABLE = (wild_tbl_list)

  | REPLICATE_REWRITE_DB = (db_pair_list)

db_list:

    db_name[, db_name][, ...]

tbl_list:

    db_name.table_name[, db_table_name][, ...]

wild_tbl_list:

    'db_pattern.table_pattern'[, 'db_pattern.table_pattern'][, ...]

db_pair_list:

    (db_pair)[, (db_pair)][, ...]

db_pair:

    from_db, to_db

不过这个配置还是要写到配置文件中，不然重启mysqld就没了

码农公寓