mysql 主从复制高级进阶


1- 延时从库 *****
1.1 介绍及配置
SQL线程延时:数据已经写入relaylog中了,SQL线程"慢点"运行
一般企业建议3-6小时,具体看公司运维人员对于故障的反应时间
延迟从库配置:

mysql>stop slave;
mysql>CHANGE MASTER TO MASTER_DELAY = 300;
mysql>start slave;
mysql> show slave status \G
SQL_Delay: 300(单位秒)
SQL_Remaining_Delay: NULL

1.2 延时从库处理逻辑故障
1.2.1 延时从库的恢复思路
(1) 监控到数据库逻辑故障
(2) 停从库SQL线程,记录已经回放的位置点(截取日志起点)
stop slave sql_thread ;
show slave status \G
Relay_Log_File: db01-relay-bin.000002
Relay_Log_Pos: 320

(3) 截取relaylog
起点:
show slave status \G
Relay_Log_File ,Relay_Log_Pos

终点: drop之前的位置点
show relaylog events in ‘‘
进行截取
(4) 模拟SQL线程回访日志
从库 source
(5) 恢复业务
情况一: 就一个库的话
从库替代主库工作
情况二:
从库导出故障库,还原到主库中.

故障演练

主库 :
create database delay charset utf8mb4;
use delay;
create table t1 (id int);
insert into t1 values(1),(2),(3);
commit;
drop database delay;

从库:
-1.停止 从库SQL 线程,获取relay的位置点
mysql> stop slave sql_thread;
mysql> show slave status \G
Relay_Log_File: db01-relay-bin.000002
Relay_Log_Pos: 320

-2. 找到relay的截取终点
show relaylog events in "db01-relay-bin.000002"-3. 截取relay
[root@db01 data]# cd /data/mysql3308/data/
[root@db01 data]# mysqlbinlog --start-position=320 --stop-position=993 db01-relay-bin.000002 >/tmp/relay.sql

-4. 恢复relay到从库
[root@db01 data]# mysql -uroot -p123 -S /data/mysql3308/mysql.sock
mysql> set sql_log_bin=0;
mysql> source /tmp/relay.sql

2- 过滤复制

过滤复制应用

主库:
show master status ;
binlog_do_db 白名单
binlog_ignore_db 黑名单
从库:
mysql> show slave status \G
库级别(常用)
Replicate_Do_DB: 白名单
Replicate_Ignore_DB: 黑名单
表级别
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:

例子:
vim /data/mysql3308/my.cnf
#从库需要复制指定的库
replicate_do_db=repl
[root@db01 data]# systemctl restart mysqld3308

3- GTID复制 *****
(1)GTID介绍
GTID(Global Transaction ID)是对于一个已提交事务的唯一编号,并且是一个全局(主从复制)唯一的编号。
它的官方定义如下:
GTID = source_id :transaction_id
7E11FA47-31CA-19E1-9E56-C43AA21293967:29
什么是sever_uuid,和Server-id 区别?
核心特性: 全局唯一,具备幂等性

(2)GTID核心参数
重要参数:
gtid-mode=on --启用gtid类型,否则就是普通的复制架构
enforce-gtid-consistency=true --强制GTID的一致性
log-slave-updates=1 --slave更新是否记入日志

3.1- GTID复制配置过程:

(

1) 清理环境
pkill mysqld
\rm -rf /data/mysql/data/*
\rm -rf /data/binlog/*

(2) 准备配置文件 一主两从高可用
主库db01:
cat > /etc/my.cnf <<EOF
[mysqld]
basedir=/application/mysql/
datadir=/data/mysql/data
socket=/tmp/mysql.sock
log_error=/data/mysql/mysql_error.log
server_id=51
port=3306
secure-file-priv=/tmp
autocommit=0
log_bin=/data/binlog/mysql-bin
binlog_format=row
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
[mysql]
#显示库
prompt=db01 [\\d]>
EOF

slave1(db02):
cat > /etc/my.cnf <<EOF
[mysqld]
basedir=/application/mysql
datadir=/data/mysql/data
socket=/tmp/mysql.sock
log_error=/data/mysql/mysql_error.log
server_id=52
port=3306
secure-file-priv=/tmp
autocommit=0
log_bin=/data/binlog/mysql-bin
binlog_format=row
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
[mysql]
prompt=db02 [\\d]>
EOF

slave2(db03):
cat > /etc/my.cnf <<EOF
[mysqld]
basedir=/application/mysql
datadir=/data/mysql/data
socket=/tmp/mysql.sock
log_error=/data/mysql/mysql_error.log
server_id=53
port=3306
secure-file-priv=/tmp
autocommit=0
log_bin=/data/binlog/mysql-bin
binlog_format=row
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
[mysql]
prompt=db03 [\\d]>
EOF

(3) 初始化数据
mysqld --initialize-insecure --user=mysql --basedir=/application/mysql --datadir=/data/mysql/data

(4) 启动数据库
/etc/init.d/mysqld start

(5) 构建主从:
master:51
slave:52,53

51:
grant replication slave on *.* to repl@‘10.0.0.%‘ identified by ‘123‘;

52\53:
change master to
master_host=‘10.0.0.51‘,
master_user=‘repl‘,
master_port=3306,
master_password=‘123‘ ,
MASTER_AUTO_POSITION=1; #自动请求日志,获取gtid
start slave;

 

查看主从状态进行建库建表测试

3.2- GTID 复制和普通复制的区别
(0)在主从复制环境中,主库发生过的事务,在全局都是由唯一GTID记录的,更方便Failover
(1)额外功能参数(3个)
(2)change master to 的时候不再需要binlog 文件名和position号,MASTER_AUTO_POSITION=1;
(3)在复制过程中,从库不再依赖master.info文件,而是直接读取最后一个relaylog的 GTID号
(4) mysqldump备份时,默认会将备份中包含的事务操作,以以下方式
#### SET @@GLOBAL.GTID_PURGED=‘8c49d7ec-7e78-11e8-9638-000c29ca725d:1-11‘;
告诉从库,我的备份中已经有以上事务,你就不用运行了,直接从下一个GTID开始请求binlog就行。

4- 半同步 ***
解决主从复制数据一致性问题.
ACK ,从库relay落地,IO线程会返回一个ACK,主库的 ACK_reciver .主库事务才能提交.如果一直ACK没收到,超过10秒钟会切换为异步复制.

mysql 主从复制高级进阶

上一篇:15、django.db.utils.IntegrityError: The row in table 'xxxxx' with primary key '1' has an invalid foreign key


下一篇:MySQL 主从复制