配置MMM高可用
目录- 一 MMM概述
- 二：搭建MMM 高可用集群
- 三 ：报错
一 MMM概述
1.1 什么是MMM
MMM（Master-Master replication manager for MvSQL，MySQL主主复制管理器）
是一套支持双主故障切换和双主日常管理的脚本程序。MMM 使用 Perl 语言开发，主要用来监控和管理 MySQL Master-Master （双主）复制，虽然叫做双主复制，但是业务上同一时刻只允许对一个主进行写入，另一台备选主上提供部分读服务，以加速在主主切换时备选主的预热，可以说MMM这套脚本程序一方面实现了故障切换的功能，另一方面其内部附加的工具脚本也可以实现多个 Slave 的 read 负载均衡。
MMM提供了自动和手动两种方式移除一组服务器中复制延迟较高的服务器的虚拟ip，同时它还可以备份数据，实现两节点之间的数据同步等。由于MMM无法完全保证数据的一致性，所以MMM适用于对数据的一致性要求不是很高，但是又想最大程度地保证业务可用性的场景。
MMM是一套灵活的脚本程序，基于perl实现，用来对 mysql replication 进行监控和故障迁移，并能管理 MySQL Master-Master 复制的配置。
1.2 MMM 的高可用架构说明
●mmm_mon：监控进程，负责所有的监控工作，决定和处理所有节点角色活动。此脚本需要在监控主机上运行。
●mmm_agent：运行在每个MySQL服务器上的代理进程，完成监控的探针工作和执行简单的远端服务设置。此脚本需要在被监管机上运行。
●mmm_control：一个简单的脚本，提供管理 mmm_mon 进程的命令。
●mysql-mmm 的监管端会提供多个虚拟 IP（VIP），包括一个可写 VIP，多个可读 VIP，通过监管的管理，这些 IP 会绑定在可用 MySQL 之上，当某一台 MySQL 宕机时，监管会将 VIP 迁移至其他 MySQL。
在整个监管过程中，需要在 MySQL 中添加相关授权用户，以便让 MySQL 可以支持监控主机的维护。 授权的用户包括一个 mmm_monitor 用户和一个 mmm_agent 用户。
二：搭建MMM 高可用集群
2.1 拓扑
master01(db1) 192.168.23.103 mysql5.7 ,mysql-mmm
master02(db2) 192.168.23.104 mysql5.7 ,mysql-mmm
slave01 (db3) 192.168.23.12 mysql5.7 ,mysql-mmm
slave02 (db4) 192.168.23.13 mysql5.7 ,mysql-mmm
monitor 192.168.23.11 mysql-mmm
关闭firewalld和selinux
2.2 修改所有mysql节点的配置文件
vim /etc/my.cnf
[mysqld]
user = mysql
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
character_set_server=utf8
pid-file = /usr/local/mysql/mysqld.pid
socket = /usr/local/mysql/mysql.sock
server-id = 103 #每台 Mysql 主机的 server-id 不能相同
log-error=/usr/local/mysql/data/mysql_error.log #错误日志
general_log=ON #通用查询日志
general_log_file=/usr/local/mysql/data/mysql_general.log
slow_query_log=ON #慢查询日志
slow_query_log_file=mysql_slow_query.log
long_query_time=5
binlog-ignore-db=mysql,information_schema #不需要同步的库名
log_bin=mysql-bin #开启二进制日志用于主从数据复制
log_slave_updates=true #允许slave从master复制数据时可以写入到自己的二进制日志
sync_binlog=1 #"双1设置"，MySQL 在每写一次二进制日志时都会同步到磁盘中去
innodb_flush_log_at_trx_commit=1 #"双1设置"，每次事务提交时MySQL都会把缓存的数据写入日志文件，并且刷到磁盘中去
auto_increment_increment=2 #自增字段一次递增多少
auto_increment_offset=1 #自增字段的起始值
2.3 配置主主复制
2.3.1 两台主服务器配置授权用户
在两台主服务器上都执行授予从的权限，从服务器不需要执行
grant replication slave on *.* to 'replication'@'192.168.23.%' identified by 'abc123';
在两台主服务器上查看，记录日志文件名称和同步点
#刷新日志
mysql> flush logs;
Query OK, 0 rows affected (0.01 sec)
mysql> show master status;
+------------------+----------+--------------+--------------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+--------------------------+-------------------+
| mysql-bin.000002 | 154 | | mysql,information_schema | |
+------------------+----------+--------------+--------------------------+-------------------+
1 row in set (0.00 sec)
2.3.2 两台主配置相互同步
master01: 192.168.23.103
change master to
master_host='192.168.23.104',
master_user='replication',
master_password='abc123',
master_log_file='mysql-bin.000002',
master_log_pos=154;
start slave;
show slave status \G
#io线程和sql线程都要是yes
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
master02 ：192.168.23.104
change master to
master_host='192.168.23.103',
master_user='replication',
master_password='abc123',
master_log_file='mysql-bin.000002',
master_log_pos=154;
start slave;
show slave status \G
#io线程和sql线程都要是yes
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
2.4 两台从服务器配置主从同步
两台从服务器要对接同一台主服务器
#两台从服务器配置主从同步，同步同一台主
change master to
master_host='192.168.23.103',
master_user='replication',
master_password='abc123',
master_log_file='mysql-bin.000002',
master_log_pos=154;
start slave;
show slave status \G
#io线程和sql线程都要是yes
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
2.5 测试主主，主从的同步
在master01 ：192.168.23.103上创建数据库test01，在master02，和slave01，slave02上查看
#master01
create database test01;
#master02，slave01，slave02上查看
show databases;
在master02：192.168.23.104上创建数据库test02，在master01，slave01，slave02上查看
#master02
create database test02;
#master01，slave01，slave02上查看
show databases;
2.6 安装配置mysql-MMM
2.6.1 在所有服务器上安装mysql-MMM
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum -y install epel-release
yum -y install mysql-mmm*
2.6.2所有节点修改公用配置文件mmm_common.conf
[root@master01 ~]# cd /etc/mysql-mmm/
[root@master01 mysql-mmm]# vim mmm_common.conf
……
<host default>
cluster_interface ens33 #集群网卡
……
#主从复制的用户名和密码
replication_user replication
replication_password abc123
#代理进程mmm_agent使用的账号和密码
agent_user mmm_agent
agent_password abc123
</host>
<host db1>
ip 192.168.23.103
mode master
peer db2 #和db2建立对等体关系
</host>
<host db2>
ip 192.168.23.104
mode master
peer db1 #和db1建立对等体关系
</host>
#slave01
<host db3>
ip 192.168.23.12
mode slave
</host>
#slave02
<host db4>
ip 192.168.23.13
mode slave
</host>
#配置写的规则
<role writer>
hosts db1, db2 #使用db1，db2
ips 192.168.23.200 #使用的vip地址
mode exclusive #此模式表示只有一个host可以写
</role>
#设置读的规则
<role reader>
hosts db3, db4 #使用db3，db4
ips 192.168.23.201, 192.168.23.202 #使用的vip。一个slave使用一个vip
mode balanced #读使用轮训负载的方式
</role>
2.6.3 修改所有数据库服务器节点的代理配置文件mmm_agent.conf
master01，master02，slave01，slave02
vim /etc/mysql-mmm/mmm_agent.conf
include mmm_common.conf
#根据不同的主机分别修改为db1，db2，db3，db4
this db1
2.6.4在monitor 监控服务器上修改监控配置文件mmm_mon.conf
[root@monitor ~]# vim /etc/mysql-mmm/mmm_mon.conf
<monitor>
#指定所有数据库IP
ping_ips 192.168.23.103,192.168.23.104,192.168.23.12,192.168.23.13
#指定自动上线时间
auto_set_online 10
</monitor>
#指定mmm_monitor的用户名和密码
<host default>
monitor_user mmm_monitor
monitor_password abc123
</host>
2.6.5 在所有数据库节点进行用户授权
在所有数据库节点上为mmm_agent（代理进程）和mmm_monitor(监控进程授权授权
#为代理进程mmm_agent进行用户授权
mysql> grant super,replication client,process on *.* to
'mmm_agent'@'192.168.23.%' identified by 'abc123';
#为监控进程mmm_monitor进行用户授权
mysql> grant replication client on *.* to
'mmm_monitor'@'192.168.23.%' identified by 'abc123';
#刷新授权表
mysql> flush privileges;
2.6.6 在所有数据库服务器上启动mysql-mmm-agent
#在所有的数据库节点，启动mysql-mmm-agent 进程
systemctl start mysql-mmm-agent.service
systemctl enable mysql-mmm-agent.service
2.6.7 在monitor 节点上启动mysql-mmm-monitor
#monirot 节点启动mysql-mmm-monitor
[root@monitor ~]# systemctl start mysql-mmm-monitor.service
2.6.8monitor 节点上检测监控功能，查看状态
检测监控功能是否都完善。需要各种OK
#检测监控功能是否完善
[root@monitor ~]# mmm_control checks all
db4 ping [last change: 2021/09/14 19:08:30] OK
db4 mysql [last change: 2021/09/14 19:08:30] OK
db4 rep_threads [last change: 2021/09/14 19:08:30] OK
db4 rep_backlog [last change: 2021/09/14 19:08:30] OK: Backlog is null
db2 ping [last change: 2021/09/14 19:08:30] OK
db2 mysql [last change: 2021/09/14 19:08:30] OK
db2 rep_threads [last change: 2021/09/14 19:08:30] OK
db2 rep_backlog [last change: 2021/09/14 19:08:30] OK: Backlog is null
db3 ping [last change: 2021/09/14 19:08:30] OK
db3 mysql [last change: 2021/09/14 19:08:30] OK
db3 rep_threads [last change: 2021/09/14 19:08:30] OK
db3 rep_backlog [last change: 2021/09/14 19:08:30] OK: Backlog is null
db1 ping [last change: 2021/09/14 19:08:30] OK
db1 mysql [last change: 2021/09/14 19:08:30] OK
db1 rep_threads [last change: 2021/09/14 19:08:30] OK
db1 rep_backlog [last change: 2021/09/14 19:08:30] OK: Backlog is null
#查看各个节点的状态
[root@monitor ~]# mmm_control show
db1(192.168.23.103) master/ONLINE. Roles: writer(192.168.23.200)
db2(192.168.23.104) master/ONLINE. Roles:
db3(192.168.23.12) slave/ONLINE. Roles: reader(192.168.23.202)
db4(192.168.23.13) slave/ONLINE. Roles: reader(192.168.23.201)
2.6.9 故障测试
(1)在monitor上，切换写的数据库
#将写vip 移动到 db2
[root@monitor ~]# mmm_control move_role writer db2
OK: Role 'writer' has been moved from 'db1' to 'db2'. Now you can wait some time and check new roles info!
#查看状态，发现写的 vip 已经移动到了db2上
[root@monitor ~]# mmm_control show
db1(192.168.23.103) master/ONLINE. Roles:
db2(192.168.23.104) master/ONLINE. Roles: writer(192.168.23.200)
db3(192.168.23.12) slave/ONLINE. Roles: reader(192.168.23.202)
db4(192.168.23.13) slave/ONLINE. Roles: reader(192.168.23.201)
#将vip移回db1
[root@monitor ~]# mmm_control move_role writer db1
OK: Role 'writer' has been moved from 'db2' to 'db1'. Now you can wait some time and check new roles info!
(2)在db1（master01）上，停止mysql服务，查看vip是否会移动到db2(master02上
#master01 上停止mysql服务
[root@master01 ~]# systemctl stop mysqld
#monitor节点上查看各个节点转态
[root@monitor ~]# mmm_control show
#显示db1下线。vip移动到了db2上
db1(192.168.23.103) master/HARD_OFFLINE. Roles:
db2(192.168.23.104) master/ONLINE. Roles: writer(192.168.23.200)
db3(192.168.23.12) slave/ONLINE. Roles: reader(192.168.23.202)
db4(192.168.23.13) slave/ONLINE. Roles: reader(192.168.23.201)
(3)启动db1的mysql服务。查看vip位置
#db1(master01上启动mysql服务
[root@master01 ~]# systemctl start mysqld
#monitor节点查看状态
[root@monitor ~]# mmm_control show
#db1为等待恢复 转态
db1(192.168.23.103) master/AWAITING_RECOVERY. Roles:
db2(192.168.23.104) master/ONLINE. Roles: writer(192.168.23.200)
db3(192.168.23.12) slave/ONLINE. Roles: reader(192.168.23.202)
db4(192.168.23.13) slave/ONLINE. Roles: reader(192.168.23.201)
#monitor节点查看状态
[root@monitor ~]# mmm_control show
#db恢复。vip依旧在db2上，没有回到db1
db1(192.168.23.103) master/ONLINE. Roles:
db2(192.168.23.104) master/ONLINE. Roles: writer(192.168.23.200)
db3(192.168.23.12) slave/ONLINE. Roles: reader(192.168.23.202)
db4(192.168.23.13) slave/ONLINE. Roles: reader(192.168.23.201)
<br<
2.6.10 客户端测试
在db1(master01)服务器上为monitor 服务器地址授权登录
#授权用户wanglei可以在192。168.23.0网段所有主机使用abc123密码登录，对所有库所有表拥有所有权限
mysql> grant all on *.* to 'wanglei'@'192.168.23.%' identified by 'abc123';
Query OK, 0 rows affected, 1 warning (0.00 sec)
#刷新授权表
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
（1）在监控主机monitor 上使用刚才创建的用户登录，地址使用写入主机的vip
[root@monitor ~]# yum -y install mariadb mariadb-server
[root@monitor ~]# systemctl start mariadb.service
[root@monitor ~]# /usr/bin/mysql -uwanglei -pabc123 -h 192.168.23.200
MySQL [(none)]> create database test03;
MySQL [(none)]> show databases;
到各个数据库节点查看
#到各个数据库节点查看,均能查看到数据库 test03
show databases;
三 ：报错
3.1 报错信息
在配置MMM时，故障切换后，发现主主复制没有问题，但是主从不同步。查看从服务器转态，发现报错如下
mysql> show slave status \G
。。。。。
#IO线程转态不是yes
Slave_IO_Running: Connecting
Slave_SQL_Running: Yes
#报错说连接主失败
Last_IO_Error: error connecting to master 'replicant@192.168.23.104:3306' - retry-time: 60 retries: 2
3.2 错误分析
那么，主从IO线程同步失败，最常出现的错误有网络不通，用户名错误，密码错误。
但是，开头主主同步测试，主从同步测试都是通过的。那么，问题就有可能出现在MMM的脚本中。
查看MMM的通用配置文件mmm_common.conf，发现，replication_user ，主从同步用户名配置错误。
3.3 错误解决
（1）首先进入mysql节点。将手动将主从同步恢复。先到当前的主库，查看master装态。然后到从库，先使用stop slave停止同步，然后在使用change 重新配置，在start slave开启同步。
（2）然后在monitor节点，将通用配置文件mmm_common.conf中的replication_user配置修改正确。然后在重启监控服务systemctl restart mysql-mmm-monitor.service
（3）再次模拟故障，切换写入的库。然后到从库查看装态。发现从库的master切换成功，且IO和sql线程都是yes。