一。MMM概述
MMM(Master-Master replication manager for MySQL,MySQL主主复制管理器,双主架构)
是一套支持双主故障切换和双主日常管理的脚本程序。MMM 使用Perl语言开发,主要用来监控和管理 MySQL Master-Master(双主)复制,虽然叫做双主复制,但是业务上同一时刻只允许对一个主进行写入,另一台备选主上提供部分读服务,以加速在主主切换时备选主的预热,可以说MMM这套脚本程序一方面实现了故障切换的功能,另一方面其内部附加的工具脚本也可以实现多个 Slave 的 read 负载均衡。
工作过程
集群中有monitor管理服务器,两个master服务器和多个从服务器,主服务器之间互相进行数据同步,共用一个VIP,一台提供服务,另一台只提供部分读的服务。从服务器分配不同的VIP并且同步同一台主服务器的数据,当monitor发现主服务器出现故障,将自动调配另一台主服务器提供服务保证业务的不中断,如果从服务器发生故障那该服务器的VIP将漂移到其他从服务器上保证用户依然能对该VIP进行访问。管理员可以通过命令在monitor上对集群服务的状态查询并进行相应的管理。
二。MMM的应用
MMM提供了自动和手动两种方式移除一组服务器中复制延迟较高的服务器的虚拟ip,同时它还可以备份数据,实现两节点之间的数据同步等。由于MMM无法完全保证数据的一致性,所以MMM适用于对数据的一致性要求不是很高,但是又想最大程度地保证业务可用性的场景。
*如果追求数据高一致性的情况建议使用MHA高可用架构
三。MMM 高可用架构组成
MMM是一套灵活的脚本程序,基于perl实现,用来对 mysql replication进行监控和故障迁移,并能管理 MySQL Master-Master 复制的配置。
●mmm_mon:监控进程,负责所有的监控工作,决定和处理所有节点角色活动。此脚本需要在监控主机上运行。
●mmm_agent:运行在每个MySQL服务器上的代理进程,完成监控的探针工作和执行简单的远端服务设置。此脚本需要在被监管机上运行。
●mmm_control:一个简单的脚本,提供管理mmm_mon进程的命令。
●mysql-mmm:的监管端会提供多个虚拟 IP(VIP),包括一个可写 VIP,多个可读 VIP,通过监管的管理,这些 IP 会绑定在可用 MySQL 之上,当某一台 MySQL 宕机时,监管会将 VIP 迁移至其他 MySQL。
*探针:主要的工作就是健康检查
在整个监管过程中,需要在 MySQL 中添加相关授权用户,以便让 MySQL 可以支持监控主机的维护。授权的用户包括一个mmm_monitor用户和一个 mmm_agent用户。
四。MySQL MMM搭建准备
1. 设备环境
服务器 |
操作系统 |
IP |
所需的软件/工具 |
master01(db1) |
Centos 7 |
192.168.150.35 VIP:192.168.150.200 |
mysql5.7、mysql-mmm |
master02(db2) |
Centos 7 |
192.168.150.30 VIP:192.168.150.200 |
mysql5.7、mysql-mmm |
slave01(db3) |
Centos 7 |
192.168.150.25 VIP:192.168.150.210 |
mysql5.7、mysql-mmm |
slave02(db4) |
Centos 7 |
192.168.150.20 VIP:192.168.150.211 |
mysql5.7、mysql-mmm |
monitor |
Centos 7 |
192.168.150.15 |
mysql-mmm |
2. 配置思路
##主从同步配置##
MySQL所有服务器增加相应配置项开启日志文件(注意sever-id不一致)并且进入数据库授予同步权限,从服务器指定相同的master主机,主服务器互相指定进行同步
##安装配置MySQL-MMM###
(1)所有服务器安装MySQL-MMM
(2)对mmm主配置文件mmm_common.conf进行配置相应项,所有服务器配置文件相同,并根据不同主机更改每台数据库服务器的代理配置文件
(3)在monitor监控服务器上修改监控配置文件,添加所有主机信息
(4)所有数据库服务器给予代理进程和监控进程执行权限,刷新
(5)数据库文件启动mysql-mmm-agent.service服务,monitor服务器启动 mysql-mmm-monitor.service 服务,在monitor对群集进行相应的测试管理
五。MySQL-MMM配置步骤
systemctl stop firewalld
setenforce 0
##搭建 MySQL 多主多从模式##
1. 修改 master01 配置文件
vim /etc/my.cnf
......
[mysqld]
user = mysql
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
character_set_server=utf8
pid-file = /usr/local/mysql/mysqld.pid
socket = /usr/local/mysql/mysql.sock
server-id = 1 #每台Mysql主机的server-id不能相同
log-error=/usr/local/mysql/data/mysql_error.log #错误日志
general_log=ON #通用查询日志
general_log_file=/usr/local/mysql/data/mysql_general.log
slow_query_log=ON #慢查询日志
slow_query_log_file=mysql_slow_query.log
long_query_time=5
binlog-ignore-db=mysql,information_schema #不需要同步的库名,这两个是存放了一些用户信息等默认存在的数据库,无需同步,自行管理
log_bin=mysql_bin #开启二进制日志用于主从数据复制
log_slave_updates=true #允许slave从master复制数据时可以写入到自己的二进制日志
sync_binlog=1 #"双1设置",MySQL 在每写一次二进制日志时都会同步到磁盘中去
innodb_flush_log_at_trx_commit=1 #"双1设置",每次事务提交时MySQL都会把缓存的数据写入日志文件,并且刷到磁盘中去
auto_increment_increment=2 #自增字段一次递增多少
auto_increment_offset=1 #自增字段的起始值
systemctl restart mysqld
##sync_binlog=1和innodb_flush_log_at_trx_commit=1"双1设置"
如果不设置默认根据事务大小等情况进行写入数据,设置后每提交一次事务都会写入数据,这两项设置是防止服务器宕机数据没写入硬盘造成丢失,但如果每一次都执行会占据服务器一定的处理性能,所以建议根据情况设置
innodb_flush_log_at_trx_commit
如果innodb_flush_log_at_trx_commit设置为0∶ log buffer将每秒一次地写入log file中,并且log file的flush(刷到磁盘)操作同时进行.该模式下,在事务提交的时候,不会主动触发写入磁盘的操作;
如果innodb_flush_log_at_trx_commit设置为1∶每次事务提交时MySQL都会把log buffer的数据写入 log file,并且flush(刷到磁盘)中去;
如果innodb_flush_log_at_trx_commit设置为2∶每次事务提交时MySOL都会把log buffer的数据写入 log file,但是flush(刷到磁盘)操作并不会同时进行。该模式下,MySQL会每秒执行—次 flush(刷到磁盘)操作。
注意∶由于进程调度策略问题,这个"每秒执行一次 flush(刷到磁盘)操作"并不是保证100%的"每秒"。
sync_binlog
Sync_binlog 的默认值是0,像操作系统刷其他文件的机制一样,MySQL不会同步到磁盘中去而是依赖操作系统来刷新binary log。
当sync_binlog =N(N>0),MySQL 在每写 N次二进制日志binary log时,会使用fdatasync()函数将它的写二进制日志binary log同步到磁盘中去。
注意∶如果启用了autocommit,那么每一个语句statement就会有一次写操作;否则每个事务对应一个写操作。
2. 把配置文件复制到其它3台数据库服务器上并启动服务器
*注意:配置文件中的 server_id 要修改
scp /etc/my.cnf root@192.168.150.30:/etc/
scp /etc/my.cnf root@192.168.150.25:/etc/
scp /etc/my.cnf root@192.168.80.20:/etc/
systemctl restart mysqld
3. 配置主主复制,两台主服务器相互复制
#在两台主服务器上都执行授予从的权限,从服务器上不需要执行
mysql -uroot -p123456
grant replication slave on *.* to ‘aaa‘@‘192.168.150.%‘ identified by ‘123456‘;
##在两台主服务器上查看,记录日志文件名称和同步点
show master status;
##在master01上配置同步指向master02服务器
mysql -uroot -p123456
change master to
master_host=‘192.168.150.30‘,master_user=‘aaa‘,master_password=‘123456‘,
master_log_file=‘mysql_bin.000001‘,master_log_pos=453;
start slave;
show slave status\G; #查看同步设置是否有误
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
##在 master02 上配置同步指向master01服务器
mysql -uroot -p123456
change master to
master_host=‘192.168.150.35‘,master_user=‘aaa‘,master_password=‘123456‘,
master_log_file=‘mysql_bin.000001‘,master_log_pos=453;
start slave;
show slave status\G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
##配置主从复制,在两台从服务器上执行指向master01服务器
mysql -uroot -p123456
change master to
master_host=‘192.168.150.35‘,master_user=‘aaa‘,master_password=‘123456‘,
master_log_file=‘mysql_bin.000001‘,master_log_pos=453;
start slave;
show slave status\G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
4. 测试主主、主从同步情况
在master01 上create database AAA01;
查看其他数据库 show databases;
在master02上create database AAA02;
查看其他数据库 show databases;
###安装配置 MySQL-MMM ###
5. 在所有服务器上安装 MySQL-MMM
#如果原本使用本地源的需要将自带的在线源.repo文件释放出来在进行安装
cd /etc/yum.repos.d/
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum -y install epel-release
yum -y install mysql-mmm*
6. 在master01上对 MySQL-MMM 进行配置
cd /etc/mysql-mmm/
vim mmm_common.conf
……
<host default>
cluster_interface ens33
……
replication_user aaa #同步的用户
replication_password 123456 #同步的密码
agent_user mmm_agent
agent_password 123456
<host db1>
ip 192.168.150.35
mode master
peer db2
</host>
<host db2>
ip 192.168.150.30
mode master
peer db1
</host>
<host db3>
ip 192.168.150.25
mode slave
</host>
<host db4>
ip 192.168.150.20
mode slave
</host>
<role writer>
hosts db1, db2
ips 192.168.150.200
mode exclusive #只有一个host可以进行写操作模式
</role>
<role reader>
hosts db3, db4
ips 192.168.150.210, 192.168.150.211
mode balanced #多个 slave 主机可以进行读操作模式
</role>
##把配置文件复制到其它 4 台主机,所有主机该配置文件内容都是一样的
scp mmm_common.conf root@192.168.150.30:/etc/mysql-mmm/
scp mmm_common.conf root@192.168.150.25:/etc/mysql-mmm/
scp mmm_common.conf root@192.168.150.20:/etc/mysql-mmm/
scp mmm_common.conf root@192.168.150.15:/etc/mysql-mmm/
7. 修改所有数据库服务器的代理配置文件mmm_agent.conf
vim /etc/mysql-mmm/mmm_agent.conf
include mmm_common.conf
this db1 #根据不同的主机分别修改为 db1,db2,db3,db4
8. 在monitor监控服务器上修改监控配置文件mmm_mon.conf
vim /etc/mysql-mmm/mmm_mon.conf
include mmm_common.conf
<monitor>
.....
ping_ips 192.168.150.35,192.168.150.30,192.168.150.25,192.168.150.20 #指定所有数据库服务器的IP
auto_set_online 10 #指定自动上线时间
</monitor>
<host default>
monitor_user mmm_monitor #指定mmm_monitor的用户名
monitor_password 123456 #指定mmm_monitor的密码
</host>
9. 在所有数据库服务器对代理进程和监控进程授权
(1)在所有数据库上为mmm_agent(代理进程)授权
grant super,replication client,process on *.* to ‘mmm_agent‘@‘192.168.150.%‘ identified by ‘123456‘;
(2)在所有数据库上为mmm_moniter(监控进程)授权
grant replication client on *.* to ‘mmm_monitor‘@‘192.168.150.%‘ identified by ‘123456‘;
flush privileges;
##在所有数据库服务器上启动 mysql-mmm-agent
systemctl start mysql-mmm-agent.service
systemctl enable mysql-mmm-agent.service
##在monitor 服务器上启动 mysql-mmm-monitor
systemctl start mysql-mmm-monitor.service
10. 在monitor服务器上测试群集
(1)查看各节点的情况
mmm_control show
db1(192.168.150.35) master/ONLINE. Roles: writer(192.168.150.200)
db2(192.168.150.30) master/ONLINE. Roles:
db3(192.168.150.25) slave/ONLINE. Roles: reader(192.168.150.211)
db4(192.168.150.20) slave/ONLINE. Roles: reader(192.168.150.210)
(2)检测监控功能是否都完善,需要各种OK
mmm_control checks all
(3)更改绑定写VIP的主机
mmm_control move_role writer db2
11. 故障测试
(1)停止 master01 确认 VIP 是否移动到 master02 上
systemctl stop mysqld.service
mmm_control move_role writer db1
注意:master01主服务器恢复服务后,不会抢占
mmm_control show
db1(192.168.80.20) master/HARD_OFFLINE. Roles:
db2(192.168.80.30) master/ONLINE. Roles: writer(192.168.80.188)
(2)停止一台从服务器,另一台将接管两个虚拟IP,以保证业务不停止,在恢复宕机的从服务器VIP还会回去
mmm_control show
12. 客户端测试
##在 master01 服务器上为monitor服务器地址授权登录
grant all on *.* to ‘bbb‘@‘192.168.150.%‘ identified by ‘123456‘;
flush privileges;
##在monitor服务器上使用 VIP 登录
yum install -y mariadb-server mariadb
systemctl start mariadb.service
mysql -ubbb -p123456 -h 192.168.150.200
#创建数据,测试同步情况
create database BBB;