MySQL MHA架构

2022-01-12 04:09:19

MHA概述

MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本人youshimation开发，是一套优秀的MySQL故障切换和主从提升的高可用软件，解决mysql主服务器单点故障的方法一般常用的有两个mmm和mha，但是一般从真正的高可用的场合，其实最常用的是mha。如何避免mysql单点故障利用mysql主从复制来解决mysql单点故障如何解决主服务器的单点问题主服务器切换后，如何通知应用新的主服务器的ip地址如何检查mysql主服务器是否可用如何处理从服务器和新主服务器之间的那种复制关系

1.1:MHA的特点

自动故障切换过程中，MHA试图从宕机的主服务器.上保存二进制日志，最大程度的保证数据的不丢失
使用MySQL 5.5的半同步复制，可以大大降低数据丢失的风险

 

二：MHA的构成

2.1：MHA的组成

MHA Manager (管理节点)：Manager可以单独部署在一*立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。
MHA Node (数据节点)：Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。

2.2：MMH是如何实现

连续3次去尝试连接主机，确认主机不可用（先做ssh校验再做mysql复制校验）
读取配置文件/usr/local/mha_config/app1.cnf，获取目前为目的主从状态，设置master为failover
强制关闭，使应用程序永远不会连接到当前主机
从原来的master摘掉VIP
检查slave的最新同步，检查最新的file/position分别有哪些机器，检查最老的file/position分别有哪些机器，如果没有同步则选择最新的slave同步到其他的服务器，需调用工具进行同步，需要用到的工具分别是node节点下面的(save_binary_logs和apply_diff_relay_logs)
确认新主节点，并检查最新的binlog和position的位置，以及change master to 相关信息，挂载VIP
将其他的slave指向到新的master

2.3：验证复制设置以及确认当前master状态

连接所有hosts，MHA自动来确认当前master是哪个，配置文件中无需指定哪个是master。如果其中有任何一个slave挂了，脚本立即退出，停止监控。如果有一些必要的脚本没有在MHA Node节点安装，那么MHA在这个阶段终止，且停止监控。

2.4：监控master

监控master，直到master挂了。这个阶段，MHA不会监控slave，Stopping/Restarting/Adding/Removing操作在slave上，不会影响当前的MHA监控进程。当你添加或者删除slave的时候，请更新好配置文件，最好重启MHA。

2.5：检测master是否失败

如果MHA Manger三次间隔时间都没办法连接master server，就会进入这个阶段。如果你设置了secondary_check_script ，那么MHA会调用脚本做二次检测来判断master是否是真的挂了。接下来的步骤，就是masterha_master_switch的工作流程了。

2.6：再次验证slave的配置

如果发现任何不合法的复制配置（有些slave的master不是同一个），那么MHA会停止监控，且报错。可以设置ignore_fail忽略。这一步是处于安全考虑，很有可能，复制的配置文件已经被改掉了，所以double check是比较推荐的做法。检查最后一次failover（故障转移）的状态
如果上一次的failover报错，或者上一次的failover结束的太近（默认3天），MHA停止监控，停止failover，那么在masterha_manager命令中设置ignore_last_failover，wait_on_failover_error来改变这一检测。这么做，也是出于安全考虑。频繁的failover，检查下是否网络出问题，或者其他错误呢？

2.7：关掉失败的master的服务器（可选）

如果在配置文件中定义了master_ip_failover_script and/or shutdown_script ，MHA会调用这些的脚本。关闭dead master，避免脑裂（值得商榷）。

2.8：恢复一台新master

从crashed master服务器上保存binlog到Manager（如果可以的话如果dead master可以SSH的话，拷贝binary logs从最新的slave上的end_log_pos(Read_Master_Log_Pos)位置开始拷贝。选举新master
一般根据配置文件的设置来决定选举谁，如果想设置一些候选master，设置candidate_master=1；如果想设置一些host，永远都不会选举，设置no_master=1；确认最新的slave （这台slave拥有最新的relay-log）。恢复和提升新master根据老master binlog生成差异日志，应用日志到new master，如果这一步发生错误（如：duplicate key error），MHA停止恢复，并且其余的slave也停止恢复。

三：MHA案例

3.1：案例需求

本案例要求通过MHA监控MySQL数据库在故障时进行自动切换，不影响业务。

3.2：案例思路

1、 安装MySQL数据库
2、 配置MySQl一主两从
3、 安装MHA软件
4、 配置无密码认证
5、 配置MySQL MHA 高可用
6、 模拟 master 故障切换

3.3：案例环境

主机名 地址
manger 20.0.0. 12
主服务器：master 20.0.0.10
从服务器：slave1 20.0.0.13
从服务器：slave2 20.0.0.14

3.4：案例配置过程

搭建主从复制
主服务器master：

vim /etc/my.cnf
server-id = 1               //指定id号，服务器的唯一标识，不能相同
log-bin=master-bin           //主服务器日志文件
log-slave-updates=true       //从服务器更新二进制日志

 

MySQL MHA架构
重启服务

systemctl restart mysqld

 

两台从服务器slave：
三台服务器的server - id 不能相同

vim /etc/my.cnf
server-id = 3       
log-bin=master-bin      /slave1 里加上 ，slave2 不用加
relay-log=relay-log-bin     //从主服务器上同步日志文件记录到本地  
relay-log-index=slave-relay-bin.index   //定义relay-log的位置和名称
#重启服务
systemctl restart mysqld

 

给三台服务器做软链接

ln -s /usr/local/mysql/bin/mysql /usr/sbin/
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

 

数据库的授权。在所有的数据库节点上授权两个用户，一个是从库同步使用，另外一个是 manager 使用监控，即在master、slave1、slave2 上搭建。

mysql -u root -p
grant replication slave on *.* to ‘myslave‘@‘20.0.0.%‘ identified by ‘123‘;
grant all privileges on *.* to ‘mha‘@‘20.0.0.%‘ identified by ‘manager‘;
flush privileges;      //刷新数据库的权限相关表

 

在主服务器上查看二进制文件和位置，file和Position后面需要用到
MySQL MHA架构

mysql -u root -p
#授权要根据在master上看到的日志文件和position填写，不能乱填
change master to master_host=‘20.0.0.10‘,master_user=‘myslave‘,master_password=‘123123‘,master_log_file=‘master-bin.000001‘,master_log_pos=608;

 

启动同步，查看slave状态，确保以下两个值为YES
MySQL MHA架构

必须设置两个从库slave为只读模式
set global read_only=1;

flush privileges;      //刷新数据库的权限相关表

 

安装MHA

  1. 所有服务器上都安装 MHA 依赖的环境，首先安装 epel 源。
yum install epel-release --nogpgcheck
yum install -y perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker perl-CPAN

 

  1. MHA 软件包对于每个操作系统版本不一样，这里 CentOS7.3 必须选择 0.57 版本，
    在所有服务器上必须先安装 node 组件，最后在 MHA-manager 节点上安装 manager 组件，
    因为 manager 依赖 node 组件 
tar zxvf /mnt/mysql/mha/mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57/
perl Makefile.PL     
make && make install

 

  1. 在 MHA-manager 上安装 manager 组件
tar zxvf /mnt/mysql/mha/mha4mysql-manager-0.57.tar.gz
cd mha4mysql-manager-0.57/
perl Makefile.PL    
make && make install

 

manager 安装后在/usr/local/bin 下面会生成几个工具，主要包括以下几个：
masterha_check_ssh 检查 MHA 的 SSH 配置状况
masterha_check_repl 检查 MySQL 复制状况
masterha_manger 启动 manager的脚本
masterha_check_status 检测当前 MHA 运行状态
masterha_master_monitor 检测 master 是否宕机
masterha_master_switch 控制故障转移（自动或者手动）
masterha_conf_host 添加或删除配置的 server 信息
masterha_stop 关闭manager

node 安装后也会在/usr/local/bin 下面会生成几个脚本（这些工具通常由 MHAManager 的脚本触发，无需人为操作）主要如下：
save_binary_logs 保存和复制 master 的二进制日志
apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他的 slave
filter_mysqlbinlog 去除不必要的 ROLLBACK 事件（MHA 已不再使用这个工具）
purge_relay_logs 清除中继日志（不会阻塞 SQL 线程）

  1. 在 manager 上配置到所有数据库节点的无密码认证
ssh-keygen -t rsa     //一路按回车键
ssh-copy-id 20.0.0.11     按yes回车密码
ssh-copy-id 20.0.0.10
ssh-copy-id 20.0.0.13

 

  1. 在 master 上配置到所有数据库节点的无密码认证
ssh-keygen -t rsa     //一路按回车键   
ssh-copy-id 20.0.0.11  按yes回车密码
ssh-copy-id 20.0.0.13

 

  1. 在 slave1 上配置到数据库节点 master 和slave2 的无密码认证
ssh-keygen -t rsa     //一路按回车键   
ssh-copy-id 20.0.0.10  按yes回车密码
ssh-copy-id 20.0.0.13

 

  1. 在 slave2 上配置到数据库节点 master 和slave1的无密码认证
ssh-keygen -t rsa     //一路按回车键   
ssh-copy-id 20.0.0.10  按yes回车密码
ssh-copy-id 20.0.0.11

 

MySQL MHA架构
MySQL MHA架构
8. 配置MHA
在manager节点上复制相关脚本到/usr/local/bin 的目录

cp -ra /root/mha4mysql-manager-0.57/samples/scripts /usr/local/bin

 

MySQL MHA架构
在 manager 节点上复制相关脚本到/usr/local/bin 目录,复制上述的自动切换时 VIP 管理的脚本到/usr/local/bin 目录，这里使用脚本管理 VIP

cp -ra mha4mysql-manager-0.57/samples/scripts /usr/local/bin
ll /usr/local/bin/scripts/
cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin
vi /usr/local/bin/master_ip_failover
删除文件里的所有内容，复制下面的内容
#!/usr/bin/env perl
use strict;
use warnings FATAL => ‘all‘;

use Getopt::Long;

my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
#############################添加内容部分#########################################
my $vip = ‘20.0.0.200‘;
my $brdc = ‘20.0.0.255‘;
my $ifdev = ‘ens33‘;
my $key = ‘1‘;
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";
my $exit_code = 0;
#my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
#my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
##################################################################################
GetOptions(
‘command=s‘ => \$command,
‘ssh_user=s‘ => \$ssh_user,
‘orig_master_host=s‘ => \$orig_master_host,
‘orig_master_ip=s‘ => \$orig_master_ip,
‘orig_master_port=i‘ => \$orig_master_port,
‘new_master_host=s‘ => \$new_master_host,
‘new_master_ip=s‘ => \$new_master_ip,
‘new_master_port=i‘ => \$new_master_port,
);

exit &main();

sub main {

print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

if ( $command eq "stop" || $command eq "stopssh" ) {

my $exit_code = 1;
eval {
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {

my $exit_code = 10;
eval {
print "Enabling the VIP - $vip on the new master - $new_master_host \n";
&start_vip();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
exit 0;
}
else {
&usage();
exit 1;
}
}
sub start_vip() {
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
 A simple system call that disable the VIP on the old_master
sub stop_vip() {
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub usage {
print
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

 

  1. 创建 MHA 软件目录并拷贝配置文件
[server default]
manager_log=/var/log/masterha/app1/manager.log		 #manager日志
manager_workdir=/var/log/masterha/app1 		#manager工作目录
master_binlog_dir=/usr/local/mysql/data 		#master保存binlog的位置
master_ip_failover_script=/usr/local/bin/master_ip_failover		 #设置自动failover时候的切换脚本
master_ip_online_change_script=/usr/local/bin/master_ip_online_change 		#设置手动切换时的切换脚本
password=manager 		#设置mysql中root用户的密码，这个密码是前面创建监控用户的密码
ping_interval=1 		#设置监控主库，发送ping包的时间间隔，默认是3秒，尝试三次没有回应的时候自动进行failover
remote_workdir=/tmp 		#设置远端mysql在发生切换时binlog的保存位置
repl_password=abc123 		#设置复制用户的密码
repl_user=myslave 		#设置复制用户的账户
report_script=/usr/local/send_report 		#设置发生切换后发送的报警的脚本
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 14.0.0.30 -s 14.0.0.40    #从服务器地址
shutdown_script="" 		#设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机防止发生脑裂）
ssh_user=root 		#设置ssh的登录用户名
user=mha 		#设置监控用户
[server1]                     #主服务器
hostname=20.0.0.10
port=3306

[server2]                 # slave1 
candidate_master=1
check_repl_delay=0
hostname=20.0.0.11
port=3306

[server3]                     #slave2    
hostname=20.0.0.13
port=3306

 

MySQL MHA架构10. 测试ssh免密登录

 masterha_check_ssh -conf=/etc/masterha/app1.cnf

 

MySQL MHA架构11. 测试mha健康状态

masterha_check_repl -conf=/etc/masterha/app1.cnf

 

MySQL MHA架构12. 启动MHA

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

 

–remove_dead_master_conf 该参数代表当发生主从切换后，老的主库的 ip 将会从配置文件中移除。
–manger_log 日志存放位置。
–ignore_last_failover 在缺省情况下，如果 MHA 检测到连续发生宕机，且两次宕机间
隔不足 8 小时的话，则不会进行 Failover，之所以这样限制是为了避免 ping-pong 效应。该
参数代表忽略上次 MHA 触发切换产生的文件，默认情况下，MHA 发生切换后会在日志记
目录，也就是上面设置的日志 app1.failover.complete 文件，下次再次切换的时候如果发现
该目录下存在该文件将不允许触发切换，除非在第一次切换后收到删除该文件，为了方便，
这里设置为–ignore_last_failover。
13. 查看mha状态及日志

masterha_check_status --conf=/etc/masterha/app1.cnf

 

MySQL MHA架构

 

MySQL MHA架构

MySQL MHA架构

 

MySQL MHA架构

上一篇：Java Web项目漏洞：检测到目标URL存在http host头攻击漏洞解决办法


下一篇：【PHP】软件工程师职业生涯规划需务实