Mysql数据库集群搭建

2021-07-11 05:26:54

Docker搭建Mysql数据库集群

 

1. 主从复制概述

复制是指将主数据库的DDL 和 DML 操作通过二进制日志传到从库服务器中，然后在从库上对这些日志重新执行（也叫重做），从而使得从库和主库的数据保持同步。

MySQL支持一台主库同时向多台从库进行复制， 从库同时也可以作为其他从服务器的主库，实现链状复制。

1.1 复制原理

 MySQL 的主从复制原理如下。

 Mysql数据库集群搭建

 从上层来看，复制分成三步：

  • Master 主库在事务提交时，会把数据变更作为时间 Events 记录在二进制日志文件 Binlog 中。

  • 主库推送二进制日志文件 Binlog 中的日志事件到从库的中继日志 Relay Log 。

  • slave重做中继日志中的事件，将改变反映它自己的数据。

1.2复制优势

MySQL 复制的有点主要包含以下三个方面：

  • 主库出现问题，可以快速切换到从库提供服务。

  • 可以在从库上执行查询操作，从主库中更新，实现读写分离，降低主库的访问压力。

  • 可以在从库中执行备份，以避免备份期间影响主库的服务。

1.3 搭建步骤

1.3.1 docker安装mysql

  • 首先适用docker 拉去mysql镜像(需要在虚拟机上安装docker，才能适用docker命令)

docker pull mysql

  • 查看下载的mysql镜像

    docker images

    Mysql数据库集群搭建

  • 然后使用mysql镜像，分别启动两个容器

    #Master(主)
docker run -d -p 3307:3306 --name mysql_master -e MYSQL_ROOT_PASSWORD=root docker.io/mysql:latest
#Slave(从)
docker run -d -p 3308:3306 --name mysql_slave -e MYSQL_ROOT_PASSWORD=root docker.io/mysql:latest

Master对外映射的端口是3307，Slave对外映射的端口是3308。因为docker容器是相互独立的，每个容器有其独立的ip，所以不同容器使用相同的端口并不会冲突。这里我们应该尽量使用mysql默认的3306端口，否则可能会出现无法通过ip连接docker容器内mysql的问题

  • 查看正在运行的2个mysql容器情况

    docker ps

    Mysql数据库集群搭建

1.3.2 配置Master（主）

docker exec -it mysql_master /bin/bash

通过docker exec -it a6ede3b2a5b9 /bin/bash命令进入到Master容器内部，也可以通过docker exec -it mysql——master /bin/bash命令进入。a6ede3b2a5b9 是容器的id,而mysql-master是容器的名称

cd /etc/mysql切换到/etc/mysql目录下，然后vi my.cnf对my.cnf进行编辑。

此时会报出bash: vi: command not found，需要我们在docker容器内部自行安装vim。使用apt-get install vim命令安装vim

会出现如下问题：

Mysql数据库集群搭建

执行apt-get update，然后再次执行apt-get install vim即可成功安装vim。然后我们就可以使用vim编辑my.cnf，在my.cnf中添加如下配置：

#mysql 服务ID,保证整个集群环境中唯一
server-id=1
?
#mysql binlog 日志的存储路径和文件名
log-bin=/var/lib/mysql/mysqlbin
?
#错误日志,默认已经开启
#log-err
?
#mysql的安装目录
#basedir
?
#mysql的临时目录
#tmpdir
?
#mysql的数据存放目录
#datadir
?
#是否只读,1 代表只读, 0 代表读写
read-only=0
?
#忽略的数据, 指不需要同步的数据库
binlog-ignore-db=mysql
?
#指定同步的数据库
#binlog-do-db=db01

  • 配置完成之后，需要重启mysql服务使配置生效

    Mysql数据库集群搭建

  • 输入service mysql restart 不能识别的话，就退出容器，然后重新启动容器就行

exit；#退出当前容器
docker restart a6ede3b2a5b9 ;#重启master容器
docker exec -it a6ede3b2a5b9 /bin/bash;#进入master容器

  • 重新进入mysql,查看master的状态

    show master status;

    Mysql数据库集群搭建

  • 下一步在Master数据库创建数据同步用户，授予用户 slave REPLICATION SLAVE权限和REPLICATION CLIENT权限，用于在主从库之间同步数据。

    CREATE USER ‘slave‘@‘%‘ IDENTIFIED BY ‘123456‘;

GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ‘slave‘@‘%‘;

到此Master主服务器就搭建成功。

 

1.3.3 配置Slave（从）

  • 上一步已经运行了主、从两台MySQL服务器，现在进入到MySQL从服务器

docker exec -t mysql_slave /bin/bash

  • 进入到mysql 的配置文件目录 ,然后vi my.cnf对my.cnf进行编辑(可能遇到找不到vim错误，请参考上一步)

cd /etc/mysql

Mysql数据库集群搭建

  • 配置如下参数

    #mysql服务端ID,唯一
server-id=2

#指定binlog日志
log-bin=/var/lib/mysql/mysqlbin

    保存并退出配置文件的编辑模式，并重启mysql服务

    Mysql数据库集群搭建 

  • 配置主服务器时，检查过master的状态

    Mysql数据库集群搭建

    执行以下命令，配置从服务器,指定当前从库对应的主库的IP地址，用户名，密码，从哪个日志文件开始的那个位置开始同步推送日志。

    change master to master_host= ‘172.17.0.2‘, master_user=‘slave‘, master_password=‘123456‘, master_log_file=‘mysqlbin.000001‘, master_log_pos=711;

    命令说明：

    master_host ：Master的地址，指的是容器的独立ip,可以通过docker inspect --format=‘{{.NetworkSettings.IPAddress}}‘ 容器名称|容器id查询容器的ip

    Mysql数据库集群搭建

    master_port：Master的端口号，指的是容器的端口号

    master_user：用于数据同步的用户(上一步在主服务器配置的slave用户)

    master_password：用于同步的用户的密码（上一步在主服务器配置的password）

    master_log_file：指定 Slave 从哪个日志文件开始复制数据，即上文中提到的 File 字段的值

    master_log_pos：从哪个 Position 开始读，即上文中提到的 Position 字段的值

    master_connect_retry：如果连接失败，重试的时间间隔，单位是秒，默认是60秒

  • 开启主从复制过程，并且查看状态

    start slave;#开启主从复制
show slave status \G;#查看主从复制状态

    Mysql数据库集群搭建

Slave_IO_Running 和 Slave_SQL_Running 都是Yes，说明主从复制已经开启。此时可以测试数据同步是否成功

1.3.4 遇到的问题

  1. 使用docker重启mysql从服务器，docker ps -a 命令后发现启动失败，然后使用docker logs containerId检查失败原因

Mysql数据库集群搭建

从日志中可以看出是我们刚才在配置文件的适合把server-id写成了server_id造成的。

解决方法：

  • 方法一：直接修改容器内文件

    使用如下命令，获取到容器的元数据中找到对应数据

    docker inspect 84335f13e9e2

    Mysql数据库集群搭建

找到mysql的配置文件的存放位置，往下翻找到如下图位置，其中UpperDir就是存放MySQL配置文件的地方

Mysql数据库集群搭建

重新修改配置文件

cd /var/lib/docker/overlay2/818b484734608ddc6f672e125d495bc945d3b51855e87a104b20cf0a0d8f2010/diff
cd /etc/mysql
vim my.cnf

 

Mysql数据库集群搭建

  1. 使用命令show slave status \G;后发现Slave_IO_Running= Connecting 和Slave_SQL_Running=Yes

    可以参考该博客：https://blog.csdn.net/weixin_39359455/article/details/104220723

1.3.5 验证主从复制

 1. 在主库中创建数据库，创建表，并插入数据

create database db01;

user db01;

create table user(
    id int(11) not null auto_increment,
    name varchar(50) not null,
    sex varchar(1),
    primary key (id)
)engine=innodb default charset=utf8;

insert into user(id,name,sex) values(null,‘Tom‘,‘1‘);
insert into user(id,name,sex) values(null,‘Trigger‘,‘0‘);
insert into user(id,name,sex) values(null,‘Dawn‘,‘1‘);

2. 在从库中查询数据，进行验证 ：

  • 在从库中，可以查看到刚才创建的数据库：

    Mysql数据库集群搭建

    在该数据库中，查询user表中的数据：

    Mysql数据库集群搭建

 

 

Mysql数据库集群搭建

上一篇：sql 连表查询


下一篇：SQL进阶总结（一）