MySQL多线程同步-Transfer使用测试

2022-06-30 16:45:25

由淘宝核心系统研发—数据库组开发的MySQL-Transfer,用于解决MySQL主从同步延迟的问题，从MySQL单线程到多线程的工作模式。可以观看@丁奇的相关资料：

MySQL多线程同步-Transfer使用说明
 MySQL异步复制延迟解决的架构设计与运维架构—在线播放—优酷网

系统结构：

传统的主从结构是 [Master] à [Slave], Master和slave主从关系；

使用transfer以后，[Master] à [Transfer] .--> [Slave]， Master和Transfer主从关系，Transfer和Slave是Client-Server关系。

服务器环境：

主库：192.168.15.216 （3306端口）

从库：192.168.15.217 （3306端口）

Transfer： 192.168.15.217 （3307端口）

MySQL版本：mysql-5.5.18-linux2.6-x86_64.tar.gz

存储引擎：Innodb

Database: rocdata

MySQL-Transfer：Transfer.2.1-based-PS-5.5.18

注：

Tranfsfer相同的表使用同一个线程更新，若只有一个表，性能与原生版本相同。要体现效果，一般16个表或以上，考虑到线上大库都有分表，这个条件比较容易满足。

一、192.168.15.216主库配置

首先确认主库上使用row格式的binlog，配置/etc/my.cnf：

[client]

port            = 3306

socket          = /tmp/mysql.sock

[mysqld1]

port            = 3306

socket          = /tmp/mysql.sock

basedir=/usr/local/mysql

datadir=/mysqldata/

bind-address=192.168.15.216

skip-external-locking

skip-name-resolve

user=mysql

max_allowed_packet = 256M

query_cache_size=256M

max_connections=2000

max_connect_errors=10000

key_buffer_size=6000M

read_buffer_size=32M

read_rnd_buffer_size = 32M

myisam_sort_buffer_size=512M

tmp_table_size=1024M

old-passwords

interactive_timeout=60

wait_timeout=60

connect_timeout=60

table_cache=8192

thread_cache_size=512

sort_buffer_size=128M

back_log = 500

thread_concurrency=48

expire_logs_days=10

log-bin=mysql-bin

#binlog_format=STATEMENT

binlog_format=ROW

#binlog_format="MIXED

# master

server-id = 1

binlog-do-db = rocdata

binlog-ignore-db = mysql

启动MySQL，并查看Pos状态。

二、192.168.15.217从库配置。

MySQL端口3306和3307 ，建议MySQL TDIR目录区分开来。我的MySQL和Transfer目录：

/usr/local/mysql/

/usr/local/mysql-transfer

Transfer.2.1-based-PS-5.5.18替换T安装目录/usr/local/mysql-transfer/bin/下的mysqld。

1、配置3306端口，同步Master数据，这里不需要写主从同步信息，和单台MySQL配置一样。

/usr/local/mysql目录部署一个MySQL版本5.5.18（真实库），配置/etc/my.cnf：

[mysqld]

port            = 3306

socket          = /tmp/mysql.sock

basedir=/usr/local/mysql

datadir=/mysqldata/data3306

bind-address=192.168.15.217

skip-external-locking

skip-name-resolve

user=mysql

max_allowed_packet = 256M

query_cache_size=256M

max_connections=2000

max_connect_errors=10000

key_buffer_size=6000M

read_buffer_size=32M

read_rnd_buffer_size = 32M

myisam_sort_buffer_size=512M

tmp_table_size=1024M

old-passwords

interactive_timeout=60

wait_timeout=60

connect_timeout=60

table_cache=8192

thread_cache_size=512

sort_buffer_size=128M

back_log = 500

thread_concurrency=48

expire_logs_days=10

启动MySQL 3306端口，并导入数据，前提需要记录的Pos点，保证Transfer同步正常。和传统的主从拷贝数据一样。

此时3306端口的运行状态。

2、配置3307 Transfer服务

a) /usr/local/mysql-transfer/目录部署一个MySQL (T)，版本5.5.18

b) 用附件中的mysqld替换T安装目录/usr/local/mysql-transfer/bin/下的mysqld

c) 在/usr/local/mysql-transfer/log 目录下执行下执行 for((i=0; i<=16; i++)); do mkdir $i;done

d) 配置/etc/my3307.cnf，做以下修改:

[mysqld]

port = 3307

socket = /tmp/mysql3307.sock

basedir=/usr/local/mysql

datadir=/mysqldata/data3307

bind-address=192.168.15.217

skip-external-locking

skip-name-resolve

user=mysql

max_allowed_packet = 1G

query_cache_size=256M

max_connections=2000

max_connect_errors=10000

key_buffer_size=6000M

read_buffer_size=32M

read_rnd_buffer_size = 32M

myisam_sort_buffer_size=512M

tmp_table_size=1024M

old-passwords

interactive_timeout=60

wait_timeout=60

connect_timeout=60

table_cache=8192

thread_cache_size=512

sort_buffer_size=128M

back_log = 500

thread_concurrency=48

expire_logs_days=10

#tranfer

transfer_slave_thread = 16

remote_slave_hostname = 192.168.15.217

remote_slave_username = transfer

remote_slave_password = transferpw

remote_slave_port = 3306

relay-log =/usr/local/mysql/log/mysqld-relay-bin

relay-log-index =/usr/local/mysql/log/mysqld-relay-bin.index

master-info-file =/usr/local/mysql/log/master.info

relay-log-info-file =/usr/local/mysql/log/relay-log.info

log_slave_updates = 0

slave_skip_errors=1062,1032

#slave 192.168.15.217

server-id = 3

replicate_do_db = rocdata

replicate-ignore-db = mysql

replicate-ignore-db = test

replicate-ignore-db = information_schema

[说明]配置给Transfer的这个uname必须有Slave的super权限
e) Transfer需要导入同步的数据库结构，不需要数据

f) Slave的 max_allowed_packet设置为1G (建议)

g) 启动Transfer并设置为Master的从库

具体步骤：

在3306端口上赋予Transfer 有Slave的super权限：

mysql> grant all privileges on *.* to ‘transfer‘@‘192.168.15.217‘ identified by ‘transferpw‘;

在主库192.168.15.216赋予Transfer 有 replicate privileges权限：

mysql> grant replication slave, reload, super on *.* to ‘repluser216‘@‘192.168.15.217‘ identified by ‘replpasswd216‘;

启动Transfer并设置为Master的从库：

mysql> CHANGE MASTER to MASTER_HOST=‘192.168.15.216‘, MASTER_PORT=3306, MASTER_USER=‘repluser216‘, MASTER_PASSWORD=‘replpasswd216‘, MASTER_LOG_FILE=‘mysql-bin.000001‘, MASTER_LOG_POS=82104;

三、测试

1、在192.168.15.216主库rocdate上创建表test，并写入数据：

mysql> create table test ( id int(4));

mysql> insert into test values(1);
mysql> insert into test values(2);

2、查看192.18.15.216 MySQL（T）和MySQL真实库状态：

说明：关于 MySQL-Transfer 的性能还未做测试，后期有时间会补上……有错误的地方，希望CU的大侠可以指正，谢谢

http://blog.chinaunix.net/uid-25266990-id-3515141.html

MySQL目前在互联网领域应用非常广阔一个数据库系统. MySQL主从数据库是常用的使用方法之一. 本文将通过基于vmware的Centos虚拟机来实验安装MySQL的主从方式部署.

一.Vmware 及linux环境安装

1. Vmware软件安装

Vmware是流行的虚拟机软件, vmare软件下载安装方法请到搜索引擎去搜索,有各种文章可以参考.

2. Linux系统安装

用户安装完成vmware系统后可以自行安装linux系统

我们这里给一个最方便的方式, 下载已经安装好的linux for vmware虚拟机软件.

网址如下: http://www.thoughtpolice.co.uk/vmware/ 里面有很多已经安装好的linux的vmware系统.

本文是以下面的版本进行测试安装的.

64-bit: centos-5.6-x86_64-server.zip, 456M
fast torrent download!, web download
md5sum: 2590006571f52ca00674d20d3b376672

3. 解压缩下载后的虚拟机文件到一个硬盘空间比较大的硬盘分区中.

4. 打开解压缩的文件目录

双击文件centos-5.5-x86_64-server.vmx,然后启动vmware虚拟机

点击图中红色区域的按钮, 启动虚拟机

5. 登录系统

如下图, 启动后系统如下界面

图中1位置表示当前虚拟机的运行状态

图中2位置表示当前虚拟机的名称, 例如图中有多个虚拟机, 当前正在看到到是 centos-5.5-x86_64-server这个虚拟机

图中3位置表示当前用户操作的键盘,鼠标还是在用户自己的计算机中, 你的输入,你的鼠标移动都是给你自己的操作系统的. 请特别注意白色的鼠标箭头,这个是最明显的看到你当前在那个系统下的标记.

用户需要在黑色窗口中心附近点击鼠标左键 ,这样就可以切换的键盘及鼠标操作到虚拟机中去.以后在输入键盘及鼠标移动等消息是发送给虚拟机的,你的本机程序将无法获得信息.(用户若是需要重虚拟机中退出请求等, 需要按住左侧的ctrl 同时在按住左侧的 alt两个组合键,鼠标将退回到当前操作系统状态,用户可以继续输入数据了.)

用户点击鼠标左键后, 在登录页面可以输入用户名 :root

然后提示输入密码信息, 用户可以输入原始密码 :"thoughtpolice"(密码是双引号中内容)The root password for this image is "thoughtpolice".

6. 查看虚拟机ip地址

如上图: 图1. 处输入root(用户名)

图2. 输入密码thoughtpolice

图3. 输入ifconfig命令,

最后系统会显示下面的提示信息

图4 处是本机当前ip地址.

7. 配置SecureCRT软件,

SecureCRT是一常见的linux终端软件,我们可以通过这个软件登录我们的虚拟机系统,完成各种操作,他的操作方法比直接在虚拟机上操作方便多了.软件的下载及安装大家自己去搜索及下载.

安装完成后, 启动软件, 然后点击

图1处启动快速连接,

图2处输入ip地址

图3处输入用户名

二. MySQL安装

1. 安装前的准备工作

在SecureCRT登录后, 执行: yum list | grep mysql 命令, 结果如下图:

然后显示相关的软件包列表, 右侧2的位置是软件报的相关信息.

若是出现下图的信息,

表示软件包已经被安装了,我们需要卸载他. (用 yum remove 包名进行卸载, 这里可能需要的是:yum remove mysql.x86_64 ).

2. 配置mysql的yum数据源.

在命令行中输入: vi /etc/yum.repos.d/Percona.repo 打开vi编辑器

然后进入输入模式, 最后输入如下文本:

[percona]

name = CentOS $releasever – Percona

baseurl=http://repo.percona.com/centos/$releasever/os/$basearch/

enabled = 1

gpgkey = file:///etc/pki/rpm-gpg/RPM-GPG-KEY-percona

gpgcheck = 1

最后结果如下:

在命令提示行中输入:vi /etc/pki/rpm-gpg/RPM-GPG-KEY-percona

然后输入文本:

—–BEGIN PGP PUBLIC KEY BLOCK—–

Version: GnuPG v1.4.9 (GNU/Linux)

mQGiBEsm3aERBACyB1E9ixebIMRGtmD45c6c/wi2IVIa6O3G1f6cyHH4ump6ejOi

AX63hhEs4MUCGO7KnON1hpjuNN7MQZtGTJC0iX97X2Mk+IwB1KmBYN9sS/OqhA5C

itj2RAkug4PFHR9dy21v0flj66KjBS3GpuOadpcrZ/k0g7Zi6t7kDWV0hwCgxCa2

f/ESC2MN3q3j9hfMTBhhDCsD/3+iOxtDAUlPMIH50MdK5yqagdj8V/sxaHJ5u/zw

YQunRlhB9f9QUFfhfnjRn8wjeYasMARDctCde5nbx3Pc+nRIXoB4D1Z1ZxRzR/lb

7S4i8KRr9xhommFnDv/egkx+7X1aFp1f2wN2DQ4ecGF4EAAVHwFz8H4eQgsbLsa6

7DV3BACj1cBwCf8tckWsvFtQfCP4CiBB50Ku49MU2Nfwq7durfIiePF4IIYRDZgg

kHKSfP3oUZBGJx00BujtTobERraaV7lIRIwETZao76MqGt9K1uIqw4NT/jAbi9ce

rFaOmAkaujbcB11HYIyjtkAGq9mXxaVqCC3RPWGr+fqAx/akBLQ2UGVyY29uYSBN

eVNRTCBEZXZlbG9wbWVudCBUZWFtIDxteXNxbC1kZXZAcGVyY29uYS5jb20+iGAE

ExECACAFAksm3aECGwMGCwkIBwMCBBUCCAMEFgIDAQIeAQIXgAAKCRAcTL3NzS79

Kpk/AKCQKSEgwX9r8jR+6tAnCVpzyUFOQwCfX+fw3OAoYeFZB3eu2oT8OBTiVYu5

Ag0ESybdoRAIAKKUV8rbqlB8qwZdWlmrwQqg3o7OpoAJ53/QOIySDmqy5TmNEPLm

lHkwGqEqfbFYoTbOCEEJi2yFLg9UJCSBM/sfPaqb2jGP7fc0nZBgUBnFuA9USX72

O0PzVAF7rCnWaIz76iY+AMI6xKeRy91TxYo/yenF1nRSJ+rExwlPcHgI685GNuFG

chAExMTgbnoPx1ka1Vqbe6iza+FnJq3f4p9luGbZdSParGdlKhGqvVUJ3FLeLTqt

caOn5cN2ZsdakE07GzdSktVtdYPT5BNMKgOAxhXKy11IPLj2Z5C33iVYSXjpTelJ

b2qHvcg9XDMhmYJyE3O4AWFh2no3Jf4ypIcABA0IAJO8ms9ov6bFqFTqA0UW2gWQ

cKFN4Q6NPV6IW0rV61ONLUc0VFXvYDtwsRbUmUYkB/L/R9fHj4lRUDbGEQrLCoE+

/HyYvr2rxP94PT6Bkjk/aiCCPAKZRj5CFUKRpShfDIiow9qxtqv7yVd514Qqmjb4

eEihtcjltGAoS54+6C3lbjrHUQhLwPGqlAh8uZKzfSZq0C06kTxiEqsG6VDDYWy6

L7qaMwOqWdQtdekKiCk8w/FoovsMYED2qlWEt0i52G+0CjoRFx2zNsN3v4dWiIhk

ZSL00Mx+g3NA7pQ1Yo5Vhok034mP8L2fBLhhWaK3LG63jYvd0HLkUFhNG+xjkpeI

SQQYEQIACQUCSybdoQIbDAAKCRAcTL3NzS79KlacAJ0aAkBQapIaHNvmAhtVjLPN

wke4ZgCePe3sPPF49lBal7QaYPdjqapa1SQ=

=qcCk

—–END PGP PUBLIC KEY BLOCK—–

最后显示如下:

最后输入 yum list | grep ercona | grep 55 查看源是否配置完成

图中显示的几个 installed状态, 因为当前的虚拟中安装mysql造成的,没去卸载就截图了,用户安装的时候应显示的Percona的.

3. 安装Mysql

运行如下命令:

yum install -y Percona-Server-test-55.x86_64

之后运行如下命令:

yum install -y Percona-Server-server-55.x86_64

最后运行:

reboot命令, 重新启动服务器系统

三. 复制虚拟机

1. 关闭虚拟机

在linux终端下,调用shutdown now 命令,关闭linux虚拟机

2. Clone linux虚拟机

3. 启动clone后虚拟机, 检查虚拟机的ip地址, 有了这个ip地址才好进授权(msyql同步帐号的授权)工作

四. 配置mysql主从环境

1. Mysql主从服务器环境

l Mysql主服务器相关配置

[root@mysql01 ~]# hostname

mysql01

[root@mysql01 ~]# ifconfig

eth0 Link encap:Ethernet HWaddr 00:0C:29:CC:9B:AA

inet addr:192.168.2.66 Bcast:192.168.2.255 Mask:255.255.255.0

…………..

[root@mysql01 ~]#

l 从服务器配置

[root@mysql02 ~]# hostname

mysql02

[root@mysql02 ~]# ifconfig

eth0 Link encap:Ethernet HWaddr 00:0C:29:BC:22:5B

inet addr:192.168.2.97 Bcast:192.168.2.255 Mask:255.255.255.0

……

[root@mysql02 ~]#

2. 在主服务器配置同步帐号

首先如下图登录mysql服务器

在命令提示符中输入下面命令, 注意帐号:repl, ip地址:2.97, 密码:123456, 注意授权全部的数据库

grant replication slave on *.* to ‘repl’@’192.168.2.97′ identified by ’123456′;(注意:去除前面的空格)

输入完成后如下图

要注意: 要在mysql01就是做master的机器上执行

Sql语句中要去除前面的多余空格(里面有可能有中文空格等)

执行完毕一般需要同 flush语句进行处理, 但我们稍后要重新启动mysql服务器因此就不需要了, 直接输入 \q; 退出 mysql程序.

3. 生成 mysql的配置文件

l 执行搜索命令,查找mysql 配置文件模板

find / -name *.cnf 最后显示如下:

注意图中绿色区域

l 生成配置文件

输入如下命令:

# cat /usr/share/doc/Percona-Server-server-55-5.5.28/my-large.cnf > /etc/my.cnf

l 编辑配置文件

vi /etc/my.cnf 文件

注意在中的[mysqld]配置区域中, 的绿色区域附近添加粉色区域的文本, 表示不同步 mysql数据库

binlog-ignore-db=mysql

l 重新启动mysql服务

执行service mysql restart 命令重新启动mysql服务器

4. 配置从服务器

开始从服务器的虚拟机, 通过linux终端连接到从服务器的虚拟机,然后按照下面步骤完成相应工作.

l 生成配置文件

# cat /usr/share/doc/Percona-Server-server-55-5.5.28/my-large.cnf > /etc/my.cnf

vi /etc/my.cnf 文件, 添加如下代码server-id = 2

l 重新启动mysql服务

[root@mysql02 ~]# service mysql restart

Shutting down MySQL (Percona Server)…[ OK ]

Starting MySQL (Percona Server)..[ OK ]

l 执行修改主从的sql语句

首先如上图登录 mysql的客户端中, 然后执行下面的sql语句,来设置从那里进行数据的同步操作

CHANGE MASTER TO MASTER_HOST=’192.168.2.66′, MASTER_PORT=3306, MASTER_USER=’repl’, MASTER_PASSWORD=’123456′, MASTER_CONNECT_RETRY=2;

l 开始slave服务

在mysql的sql界面中执行

start slave;

开始mysql的 slave功能

l 显示工作状态

在mysql的sql界面中执行如下语句

show slave status\G;

显示情况如下:

l 查看从服务器目录文件

如上图进入相关mysql的目录,检查相关文件注意红色区域文件及绿色区域文件

5. 主数据库执行创建数据库语句

mysql> CREATE DATABASE `mytest` CHARACTER SET ‘utf8′ COLLATE ‘utf8_general_ci’;

Query OK, 1 row affected (0.00 sec)

6. 从库中执行显示数据库的命令

show databases;

显示情况如上, 已经将新创举的数据库从主库同步到从库了.

Haproxy安装和动态配置更改测试
本文主要描述haproxy的安装及简单配置过程。并且应用这个简单的配置做mysql的负载均衡，同时haproxy的配置文件发生变化时我们如何重新启动haproxy程序，并且确定haproxy程序重新启...
基于数据库的权限系统的设计
这一天将讲述一个基本的基于数据库的权限管理系统的设计，在这一天的课程的最后将讲述“左右值无限分类实现算法”如何来优化“系统菜单”的结构而告终。今天的内容和前几天的基础框架是一样的它们都属于基础知识，在...
MySQL 数据库的备份和恢复
本文讨论 MySQL 的备份和恢复机制，以及如何维护数据表，包括最主要的两种表类型：MyISAM 和 Innodb，文中设计的 MySQL 版本为 5.0.22。目前 MySQL 支持的免费备份工...
linux centos下配置mysql主从同步的步骤
来源:互联网 linux centos下配置mysql主从同步的步骤：一、主机环境主机： master操作系统：centos 5.3 IP：192.168.1....
MySQL主从同步加速 Transfer– FAQ
来源:互联网 Q: Transfer是什么 A: 是一个解决MySQL原生主从同步延迟的方案。 Transfer本身是一个在MySQL源码上打的patch，可以用于当Slave，也可以用于当第三方...

http://www.iigrowing.cn/mysql-zhu-cong-tong-bu-shi-yan.html

MySQL多线程同步-Transfer使用测试,布布扣,bubuko.com

MySQL多线程同步-Transfer使用测试

码农公寓

MySQL多线程同步-Transfer使用测试

一.Vmware 及linux环境安装

1. Vmware软件安装

2. Linux系统安装

3. 解压缩下载后的虚拟机文件到一个硬盘空间比较大的硬盘分区中.

4. 打开解压缩的文件目录

5. 登录系统

6. 查看虚拟机ip地址

7. 配置SecureCRT软件,

二. MySQL安装

1. 安装前的准备工作

2. 配置mysql的yum数据源.

3. 安装Mysql

三. 复制虚拟机

四. 配置mysql主从环境

1. Mysql主从服务器环境

2. 在主服务器配置同步帐号

3. 生成 mysql的配置文件

4. 配置从服务器

5. 主数据库执行创建数据库语句

6. 从库中执行显示数据库的命令

相关文章