物理备份xtrabackup的使用

简介:

Xtrabackup是percona公司的一个开源项目,用于InnoDB和MyISAM的热备份。是商业备份工具InnoDB Hot Backup的一个很好的替代品。

Xtrabackup能够非常快速地备份与恢复mysql数据库,其速度大概是mysqldump的10-20倍。

Xtrabackup有两个主要的工具:xtrabackup、innobackupex

   (1)xtrabackup只能备份InnoDB和XtraDB两种数据表,而不能备份MyISAM数据表
  (2)innobackupex-1.5.1则封装了xtrabackup,是一个脚本封装,所以能同时备份处理innodb和myisam,但在处理myisam时需要加一个读锁。

Xtrabackup支持全量备份和增量备份。不过进行增量备份的时候要注意表结构不能有改动。

Xtrabackup备份原理:

 XtraBackup基于InnoDB的crash-recovery功能。它会复制innodb的data file,由于不锁表,复制出来的数据是不一致的,在恢复的时候使用crash-recovery,使得数据恢复一致。InnoDB维护了一个redo log,又称为transaction log,事务日志,它包含了innodb数据的所有改动情况。当InnoDB启动的时候,它会先去检查data file和transaction log,并且会做二步操作:XtraBackup在备份的时候, 一页一页地复制innodb的数据,而且不锁定表,与此同时,XtraBackup还有另外一个线程监视着transactions log,一旦log发生变化,就把变化过的log pages复制走。为什么要急着复制走呢? 因为transactions log文件大小有限,写满之后,就会从头再开始写,所以新数据可能会覆盖到旧的数据。在prepare过程中,XtraBackup使用复制到的transactions log对备份出来的innodb data file进行crash recovery。
实现细节
  XtraBackup以read-write模式打开innodb的数据文件,然后对其进行复制。其实它不会修改此文件。也就是说,运行XtraBackup的用户,必须对innodb的数据文件具有读写权限。之所以采用read-write模式是因为XtraBackup采用了其内置的innodb库来打开文件,而innodb库打开文件的时候就是rw的。XtraBackup要从文件系统中复制大量的数据,所以它尽可能地使用posix_fadvise(),来告诉OS不要缓存读取到的数据,从而提升性能。因为这些数据不会重用到了,OS却没有这么聪明。如果要缓存一下的话,几个G的数据,会对OS的虚拟内存造成很大的压力,其它进程,比如mysqld很有可能被swap出去,这样系统就会受到很大影响了。在备份innodb page的过程中,XtraBackup每次读写1MB的数据,1MB/16KB=64个page。这个不可配置。读1MB数据之后,XtraBackup一页一页地遍历这1MB数据,使用innodb的buf_page_is_corrupted()函数检查此页的数据是否正常,如果数据不正常,就重新读取这一页,最多重新读取10次,如果还是失败,备份就失败了,退出。在复制transactions log的时候,每次读写512KB的数据。同样不可以配置。

增量备份原理

MySQL数据库本身提供的工具并不支持真正的增量备份,二进制日志恢复是point-in-time(时间点)的恢复而不是增量备份。Xtrabackup工具支持对InnoDB存储引擎的增量备份,工作原理如下:
  (1)首先完成一个完全备份,并记录下此时检查点的LSN(Log Sequence Number)。
  (2)在进程增量备份时,比较表空间中每个页的LSN是否大于上次备份时的LSN,如果是,则备份该页,同时记录当前检查点的LSN。
  首先,在logfile中找到并记录最后一个checkpoint(“last checkpoint LSN”),然后开始从LSN的位置开始拷贝InnoDB的logfile到xtrabackup_logfile;接着,开始拷贝全部的数据文件.ibd;在拷贝全部数据文件结束之后,才停止拷贝logfile。
  因为logfile里面记录全部的数据修改情况,所以,即时在备份过程中数据文件被修改过了,恢复时仍然能够通过解析xtrabackup_logfile保持数据的一致。

安装:

1.去官网下载

   http://www.percona.com/software/percona-xtrabackup

2.安装依赖包

   yum install cmake gcc gcc-c++ libaio libaio-devel automake autoconf bison libtool ncurses-devel zlib-devel perl-Time-HiRes
   rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm
   yum install bzr
3.编译安装:

   tar xvzf percona-xtrabackup-2.0.8.tar.gz
   cd /root/percona-xtrabackup-2.0.8/
   AUTO_DOWNLOAD="yes" ./utils/build.sh innodb55

   cp innobackupex /usr/bin/

   cp xtrabackup_55 /usr/bin

   mv /usr/bin/xtrabackup_55 /usr/bin/xtrabackup

4.建立专用的my.cnf

  若服务器上打开了多个实例,则xtrabackup不能正确识别,需要建立专用的my.cnf,去掉mysqld_multi选项。

5.建立备份账号

  #GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO ’bkpuser’@’localhost’;

备份与恢复:

全量备份:
#innobackupex --user=backup_user --password=xxx  --socket=/dbdata/mysqldata/3306/mysql.sock --defaults-file=/data/bak/3306.cnf   /data/bak/3306

这个defaults-file就是咱们建立的专用的my.cnf,带mysqld_multi的my.cnf是不能被Xtrabackup正确识别的。后面的/data/bak/3306就是我们存放备份的目录。

全量恢复:

1)停掉MySQL数据库。

#service mysqld stop

2)删除数据库中的数据文件和事务日志文件:data  innodb_log  innodb_ts这3个目录都需要删除

3)将备份文件中的日志应用到备份文件中的数据文件上

#innobackupex --defaults-file=/data/bak/3306.cnf --apply-log /data0/2014-06-12_06-00-08

4)将备份文件中的数据恢复到数据库中

#innobackupex --defaults-file=/data/bak/3306.cnf --copy-back /data0/2014-06-12_06-00-08

5)修改数据库目录的权限

#chown mysql:mysql /data/mysqldata/3306

6)启动数据库

$service mysqld start

增量备份:

增量备份的前提是必须坐过全量备份。

1)先进行全量备份

#innobackupex --user=backup_user --password=xxx  --socket=/dbdata/mysqldata/3306/mysql.sock --defaults-file=/data/bak/3306.cnf   /data/bak/3306

2)再进行增量备份

#innobackupex --user=backup_user --password=xxx  --socket=/dbdata/mysqldata/3306/mysql.sock --defaults-file=/data/bak/3306.cnf   --incremental /data/bak/3306 --incremental-basedir=/data/bak/3306/2014-06-13_06-00-08

增量恢复:

1)先恢复增量事务日志,然后再按照全量恢复的命令操作即可

#innobackupex --user=backup_user --password=xxx  --socket=/dbdata/mysqldata/3306/mysql.sock --apply-log --redo-only /data0/2014-06-12_06-00-08  --incremental-basedir=/data/bak/3306/2014-06-13_06-00-08

自动化脚本:

自动化全量恢复:

命令格式:

        sh -x /root/xtrabackup__auto_restore.sh   3314   /data0/3314.cnf   /data0/data0/bak/dbserver_mysql_xtrabackup_bk/3314/2015-07-08_05-05-08   10.71.64.63

使用注意事项:

1.先拷贝tar.gz和cnf文件到/data0目录,再解压缩压缩包。

2.看到屏幕提示'请编辑/etc/my.cnf文件,然后启动相应端口'时,编辑my.cnf中相应的参数并启动实例。

3.执行完脚本,确认无问题后,请手工删除${DATE}_bak目录


点击(此处)折叠或打开

#!/bin/bash
#这个脚本的功能是自动化恢复指定端口的全备份
#Written by LiHui
#Version 1.0
#Data:2015-07-09
PORT=$1
CNF_DIR=$2
XTRABACKUP_DIR=$3
MASTER_HOST=$4
MASTER_LOG_FILE=`cat ${XTRABACKUP_DIR}/xtrabackup_binlog_info |awk -F " " '{print $1}'`
MASTER_LOG_POS=`cat ${XTRABACKUP_DIR}/xtrabackup_binlog_info |awk -F " " '{print $2}'`
DATE=`date +%Y_%m_%d`
 
 
cd /data0/mysqldata/$PORT/
mkdir ${DATE}_bak
mv data innodb_log innodb_ts -t ${DATE}_bak
mkdir data innodb_log innodb_ts
innobackupex --defaults-file=$CNF_DIR --apply-log $XTRABACKUP_DIR
innobackupex --defaults-file=$CNF_DIR --copy-back $XTRABACKUP_DIR
chown -R mysql:mysql /data0/mysqldata/$PORT
echo '请编辑/etc/my.cnf文件,然后启动相应端口'
echo '请输入主库的密码:'
read password
mysql -uroot -p$password -S /data0/mysqldata/$PORT/mysql.sock -e "change master to master_host='$MASTER_HOST', master_user='rep', master_password='F0PEAPLWg96awvNi_V1r', master_port=$PORT, master_log_file='$MASTER_LOG_FILE', master_log_pos=$MASTER_LOG_POS, master_connect_retry=1;"
mysql -uroot -p$password -S /data0/mysqldata/$PORT/mysql.sock -e 'start slave;'
mysql -uroot -p$password -S /data0/mysqldata/$PORT/mysql.sock -e 'show slave status \G'
echo "请手工删除${DATE}_bak目录!"



参考资料:

1.http://www.mike.org.cn/articles/xtrabackup-guide/

2.http://database.51cto.com/art/201108/283254.htm

3.《MySQL管理之道》 贺春漾 著

上一篇:阿里云TSDB在大数据集群监控中的方案与实战


下一篇:零距离接触阿里云时序时空数据库TSDB