Linux 实例中为MySQL创建应用一致性快照最佳实践

2022-04-02 13:31:09

通过应用一致性快照回退云盘，数据不会损坏和丢失，可以避免数据库启动时日志回滚，确保应用（例如MySQL）处于一致性的启动状态。本文以MySQL数据库为例，介绍如何创建Linux实例的应用一致性快照，并验证应用一致性快照的数据备份效果。

前提条件

ECS实例的操作系统属于CentOS 7.6及以上版本、Ubuntu 18.04及以上版本或Alibaba Cloud Linux 2.1903 LTS 64位。
ECS实例中云盘必须是ESSD类型云盘，且文件系统为EXT3、EXT4、XFS或NTFS。同时，不支持网络文件系统和共享文件系统。
ECS实例已安装云助手客户端。具体操作，请参见安装云助手客户端。
说明 2017年12月01日之后使用公共镜像创建的ECS实例，已默认预装云助手客户端。

背景信息

本文使用的验证环境信息如下所示。

环境	说明
ECS实例规格	ecs.g7.large
操作系统	CentOS 7.9 64位
云盘	ESSD云盘
应用	MySQL 5.7 说明关于如何安装部署MySQL，请参见手动部署MySQL数据库（CentOS 7）。

操作流程

步骤一：准备数据库验证环境

在操作之前，您已经安装好MySQL 5.7环境，此操作介绍如何准备数据库验证环境。

远程连接ECS实例。具体操作，请参见连接方式概述。
创建测试脚本（/root/test.sql）。

1. 创建并打开测试脚本（/root/test.sql）。

vi /root/test.sql

1. 输入i，进入编辑模式。
2. 编写验证的SQL脚本。SQL脚本中内容包含创建数据库表（PointInTime）及验证存储过程（TestPIT），具体内容如下所示。

USE AdventureWorks;
CREATE TABLE PointInTime(id int, t datetime);
DELIMITER $$
CREATE PROCEDURE `TestPIT`()
BEGIN
DECLARE i int;
SET i=1;
WHILE i < 180
DO
INSERT INTO PointInTime VALUES(i, now());
SELECT SLEEP(1);
SET i=i+1;
END WHILE;
END $$
DELIMITER ;

1. 按Esc键，并输入:wq，按回车键，退出并保存内容。

登录MySQL数据库。输入以下命令，按回车键，并根据界面提示输入MySQL密码。

mysql -u <mysqlUserName> -p

其中<mysqlUserName>为您的MySQL用户名。
创建新的数据库AdventureWorks。

CREATE DATABASE AdventureWorks;

执行测试脚本。

source /root/test.sql

步骤二：创建应用冻结脚本和应用解冻脚本

此操作介绍如何为MySQL创建应用冻结脚本和应用解冻脚本，在创建应用一致性快照时需要使用到这两个脚本。

说明本文中使用的应用冻结脚本和应用解冻脚本，脚本内容仅为验证示例使用。如果您需要为自己的业务应用创建应用一致性快照，需要根据业务场景编写对应的应用冻结脚本和应用解冻脚本。

创建应用冻结脚本（/tmp/prescript.sh）。

1. 使用root用户创建/tmp/prescript.sh。

vi /tmp/prescript.sh

1. 输入i，进入编辑模式。
2. 在脚本中根据应用自定义脚本内容。本文中使用以下脚本内容：

TIMESTAMP=`date +%s`
MYSQL_TEMP_FILE_NAME="/tmp/mysqlfreeze${TIMESTAMP}.tmp"
LOG_FILE_NAME="/tmp/mysqlfreeze${TIMESTAMP}.log"
# 设置您的MySQL用户名
export MYSQL_USER="$MYSQL_USER"
# 设置您的MySQL密码
export MYSQL_PWD="$MYSQL_PASSWORD"
function Log()
{
    echo "$1" 
    echo "$1" >> ${LOG_FILE_NAME}
}
function ExitWithResult()
{
    Log "[INFO]:mysql freeze result is $1."
    exit $1
}
function Main()
{
    Log "*********************************************************************"
    Log "[INFO]:Begin to freeze mysql."
    which mysql
    if [ $? -ne 0 ]
    then
        Log "[INFO]:mysql is not installed."
        ExitWithResult 0
    fi  
    systemctl status mysqld.service | grep "inactive (dead)"
    if [ $? -ne 1 ]
    then
        Log "[ERROR]:mysql is not running."
        ExitWithResult 0
    fi  
    mysql -u$MYSQL_USER  -e "show processlist;" > "${MYSQL_TEMP_FILE_NAME}" 2>&1
    if [ $? -ne 0 ]
    then
        cat ${MYSQL_TEMP_FILE_NAME} >>"${LOG_FILE_NAME}"
        [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
        Log "[ERROR]:Show process list failed."
        ExitWithResult 1
    fi
    process_id=`cat ${MYSQL_TEMP_FILE_NAME} | grep "select 1 and sleep(25)" | awk -F " " '{print $1}'`
    if [ "$process_id" != "" ]
    then
        cat ${MYSQL_TEMP_FILE_NAME} >>"${LOG_FILE_NAME}"
        [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
        Log "[ERROR]:MySQL already been freezed "
        ExitWithResult 1
    fi
    cat ${MYSQL_TEMP_FILE_NAME}
    Log "[INFO]:Try to execute flush tables command"
       echo "flush tables with read lock;select 1 and sleep(25);" | nohup mysql -u$MYSQL_USER   >> "${LOG_FILE_NAME}" 2>&1 &
    if [ $? -ne 0 ]
    then
        Log "[ERROR]:Freeze mysql failed."
        ExitWithResult 1
    fi  
    Log "[INFO]:Flush tables command execute success"
    checkTime=0
    while [ 1 ]
    do
        mysql -u$MYSQL_USER -e "show processlist;" > "${MYSQL_TEMP_FILE_NAME}" 2>&1
        if [ $? -ne 0 ]
        then
            cat ${MYSQL_TEMP_FILE_NAME} >>"${LOG_FILE_NAME}"
            [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
            Log "[ERROR]:Show process list failed."
            ExitWithResult 1
        fi
        
        cat ${MYSQL_TEMP_FILE_NAME}
        process_id=`cat ${MYSQL_TEMP_FILE_NAME} | grep "select 1 and sleep(25)" | awk -F " " '{print $1}'`
        if [ "$process_id" = "" ]
        then
            checkTime=`expr $checkTime + 1`
            Log "[INFO]:Mysql is not freeze. checkTime is ${checkTime}"
            sleep 1
        else
            Log "[INFO]:Found sleep command in processlist,freeze success"
            break
        fi
           if [ $checkTime -eq 10 ]
        then
            cat "${MYSQL_TEMP_FILE_NAME}" >>"${LOG_FILE_NAME}" 2>&1
            
            freeze_id=`cat ${MYSQL_TEMP_FILE_NAME} | grep "flush tables with read lock" | awk -F " " '{print $1}'`            
            mysql -u$MYSQL_USER -e "kill $freeze_id;" >> "${LOG_FILE_NAME}" 2>&1
            if [ $? -ne 0 ]
            then
                Log "[ERROR]:Thaw mysql failed."
            fi    
            [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
            Log "[ERROR]:Mysql is not freeze. Will return error"
            ExitWithResult 1
        fi
    done
       [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
    Log "[INFO]:Finish freeze mysql."
    ExitWithResult 0
}
Main

1. 在脚本中，您需要修改以下参数信息：

- - $MYSQL_USER：修改为MySQL用户名。
  - $MYSQL_PASSWORD：修改为MySQL密码。

1. 按Esc键，并输入:wq，按回车键，退出并保存内容。
2. 为脚本设置仅root用户读、写和执行权限。
  说明为了保证脚本的执行安全，请确保脚本仅root用户具有读、写及执行权限，即权限为700，否则执行脚本时会判断失败。

chmod 700 /tmp/prescript.sh

创建应用解冻脚本（/tmp/postscript.sh）。

1. 使用root用户创建/tmp/postscript.sh。

vi /tmp/postscript.sh

1. 输入i，进入编辑模式。
2. 在脚本中根据应用自定义脚本内容。本文中使用以下脚本内容：

TIMESTAMP=`date +%s`
MYSQL_TEMP_FILE_NAME="/tmp/mysqlthaw${TIMESTAMP}.tmp"
LOG_FILE_NAME="/tmp/mysqlthaw${TIMESTAMP}.log"
# 设置您的MySQL用户名
export MYSQL_USER="$MYSQL_USER"
# 设置您的MySQL密码
export MYSQL_PWD="$MYSQL_PASSWORD"
function Log()
{
    echo "$1" 
    echo "$1" >> ${LOG_FILE_NAME}
}
function ExitWithResult()
{
    Log "[INFO]:mysql unfreeze result is $1."
    exit $1
}
function Main()
{
    Log "*********************************************************************"
    Log "[INFO]:Begin to thaw mysql."   
    which mysql
    if [ $? -ne 0 ]
    then
        Log "[INFO]:mysql is not installed."
        ExitWithResult 0
    fi  
    systemctl status mysqld.service | grep "inactive (dead)"
    if [ $? -ne 1 ]
    then
        Log "[ERROR]:mysql is not running."
        ExitWithResult 0
    fi  
    mysql -u$MYSQL_USER  -e "show processlist;" > "${MYSQL_TEMP_FILE_NAME}" 2>&1
    if [ $? -ne 0 ]
    then
        cat ${MYSQL_TEMP_FILE_NAME} >>"${LOG_FILE_NAME}"
        [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
        Log "[ERROR]:show process list failed."
        ExitWithResult 1
    fi
    Log "[INFO]:show process list success."
    cat ${MYSQL_TEMP_FILE_NAME}
    
    process_ids=`cat ${MYSQL_TEMP_FILE_NAME} | grep "select 1 and sleep(25)" | awk -F " " '{print $1}'`
    if [ "$process_ids" = "" ]
    then
        [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
        Log "[ERROR]:Get freeze process_id failed."
        ExitWithResult 1
    fi
    cat ${MYSQL_TEMP_FILE_NAME} | grep "select 1 and sleep(25)" | awk -F " " '{print $1}'| while read pid
    do
        Log "[INFO]:Try to stop sql process ${pid}."
        mysql -u$MYSQL_USER  -e "kill $pid;" >> "${LOG_FILE_NAME}" 2>&1
        if [ $? -ne 0 ]
        then
            [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
            Log "[ERROR]:Thaw mysql failed.PIDs is ${process_ids}"
            ExitWithResult 1
        fi   
        Log "[INFO]:Stop sql process ${pid} success."
    done 
    
    [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
    Log "[INFO]:Finish thaw mysql."
    ExitWithResult 0
}
Main

1. 在脚本中，您需要修改以下参数信息：

- - $MYSQL_USER：修改为MySQL用户名。
  - $MYSQL_PASSWORD：修改为MySQL密码。

1. 按Esc键，并输入:wq，按回车键，退出并保存内容。
2. 为脚本设置仅root用户读、写和执行权限。
  说明为了保证脚本的执行安全，请确保脚本仅root用户具有读、写及执行权限，权限为700，否则执行脚本时会判断失败。

chmod 700 /tmp/postscript.sh

进入/tmp目录查看脚本权限是否正确。进入/tmp目录：

cd /tmp

查看脚本权限信息：

ls -l

结果如下所示。

Linux 实例中为MySQL创建应用一致性快照最佳实践

步骤三：为ECS实例授予RAM角色

开启应用一致性快照前，必须先为ECS实例配置相关的RAM角色。

使用阿里云账号登录RAM控制台。
创建应用一致性快照相关的RAM角色。具体操作，请参见创建可信实体为阿里云服务的RAM角色。示例为创建一个AppSnapshotRoleName的RAM角色。

Linux 实例中为MySQL创建应用一致性快照最佳实践

创建应用一致性快照相关权限策略。具体操作，请参见创建自定义策略。

Linux 实例中为MySQL创建应用一致性快照最佳实践

创建一个AppSnapshotPolicy权限策略，具有查询快照相关信息、创建快照、设置标签和查询云盘信息等相关权限。您可以直接使用以下策略内容。

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ecs:DescribeSnapshot*",
                "ecs:CreateSnapshot*",
                "ecs:TagResources",
                "ecs:DescribeDisks"
            ],
            "Resource": [
                "*"
            ],
            "Condition": {}
        }
    ]
}

为RAM角色（AppSnapshotRoleName）设置自定义权限（AppSnapshotPolicy）。具体操作，请参见为RAM角色授权。

Linux 实例中为MySQL创建应用一致性快照最佳实践

为目标实例设置RAM角色（AppSnapshotRoleName）。具体操作，请参见授予实例RAM角色。

Linux 实例中为MySQL创建应用一致性快照最佳实践

步骤四：在数据库中调用存储过程（TestPIT）

此操作为创建快照前调用存储过程，方便后续操作时查看应用冻结效果和回滚数据后效果。

登录MySQL数据库。输入以下命令，按回车键，并根据界面提示输入MySQL密码。

mysql -u <mysqlUserName> -p

其中<mysqlUserName>为您的MySQL用户名。
切换到AdventureWorks数据库。

USE AdventureWorks;

调用存储过程（TestPIT）。

CALL TestPIT;

说明在验证过程中，您需要在TestPIT运行完成前（大概3分钟左右）创建应用一致性快照，否则不好验证应用一致性快照的效果。

步骤五：通过控制台创建应用一致性快照

此操作介绍如何在控制台为MySQL数据库所在的Linux实例创建应用一致性快照。

进入ECS实例列表页面。

1. 登录ECS管理控制台。
2. 在左侧导航栏，选择实例与镜像 > 实例。
3. 在顶部菜单栏处，选择目标ECS实例所在地域。

找到目标实例，在操作列中选择更多 > 云盘和镜像 > 创建实例快照。
在创建实例快照对话框中，设置实例快照参数并启用快照极速可用功能。

- 关于实例快照参数设置，请参见创建多个云盘快照（实例快照）。
- 关于快照极速可用功能，请参见快照极速可用功能。

在创建实例快照对话框中，设置应用一致性快照。选中启用应用一致性快照，并设置应用冻结脚本和应用解冻脚本的路径信息。脚本路径信息需要和前面步骤创建的脚本路径一致。具体脚本信息，请参见步骤二：创建应用冻结脚本和应用解冻脚本。

Linux 实例中为MySQL创建应用一致性快照最佳实践

单击确定。创建后会返回云助手命令ID和命令执行ID，您可以根据命令执行ID查看创建结果。

Linux 实例中为MySQL创建应用一致性快照最佳实践

步骤六：验证是否成功创建应用一致性快照。

此操作介绍如何在ECS管理控制台查看应用一致性快照创建结果，并在数据库中查看数据暂停提交的效果。

在云助手页面，查看命令执行结果。

1. 登录ECS管理控制台。
2. 在左侧导航栏，选择运维与监控 > 发送命令/文件（云助手）。
3. 单击命令执行结果页签。
4. 单击目标命令执行ID，查看执行结果。

Linux 实例中为MySQL创建应用一致性快照最佳实践

如上图所示，ExitCode返回值为0，表示云助手上创建应用一致性快照执行成功，此时回显信息中显示创建应用一致性快照和实例快照ID。

说明如果ExitCode返回值不为0，请根据ExitCode错误码信息排查相关问题。更多信息，请参见错误码信息。

在云助手的返回信息中，查看应用冻结时间。在返回信息中，找到应用冻结脚本开始时间和应用解冻脚本完成时间。

- 应用冻结脚本开始执行时间为2021-08-03 18:58:41。

Linux 实例中为MySQL创建应用一致性快照最佳实践

- 应用解冻脚本结束执行时间为2021-08-03 18:58:44。

Linux 实例中为MySQL创建应用一致性快照最佳实践

在快照页面查看实例快照和云盘快照信息。

1. 在左侧导航栏，选择存储与快照 > 快照。
2. 单击实例快照页签，查看已创建的实例快照。
3. 单击云盘快照页签，根据快照的标签信息，检查是否成功创建应用一致性快照。示例中云盘快照的标签显示APPConsistent:True，表示创建的是应用一致性快照。

Linux 实例中为MySQL创建应用一致性快照最佳实践

连接MySQL数据库，查看数据暂停提交时间。

1. 远程连接ECS实例。
2. 登录MySQL数据库。输入以下命令，按回车键，并根据界面提示输入MySQL密码。

mysql -u <mysqlUserName> -p

1. 其中<mysqlUserName>为您的MySQL用户名。
2. 查询数据库表PointInTime的内容。

SELECT * FROM PointInTime;

1. 查询结果如下所示，在应用冻结脚本和应用解冻脚本执行过程中，数据库写入暂停提交。

Linux 实例中为MySQL创建应用一致性快照最佳实践

步骤七：验证通过应用一致性快照恢复数据的效果

通过应用一致性快照恢复数据后，检查MySQL数据最后写入时间是在应用冻结脚本执行前，因此可以判断应用一致性快照的数据恢复有效果。

在ECS管理控制台，通过上面创建的实例快照回滚ECS实例。具体操作，请参见通过实例快照回滚云盘。
登录MySQL并查询数据库表PointInTime的内容。

1. 远程连接ECS实例。
2. 登录MySQL数据库。输入以下命令，按回车键，并根据界面提示输入MySQL密码。

mysql -u <mysqlUserName> -p

1. 其中<mysqlUserName>为您的MySQL用户名。
2. 查询数据库表PointInTime的内容。

SELECT * FROM PointInTime;

1. 查询结果如下所示。

Linux 实例中为MySQL创建应用一致性快照最佳实践

数据库冻结成功之前会停止插入数据。使用应用一致性的实例快照恢复数据后，最后一条数据对应的时间为2021-08-03 18:58:40，早于步骤五中查询的冻结时间点2021-08-03 18:58:41。因此证明关于MySQL的应用一致性快照备份的结果是正确的。

码农公寓

前提条件

背景信息

操作流程

步骤一：准备数据库验证环境

步骤二：创建应用冻结脚本和应用解冻脚本

步骤三：为ECS实例授予RAM角色

步骤四：在数据库中调用存储过程（TestPIT）

步骤五：通过控制台创建应用一致性快照

步骤六：验证是否成功创建应用一致性快照。

步骤七：验证通过应用一致性快照恢复数据的效果

相关文章