Amazon RDS多区域高可用测试

最近在AWS上面需要部署一组多区域RDS集群,AWS的多区域简单理解就是RDS一主一从分别在当地的两个机房(两个区域)。所以就有了下面各方面的测试。

我们需要测试什么?

  1. Primary挂掉时,Secondary是否会自动升级为Primary提供服务,切换期间中断多久?
  2. 发生切换后,数据是否有丢失?
  3. TPS&QPS分别是多少(配置不同得到的值会不同)。

测试的基础环境?

  1. RDS服务类db.m4.2xlarge(8核32G,通用SSD)。
  2. RDS因为是MySQL,版本MySQL 5.7.21。
  3. 由于购买的AWS多区域RDS服务,所以我们会得到一个RDS集群(Primary & Secondary),分别在两个区域。
  4. EC2一台,用以连接RDS服务,EC2与RDS之间需要使用同一个VPC,以保证通讯正常。
  5. RDS安全组更改以允许从EC2实例的内部IP地址访问传入端口3000(我的RDS设置端口)。

确定的RDS主次区域?

在具有多可用区的Amazon RDS中,详情部分呈现了主要可用区(称为可用区)和辅助可用区(称为辅助区)。

Amazon RDS多区域高可用测试

上图中已经显示

可用区(主节点):ap-northeast-1c

辅助区(从节点):ap-northeast-1d

终端节点:mysql-01.cw9unlnqm15o.ap-northeast-1.rds.amazonaws.com

终端节点是AWS提供给应用访问RDS实例的域名,该节点是一个DNS CNAME,它一次指向TTL为5秒的不同可用区(Primary&Secondary)中可用的两个实例之一。默认CNAME到主节点。

测试主从故障切换是否正常?

我们将使用mysql-01.cw9unlnqm15o.ap-northeast-1.rds.amazonaws.com测试RDS主从故障切换。在EC2主机上执行如下命令:

 
1
$ while true; do host mysql-01.cw9unlnqm15o.ap-northeast-1.rds.amazonaws.com | grep alias ; sleep 1; done

现在让我们通过重新启动模拟一个场景,我们将使辅助区域成为可用区。选择重启实例,通过重启故障转移来测试。

Amazon RDS多区域高可用测试

可以看到我们的终端节点从刚开始CNAME可用区 到 后面 CNAME辅助区域,完成了一次切换。

Amazon RDS多区域高可用测试

再次打开实例详情,可以看到可用区跟辅助区域已经更改了,可用区变为辅助区域,辅助区域变为可用区,完成了切换【整个切换时间在40s左右,后面有更详细的证明】。

Amazon RDS多区域高可用测试

如果看AWS提供的事件信息,会有如下切换过程:

Amazon RDS多区域高可用测试

测试主从故障切换时间?

我们将继续连接到数据库并持续在数据库中插入记录,目的是检查发生故障转移需要多长时间?

先在EC2上连接到RDS,创建一个表。

 
1
$ mysql -h mysql-01.cw9unlnqm15o.ap-northeast-1.rds.amazonaws.com -P3000 -uroot -proot1234

创建表的语句,自动加了一个记录创建时间。

 
1
2
3
4
5
6
7
CREATE TABLE `failover_test` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`cycle` varchar(50) DEFAULT NULL,
`counter` int(10) unsigned NOT NULL,
`failover_date` datetime NOT NULL default current_timestamp,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 COMMENT='AWS RDS Failover Testing';

然后让我们创建一个测试脚本(这里使用Python)。

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
$ cat failover_test.py
#!/usr/bin/env python
#coding:utf-8
 
from __future__ import print_function
import pymysql
import sys
 
cycle = sys.argv[1]
count = sys.argv[2]
 
conn = pymysql.connect(
    host='mysql-01.cw9unlnqm15o.ap-northeast-1.rds.amazonaws.com',
    port=3000,
    user='root',
    password='root1234',
    database='sbtest',
    charset='utf8',
    connect_timeout = 1
)
 
cursor = conn.cursor()
 
try:
    conn.begin()
    sql = "insert into failover_test(cycle, counter) values('%s', %s);" % (cycle, count)
    cursor.execute(sql)
    conn.commit()
    print(count, '', end='')
except Exception as e:
    conn.rollback()
 
cursor.close()
conn.close()

测试计划:

1. 我们将在EC2终端开启一个循环执行Python脚本。

2. 当脚本在执行时,在我们将使用“重启故障转移?”选项重启数据库。

3. 我们将监测Python脚本并注意缺失的任何数字,缺少数字的计数会以秒为单位给你提供总宕机时间(大约)。

我遵循这个步骤得到的结果如下:

Amazon RDS多区域高可用测试

请注意数据插入暂停在92并且不显示数字的持续时间,这意味着主区域的服务器已关闭,并且EC2实例无法连接到任何RDS服务器。当数字开始显示为140时,证明主从已经切换完成,新的主区域服务器开始提供服务。这个中间的间隔时间就可以认为是整个集群的宕机时间。这个我们从查看数据库表插入记录时间也是可以做一个对比。

Amazon RDS多区域高可用测试

数据库中插入记录间隔时间与脚本输出几乎一致。

测试主从故障切换数据一致性?

这个测试在AWS上面,其实不是很好测试,因为我们无法登录到辅助区域主机来对比可用区数据。还有一点就是我们是通过AWS提供的“重启故障转移”来测试高可用切换,对于它背后做什么我们是不知道的。比如它是软重启还是硬重启,这些对于数据一致性的测试都是非常重要的。还有一些断电情况下的测试。

所以在这个测试中,我们只会连接主区域实例端点持续插入数据。然后,我们将重新启动并使辅助区域实例成为主区域实例。

测试计划:

1. 我们将打开4个终端窗口并执行上述脚本4次,并使用不同的名称进行区分。

2. 在执行脚本时,我们将通过“重新启动故障转移?”选项重新启动数据库实例。

3. 一旦脚本停止添加更多数据,我们将输出的最大数字与数据库记录进行匹配。

在EC2上面执行脚本,开多个窗口(使用tmux),运行如下命令:

Amazon RDS多区域高可用测试

然后启动故障转移,此时所有命令执行界面都应该为停止状态,最后一个数字就是我们插入到主库的的数据条数。

Amazon RDS多区域高可用测试

当切换完成后,我们就可以来数据库查一下数据,看看是否正确。

Amazon RDS多区域高可用测试

可以看到,cycle0-3对应的数据都存在在我们新的主区域实例中,证明数据一致性有保障。

这个测试数据量太小,其实也无法证明什么,但目前还没有其他可靠方法。

TPS&QPS各是多少?

通过查询变量我们知道,RDS默认是“双1”配置,缓冲区为内存的75%,隔离级别为RR,行格式为MIXED,事务日志2个128M。

我这里在EC2上使用sysbench简单压测了一下,使用的命令如下:

 
1
2
3
4
5
6
7
8
9
10
11
12
13
$ sysbench /usr/share/sysbench/oltp_read_write.lua \
--mysql-host=mysql-01.cw9unlnqm15o.ap-northeast-1.rds.amazonaws.com \
--mysql-port=3000 \
--mysql-user=root \
--mysql-password='root1234' \
--mysql-db=sbtest \
--db-driver=mysql \
--tables=4 \
--table-size=3000000 \
--report-interval=10 \
--threads=16 \
--time=120 \
run

结果如下图所示(配置为8核32G,通用SSD):

Amazon RDS多区域高可用测试

然后又使用64线程压测了一下,结果如下图:

Amazon RDS多区域高可用测试

虽然TPS&QPS翻了一倍,但是CPU使用率也到了100%,磁盘IOPS大约在3500左右。

这里只是简单的对AWS RDS多区域部署能压测的方面进行了压测,仅供参考。另外,对于RDS增缩配置,或者参数修改之类的操作都是通过故障转移来做的。

<参考>

https://exain.wordpress.com/2017/07/12/amazon-rds-multi-az-setup-failover-simulation/#jp-carousel-450

转自:http://www.ywnds.com/?p=14143

上一篇:IDEA秒退或者一直让填写激活码问题


下一篇:Design Pattern :Factory and Reflect in java