阿里云原生数据库POLARDB压力测试报告

2022-02-21 23:26:13

POLARDB介绍

POLARDB是阿里云ApsaraDB数据库团队研发的基于云计算架构的下一代关系型数据库，其最大的特色是计算节点(主要做SQL解析以及存储引擎计算的服务器)与存储节点(主要做数据块存储，数据库快照的服务器)分离，其次，与传统的云数据库一个实例一份数据拷贝不同，同一个实例的所有节点(包括读写节点和只读节点)都访问存储节点上的同一份数据，最后，借助优秀的RDMA网络以及最新的块存储技术，PolarDB的数据备份耗时可以做到秒级别(备份时间与底层数据量无关)，这三点相结合，我们可以推断出POLARDB不但满足了公有云计算环境下用户业务快速弹性扩展的刚性需求(只读实例扩展时间与底层数据量无关)，同时也满足了互联网环境下用户对数据库服务器高可用的需求(服务器宕机后无需搬运数据重启进程即可服务)。

以下测试来自于袋鼠云技术部。

POLARDB架构

一写多读

POLARDB采用分布式集群架构，一个集群包含一个主实例和至少一个只读实例（暂时仅支持一个，用于保障高可用）。主实例处理读写请求，只读实例仅处理读请求。主实例和只读实例之间采用Active-Active的Failover方式，提供数据库的高可用服务。

计算与存储分离

POLARDB采用计算与存储分离的设计理念，满足公有云计算环境下用户业务弹性扩展的刚性需求。数据库的计算节点（DB Server）仅存储元数据，而将数据文件、Redo Log等存储于远端的存储节点（Chunk Server）。各计算节点之间仅需同步Redo Log相关的元数据信息，极大降低了主实例和只读实例间的延迟，而且在主实例故障时，只读实例可以快速切换为主服务器。

读写分离

读写分离数据库接入功能，是POLARDB集群默认免费提供的一个透明、高可用、自适应的负载均衡能力。通过读写分离地址，SQL请求自动转发到POLARDB集群的各个实例，提供聚合、高吞吐的并发SQL处理能力。

高速链路互联

数据库的计算节点和存储节点之间采用高速网络互联，并通过RDMA协议进行数据传输，使得I/O性能不再成为瓶颈。

共享分布式存储

多个计算节点共享一份数据，而不是每个计算节点都存储一份数据，极大降低了用户的存储成本。基于全新打造的分布式块设备和文件系统，存储容量可以在线平滑扩展，不会受到单机服务器配置的影响，可应对上百TB级别的数据规模。

数据多副本、Parallel-Raft协议

数据库存储节点的数据采用多副本形式，确保数据的可靠性，并通过Parallel-Raft协议保证数据的一致性。
优点：
备份速度快，增加只读节点速度快。
只读实例无延迟。

参数
POLARDB默认关闭了doublewrite buffer，关闭了binlog。

压测方案

使用sysbench oltp标准压测程序分别压测读、写两种场景的性能。

环境准备
PolarDB： 8C64G
ECS：2C2G, CentOS 2.7(三台)
Sysbench 0.5

sysbench安装
yum -y install mysql-devel  
yum -y install automake  
yum -y install libtool  
wget https://github.com/akopytov/sysbench/archive/0.5.zip
unzip 0.5.zip
cd sysbench-0.5
./autogen.sh
./configure
make
cd sysbench

压测步骤

准备数据
$sysbench_path/sysbench --test=$sysbench_path/tests/db/oltp.lua --mysql-host=$ip --mysql-port=3306 --mysql-user=$mysql_user --mysql-password=$mysql_password --mysql-db=$table_name --mysql-table-engine=innodb --oltp-table-size=$[$table_size/10] --oltp-tables-count=$oltp_tables_count -db-driver=mysql prepare

注意事项:
1.如果测试POLARDB不能使用外网连接串（时延高难以达到最佳性能）使用非VPC的内网连接串要达到最佳的性能需要使用3~4台ECS同时进行压测才能发挥Polardb最佳性能,使用VPC网络单台ECS压测就能达到POLARDB最佳的性能（建议使用VPC连接串）

2.POLARDB的特点是读写分离,sysbench测试时需要单独测试读和写,避免使用读写混合sysbench命令测试,这样能最大的发挥POLARDB的性能优势,详细测试命令如下:

压测写性能

使用sysbench准备数据，单表1000万数据，总共100个表，每个表的空间大约2G。
$sysbenchpath/sysbench --test=$sysbenchpath/tests/db/oltp.lua --mysql-host=$ip --oltp-tables-count=$oltp_tables_count --mysql-user=$mysql_user --mysql-password=$mysql_password --mysql-port=3306 --db-driver=mysql --oltp-table-size=$[$table_size/10] --mysql-db=$table_name --max-requests=$[$table_size/10] --max-time=$max_time --oltp_simple_ranges=0 --oltp-distinct-ranges=0 --oltp-sum-ranges=0 --oltporder-ranges=0 --oltp-point-selects=0 --num-threads=$threads --randtype=uniform run

压测读性能

压测选用5个表，每个表1000万数据，总共1亿条数据进行压测。分表采用1，2，4，8，16，32个并发测试写入性能。
$sysbenchpath/sysbench --test=$sysbenchpath/tests/db/oltp.lua --mysql-host=$ip --oltp-tables-count=$oltp_tables_count --mysql-user=$mysql_user --mysql-password=$mysql_password --mysql-port=3306 --db-driver=mysql --oltp-table-size=$[$table_size/10] --mysql-db=$table_name --max-requests=$[$table_size/10] --oltp_simple_ranges=0 --oltp-distinct-ranges=0 --oltp-sum-ranges=0 --oltp-order-ranges=0 --max-time=$max_time --oltp-read-only=on --num-threads=$threads run

注：

  $sysbench_path:sysbench源码位置
$ip数据库的IP地址者公网连接串
$mysql_user 数据库用户名
$mysql_password 数据库密码
$table_name 数据库的名字
$oltp_tables_count 数据库表的数量
$table_size 数据库表的大小