跨时代的MySQL8.0新特性解读

2021-06-20 08:56:37

MySQL发展历程
MySQL8.0新特性
MySQL5.7升级8.0
展望未来

简介

MySQL 经过20来年发展现在已是世界上最流行的开源数据库，8.0 版本作为5.7版本后的跨越大版本，除了大表秒级加列外还有其它什么特性了？能在生产上使用吗？MySQL5.7 怎么才能无损升级到MySQL8.0？

MySQL发展历程

起源于上个世纪末的MySQL每隔2~3年就会发布一次大版本，不断持续的“升级”。2008年MySQL被Sun公司以10亿美元收购，2009年甲骨文以74亿美元收购Sun公司，这是很成功的一次收购与被收购！13年和16年的MySQL5.6、MySQL5.7都是里程碑式的版本，有了很多质的飞跃；18年发布了酝酿3年的MySQL8.0，又带来了哪些新特性？

MySQL8.0新特性

秒级加列

只改数据字典表元数据信息
5.7和8.0 sbteset1表数据分别为3000w

# mysql8.0.18

mysql> alter table sbtest1 add str varchar(200) not null default 'mysql8.0 新加字段';

Query OK, 0 rows affected (0.13 sec)

Records: 0  Duplicates: 0  Warnings: 0

# mysql5.7.16

mysql>  alter table sbtest1 add str varchar(200) not null default 'mysql5.7 新加字段';

Query OK, 0 rows affected (6 min 8.36 sec)

Records: 0  Duplicates: 0  Warnings: 0

以前表加列操作需要重建表（消耗大量的IO资源和时间），8.0加列没有这个步骤。秒级加列(不要指定列位置，如after str1)让开发人员再也不用等到大半夜列加完后再上线了，也让我们dba不用老担心加列失败（生产环境出现加列报主键冲突错误）

性能提升

# mysql5.7.16

mysql> select count(*) from sbtest1;

+----------+

| count(*) |

+----------+

| 29991137 |

+----------+

1 row in set (3 min 12.24 sec)

# mysql8.0.18

mysql> select count(*) from sbtest1;

+----------+

| count(*) |

+----------+

| 30000000 |

+----------+

1 row in set (45.70 sec)

分别在只更新和只读场景下，8.0相比5.7在高并发时性能提升近1倍；求表总数据量8.0响应时间也将近提升5倍

文档数据库

MySQL Document Store，NoSQL + SQL = MySQL
多文档事务，ACID特性
支持更新JSON中部分filed

文档存储无固定表结构动态schema是很受咱们开发人员喜爱的

SQL增强

共用表表达式(CTEs)

让SQL语句更加简单、直观

支持CTE的DB有 Teradata, DB2, Firebird, Microsoft SQL Server, Oracle ,PostgreSQL (since 8.4), MariaDB (since 10.2), SQLite (since 3.8.3), HyperSQL and H2 (experimental), MySQL8.0

窗口函数

对每个门店销售量最高的商品进行统计，每个部门按业绩来排名

共用表表达式(CTEs)和窗口函数是报表、OLAP业务一大利器

不可见索引（Invisible Indexes）

SQL执行时内部优化器忽略指定索引；验证删除索引后对查询性能影响

Alter table t1 alter index idx_str invisible;

Alter table t1 alter index idx_str visible;

降序索引（Descending Indexes）

索引按倒序存储，之前方式都是按顺序存储；使用到具有倒序、升序列的复合索引

select * from tx where c1=10 order by c2 desc,c4 asc;

函数索引 (Functional Indexes)

Where条件中无法使用到索引成为传说！

select * from tx where year(date_)=2020;

默认字符集为utf8mb4

更好的存储补充字符，如emojis表情符号
可变长度编码字符性能提升

一致性查询改进（Better Handling of Hot Rows)

SKIP LOCKED

需要加锁的记录若被其它线程占有锁，则跳过，而不是等待

select * from tx where c1=12 for update skip locked;

Empty set (0.00 sec)

NOWAIT

需要加锁的记录有锁则报错

select * from tx where c1=12 for update nowait;

ERROR 3572 (HY000): Statement aborted because lock(s) could not be acquired immediately and NOWAIT is set.

SKIP LOCKED和NOWAIT对热行(Hot Rows)场景如抢红包、秒杀等有益

资源组（Resource Groups)

线程赋给不同的资源组
资源组和不同的内存、IO、CPU(现仅支持)进行关联

官方版多租户资源隔离成为了可能，更好提升在不同读写业务场景下的性能

新的数据字典

基于innodb的库表元数据信息
增强了MySQL crash-safe能力
原子DDL（ Atomic DDLs ）

以前版本MySQL数据字典存放在多个地方，一机器多实例时存在大量文件描述符性能消耗，8.0版本都存放在事务性InnoDB表，MySQL异常挂掉后也不会再出现表损坏情况；DDL操作失败也不会再留下占空间的“临时文件”

MGR增强

金融级别99.999%官方高可用方案
MGR是业务多活(应用多活+数据库多活)的终极方案
多个MySQL组成一个group，数据写group
线上10套多主8.0 MGR集群

节点自动加入group次数 https://dev.mysql.com/doc/refman/8.0/en/group-replication-options.html#sysvar_group_replication_autorejoin_tries

group剔除异常节点等待时间

https://dev.mysql.com/doc/refman/8.0/en/group-replication-options.html#sysvar_group_replication_member_expel_timeout

节点自行脱离group等待时间

https://dev.mysql.com/doc/refman/8.0/en/group-replication-options.html#sysvar_group_replication_unreachable_majority_timeout

线上8.0.18 MGR已稳定运行大半年，MGR的增强大大提升了在网络异常(机房级故障)下的健壮、稳定性；之前多次的机房故障演练8.0 MGR也都符合预期，网络恢复后MGR节点自动加入group 恢复读写

安全增强

SQL Roles    								SQL角色

Atomic ACL Statements    					原子ACL语句

Dynamic Privileges    						动态特权

Protection Against Brute Force Attacks    	防止暴力攻击

REDO & UNDO Logs Encryption    				REDO & UNDO Logs加密

Caching sha2 authentication plugin    		缓存Sa2认证插件

Password Rotation Policy    				密码轮询策略

复制增强

Additional Metadata in the binary log    				binlog中额外的Metadata

Efficient JSON Replication    							高效的json复制

Monitor Replication Lag with Microsecond Precision    	监控复制延迟细到毫秒

More P_S Instrumentation for Group Replication    		组复制更多的P_S

Enable binary log by default    					  	默认启动了binlog

Improving the Parallel Applier with Writeset-based Dependency Tracking

													 	基于Writeset-based Dependency Tracking的并行应用

Hostname support in Group Replication Whitelist  		组复制白名单中支持主机名

实例克隆

传统方式，备份恢复再加入主从复制
源目标实例上安装克隆插件、授权、进行克隆
极大提高了MySQL的扩展性

全局变量持久化

SYSTEM_VARIABLES_ADMIN (SET PERSIST)
PERSIST_RO_VARIABLES_ADMIN (SET PERSIST_ONLY)

mysql> set persist_only innodb_buffer_pool_size=268435456*2;

Query OK, 0 rows affected (0.00 sec)

mysql>

mysql> set persist innodb_buffer_pool_size=268435456*2;

Query OK, 0 rows affected (0.00 sec)