从原理上理解MySQL的优化建议

从原理上理解MySQL的优化建议

概述
自从学习 MySQL 以来,我们一直听到或者看到很多优化建议,比如说不要用 select * 查询,用什么字段就查什么字段;建议用自增主键来作为表的主键,等等。这些建议听得很多感觉都成了 MySQL 开发的常识了,但是对于这些优化建议,我们有没有想过为什么要这么做呢?这篇博文我们从 MySQL 的原理出发,来解释下为什么有这些优化建议?

本文实验环境 MySQL 5.7.25

预备知识
B+ 树索引
MySQL 的默认存储引擎 InnoDB 使用 B+ 树来存储数据的,所以在分析优化建议之前,我们有必要了解 B+ 树索引的基本原理。

上图是一个 B + 树索引示意图(B+ 树的定义可以看这里),每个节点表示一个磁盘块,也可以理解为数据库中的页。我们来分析下 B+ 树索引的查找过程,如果我要查询主键为 35 的数据,索引会怎么走呢?首先会判断 35 小于根节点 37 ,继续查询左子树,判断 35 大于 22 和 33 那么进入其右子树,找到了叶子节点 33 ,继续遍历找到了 35 ,最后取出其 data 即可。在索引的情况下,查询 35 只用了3次 IO 操作,这是非常高效的。在真实的场景下,3层的b+树可以表示上百万的数据,如果上百万的数据查找只需要三次IO,性能提高将是巨大的,如果没有索引,每个数据项都要发生一次IO,那么总共需要百万次的IO,显然成本非常非常高。上图中也是体现了只要维持树的高度足够低,IO 操作就会足够少,IO次数少,查询性能就会高。

Explain 执行计划

上图就是一个 explian 执行计划,先看看上面各个字段的含义是什么?

id: Query Optimizer 所选定的执行计划中的查询编号。
select_type: 所使用的查询类型,主要有几种查询类型:
类型名称 说明
SIMPLE 除子查询或者UNION查询之外的其他查询。
PRIMARY 子查询中的最外层查询,注意并不是主键查询。
UNION UNION语句中第二个 SELECT 开始的后面所有 SELECT,第一个 SELECT 为 PRIMARY。
DEPENDENT UNION 子查询中的 UNION,且为 UNION 中从第二个 SELECT 开始的后面所有 SELECT ,同样依赖于外部查询的结果集。
UNION RESULT UNION 中的合并结果。
SUBQUERY 子查询内层查询的第一个 SELECT,结果不依赖于外部查询结果集 。
DEPENDENT SUBQUERY 子查询内层查询的第一个 SELECT,结果依赖于外部查询结果集。
DERIVED 驱动表,就是主表
MATERIALIZED 子查询的结果被保存为虚拟临时表
UNCACHEABLE SUBQUERY 结果集无法缓存的子查询
UNCACHEABLE UNION 结果集无法缓存的 UNION 查询
table: 显示执行这一步所访问的数据库中的表的名称。
partitions: 查询分区表匹配的分区,非分区表显示 NULL 。
type: 查询表所使用的方式,类型如下:
类型名称 说明
all 全表扫描。
const 读常量,最多只有一条记录匹配,由于是常量,所以实际上只要读一次。
system 系统表,表中只有一条数据,它是特殊的 const 类型。
eq_ref 最多只会匹配一条结果,一般是通过主键或者唯一索引来访问。
ref Join 语句中被驱动表的索引查询
full_text 使用 full_text 索引
ref_or_null 与ref唯一的区别就是在使用索引查询之外再增加一个空值查询。
index_merge 查询中同时使用两个(或者多个)索引,然后对索引结果进行merge之后再读表数据。
unique_subquery 子查询中的返回结果字段组合是主键或者唯一索引
index_subquery 子查询中的返回结果字段组合是索引,但是不是主键或者唯一索引
range 索引范围扫描,经常出现在比较条件中 ,如:<, > ,BETWEEN 等
Index 全索引扫描
他们的性能由好到差依次是:system > const > eq_ref > ref > full_text > ref_or_null > unique_subquery > index_subquery > range > index_merge > index > all 。

possible_keys: 查询可能用到的索引。
key_len: 用到的索引长度。
ref: 展示将那些列或者常量与命中的索引比较。
rows: 执行这次查询扫描的行数。
filtered: 过滤行数百分比,最大值是100,当显示100时候,表示没有过滤行, rows显示了检查的估计行数,乘以过滤百分比将显示与下表连接的行数。例如,如果行数为1000,过滤条件为50.00(50%),则与下表联接的行数为1000×50%= 500。
extra: 执行查询额外的条件,详细的条件可以查看这里。
掌握了前面这些前置知识,我们来用这些知识分析下经常建议我们的那些MySQL优化建议。

为什么建议使用自增主键
当我们每次建立表的时候都在考虑是用自增主键呢?还是用 UUID 呢?但是从性能考虑我们还是建议使用自增 Id,为什么呢?主要是由于 MySQL B+ 树索引性质决定的,数据的新增是要更新索引的,也就是要更新 B+ 树。换句话说,使用自增Id 和 非自增 Id 哪种更新 B+ 树更快,成本更低,谁就是更优的选择。我们来模拟下自增 Id 插入和非自增 Id 插入情况。

自增Id 插入情况: 我们在一个已经有10条数据的 B + 数上插入2条数据,分别是10和11,我们看看树是如何变化的。

我们这里可以发现两个特点:

1、自增的数据插入影响的范围永远只有最右的子树,要么直接在子树插入节点,要么就是子树分裂,影响其父节点。

2、除了最右子树,其他子树的节点都是满的。

上面两个特点有什么影响呢?我们根据前面 B+ 树索引示意图可以知道,每个点都是一个磁盘块,操作每个节点相当于进行一次 IO,由于每次插入影响的节点只有最右子树,那么磁盘 IO 的范围就可控;最重要一点是除最右子树,其他子树的节点都是满的,这种情况,叶子节点数据的物理连续性会更好, 根据局部性原理,查询性能也会更高。

非自增 Id 插入情况:

非自增 Id 插入特点对比自增 Id 插入我们很容易就能知道:

1、插入影响节点不可控,无法预知。

2、每个子树都存在叶子节点不满的情况。

按照之前的分析思路,我们也就知道了非自增 Id 插入有什么性能劣势了。由于插入数据影响节点不可控,导致节点分裂的情况就会更频繁,节点分裂也是 IO 操作,性能自然受到影响。子树的叶子节点不满,会导致叶子节点物理连续性不好。最后如果我们是UUID的话,Id 过长,会占用节点空间,每个页能存储的节点变少,页分裂变多,性能也会受到影响。这也是为什么建议使用自增主键的原因。

为什么不要使用 select * 查询
我们经常听到查询表,只要查询自己想要的字段,不需要的字段就不要查询,严禁使用 select *,我们能想到很直观的理由就是,数据库要帮你翻译成每个字段名去查询,接着查询多余的字段会占用内存,带宽等资源。这确实是一个理由,而且这个理由很重要,但是我这里想说的是另外一个原因,覆盖索引。我之前的一篇索引文章也介绍了覆盖索引,感兴趣的同学可以点击这里。覆盖索引的意思是指查询使用联合索引覆盖了要查询的字段,这样数据库不用去进行回表,从而减少IO,提高性能。

这里我用MySQL官方给的示列数据进行一个实验,数据地址下载可以点击这里。

我选择 employees 表数据进行演示,默认数据是没有联合索引的,我们加上一个联合索引:

---employee表结构-----------
Field Type Null Key Default Extra
emp_no int(11) NO PRI NULL
birth_date date NO NULL
first_name varchar(14) NO MUL NULL
last_name varchar(16) NO NULL
gender enum('M','F') NO NULL
hire_date date NO NULL

ALTER TABLE employees.employees add Index idx_first_name_last_name (first_name,last_name);
查看该表索引情况:show index from employees.employees;

表已经成功创建了first_name 和 last_name的符合索引,我们开启 profiles 监控 SQL 执行的情况。

SET SESSION profiling = 1;
然后分别执行以下SQL

SELECT first_name,last_name FROM employees.employees WHERE first_name='Eric';
SELECT * FROM employees.employees WHERE first_name='Eric';
查看Profiles;

这里我们看到使用 select * 比 select 字段慢了4倍左右,为什么会这样呢?我们看看执行计划。

我们看到两者的执行计划几乎一样,只有 Extra 有区别,使用字段的 Extra 显示 using index,这就告诉你只使用索引就找到了想要的数据,因为你的索引就是用 first_name 和 last_name 建立的, 而 select * 它还需要查询 gender和hire_date字段(主键字段不用额外查,辅助索引指向的就是主键),所以它不能不进行回表查询其他字段,性能差异也是这里。

总结
本文从原理上分析了我们日常的两点建议,为什么建议使用自增主键?为什么不建议使用 select * 查询?其实主要最终的原因还是和索引相关,既然我们用索引来提高我们的效率就要充分利用它,下面是知识点总结:

1、B+ 树查询的效率高低是受其树高影响,树的高度越低,查询IO次数越少,性能相对也就越高。

2、执行计划的类型由好到差依次是:system > const > eq_ref > ref > full_text > ref_or_null > unique_subquery > index_subquery > range > index_merge > index > all 。

3、自增主键的好处就是连续,插入维护的成本相对较低,同时子树的叶子节点大部分是满节点,物理连续性好,查询性能更优。

4、UUID 主键长度过长,导致单个子节点存储的主键变少,更平凡的出发页分裂,影响性能,这也是为什么建议索引不要太长的原因。

5、覆盖索引是很好的优化技巧,可以让查询直接通过索引返回数据,而不用回表,减少IO,提升性能。

参考
1、https://dev.mysql.com/doc/refman/5.7/en/explain-output.html

2、https://dev.mysql.com/doc/refman/5.7/en/explain-output.html#explain-join-types

3、http://blog.codinglabs.org/articles/theory-of-mysql-index.html

原文地址https://my.oschina.net/luozhou/blog/4289527

上一篇:C# 数据操作系列 - 15 SqlSugar 增删改查详解


下一篇:ASP.NET 开源导入导出库Magicodes.IE 完成Csv导入导出