MySQL索引原理

2023-01-07 19:21:54

1. 索引

1.1 索引概述

MySQL官方对索引的定义为:索引(index)是帮助MySQL高效获取数据的数据结构(有序)。

在数据之外，数据库系统还维护者满足特定查找算法的数据结构，这些数据结构以某种方式引用(指向)数据，这样就可以在这些数据结构上实现高级查找算法，这种数据结构就是索引。

如下面的示意图所示 :

左边是数据表，一共有两列七条记录，最左边的是数据记录的物理地址(注意逻辑上相邻的记录在磁盘上也并不是一定物理相邻的)。

为了加快Col2的查找，可以维护一个右边所示的二叉查找树，每个节点分别包含索引键值和一个指向对应数据记录物理地址的指针，这样就可以运用二叉查找快速获取到相应数据。

一般来说索引本身也很大，不可能全部存储在内存中，因此索引往往以索引文件的形式存储在磁盘上。索引是数据库中用来提高性能的最常用的工具。

磁盘IO和预读

磁盘读取数据靠的是机械运动，每次读取数据花费的时间可以分为寻道时间、旋转延迟、传输时间三个部分；

寻道时间指的是磁臂移动到指定磁道所需要的时间，主流磁盘一般在5ms以下；
旋转延迟就是我们经常听说的磁盘转速，比如一个磁盘7200转，表示每分钟能转7200次，也就是说1秒钟能转120次，旋转延迟就是1/120/2 = 4.17ms；
传输时间指的是从磁盘读出或将数据写入磁盘的时间，一般在零点几毫秒，相对于前两个时间可以忽略不计

那么访问一次磁盘的时间，即一次磁盘IO的时间约等于5+4.17 = 9ms左右，听起来还挺不错的，但要知道一台500 -MIPS（Million Instructions Per Second）的机器每秒可以执行5亿条指令，因为指令依靠的是电的性质，换句话说执行一次IO的时间可以执行约450万条指令，数据库动辄十万百万乃至千万级数据，每次9毫秒的时间，显然是个灾难。

考虑到磁盘IO是非常高昂的操作，计算机操作系统做了一些优化，当一次IO时，不光把当前磁盘地址的数据，而是把相邻的数据也都读取到内存缓冲区内，因为局部预读性原理告诉我们，当计算机访问一个地址的数据的时候，与其相邻的数据也会很快被访问到。

每一次IO读取的数据我们称之为一页(page)。具体一页有多大数据跟操作系统有关，一般为4k或8k，也就是我们读取一页内的数据时候，实际上才发生了一次IO，这个理论对于索引的数据结构设计非常有帮助。

1.2 索引的优势劣势

优势

类似于书籍的目录索引，提高数据检索的效率，降低数据库的IO成本。
通过索引列对数据进行排序，降低数据排序的成本，降低CPU的消耗。

劣势

实际上索引也是一张表，该表中保存了主键与索引字段，并指向实体类的记录，所以索引列也是要占用空间的。
虽然索引大大提高了查询效率，同时却也降低更新表的速度，如对表进行INSERT、UPDATE、DELETE。因为更新表时，MySQL 不仅要保存数据，还要保存一下索引文件每次更新添加了索引列的字段，都会调整因为更新所带来的键值变化后的索引信息。

1.3 索引结构

索引是在MySQL的存储引擎层中实现的，而不是在服务器层实现的。所以每种存储引擎的索引都不一定完全相同，也不是所有的存储引擎都支持所有的索引类型的。MySQL目前提供了以下4种索引:

BTREE 索引 : 最常见的索引类型，大部分索引都支持 B 树索引。
HASH 索引:只有Memory引擎支持，使用场景简单。
R-tree 索引(空间索引):空间索引是MyISAM引擎的一个特殊索引类型，主要用于地理空间数据类型，通常使用较少，不做特别介绍。
Full-text (全文索引) :全文索引也是MyISAM的一个特殊索引类型，主要用于全文索引，InnoDB从 Mysql5.6版本开始支持全文索引。

MyISAM、InnoDB、Memory三种存储引擎对各种索引类型的支持

索引	InnoDB引擎	MyISAM引擎	Memory引擎
BTREE索引	yes	yes	yes
HASH 索引	no	no	Yes
R-tree 索引	no	yes	No
Full-text	5.6后yes	yes	no

平常所说的索引，如果没有特别指明，都是指B+树(多路搜索树，并不一定是二叉的)结构组织的索引。其中聚集索引、复合索引、前缀索引、唯一索引默认都是使用 B+tree 索引，统称为索引。

1.3.1BTREE索引结构

BTree又叫多路平衡搜索树，一颗m叉的BTree特性如下:

树中每个节点最多包含m个孩子。
除根节点与叶子节点外，每个节点至少有[ceil(m/2)]个孩子。
若根节点不是叶子节点，则至少有两个孩子。
所有的叶子节点都在同一层。
每个非叶子节点由n个key与n+1个指针组成，其中[ceil(m/2)-1] <= n <= m-1

以5叉BTree为例，key的数量:公式推导[ceil(m/2)-1] <= n <= m-1。所以 2 <= n <=4 。当n>4时，中间节点分裂到父节点，两边节点分裂。

演变过程如下：

插入前4个字母 C N G A

插入H，n>4，中间元素G字母向上分裂到新的节点

插入E，K，Q不需要分裂

插入M，中间元素M字母向上分裂到父节点G

插入F，W，L，T不需要分裂

插入Z，中间元素T向上分裂到父节点中

插入D，中间元素D向上分裂到父节点中。然后插入P，R，X，Y不需要分裂

最后插入S，NPQR节点n>5，中间节点Q向上分裂，但分裂后父节点DGMT的n>5，中间节点M向上分裂

到此，该BTREE树就已经构建完成了， BTREE树和二叉树相比，查询数据的效率更高，因为对于相同的数据量来说，BTREE的层级结构比二叉树小，因此搜索速度快。

1.3.1B+TREE结构

B+Tree为BTree的变种，B+Tree与BTree的区别为：

n叉B+Tree最多含有n个key，而BTree最多含有n-1个key。
B+Tree的叶子节点保存所有的key信息，依key大小顺序排列。
所有的非叶子节点都可以看作是key的索引部分。

由于B+Tree只有叶子节点保存key信息，查询任何key都要从root走到叶子。所以B+Tree的查询效率更加稳定。

1.3.2 MySQL中的B+TREE

MySql索引数据结构对经典的B+Tree进行了优化。在原B+Tree的基础上，增加一个指向相邻叶子节点的链表指针，就形成了带有顺序指针的B+Tree，提高区间访问的性能。

MySQL中的 B+Tree 索引结构示意图:

1.4 索引分类

1）单值索引 :即一个索引只包含单个列，一个表可以有多个单列索引

2）唯一索引 :索引列的值必须唯一，但允许有空值

3）复合索引 :即一个索引包含多个列

1.5 索引语法

索引在创建表的时候，可以同时创建，也可以随时增加新的索引。

准备环境：

-- 创建库
create database demo_01 default charset=utf8mb4;
use demo_01;

-- 创建表
CREATE TABLE `city` (
  `city_id` int(11) NOT NULL AUTO_INCREMENT,
  `city_name` varchar(50) NOT NULL,
  `country_id` int(11) NOT NULL,
  PRIMARY KEY (`city_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `country` (
  `country_id` int(11) NOT NULL AUTO_INCREMENT,
  `country_name` varchar(100) NOT NULL,
 PRIMARY KEY (`country_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

-- 插入数据
insert into `city` (`city_id`, `city_name`, `country_id`) values(1,'西安',1); 
insert into `city` (`city_id`, `city_name`, `country_id`) values(2,'NewYork',2); 
insert into `city` (`city_id`, `city_name`, `country_id`) values(3,'北京',1); 
insert into `city` (`city_id`, `city_name`, `country_id`) values(4,'上海',1);

insert into `country` (`country_id`, `country_name`) values(1,'China');
insert into `country` (`country_id`, `country_name`) values(2,'America');
insert into `country` (`country_id`, `country_name`) values(3,'Japan');
insert into `country` (`country_id`, `country_name`) values(4,'UK');

1.5.1 创建索引

语法：

CREATE [UNIQUE|FULLTEXT|SPATIAL] INDEX index_name [USING index_type]
ON tbl_name(index_col_name,...)

index_col_name : column_name[(length)][ASC | DESC]

示例：为city表中的city_name字段创建索引

mysql> create index idx_city_name on city(city_name);
Query OK, 0 rows affected (0.17 sec)
Records: 0  Duplicates: 0  Warnings: 0

1.5.2 查看索引

语法：

show index from table_name;

示例：

mysql> show index from city\G;
*************************** 1. row ***************************
        Table: city
   Non_unique: 0
     Key_name: PRIMARY
 Seq_in_index: 1
  Column_name: city_id
    Collation: A
  Cardinality: 4
     Sub_part: NULL
       Packed: NULL
         Null: 
   Index_type: BTREE
      Comment: 
Index_comment: 
      Visible: YES
   Expression: NULL
*************************** 2. row ***************************
        Table: city
   Non_unique: 1
     Key_name: idx_city_name
 Seq_in_index: 1
  Column_name: city_name
    Collation: A
  Cardinality: 4
     Sub_part: NULL
       Packed: NULL
         Null: 
   Index_type: BTREE
      Comment: 
Index_comment: 
      Visible: YES
   Expression: NULL
2 rows in set (0.06 sec)

1.5.3 删除索引

语法：

DROP INDEX index_name ON tbl_name;

示例：想要删除city表上的索引idx_city_name，可以操作如下:

mysql> drop index idx_city_name on city;
Query OK, 0 rows affected (0.07 sec)
Records: 0  Duplicates: 0  Warnings: 0

1.5.4 修改索引

alter table tb_name add primary key(column_list);

该语句添加一个主键，这意味着索引值必须是唯一的，且不能为NULL

alter table tb_name add unique index_name(column_list);

这条语句创建索引的值必须是唯一的(除了NULL外，NULL可能会出现多次)

alter table tb_name add index index_name(column_list);

添加普通索引，索引值可以出现多次。

alter table tb_name add fulltext index_name(column_list);

该语句指定了索引为FULLTEXT，用于全文索引

1.5.5 复合索引

创建复合索引

CREATE INDEX idx_name_email_status ON tb_seller(NAME,email,STATUS);

相当

对name 创建索引 ;
对name , email 创建了索引 ;
对name , email, status 创建了索引 ;

1.6 索引设计原则

索引的设计可以遵循一些已有的原则，创建索引的时候请尽量考虑符合这些原则，便于提升索引的使用效率，更高效的使用索引。

对查询频次较高，且数据量比较大的表建立索引。
索引字段的选择，最佳候选列应当从where子句的条件中提取，如果where子句中的组合比较多，那么应当挑选最常用、过滤效果最好的列的组合。
使用唯一索引，区分度越高，使用索引的效率越高。
索引可以有效的提升查询数据的效率，但索引数量不是多多益善，索引越多，维护索引的代价自然也就水涨船高。
使用短索引，索引创建之后也是使用硬盘来存储的，因此提升索引访问的I/O效率，也可以提升总体的访问效率。
利用最左前缀，N个列组合而成的组合索引，那么相当于是创建了N个索引，如果查询时where子句中使用了组成该索引的前几个字段，那么这条查询SQL可以利用组合索引来提升查询效率。

1.6.1 索引设计原理：

通过对磁盘IO的了解，我们需要一种数据结构让每次查找数据时把磁盘IO次数控制在一个很小的数量级，最好是常数数量级。因此一个高度可控的多路搜索树慢慢发展而来。

由于每个节点是一次io所读取的数据，也就是1024字节；如果在非叶子节点存储数值和表中的具体行，那么会导致每个节点能够存储的数据种类个数降低。无形中增加了树的高度，才能存储下所有分类的数据。

所以数据都存储在叶子节点上而不是存储在根节点或者分支中。这种存储结构可以降低树的高度，还可以使数据每次搜索的时间变得稳定。

通过上面的分析，我们知道IO次数取决于b+数的高度h，假设当前数据表的数据为N，每个磁盘块空间大小是固定的，也就是一个数据页的大小，如果每一个数据项占的空间越小，那么数据项的数量越多，也就是节点中能分的区域越多，树结构越宽广，从而可以使树的高度越低。

所以在设计索引字段时，索引字段大小要尽量的小。

1.6.2 辅助索引和聚焦索引

MySQL数据库中的B+树索引可以分为 聚集索引（clustered index）和辅助索引（secondary index）

相同点：

不管是聚集索引还是辅助索引，其内部都是B+树的形式，即高度是平衡的，叶子结点存放着所有的数据。

不同点：

聚集索引叶子节点直接存储一行数据的内容，辅助索引叶子节点中数字指向数据的具体地址。

1.6.3 聚集索引（主键索引）

InnoDB中表中数据按照主键顺序存放，聚集索引（clusteredindex）就是按照每张表的主键构造一棵B+树，同时叶子结点存放的即为整张表的行记录数据，也将聚集索引的叶子结点称为数据页。

聚集索引的这个特性决定了索引组织表中数据也是索引的一部分。同B+树数据结构一样，每个数据页都通过一个双向链表来进行链接。

如果未定义主键，MySQL会取第一个唯一索引（unique）而且只含非空列（NOT NULL）作为主键，InnoDB使用它作为聚簇索引。
如果没有这样的列，InnoDB就自己产生一个这样的ID值，它有六个字节，而且是隐藏的，使其作为聚簇索引。

由于实际的数据页只能按照一棵B+树进行排序，因此每张表只能拥有一个聚集索引。

聚集索引优点：

对主键的排序查找和范围查找速度非常快，叶子节点的数据就是用户所要查询的数据。前后数据查询有双向链表。
范围查询（range query），即如果要查找主键某一范围内的数据，通过叶子节点的上层中间节点就可以得到页的范围，之后直接读取数据页即可。

1.6.4 辅助索引（普通索引）

表中除了聚集索引外其他索引都是辅助索引（Secondary Index，也称为非聚集索引）

与聚集索引的区别：辅助索引的叶子节点不包含行记录的全部数据，叶子节点除了包含键值以外，每个叶子节点中的索引行中还包含一个书签（bookmark）。该书签用来告诉InnoDB存储引擎去哪里可以找到与索引相对应的行数据。

码农公寓