老刘是即将找工作的研究生,自学大数据开发,一路走来,感慨颇深,网上大数据的资料良莠不齐,于是想写一份详细的大数据开发指南。这份指南把大数据的【基础知识】【框架分析】【源码理解】都用自己的话描述出来,让伙伴自学从此不求人。 大数据开发指南地址如下:
github:https://github.com/BigDataLaoLiu/BigDataGuide 码云:https://gitee.com/BigDataLiu/BigDataGuide 您的点赞是我持续更新的动力,禁止白嫖,看了就要有收获,有需要联系公众号:努力的老刘。
今天给大家分享的是大数据开发基础部分MySQL的索引篇,这篇内容大家一定要跟着练习,不然等于白看!
索引是什么?
在日常开发中常常会遇到查询比较慢的情况,我们的第一反应就是给它加索引,那索引是什么呢?官方介绍索引是帮助MySQL高效获取数据的数据结构,数据库索引好比是一本书的目录,能加快数据库的数据查询速度。
那索引的好处有哪些呢?
它可以提高数据检索的效率,降低数据库的成本。 通过索引对数据进行排序,降低数据排序的成本,降低CPU消耗。
任何事情都会有正反面,索引也不例外,那索引的坏处有哪些呢?
索引会占据磁盘空间。 索引虽然会提高查询效率,但会降低更新表的效率。 MySQL不仅要保存数据,还有保存或者更新对应的索引文件。
那是不是有坏处就不用索引呢?
当然不是,索引必须拿来。一般来说索引本身也很大,不可能全部存储在内存中,因此索引往往是存储在磁盘文件上的文件中。
索引的分类
单列索引: 普通索引:add unique 唯一索引:索引列中的值必须是唯一的,但允许有空值,add unique index 主键索引:是一种特殊的唯一索引,不允许有空值
组合索引: 在表中的多个字段组合上创建的索引 组合索引的使用,需要遵循最左前缀原则 一般情况下,建议使用组合索引代替单列索引(主键索引除外)
全文索引:只有在MyIsam、InnoDB上才能使用,而且只能在char、varchar、text类型字段上使用全文索引。 空间索引:一般用不到
索引的使用
创建索引
CREATE INDEX index_name ON table(column(length)) ;
删除索引
DROP INDEX index_name ON table;
查看索引
SHOW INDEX FROM table_name \G;
索引原理(重点)
索引的存储结构
说索引原理之前,先说说索引存储结构。索引是在存储引擎中实现的,也就是不同的存储引擎,会使用不同索引。其中MyIsam和InnoDB只支持B+数索引,老刘先不讲B树和B+树的概念,大家自行搜索。
接下来就是索引的重点,搞清楚了非聚集索引和聚集索引,索引原理就差不多了!
非聚集索引(MyIsam)
它说的是B+树叶子节点只会存储数据行(数据文件)的指针,即数据和索引不在一起。它包含主键索引和辅助索引,都会存储指针的值。
主键索引
MyIsam中B+树叶子节点存储的数据是数据的指针值,通过索引树找到对应的索引,然后通过索引中存储的记录指针,找到数据文件中对应的记录。
辅助索引(次要索引)
在MyIsam中,主索引和辅助索引在结构上没有任何区别,只是主索引要求key是唯一的,而辅助索引的key是可以重复的。
聚集索引(InnoDB)
主键索引(聚集索引)的叶子节点会存储数据行,也就是说数据和索引在一起。 辅助索引只会存储主键值。 如果没有主键,则使用唯一索引建立聚集索引;如果没有唯一索引,MySQL会按照一定规则创建聚集索引。
主键索引
在InnoDB中要求表必须有主键(MyIsam可以没有),如果没有显示指定,则MySQL系统会自动选择一个可以唯一标识数据记录的列作为主键,如果不存在这种列,则MySQL自动为InnoDB表生成一个隐含字段作为主键类型为长整形。
上图是 InnoDB 主索引(同时也是数据文件)的示意图,可以看到叶节点包含了完整的数据记录,这种索引叫做聚集索引。因为 InnoDB 的数据文件本身要按主键聚集。
辅助索引
InnoDB 的辅助索引 data 域存储相应记录主键的值而不是地址。换句话说,InnoDB 的所有辅助索引都引用主键作为 data 域。
聚集索引这种实现方式使得按主键的搜索十分高效,但是辅助索引搜索需要检索两遍索引:首先检索辅助索引获得主键,然后用主键到主索引中检索获得记录,即回表查询。
select * from user where name='Alice'
根据这段SQL语句,会进行回表查询,检索两次,才会获得记录。回表性能比较低,尽量做到不回表。
索引使用场景
介绍完索引的相关概念后,老刘必须给讲讲哪些场景下可以使用场景,大家记几个就行。
哪些情况下需要使用索引
主键自动建立唯一索引 频繁作为查询条件的字段应该创建索引 多表关联查询中,关联字段应该创建索引 查询中排序的字段应该创建索引 频繁查询字段 查询中统计或者分组字段应该创建索引
哪些情况下不需要创建索引
表记录太少,没必要创建索引 经常进行增删改的表 频繁更新的字段 where条件里使用频率不高的字段
为什么推荐多使用组合索引?
为了节省mysql索引存储空间以及提升搜索性能,能使用组合索引就不使用单列索引。
使用组合索引需要遵循最左前缀原则,什么是最左前缀原则?
前缀索引:where like a%
通配符%在右边不在左边,什么是前缀索引呢?当索引是很长的字符序列时,这个索引会很慢,占用内存。如果以name为索引,当name对应的字符串很长时,就可以用前缀索引where like a%。
从左到右都有索引,不能断,直到遇到范围查询<,>,between。
索引失效
我们进行数据查询很慢时,可能就会存在索引失效的情况。遇到这种情况不要怕,我们可以使用explain命令对select语句的执行计划进行分析。explain出来的信息有10列,分别是
id、select_type、table、type、possible_keys、key、key_len、ref、rows、Extra
下面老刘就使用一个案例进行这些参数进行说明,大家可以跟着老刘一起练习。这10个参数老刘只讲重要的,其他的大家自行学习。
--用户表
create table tuser(
id int primary key,
loginname varchar(100),
name varchar(100),
age int,
sex char(1),
dep int,
address varchar(100)
);
--部门表
create table tdep(
id int primary key,
name varchar(100)
);
--地址表
create table taddr(
id int primary key,
addr varchar(100)
);
--创建普通索引
mysql> alter table tuser add index idx_dep(dep);
--创建唯一索引
mysql> alter table tuser add unique index idx_loginname(loginname);
--创建组合索引
mysql> alter table tuser add index idx_name_age_sex(name,age,sex);
--创建全文索引
mysql> alter table taddr add fulltext ft_addr(addr);
id
每个SELECT语句都会自动分配的一个唯一标识符,表示查询中操作表的顺序,有四种情况:
id相同:执行顺序由上到下 id不同:如果是子查询,id号会自增,id越大,优先级越高。 id相同的不同的同时存在 id列为null的就表示这是一个结果集,不需要使用它来进行查询。
select_type(重要)
表示查询类型,主要用于区别普通查询、联合查询(union、union all)、子查询等复杂查询。
simple,表示不需要union操作或者不包含子查询的简单select查询。
primary,一个需要union操作或者含有子查询的select,位于最外层的单位查询的select_type即为primary,并且只有有一个 。
先执行括号里面的sql语句,再执行外面的sql语句,内层的查询就是subquery。
subquery,除了from字句中包含的子查询外,其他地方出现的子查询都可能是subquery。
dependent subquery,表示这个subquery的查询要受到外部表查询的影响。
union,它连接的两个select查询,第一个查询是PRIMARY,除了第一个表外,第二个以后的表select_type都是union。
dependent union,它与union一样,出现在union 或union all语句中,但是这个查询要受到外部查询的影响。
union result,它包含union的结果集,在union和union all语句中,因为它不需要参与查询,所以id字段为null。
derived,from字句中出现的子查询,也叫做派生表,其他数据库中可能叫做内联视图或嵌套select。
可以理解为就是from字句后面出现子查询,取个别名,叫派生表。
table
显示查询的表名,如果查询使用了别名,那么这里显示的是别名。
type(重要)
它会显示很多参数类型,性能依次从好到坏显示为这样:
system,const,eq_ref,ref,fulltext,ref_or_null,unique_subquery,index_subquery,range,index_merge,index,ALL
除了all之外,其他的type都可以使用到索引,除了index_merge之外,其他的type只可以用到一个索引,优化器会选用最优索引一个,最少要索引使用到range级别。 老刘只讲这个重要的,有些内容也没搞清楚。
system
可遇不可求,表中只有一行数据或是空表。
const(重要)
使用唯一索引或主键,返回记录一定是1行记录的等值where条件。
eq_ref(重要)
一般是连接字段主键或者唯一性索引。
此类型通常出现在多表的 join 查询,表示对于前表的每一个结果,都只能匹配到后表的一行结果。并且查询的比较操作通常是 '=',查询效率较高。
ref(重要)
针对非唯一性索引,使用等值(=)查询非主键。或者是使用了最左前缀规则索引的查询。
range(重要)
索引范围扫描,常见于使用>,<,is null,between ,in ,like等运算符的查询中。
index(重要)
关键字:条件是出现在索引树中的节点的,可能没有完全匹配索引。
索引全表扫描,把索引从头到尾扫一遍,常见于使用索引列就可以处理不需要读取数据文件的查询、可以使用索引排序或者分组的查询。
all(重要)
这个就是全表扫描数据文件,然后再在server层进行过滤返回符合要求的记录。
possible_keys、key、key_len、ref、rows就不讲了,直接讲最后一个extra。
extra
这个列包含不适合在其他列中显示单十分重要的额外的信息,这个列可以显示的信息非常多,有几十种,这里写常见的几种。
no tables used
表示不带from字句的查询,使用not in()形式子查询或not exists运算符的连接查询,这种叫做反连接。一般连接查询是先查询内表,再查询外表,反连接就是先查询外表,再查询内表。
using filesort(重要)
排序时无法使用到索引时,就会出现这个,常见于order by和group by语句中。
using index(重要)
查询时不需要回表查询,直接通过索引就可以获取查询的数据。
using where(重要)
通常type类型为all,记录并不是所有的都满足查询条件,通常有where条件,并且一般没索引或者索引失效。
讲完分析索引的参数后,现在老刘讲一些索引失效的情况,大家一定要用心记住,老刘也记了好几遍!
索引失效分析
一般SQL语句查询采用全值匹配,资料上叫全值匹配我最爱。
最左前缀法则,对于组合索引而言,查询从索引的最左前列开始,并且不能跳过索引中的列不然就会失效。
现在举一个带头的索引断(带头索引生效,其他索引失效)的例子:
不要在索引上做计算,例如计算、函数、自动/手动类型转换,不然会导致索引失效而转向全表扫描。
范围条件右边的列失效,就是不能继续使用索引中范围条件(bettween、<、>、in等)右边的列。
尽量使用覆盖索引(只查询索引的列),也就是索引列和查询列一致,减少select *。
索引字段上不要使用不等,索引字段上使用(!= 或者 < >)判断时,会导致索引失效而转向全表扫描。
主键索引字段上不可以判断null,索引字段上使用 is null 判断时,可使用索引。
索引字段使用like以通配符开头(‘%字符串’)时,会导致索引失效而转向全表扫描。like要以通配符结束相当于范围查找,索引不会失效。
索引字段是字符串时,要加单引号,否则会导致索引失效而转向全表扫描。
索引字段不要使用or,否则会导致索引失效而转向全表扫描。
总结
这篇内容大家一定要跟着老刘练习,光看不练等于白学!尽管当前水平可能不及各位大佬,但老刘会努力变得更加优秀,让各位小伙伴自学从此不求人!
如果有相关问题,联系公众号:努力的老刘。文章都看到这了,点赞关注支持一波!