group by的一些优化方案

从哪些方向去优化呢?

  • 方向1: 既然它默认会排序,我们不给它排是不是就行啦。
  • 方向2:既然临时表是影响group by性能的X因素,我们是不是可以不用临时表?

我们一起来想下,执行group by语句为什么需要临时表呢?group by的语义逻辑,就是统计不同的值出现的个数。如果这个这些值一开始就是有序的,我们是不是直接往下扫描统计就好了,就不用临时表来记录并统计结果啦?

  • group by 后面的字段加索引
  • order by null 不用排序
  • 尽量只使用内存临时表
  • 使用SQL_BIG_RESULT

5.1 group by 后面的字段加索引

如何保证group by后面的字段数值一开始就是有序的呢?当然就是加索引啦。

我们回到一下这个SQL

select city ,count(*) as num from staff where age= 19 group by city;
复制代码

它的执行计划

group by的一些优化方案

如果我们给它加个联合索引idx_age_city(age,city)

alter table staff add index idx_age_city(age,city);
复制代码

再去看执行计划,发现既不用排序,也不需要临时表啦。 group by的一些优化方案

加合适的索引是优化group by最简单有效的优化方式。

5.2 order by null 不用排序

并不是所有场景都适合加索引的,如果碰上不适合创建索引的场景,我们如何优化呢?

如果你的需求并不需要对结果集进行排序,可以使用order by null

select city ,count(*) as num from staff group by city order by null
复制代码

执行计划如下,已经没有filesort

group by的一些优化方案

5.3 尽量只使用内存临时表

如果group by需要统计的数据不多,我们可以尽量只使用内存临时表;因为如果group by 的过程因为数据放不下,导致用到磁盘临时表的话,是比较耗时的。因此可以适当调大tmp_table_size参数,来避免用到磁盘临时表

5.4 使用SQL_BIG_RESULT优化

如果数据量实在太大怎么办呢?总不能无限调大tmp_table_size吧?但也不能眼睁睁看着数据先放到内存临时表,随着数据插入发现到达上限,再转成磁盘临时表吧?这样就有点不智能啦。

因此,如果预估数据量比较大,我们使用SQL_BIG_RESULT 这个提示直接用磁盘临时表。MySQl优化器发现,磁盘临时表是B+树存储,存储效率不如数组来得高。因此会直接用数组来存

示例SQl如下:

select SQL_BIG_RESULT city ,count(*) as num from staff group by city;
复制代码

执行计划的Extra字段可以看到,执行没有再使用临时表,而是只有排序 group by的一些优化方案

执行流程如下:

  1. 初始化 sort_buffer,放入city字段;
  2. 扫描表staff,依次取出city的值,存入 sort_buffer 中;
  3. 扫描完成后,对 sort_buffer的city字段做排序
  4. 排序完成后,就得到了一个有序数组。
  5. 根据有序数组,统计每个值出现的次数。

6. 一个生产慢SQL如何优化

最近遇到个生产慢SQL,跟group by相关的,给大家看下怎么优化哈。

表结构如下:

CREATE TABLE `staff` (
  `id` bigint(11) NOT NULL AUTO_INCREMENT COMMENT '主键id',
  `id_card` varchar(20) NOT NULL COMMENT '身份证号码',
  `name` varchar(64) NOT NULL COMMENT '姓名',
  `status` varchar(64) NOT NULL COMMENT 'Y-已激活 I-初始化 D-已删除 R-审核中',
  `age` int(4) NOT NULL COMMENT '年龄',
  `city` varchar(64) NOT NULL COMMENT '城市',
  `enterprise_no` varchar(64) NOT NULL COMMENT '企业号',
  `legal_cert_no` varchar(64) NOT NULL COMMENT '法人号码',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=15 DEFAULT CHARSET=utf8 COMMENT='员工表';
复制代码

查询的SQL是这样的:

select * from t1 where status = #{status} group by #{legal_cert_no}

作者:捡田螺的小男孩
链接:https://juejin.cn/post/7053966777088213005
来源:稀土掘金
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
上一篇:<LeetCode|数据库>175.组合两个表


下一篇:pandas_profiling 探索性数据分析(EDA)工具