背景
报表统计类的查询是一类耗时的查询。使用场景是QPS并不大,单每个查询由于需要访问较多数据,对大量数据做处理,执行时间较长(通常秒级以上)。
分析
可以将一个大查询分成多个子查询,如果子查询需要访问的数据为整个查询的1/n,则可估计执行时间为1/n。但由于MySQL一个查询只能在单线程中执行,导致即使将一个大查询拆分成多个子查询,多个子查询执行后合并,需要时间为n*1/n=1,仍不能提升其性能。
问题的症结在于只能单线程执行。本方案提供一种引擎Multi-thread-query,让MySQL能够用多线程同时执行多个子查询。由于还要做一点合并工作,整个查询的时间将略大于n个子查询中查询时间最长的一个,即性能接近n倍。
最后一部分举了一个例子,n=3。
方案说明
1、图示
2、用户对MTQ发起查询,MTQ拆分成多个子查询向实体表发起多线程查询。
3、MTQ等待全部线程执行完成后,可以在此基础上执行其他函数操作,如count、avg、group by等。
4、需要修改SQL查询格式,子查询如何拆分,由用户在查询里面指定。
5、适用于每个子查询都是计算量大,返回结果少的情况。(若返回结果越多,合并耗时越大)
举例
以一个统计查询需求为例(数据是构造的,木有神马泄密问题)
一个正常的查询如下:
查询结果
相同机器上使用MTQ查询语法:
MTQ查询结果
可以看到,时间从3s减少为1.2s,查询结果相同,查询语句上可以直接做sum、group by操作。