1.什么是慢查询
MySQL的慢查询,全名是慢查询日志,是MySQL提供的一种日志记录,用来记录在MySQL中响应时间超过阀值的语句。
具体环境中,运行时间超过long_query_time值的SQL语句,则会被记录到慢查询日志中。
long_query_time的默认值为10,意思是记录运行10秒以上的语句。
默认情况下,MySQL数据库并不启动慢查询日志,需要手动来设置这个参数。
如果不是调优需要的话,一般不建议启动该参数,因为开启慢查询日志会或多或少带来一定的性能影响。
此外,慢查询日志支持将日志记录写入文件和数据库表。
2.MySQL 慢查询的相关参数解释:
- slow_query_log:是否开启慢查询日志,1表示开启,0表示关闭。
- log-slow-queries :旧版(5.6以下版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
- slow-query-log-file:新版(5.6及以上版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
- long_query_time:慢查询阈值,当查询时间多于设定的阈值时,记录日志。
- log_queries_not_using_indexes:未使用索引的查询也被记录到慢查询日志中(可选项)。
- log_output:日志存储方式。log_output=‘FILE‘表示将日志存入文件,默认值是‘FILE‘。log_output=‘TABLE‘表示将日志存入数据库。
- 那么如何进行慢查询日志的配置呢?默认情况下slow_query_log的值为OFF,表示慢查询日志是禁用的,可以通过设置slow_query_log的值来开启
如下所示:
如何开启慢查询:
1)在服务器上找到mysql的配置文件my.cnf , 然后再mysqld模块里追加一下内容。(需要重启)
1 vim my.cnf 2 [mysqld] 3 slow_query_log = ON 4 #定义慢查询日志的路径 5 slow_query_log_file = /tmp/slow_querys.log 6 #定义查过多少秒的查询算是慢查询,我这里定义的是1秒,5.6之后允许设置少于1秒,例如0.1秒 7 long_query_time = 1 8 #用来设置是否记录没有使用索引的查询到慢查询记录,默认关闭,看需求开启,会产生很多日志,可动态修改 9 #log-queries-not-using-indexes 10 管理指令也会被记录到慢查询。比如OPTIMEZE TABLE, ALTER TABLE,默认关闭,看需求开启,会产生很多日志,可动态修改 11 #log-slow-admin-statements
2)通过修改mysql的全局变量来处理(不需要重启,不过重启后失效)
1 #开启慢查询功能,1是开启,0是关闭 2 mysql> set global slow_query_log=1; 3 #定义查过多少秒的查询算是慢查询,我这里定义的是1秒,5.6之后允许设置少于1秒,例如0.1秒 4 mysql> set global long_query_time=1; 5 #定义慢查询日志的路径 6 mysql> set global slow_query_log_file=‘/tmp/slow_querys.log‘; 7 #关闭功能:set global slow_query_log=0; 8 然后通过一下命令查看是否成功 9 mysql> show variables like ‘long%‘; 10 mysql> show variables like ‘slow%‘; 11 #设置慢查询记录到表中 12 #set global log_output=‘TABLE‘;
使用set global slow_query_log=1开启了慢查询日志只对当前数据库生效,MySQL重启后则会失效。如果要永久生效,就必须修改配置文件my.cnf(其它系统变量也是如此)
set global slow_query_log=1;
my.cnf要增加或修改参数slow_query_log 和slow_query_log_file,如下所示:
1 slow_query_log = 1 2 slow_query_log_file = /tmp/mysql_slow.log
slow_query_log_file这个参数用于指定慢查询日志的存放路径,缺省情况是host_name-slow.log文件。
+---------------------+-----------------------------------------------+
| Variable_name | Value |
+---------------------+-----------------------------------------------+
| slow_query_log_file | /home/WDPM/MysqlData/mysql/DB-Server-slow.log |
+---------------------+-----------------------------------------------+
1 row in set (0.00 sec)
慢查询日志内容及字段意义
tail -f slow_query.log # Time: 110107 16:22:11 # User@Host: root[root] @ localhost [] # Query_time: 9.869362 Lock_time: 0.000035 Rows_sent: 1 Rows_examined: 6261774 SET timestamp=1294388531; select count(*) from ep_friends; -------------------------------------------------------------------------------------------------------------- - Time:SQL查询执行的时间 - User@Host:执行SQL查询的连接信息,用户和连接IP - Query_time,这条SQL执行的时间,越长则越慢 - Lock_time,在MySQL服务器阶段(不是在存储引擎阶段)等待表锁时间 - Rows_sent,查询返回的行数 - Rows_examined,查询检查的行数,越长就当然越费时间 SET timestamp:设置时间戳,没有实际意义,只是和Time对应执行时间。 最后,执行的sql语句记录信息,因为sql可能会很长。
开启了慢查询日志后,什么样的SQL才会记录到慢查询日志里面呢?
这个是由参数long_query_time控制
- 默认情况下long_query_time的值为10秒,可以使用命令修改,也可以在my.cnf参数里面修改。
- 关于运行时间正好等于long_query_time的情况,并不会被记录下来;也就是说,在mysql源码里是判断大于long_query_time,而非大于等于。
- 从MySQL 5.1开始,long_query_time开始以微秒记录SQL语句运行时间,之前仅用秒为单位记录。如果记录到表里面,只会记录整数部分,不会记录微秒部分
- 注意,某些情况下当你使用局部设置的方式时可能会出现如下情况,来看下面:
+-----------------+-----------+ | Variable_name | Value | +-----------------+-----------+ | long_query_time | 10.000000 | +-----------------+-----------+ set global long_query_time=4; # 设置当前long_query_time时间 show variables like ‘long_query_time‘; # 再次查看long_query_time时间
- 如上所示,修改了变量long_query_time,但是查询变量long_query_time的值还是10,难道没有修改到呢?注意:使用命令 set global long_query_time=4修改后,需要重新连接或新开一个会话才能看到修改值。用show variables like ‘long_query_time‘查看只是当前会话的变量值。也可以不用重新连接会话,而是用show global variables like ‘long_query_time‘;。
- log_output参数指定慢查询日志的存储方式:
- l log_output=‘FILE‘表示将日志存入文件,默认值也是‘FILE‘。
- l log_output=‘TABLE‘表示将日志存入数据库,这样日志信息就会被写入到mysql.slow_log表中。同时也支持两种日志存储方式,配置的时候以逗号隔开即可,如:log_output=‘FILE,TABLE‘。
- 日志记录到系统的专用日志表中,要比记录到文件耗费更多的系统资源。因此对于需要启用慢查询日志,又需要能够获得更高的系统性能,那么建议优先记录到文件。
如何解决慢查询问题
要解决慢查询,就是优化这些查询缓慢的语句,或是重新组织自己的数据。
重新组织数据的表现形式是分表。对于成熟的业务系统而言,分表的代价是极高的。所以如何组织一张表仍然是建表的重要决策。
因此,优化语句才是解决慢查询的基本方法。
优化语句
1)索引。为合适的列添加合适的索引往往能有效解决问题。
关于索引有一个需要注意的地方,即,使用LIKE关键字时,如果匹配字符串的第一个字符为‘%‘,那么索引不会起作用。‘%‘必须不能再第一个位置。
2)通过explain命令获取语句的执行计划,以了解到MySQL是否使用了预期的索引来帮助查询。
explain用于显示mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。在select语句前加上explain就可以了。
例如:explain select surname,first_name form a,b where a.id=b.id
3)分解关联查询。
将一个大的查询分解为多个小查询。尽量多的采用单表查询。多表的连接可以分解到应用中去做。
4)分页。
分页是一个常见的情景。分页通常会使用limit加上偏移量的方法实现,同时加上合适的order by 子句。
如果有对应的索引,通常效率会不错,否则MySQL需要做大量的文件排序操作。
但是,当偏移量非常大的时候,例如可能是limit 10000,20这样的查询,MySQL需要查询10020条,但是只返回最后20条,这样的代价很高。
优化此类查询的一个最简单的方法是尽可能的使用索引覆盖扫描,而不是查询所有的列。然后根据需要做一次关联操作再返回所需的列。
对于偏移量很大的时候这样做的效率会得到很大提升。
select id,title from collect limit 10000,10;
select * from a where id in (select id from b );
select * from a where exists(select * from b where b.id=a.id );
5)exists查询的弊端
由exists执行原理可知,a表(外表)使用不了索引,必须全表扫描,因为是拿a表的数据到b表查。而且必须得使用a表的数据到b表中查(外表到里表中),顺序是固定死的。