MySQL优化

2022-10-31 09:33:42

SQL优化

插入数据时的sql优化（insert优化）

1.执行insert语句时，如果需要插入大量数据。需采用批量插入的方式。
(如果是大量数据我们需要插入，选择了单条数据的插入方式，每一次insert我们都需要跟数据库建立连接，进行网络传输。这样太损耗其性能，效率低下。所以大量数据插入我们采用批量插入的方式传输数据。)

#notes:就算是批量插入建议每次插入的数据在500-1000条是合适的
insert into tb_test values(1,'tom'),(2,'cat'),(3,'jerry');

2.进行手动提交事务

#执行事务之前先开启事务
start transaction；
insert into tb_test values(1,'tom'),(2,'cat'),(3,'jerry');
insert into tb_test values(4,'tom'),(5,'cat'),(6,'jerry');
insert into tb_test values(7,'tom'),(8,'cat'),(9,'jerry');
#sql执行完毕后，手动提交事务
commit;

3.主键顺序插入

主键乱序插入：6，1，4，3，8，9，22，15，2，5
主键顺序插入：1，2，3，4，5，7，9，10，11，25

如果我们想要往表中插入大批量级别的数据（百万级），这个时候我们使用insert批量插入的效率不高。
4.大批量级数据使用load指令来替换insert插入数据。
操作如下：

load指令原理

（插入百万级数据load指令只需要10-25多秒，而如果使用insert则需要十多分钟。）

主键优化

在innoDB存储引擎中，表数据都是根据主键顺序组织存放的。这种存储方式称为索引组织表。(index organized table IOT)

页分裂：
页可以为空，也可以填充一半，也可以填充100%。每个页包含了2-N行数据（如果一行数据过大，会行溢出），根据主键排列。
页合并：
当删除一行记录时，实际上记录并没有被物理删除，只是记录被标记（flaged）为删除并且它的空间变得允许被其他记录声明使用。当页中删除的记录达到页的阈值（merge-threshold（默认页为50%）），InnoDB会开始寻找最靠近页（前或后）看看是否可以将两个页合并以优化空间。

主键设计原则

满足业务需求情况下，尽量降低主键长度。
插入数据时，尽量选择顺序插入，选择使用auto_increment自增主键。
尽量不要使用uuid做主键或是其他自然主键。（容易造成页分裂，此外uuid为无序的查找起来比较费时，消耗内存。）
业务操作尽量避免对主键修改。

order by排序操作优化

1.Using filesort：通过表的索引或全表扫描，，读取满足条件的数据行，然后在排序缓冲区sort buffer完成排序操作，所有不是通过索引直接返回排序结果的排序都叫FileSort排序。
2.Using index：通过有序索引顺序扫描直接返回有序数据，这种情况称之为Using index,不需要额外排序，操作效率高。

为啥会出现Extra->Using filesort? 因为这个字段没有索引。

默认年纪和号码都是升序时的叶子节点

年龄是升序号码为降序式的叶子节点

排序设计原则

根据排序字段建立合适的索引，多字段排序时，也遵循最左匹配法则。
尽量使用覆盖索引。
多字段排序，一个升序一个降序，此时需要注意组合索引在创建时的规则（ASC/DES）。
如果不可避免出现filesort，大数据量排序时，可以适当增大排序缓冲区的大小（默认256k）。

group by分组优化

分组设计原则

在分组操作时，可以通过索引来提高效率。
分组操作时，索引的使用也是满足最左前缀法则的。

limit优化（分页）

加入我们有张表里有500万条数据，一个常见又非常头疼的场景为
limit 2000000, 10;此时需要MySQL排序前2000010记录，但仅仅返回2000000-2000010的记录，其他记录则丢弃，查询排序的代价非常耗时。

解决方式：采用覆盖索引+子查询的方式去提高查询效率。

count优化

note：count不计数null值。

MyISAM引擎把一个表的总行数存在了磁盘上，因此执行count()的时候会直接返回这个数，效率很高。（前提条件：后面不能有where条件）
InnoDB引擎就麻烦很多，它执行count()，许哟啊一行行的从引擎里边读出来，然后累积计数。
优化思路：自己计数。

count几种用法

用法：count(*)、count(主键)、count(字段)、count(1)

update优化

InnoDB是针对索引加的锁，不是针对记录加的锁，并且该索引不能失效，否则会从行锁升级为表锁。一旦升级为表锁并发性能就会降低。

码农公寓