Mysql千万级数据快速分页查询方案

文章目录

 

实际应用场景说明

服务器配置 : 阿里云 2核4G mysql服务器
生产场景 : 将mysql数据库中的文章数据进行批量化处理更新
问题详情: 当分页数过大时查询速度很慢
解决方法: 使用了between and 的方式来加快了查询速度

1.limit方法的局限性

select * from articles limit 100,500
> 查询0.06秒
  • 1
  • 2
  • limit是最常用的分页方法,它在执行过程中,相当于先遍历了前100个,然后取了第100到600个,舍弃了前100个.但是limit仅适用于小数据范围内的分页查询 小数据

    select * from articles limit 170500,500

    查询 193s

  • 当查询170500开始的500条数据时,因为要先查询前170500条数据,数据内容庞大,所以查询很慢

2.通过主键id过滤的方法

select * from articles where id >(select id from articles limit 170500,1) limit 500
> 查询 2.5s
  • 1
  • 2
  • 这种方法的好处是首先通过id索引快速定位到了分页数据的起始位置(避免了全文检索),并且用limit 方法快速获取了从起始位置往后的500个数据。

3.between and

select * from articles where id between (select id from articles limit 170000,1) and (select id from articles limit 170500,1)
> 查询 2s
  • 1
  • 2
  • 最优方法between and 前一种方法相当于是先利用id索引的优势快速定位到了分页的起始位置,然后往后截取了500条数据.between and的方法相当于也是利于id索引的优势,但是同时定位了分页的起始和终止的位置,截取了中间的信息,因此速度会更快.

Mysql千万级数据快速分页查询方案

上一篇:使用PowerDesigner进行数据库设计并直接把设计好的表导出相应的建表语句


下一篇:利用未公开API获取终端会话闲置时间(Idle Time)和登入时间(Logon Time)