先说一下背景
有一张条数据量的财务流水表,未做分库分表,使用limit关键字来进行分页查询,未做优化前常规查询需要耗时16sms(execution:16sms,fetching:ms),下面我将一步一步讲解如何做优化,使得优化后的SQL能在耗时ms(execution:ms,fetching:ms)内查询出数据。
那么该如何操作呢?
查询条件放到子查询中,子查询只查主键ID,然后使用子查询中确定的主键关联查询其他的属性字段;
原理:减少回表操作
前言
首先说明一下MySQL的版本:
表结构:
id:自增主键
val:字段上建立非唯一索引
然后批量插入大量数据,共计万条
由于分页采用limit关键字,当limitoffsetrows中的offset很大时,表扫描范围相应的增大,这时会出现效率问题:
这里我们可以改写一下这条SQL脚本,改写如下:
通过查询结果可以看到:结果数据是一样的,耗时相差也是很明显。
上面的结果到底是怎么回事呢?我们看一下
select*fromtestwhereval=4limit,5;
的查询过程:
查询到索引叶子节点数据。根据叶子节点上的主键值去聚簇索引上查询需要的全部字段值。类似于下面这张图:
根据上图描述,执行完这条SQL需要查询次索引节点,查询次聚簇索引的数据,最后再将结果过滤掉前条,取出最后5条。MySQL耗费了大量随机I/O在查询聚簇索引的数据上,而有次随机I/O查询到的数据是不会出现在结果集当中的。
肯定会有人问:既然一开始是利用索引的,为什么不先沿着索引叶子节点查询到最后需要的5个节点,然后再去聚簇索引中查询实际数据。这样只需要5次随机I/O,类似于下面图片的过程:
其实我也想问这个问题。
MySQL必知必会京东月销量好评率98%无理由退换京东配送官方店¥38.6购买证实
下面我们实际操作一下来证实上述的推论:
为了证实
select*fromtestwhereval=4limit,5
是扫描个索引节点和个聚簇索引上的数据节点,我们需要知道MySQL有没有办法统计在一个sql中通过索引节点查询数据节点的次数。我先试了Handler_read_*系列,很遗憾没有一个变量能满足条件。
我只能通过间接的方式来证实:
InnoDB中有bufferpool。里面存有最近访问过的数据页,包括数据页和索引页。所以我们需要运行两个sql,来比较bufferpool中的数据页的数量。预测结果是运行
select*fromtestainnerjoin(selectidfromtestwhereval=4limit,5);
之后,bufferpool中的数据页的数量远远少于
select*fromtestwhereval=4limit,5;
对应的数量,因为前一个sql只访问5次数据页,而后一个sql访问次数据页。
select*fromtestwhereval=4limit,5
可以看出,目前bufferpool中没有关于test表的数据页。
可以看出,此时bufferpool中关于test表有个数据页,个索引页。
select*fromtestainnerjoin(selectidfromtestwhereval=4limit,5);
为了防止上次试验的影响,我们需要清空bufferpool,重启mysql。
mysqladminshutdown/usr/local/bin/mysqld_safe
运行sql:
如此我们可以看明显的看出两者的差别:第一个sql加载了个数据页到bufferpool,而第二个sql只加载了5个数据页到bufferpool。符合我们的预测。也证实了为什么第一个sql会慢:读取大量的无用数据行(),最后却抛弃掉。
然而这会造成一个问题:加载了很多热点不是很高的数据页到bufferpool,会造成bufferpool的污染,占用bufferpool的空间。遇到的问题为了在每次重启时确保清空bufferpool,我们需要关闭innodb_buffer_pool_dump_at_shutdown和innodb_buffer_pool_load_at_startup,这两个选项能够控制数据库关闭时dump出bufferpool中的数据和在数据库开启时载入在磁盘上备份bufferpool的数据。