公司来了一位架构师,看我用count(*)统计数据总数。
对我说,你怎么用count(*)统计数据,count(*)太慢了,要是把数据库搞垮了怎么搞,
用count(1)。吓得我赶紧换成了count(1)。
count(1)性能就比count(*)高吗?
记得有次面试时,面试官也问我类似这样的问题,mysql统计数据总数count(*)和count(1)哪个效率高?
今天来聊一聊count(1)和count(*)效率问题。
不同存储引擎的性能不一样我们不知道,Mysql常见的存储引擎有两种,MyISAM和Innodb,
在这两种存储引擎下,MySQL对于使用count(*)返回结果的流程是不一样的。
在MyISAM引擎中,每张表的总行数是存储在磁盘上,所以当执行count(*)时,是直接从磁盘拿到这个值返回,能够快速返回。但要是在后面加了where查询条件时,统计总数也不是像想象中那么快了。
在Innodb引擎中,执行count(*),需要将数据一行一行地读,再统计总数。
看到这里,不知道你有没有这样的疑问:
为什么Innodb引擎不像MyISAM引擎一样把表总记录存储起来呢?这个问题问得好,回答这个问题前,我们先了解下MVCC,
什么是MVCC全称:Multi-VersionConcurrencyControl即多版本并发控制,MVCC是一种并发控制的方法,一般在数据库管理系统中,实现对数据库的并发访问;在编程语言中实现事务内存。
MVCC在MySQLInnoDB中的实现主要是为了提高数据库并发性能,用更好的方式去处理读-写冲突,做到即使有读写冲突时,也能做到不加锁,非阻塞并发读。
就是因为要实现多版本并发控制,所以才导致Innodb不能直接存储表总记录数。
因为每个事务获取到的一致性视图都是不一样的,所以返回的数据总记录也是不一致的。
举个例子说明下:
假如有一张用户表tb_user,有三处正在查询用户的总数。
selectcount(*)fromtb_user这时候每次查到的用户数总数可能不太一样。
这是因为每个用户会根据readview存储的数据来判断哪些数据是自己可见的,哪些是不可见的。
readview当执行SQL语句查询时会产生一致性视图,即read-view,它是由查询的那一刻所有未提交事务ID组成的数组,和已经创建的最大事务ID组成的。
在这个数组中最小的事务ID被称之为min_id,
最大事务ID被称之为max_id,
而查询的数据结果就是根据read-view做对比从而得到快照。
于是就产生了以下的对比规则,这个规则就是使用当前的记录的trx_id跟read-view进行对比,规则如下:
如果落在trx_idmin_id,表示该版本是已经提交的事务生成的,由于事务已经提交所以数据是可见的
如果落在trx_idmax_id,表示该版本是由将来启动的事务生成的,是不可见的
如果落在trx_id在min_id和max_id中间(min_id=trx_id=max_id)时
要是row的trx_id在数组中,表示该版本是由还没提交的事务生成的,不可见,但是当前自己的事务是可见的;
要是row的trx_id不在数组中,表明是提交的事务生成了该版本,是可见的。
读到这,相信你已经知道Innodb引擎为什么不像MyISAM引擎一样把表总记录存储起来了吧。因为InnoDB支持事务,MyISAM不支持事务。
在执行count(*)操作的时候还是做了优化的。
mysql对count(*)做了优化InnoDB是索引组织表,主键索引树的叶子节点是数据,而普通索引树的叶子节点是主键值。所以,普通索引树比主键索引树小很多。对于count(*)这样的操作,遍历哪个索引树得到的结果逻辑上都是一样的。因此,MySQL优化器会找到最小的那棵树来遍历。
如果你使用过showtablestatus命令的话,就会发现这个命令的输出结果里面也有一个rows值用于显示这个表当前有多少行。
那么是不是这个rows值就能代替count(*)了吗?
其实不能,rows这个是从从采样估算得来的,因此它也是不是准确。不准确到什么程度,官方文档说是在40%到50%。所以showtablestatus命令显示的行数rows是不能直接使用。
基于MySQL的Innodb存储引擎,统计表的总记录数下面这4种做法,哪种效率最高?
实践案例,准备了一张有W多条数据的表,表结构如下:
CREATETABLE`tb_user`(`id`int(11)unsignedNOTNULLAUTO_INCREMENT,`user_id`int(11)DEFAULTNULL,`user_name`varchar()DEFAULTNULL,PRIMARYKEY(`id`)USINGBTREE,UNIQUEKEY`userId`(`user_id`)USINGBTREE)ENGINE=InnoDBAUTO_INCREMENT=1DEFAULTCHARSET=utf8mb4可以看到,这张表有一个主键索引,用不同方式来查询该表用户记录总数
count(主键id)
用selectcount(*)fromtb_user耗时0.s
InnoDB引擎会遍历整张表,把每一行的id值都取出来,返回给server层。server层拿到id后,判断是不可能为空的,就按行累加。
count(1)
用selectcount(1)fromtb_user耗时0.s
同样遍历整张表,但不取值,server层对返回的每一行,放一个数字1进去,判断是不可能为空的,按行累加。
count(字段)
用selectcount(user_name)fromtb_user耗时1.s
分为两种情况,字段定义为notnull和null
为notnull时:逐行从记录里面读出这个字段,判断不能为null,累加
为null时:执行时,判断到有可能是null,还要把值取出来再判断一下,不是null才累加
count(*)
用selectcount(*)fromtb_user耗时0.s
需要注意的是,并不是带了*就把所有值取出来,而是mysql做了专门的优化,count(*)肯定不是null,按行累加。
从上面的执行结果,得知count(字段)count(主键id)count(1)≈count(*)
总结基于MySQL的Innodb存储引擎,统计表的总记录数按照效率排序的话count(字段)count(主键id)count(1)≈count(*)
效率最高是count(*),并不是count(1)
所以建议尽量使用count()。
如果有面试官问你mysql中count(*)和count(1)哪个效率高?你就可以明确地告诉他,Innodb存储引擎下效率最高是count(*)。
由于笔者知识水平有限,文中错漏之处在所难免,如有不足之处,欢迎纠正,感谢。