MySQL是单进程,多线程的架构,通过创建多个线程来服务于不同的用户连接。通常情况下,随着用户连接数的增加,MySQL内部用于处理用户连接的线程也会同步的增加,在一定范围内,增加用户并发连接,对提高系统的吞吐量有一定的帮助,然而用户并发连接数超过某个阈值,MySQL的性能反而会降低。
MySQL连接处理方式
MySQL内部处理用户连接的方式严格来说,有三种。
单线程处理所有用户连接,一般在调试时使用。多线程处理用户连接,一个线程对应一个用户连接,也是MySQL默认的连接处理方式。线程池处理用户连接,一个线程对应多个用户连接,比如MySQLPercona发行版提供了线程池功能。线程缓存
MySQL默认的连接处理方式,即一个线程对应一个用户连接,在某些场景下,有一些性能问题。比如大量的短连接,短时间内大量的连接创建和销毁,意味着MySQL内部必须要有同样数量的线程创建和销毁,线程的创建、销毁以及线程上下文切换,会带来严重的性能消耗,因此,MySQL开发者提出了线程缓存的概念,缓存一定数量的线程来服务用户连接,用户连接到来时,先检查线程缓存中有没有可用的线程,如果没有再去创建,如果有,直接使用线程缓存中的线程。用户连接断开时,线程放回到线程缓存中,以便后来的用户连接重用,减少线程频繁创建和销毁。
线程缓存代表用户连接的数据结构THD
用户连接在MySQL实现中由一个数据结构THD表示,THD在连接建立时被创建,在连接断开时销毁,用户连接与THD的关系永远是一对一的关系,THD不能跨连接重用,THD结构大概有10K大小,它是一个C++类,在sql_class.h文件中定义。THD用于记录各种执行状态,在SQL语句执行的过程中,THD会根据实际情况申请内存使用,尤其对于复杂的SQL,THD占用的内存大小会不断增长,平均下来,一个连接大概10M左右。
设置合适的连接数
MySQL能够处理的最大连接数量由参数max_connections决定,但是如何设置max_connections的值才是最合适的呢?一般来说需要根据具体的机器配置和业务要求。通常我们需要MySQL能够并发处理的用户连接数越多越好,并发用户数增加的情况下,SQL的执行响应时间不能增长太多,同时内存占用也不能太高,因此需要在并发连接数、响应时间、内存占用等方面做出平衡,并且要能满足业务的对SQL执行的吞吐量和响应时间要求。
如何确定MySQL的最大负载和最大并发度?通过压测,不断增加客户端并发数。比如起始客户端并发数为2,依次递增到4,8,16,32等等,每次递增,在没有达到性能瓶颈前,压测的TPS会随着客户端并发数的增加而增大,响应时间通常会随着客户端并发数的增加而增加,但是增加的幅度并不明显。当客户端并发数达到某个阈值时,比如,或者甚至更大时,TPS不再增长,反而出现下降,响应时间则会出现跳跃式的增长,此时则可以认为MySQL已经达到了当前配置的最大性能。不同的硬件配置下,MySQL最大性能的并发连接数也不相同,需要根据具体的环境测试,一般的原则是最大并发连接数等于CPU逻辑核心数的4倍。
此外,如果业务对响应时间有一定的要求,比如业务要求响应时间50ms,在低于50ms的响应时间之内,TPS越高越好。这时就需要通过压测来确定最合适的并发连接数,在响应时间不超过50ms的前提下,不断提高并发数,获取最佳性能。然而不同的机器配置,不同的业务类型,可能会有不同的结果。
下图展示了某个测试环境下,MySQL最佳性能的并发数,在并发之前,随着并发数的增加,TPS也相应增加,响应时间平稳,然而超过,可以看到TPS出现下降,并且响应时间增加明显。