慢盘问日记是MySQL供给的一种日记纪录，用来纪录在MySQL中响当令间高出阈值的SQL语句，在很大水平上会影响数据库集体的功用，是MySQL优化的一个严重方位。在58的云DB平台设立中，慢SQL系统做为一个独特重邀功效模块，不只是DBA平日运维行使，咱们也期盼经历该功效能够帮忙开垦人员更快速定位生意题目。
暂时咱们的慢日记系统首要囊括两个中心功效：慢日记报表和时刻慢SQL。
慢日记报表首要基于上一天的全部慢SQL施行汇总剖析，末了得到慢SQL数宗旨改变趋向、履行次数、履行平衡时长等统计事实;
时刻慢SQL便是时刻获得线上临盆数据库形成的慢SQL语句，并供给应开垦人员查阅。
慢日记剖析对象
MySQL的慢日记剖析对象干流有官方自带的mysqldumpslow和第三方的pt-query-digest,由于后者有更多的额外属性和附加手腕，咱们的慢日记剖析对象筛选行使pt-query-digest。
pt-query-digest有两个较量好用的功效：queryreview和queryhistory。在行使review功效时，会将慢日记中的盘问语句去参数化后施行分组统计，并可将事实直接保管到数据库中。行使history时，则会将慢SQL的盘问度量（如盘问光阴、锁光阴等）保管到数据库中，这些数据未来可用于趋向剖析和盘问功用剖析。
慢日记报表
咱们界说的慢盘问阈值（long_query_time）准则为0.1s，不过不同的集群能够脾气化定制。为了获得数据库天天的慢日记报表，背景程序会凭借云DB平台的cmdb消息，对全部的数据库集群天天破晓施行切割，生成一个上一成天的慢盘问日记文献,大致格式以下：
全部58团体有几千套数据库集群，为了集体统计所罕见据库集群的慢SQL报表，咱们内部开垦了一套完竣的慢SQL剖析过程，首要包罗SQL流水谋略、全部剖析、诊断优化、提倡推送、跟踪反应等各个功效模块。
经历搜集模块搜集全部集群的慢SQL文献，谋略模块花费剖析天天形成的慢日记文献，并将谋略事实保管到MySQL中。挑选后的数据，由云DB平台展现，并凭借慢SQL的数目排行，将topN的邮件推送给开垦人员。以后开垦人员可行使云DB平台，获得慢SQL调优提倡，并可借助工单系统，自主更正表索引，抵达优化的宗旨。
咱们的处置过程的大致以下：
慢SQL剖析谋略过程：
?凭借数据库集群cmdb消息，获得需求剖析慢日记的数据库列表并施行切割；
?经历ansible将呼应的慢日记文献拉取到慢日记剖析效劳器；
?经历pt-query-digest剖析慢日记并将事实写入慢SQL详情库；
?在数据库经管平台展现呼应数据；
?挪用SQLAdvisor，获得优化提倡；
中心模块为挪用pt-query-digest的剖析，此处采取消息入库的方法，事实会保管到两个事实表tb_slowlog_review和tb_slowlog_review_history中，剖析的详细指示以下：
经历流水谋略后，慢SQL剖析的事实消息储备在MySQL中，以后由数据库云平台开垦呼应的功效对外展现。暂时咱们首要笼统了以下几个功效：
慢SQL数目统计及优化提倡
对每个集群的慢SQL总额目施行趋向图展现，并囊括该集群下全部慢SQL的履行次数、履行平衡光阴等维度的排序，以及对应的慢SQL优化提倡，以下图：
单条慢SQL详情追踪
针对形成的每一条慢SQL给出数目趋向统计，并会统计该慢SQL的第一次呈现光阴、最新一次呈现光阴、起因IP、所属生意集群、负责人、履行次数等详细消息，最大水平的帮忙用户快速定位该慢SQL的起因。详细见下图：
除了上头两个首要的模块外，咱们还撑持逐日慢SQL报表邮件推送，新增慢SQL汇领袖计，经历量种方法帮忙高效施行慢SQL的优化，升高数据库的走访功用。
时刻慢SQL系统
慢SQL报表系统，用于剖析前一日形成的慢盘问日记文献，但一个独特大毛病是不能剖析当日时刻形成的慢SQL，独特关于时刻的线上调优成果，独特不便利。是觉得处置该题目，咱们完成撑持了时刻慢SQL功效，开垦人员可在平台中时刻观察临盆处境形成的每一条慢SQL语句。咱们这边引入了ELK和Kafka联系技艺，时刻慢SQL系统机关以下：
时刻慢SQL的搜集处事过程以下：
经历filebeat，时刻搜聚慢盘问日记的文献改变；
搜聚到的慢日记数据时刻上报到kafka中；
Logstash花费kafka中数据，并施行过滤、切割，存入ES；
云DB平台读取ES数据，施行数据展现
如此在用户端，开垦人员便可所负责的MySQL集群中观察时刻形成的慢SQL了：
归纳
MySQL慢盘问，做为影响功用关键成分，应被DBA、开垦人员珍视，并准时处置。云DB平台从整体报表、时刻流水、定量剖析等多个维度，制造MySQL慢盘问编制设立，为DBA以及开垦人员供给有力撑持。
预览时标签弗成点收录于合集#个