在MySQL中通过Master向Slave推送binlog数据变化,从而实现主从复制的过程,是一件看似再正常不过的事情了。整个过程可以使用如下的流程图来表示。
毕竟这是MySQL体系内的实现,如果想要在这个基础上扩展,比如实现异构数据的流转,复制,或者情况糟糕一些,多个跨地域的MySQL之间要实现异步数据复制,这个时候原生的主从场景就会受到限制了。
如果要实现这种特殊的复制,需要具备两点,第一是可以正常连接到MySQL,并且具有Slave应该拥有的权限,第二是按照MySQL协议发送相关的数据包,让MySQL服务能够识别你是一个“Slave”,这样如果发生了数据变化,Master就可以源源不断的推送数据变化的信息过来。
在技术方向上已经有了很多的产品和组件,比如阿里的canal,Zendesk的Maxwell,Yelp的MySQLStreamer等,都可以模拟MySQL协议,在行业内也有一些实现场景,在特性完善方面各有差异。
最近也做数据多活的一些方案调研,发现mysql-python-replication是一个很不错的开源项目,它和行业内知名的一些开源项目都有渊源,实现了底层的协议数据解析。
我们接下来看看mysql-python-replication的源码实现,做一些简单的解读。
首先mysql-python-replication的整体实现思路如下,它其实是基于PyMySQL来连接MySQL,然后来模拟协议层的数据包,得到Master推送的数据之后,按照Binlog中的event类型解析为Insert,delete,update(分别对应insert,delete,update事件),当然Binlog中实际的事件要远远比这个多。
mysql-python-replication的源码很容易得到,在GitHub上搜索mysql-python-replication即可。
得到的源码结果如下,代码量其实远比想象的要少一些。
最后竟然还很贴心的给出了MySQL5.6,5.7的安装部署脚本,在examples目录下提供了几个案例,我们今天要分析的主要是基于dump_events.py这个文件,它可以实现模拟Slave的整个过程。
整个实例程序很短,内容如下:
示例的Main方法内其实逻辑相对是比较简单的,初始化BinLogStreamReader对象,然后解析出event的信息。
这里的dump主要是基于BinLogEvent和RotateEvent,其他的大都是PyMySQL底层的实现了。
其实按照这个思路我们是很难读懂代码的,只能做一些基本的代码熟悉,一方面我们要不断的调试理解,另一方面我们需要抓住重点。
重点是什么呢,其实就是模拟Slave的原理,我来具体解释一下。
MySQLMaster向Slave推送数据,都是按照基础的协议来完成,就好比我们工作中常用的专业术语,在外行来看就是高深莫测的东西。在这里MySQL是定义了两个命令:COM_REGISTER_SLAVE和COM_BINLOG_DUMP,前者用于注册Slave,后者通知mysqld从指定binlogpos发送event。
如下是一个调试过程中得到的MySQL线程情况,可以看到相应的BinlogDump线程,其实这个数据库是没有Slave的。
当然python-mysql-replication代码后端也会去information_schema中取一些元数据(其实主要是字段相关的元数据信息)。
我们在BinLogStreamReader中可以看到很多方法,其实是有关联调用的,其中目前我最