一.背景
数据准实时复制(CDC)是目前行内实时数据需求大量使用的技术,随着国产化的需求,我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发,逐步实现对商业产品的替代。我们评估了几种开源产品,Canal、Debezium、FlinkCDC等产品。作了如下的对比:
image
二.什么是FlinkSQLCDCConnectors
在Flink1.11引入了CDC机制,CDC的全称是ChangeDataCapture,用于捕捉数据库表的增删改查操作,是目前非常成熟的同步数据库变更方案。
FlinkCDCConnectors是ApacheFlink的一组源连接器,是可以从MySQL、PostgreSQL数据直接读取全量数据和增量数据的SourceConnectors,开源