FlinkSQLCDC实践以及一致性分析

身上有得了白癜风怎么办 http://pf.39.net/bdfyy/bjzkbdfyy/170206/5214847.html

一.背景

数据准实时复制(CDC)是目前行内实时数据需求大量使用的技术,随着国产化的需求,我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发,逐步实现对商业产品的替代。我们评估了几种开源产品,Canal、Debezium、FlinkCDC等产品。作了如下的对比:

image

二.什么是FlinkSQLCDCConnectors

在Flink1.11引入了CDC机制,CDC的全称是ChangeDataCapture,用于捕捉数据库表的增删改查操作,是目前非常成熟的同步数据库变更方案。

FlinkCDCConnectors是ApacheFlink的一组源连接器,是可以从MySQL、PostgreSQL数据直接读取全量数据和增量数据的SourceConnectors,开源


转载请注明:http://www.aierlanlan.com/rzgz/3982.html

  • 上一篇文章:
  •   
  • 下一篇文章: