很多大型企业需要对各种销售及营销数据进行实时同步分析，例如销售订单信息，库存信息，会员信息，设备状态信息等等，这些统计分析信息可以实时同步到Doris中进行分析和统计，Doris作为分析型数据库特别适合于对海量数据的存储和分析，我们只需要把MySQL的表单数据实时同步到Doris即可以实现实时数据分析能力。
ApacheDoris介绍ApacheDoris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。ApacheDoris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。
ApacheDoris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。可以使数据分析工作更加简单高效！
MySQLCDC实时同步工具选型目前能免费使用的成熟CDC工具且同时支持MySQL+Doris的有FlinkCDC和ETLCloudCDC等，这里我们主要考虑比较流行的FlinkCDC和ETLCloudCDC，CDC的同步原理其实不同平台的原理都是一样的，都是读取数据库log然后通过清洗、转换或计算后存入目标仓库中
FlinkCDC安装和使用难度比较大，没有可视化的CDC配置和监控界面对于不熟的用户安装相对比较麻烦，对于实时数据的加工和处理还需要写代码，没一点技术的用户根据搞不定，对于数据工程师来说难度太大
ETLCloudCDC安装和使用相对容易基本上半小时就安装上了，安装完成后提供全WEB配置界面，对于用户可以说是非常友好，我们这里选择ETLCloudCDC来实现实时数仓的构建
怎么提升写入Doris的性能?Doris兼容MySQL协议但是直接用jdbc写入doris的速度是非常慢基本不可用，所以必须要采用Doris提供的Streamload方式来进行数据的载入才能提升速度
ETLCloudCDC提供了专门针对Doris的高性能输出组件，还支持自动创建表结构同时支持批量加载技术
数据写入Doris之前如何直接转换为宽表?通常情况下我们使用CDC实时监听表销售或订单表数据的LOG时会形成流式的数据，CDC每次传入的数据有可能是一条也可能是多条，监听到的流式数据都是订单表的单条数据，但在业务上单表的数据在业务价值上可能缺少一些关键的维度业务数据字段，例如要计算毛利合并客户及产品数据等。
为了补充这些缺少的数据字段之前的做法是先让他入库，然后再用SQL语句或者ETL流程再给他变换一次形成我们需要的宽表数据，虽然这样也可以实现这个业务需求但是失去了数据处理的时效性，即本来是实时流的数据但是到了业务那里变成不是实时的了，因为我们中间有一个定时变换的数据过程。
通过ETLCloud的ETL功能可以轻松实现实时数据直接变为宽表数据存入到Doris中
(单表实时流合并其他维度数据直接输出宽表数据到Doris中)
ETLCloudCDC同步原理ETLCloudCDC的功能之所有比其他CDC工具都强大是因为他把CDC和ETL流程给链接起来了，CDC实时数据流入ETL流程中，再通过ETL流程对实时数据进行处理和输出。
ETLCloudCDC中配置MySQL表的监听MySQL先要开启binglog功能，开启方式可以查看