四川白癜风微信交流群 http://nvrenjkw.com/nxzx/5717.html众所周知，爱奇艺拥有海量视频，在视频生产过程中产生的上千QPS的实时数据、T级别的数据存储。要支持这样的数据进行即席查询和多个大表的JOIN，是爱奇艺视频生产团队大数据应用的难点。具体来说有以下几点：1)实时性的要求，需要实时的解决方案。2)生产数据更新频繁，OLAP需支持更新。3)生产需要大表Join方案。码流属性（亿级，百G）和节目属性（亿级，百G）经常放在一起做分析。此外，爱奇艺视频生产数据还有一个特点，数据来源于OLTP数据中台，其数据持久化在Mongo，消息变动写入Kafka，Kafka中：curData是当前更新数据，oriData是历史为变动数据，这样的结构化数据为配置化开发提供了可能。爱奇艺视频生产团队负责爱奇艺的视频生产，涵盖“素材、成片、运营流、图片”各个方面，并围绕生产进行了中台化建设、监控建设、数据报表建设等，旨在为视频生产提效，节省编辑精力，更快更好的产出优质视频。针对以上痛点，爱奇艺视频生产团队进行了一系列努力。本文将详细叙述ClickHouse在爱奇艺视频生产实时数仓的应用：包括业务数据是如何通过Spark/SparkStreaming计算引擎处理，并将HBase作为维表数据存储，进行实时Join，最终写入ClickHouse，实现即席查询的。最终的建设成果也比较显著，原本报表开发周期由天级缩短到小时级，满足了频繁更新的实时、离线可Join的报表需求。01背景及发展历史选择Spark+ClickHouse实时数仓建设方案，基于爱奇艺视频生产的历史发展阶段及数据特点。随着各种大数据技术蓬勃发展，爱奇艺视频生产的数据业务经历了两个阶段。早期阶段一：团队基于公司内部BabelX离线数据同步工具，引入Hive技术，来做报表开发。在阶段一中，缺点是每天跑全量数据，成本高，实时性低，修改纬度字段时，整条链路都要修改；ETL完全依赖Hive内置函数，可复用性低，运维成本高。早期阶段二：随着生产数据增多，Mysql提供的可视化查询性能遇到瓶颈，且实效性要求提高，数据报表进入了第二阶段，引进ClickHouse进行实时报表开发。在引进clickHouse的过程中，我们也研究了业界如druid、kudu等其他方案，结论是：Druid、kudu在用户视频数少，时间跨度大的情况下，性能表现还不错；当用户视频数超过后，Druid会受聚合影响，速度大幅度降低，甚至会出现超时的情况。最终我们选择了clickHouse，通过它的引擎的选择，我们还支持了频繁的数据更新。这个阶段其缺点是：不支持连表操作，业务库仅支持JDBC/ODBC类型，Merge引擎不支持更新，Mysql导入ClickHouse再Truncate，期间数据存在丢失。在此基础上，我们完善系统，最终形成了如下的新的架构体系。02Spark+ClickHouse实时数仓话不多说，先上架构图整体结构ClickHouse是面向列的数据库管理系统（DBMS），用于对查询进行联机分析处理（OLAP）。由俄罗斯IT公司Yandex为Yandex.Metrica网络分析服务开发的。允许分析实时更新的数据，该系统以高性能为目标，且储存明细数据。Spark是用于大规模数据处理的统一分析引擎，高效的支撑更多计算模式，包括交互式查询和流处理。一个主要特点是能够在内存中进行计算，即使依赖磁盘进行复杂的运算，Spark依然比MapReduce更加高效。SparkStreaming是核心SparkAPI的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。其基于微批，和其他基于“一次处理一条记录”架构的系统相比,它的延迟会相对高一些，但是吞吐量也会有一定优势。而批量插入ClickHouse，又是ClickHouse所推崇的。结合Spark/SparkStreaming与ClickHouse的特性，这一方案优势也就显而易见了：ClickHouse支持更新且速度极快；SparkStreaming微批，更适合写入clickHouse。具体建设过程主要分为三个部分。——离线数据加工首先通过Spark计算引擎，将mongo数据例行全量导入Hive（担心业务库稳定性）。然后通过Spark计算引擎，将Hive数据例行进行ETL处理，并离线导入ClickHouse。——实时数据加工历史存量数据的处理是通过Spark计算引擎，将Mongo数据写入ClickHouse（只执行一次，可以直接从业务库导。因为例行导入Hive表本身就是我们在做）。实时数据的处理就是Spark技术引擎直接处理Kafka消息写入ClickHouse了。如果不需要历史存量数据，只需要消费Kafka，实时计算导入ClickHouse就可以了。具体实时架构如下：实时方案流程图这里离线数据和实时数据连接点需要注意一下：ReplacingMergeTree引擎由于幂等性质，可将Kafkaoffset向前多重置一些，保证最少一次。其他引擎存在误差数据。除非Kafka能够重放Mongo中历史所有数据。——Join需求存在Join需求时，由于两个表目前都是百G的存储，使用Redis、CB内存太浪费，我们最终选择了使用HBase。以HBase作为纬度表，在Spark计算引擎中，进行合并处理，并写入事实表。大表Join方案流程图除了以上工作，这里有一些注意事项：1.实时导入ClickHouse，维表数据必须早于事实表产生。2.增量离线同步或者实时同步ClickHouse时，需保证维表数据基本不变或者维表数据变化后，实时、离线增量数据也会发生变化。3.否则维表变化不会在ClickHouse输出表中体现。看到这里，整体架构已经很清晰了。那么如何选择ClickHouse引擎来支持频繁更新呢？03ClickHouse支持频繁更新针对频繁更新请求，ClickHouse可以选择ReplacingMergeTree和VersionedCollapsingMergeTree引擎：ReplacingMergeTree（覆盖更新）以id作为主键，会删除相同的重复项。不保证没有重复的数据出现。VersionedCollapsingMergeTree（折叠更新）在数据块合并算法中添加了折叠行逻辑。针对离线数据，有两种选择方案。方案一是用ReplacingMergeTree引擎的增量同步方案：先用Spark计算引擎将Mongo数据例行同步到Hive，再用Spark计算引擎消费Hive增量数据写入ClickHouse。其优点是增量同步，压力小。缺点是Join时，增量离线同步，需保证维表数据基本不变或者维表数据变化后，实时表数据也会发生变化。否则维表变化不会再事实表中体现。方案二是用MergeTree引擎的全量同步方案：先用Spark计算引擎将Mongo数据定时同步到Hive，然后TruncateClickHouse表，最后使用Spark消费Hive近N天数据写入ClickHouse。其优点是可解决方案一Join时问题。缺点是全量同步，仅保存近N天数据，压力大。针对实时数据，也有两种选择方案。方案一是用VersionedCollapsingMergeTree引擎的增量同步方案：先用Spark计算引擎将Mongo存量数据一次性同步到ClickHouse，再重置Kafka消费位置，将实时数据同步到ClickHouse。其优点是即使有重复数据，也可使用变种Sql避免数据误差。缺点是实时数据强依赖OLTP数据中台提供的Kafka消息（oriData、currData）准确性，且离线和实时数据连接点，存在无法折叠现象。方案二是用ReplacingMergeTree引擎的增量同步方案：先用Spark计算引擎将Mongo存量数据一次性同步到ClickHouse，再重置Kafka消费位置，将实时数据同步到ClickHouseReplacingMergeTree。其优点是相比与VersionedCollapsingMergeTree更简单，且离线和实时数据连接点，不存在异常。缺点是不保证没有重复的数据出现。接下来介绍下数据的准确性保证。04数据准确性保证离线数据的准确性保证方面，我们主要做了以下两点。首先是离线重跑数据时，如果ClickHouse是Merge引擎，重跑时将Drop重跑分区。然后是离线全量重跑近N天数据，执行Spark任务前会先Truncate表。而实时数据的数据准确性保证，首先是在Spark消费Kafka时，offset不自动提交，待本次微批数据的所有业务逻辑均处理完成后，再手动提交offset，以此达到最少一次消费的目的，保证不会丢数据，而ClickHouseReplacingMergeTree引擎写入是幂等的。然后针对ClickHouse，每间隔time时间主动进行Merge，考虑服务器压力，只Merge最近time*2时间段内修改的分区。目前time是5min。如下图：自动Merge示意图到此针对实时数仓的架构细节已经基本讲完了。05配置化开发然而，面对源源而来的报表需求，每个需求花费几天去开发，不仅耗费人力，而且重复的工作也让开发人员无法抽身。考虑到爱艺奇视频生产都是结构化数据，这就为配置化开发提供了可能。整个过程主要用到了程序参数解析器-ApacheCommonsCLI，一款开源的命令行解析工具。它可以帮助开发者快速构建启动命令，并且帮助你组织命令的参数、以及输出列表等。参数解析器结构图06价值与规划爱奇艺视频生产实时数仓目前的建设方案完成后，我们基本实现了代码0开发，原本报表开发周期由天级缩短到小时级。满足频繁更新的实时、离线可Join的报表需求。目前已支持4个离线报表任务，3个实时报表任务，其中1个离线Join需求，1个实时Join需求，后续可能更多。后续我们会在爱奇艺视频生产平台提供页面化操作，将同步工具产品化，首先与Hive、HBase、ClickHouse等打通，自动建表，然后将任务创建、运行、监控状态逻辑通过调度自动化。通过技术创新去支持和落地欣的业务场景，继续推动爱奇艺的数据和产品向着实时化的方向发展。
转载请注明：http://www.aierlanlan.com/grrz/6856.html
