ByteHouse云数仓版查询性能优化和

北京中科白殿风医院怎样 https://jbk.39.net/yiyuanfengcai/yyjs_bjzkbdfyy/
北京中科白殿风医院怎样 https://jbk.39.net/yiyuanfengcai/yyjs_bjzkbdfyy/

ByteHouse云数仓版是字节跳动数据平台团队在复用开源ClickHouseruntime的基础上,基于云原生架构重构设计,并新增和优化了大量功能。在字节内部,ByteHouse被广泛用于各类实时分析领域,最大的一个集群规模大于节点,管理的总数据量超过PB。本分享将介绍ByteHouse云原生版的整体架构,并重点介绍ByteHouse在查询上的优化(如优化器、MPP执行模式、调度优化等)和对MySQL生态的完善(基于社区MaterializedMySQL功能),最后结合实际应用案例总结优化的效果。

在云数据库技术沙龙“MySQLxClickHouse”专场上,火山引擎ByteHouse的研发工程师游致远,为大家分享一下《ByteHouse云数仓版查询优化和MySQL生态完善》的一些工作。

本文内容根据演讲录音以及PPT整理而成。

火山引擎ByteHouse的研发工程师游致远

游致远,火山引擎ByteHouse资深研发工程师,负责ByteHouse云数仓版引擎计算模块。之前先后就职于网易、菜鸟集团、蚂蚁集团,有多年大数据计算引擎、分布式系统相关研发经历。

ByteHouse云数仓版查询优化和MySQL生态完善

今天我主要分享的内容大纲,分为下面这四个部分。首先主要是跟大家讲一下ByteHouse云数仓版的背景和整体架构、然后重点讲下查询引擎上做的优化和完善MySQL生态的一些工作,最后是总结。

内容大纲

Clickhouse是基于sharednothing架构,这种架构也带来了比较极致的性能。字节跳动的话,从年就开始在线上使用Clickhouse,然后到现在已经是非常大的机器量和数据量。但是Clickhouse的sharednothing架构,也给我们带来了很大的困难,主要是数据的扩缩容比较难,包括存储和计算资源的绑定,导致我们想做一些弹性的伸缩也比较难。然后读写不分离带来的影响,以及在公共集群上中小业务的查询的影响。

为了彻底解决这个问题,然后我们在年的时候,开始做一个基于云原生架构的Clickhouse,当时内部的代号叫CNCH,现在在火山上叫ByteHouse云数仓版。然后现在CNSH在内部也是有非常大的使用规模,到年的时候,我们决定把这个回馈给社区,当时跟Clickhouse社区也进行了一些讨论,后来觉得架构差异太大,然后就单独以ByConity项目开源了,在今年1月份已经在GitHub上开源了。欢迎大家去


转载请注明:http://www.aierlanlan.com/rzgz/5937.html

  • 上一篇文章:
  •   
  • 下一篇文章: 没有了