11月7日,由TiDB社区X经纬中国联合主办,初心资本、明势资本、纪源资本、JuiceFS赞助的HackingCamp生态进行了答辩会,阐述了项目的阶段性成果和对未来工作的展望。
HackingCamp的项目有些是来自于TiDBHackathon的明星项目,还有一些是来自生态伙伴的新创意。本期HackingCamp以生态为主题,帮助合作伙伴完成项目的孵化,参与活动的六个项目都基本完成了既定目标,在毕业之后将继续完善相关功能的改进,迭代新版本至更稳定,期间导师也将继续为项目提供指导意见,帮助项目打磨。
本次HackingCamp参与答辩的项目有:以TiKV作为元数据引擎的分布式POSIX文件系统JuiceFS
基于TiDB实现提供Serverlessdb服务的ServerlessdbforHTAP
优化PG在TiDB上的兼容性的TiDBforPostgreSQL
TiDB在大数据领域中的一站式解决方案TiBigData
将TiKV作为后端存储的HugeGraph
将TiDB作为数据上游的DorisConnector
评委从项目完成度、应用价值、对TiDB生态贡献和答辩完成度这几个方面进行评审,最终ServerlessDBforHTAP获得了评审团一致高分,夺得「优秀毕业生」和「最佳应用」两个奖项。特别感谢以下几位评审:明势资本执行经理徐之浩、FlomeshCTO联合创始人刘洋、TiDBTeamTechLeader王聪、PingCAP研发主管张建、TiKVMaintainer李建俊让我们一起来看看项目的毕业成果吧~JuiceFS:
JuiceFS是一个云原生的POSIX分布式文件系统,结合TiKV作为数据元引擎,JuiceFS可以提供百亿级文件规模和EB级的数据存储能力,在大规模下依然保持延时稳定。在元数据操作性能测试中,TiKV引擎的平均耗时约为Redis的2~4倍,略优于本地MySQL。目前主要功能都已开发完毕并于V0.16版本发布,且通过了pjdfstest测试。已有用户在测试以及生产环境中使用。JuiceFS未来将把TiKV作为大规模生产环境的首推元数据引擎,在保证兼容的情况下,积极引进TiKV的新特性。ServerlessDBforHTAP
项目最终目标是要把云数据库服务变成黑盒子,让应用开发者只需要专注于业务如何转化成SQL,用户再也不用操心数据量、业务负载、SQL类型是AP还是TP等这些和业务不相关的事情。开发内容
业务负载模块:
业务负载模块评估当前提供服务的资源与当前业务负载是否匹配,建立业务负载模型,用于决策扩缩容。
Serverless模块:
Serverless模块会实时检查所有计算节点的CPU使用率,以及底层存储容量,触发计算/存储资源的扩缩容。
数据库中间件:
中间件用于解耦用户连接和后台数据库服务节点,这样即使用户使用连接池,扩容后,中间件也能把流量均衡打到所有的新增节点中。
规则系统:
通过规则系统,可以固定特定时间范围内的资源分配。通过规则设置,流量增长前,把资源提前分配好
serverless服务编排模块:
过服务编排模块,实现TiDB集群的创建、释放及动态调整TiDB组件的扩缩;实现k8s本地盘管理,解决私有化部署无法提供云盘的问题;
开发admission-webhook实现TiDB组件缩容时,预先删除中间件注册表记录,实现用户无感知的缩容。
后续研发计划:
计划增加Hint以及规则模块,更精准的区分TP/AP,评估能够降低一半以上中间件的CPU使用率
提供更丰富的负载均衡算法,如基于SQL运行时成本
中间件增加业务流量管控,如果业务负载增长太快点,超出serverless能够处理的增长速度,会导致后台服务不稳定。通过流量管控,能够很好的处理业务流量暴涨。
本项目也获得了HackingCamp优秀毕业生和最佳应用奖~看来评审都被项目的愿景和开发实力打动了,欢迎大家来围观试用~
项目