导读:
股份制银行内容管理平台基于巨杉数据库结构化数据与非结构化数据统一管理,实现PB级数据的高并发访问与统一集中运营。
近些年,伴随着移动互联网的飞速发展,海量非结构化数据场景出现。巨杉数据库基于原生分布式技术,演进出独特的湖仓一体架构,提供存算分离、海量数据存储、多模数据、高并发访问等能力,为银行非结构化数据治理提供银行内容管理平台解决方案。经过客户与巨杉在海量非结构化数据场景下的共同探索,结合客户发展阶段与业务特性的不同,可以将场景细分为股份制银行、农信银行以及城商行内容管理平台。巨杉深度剖析了客户内容管理平台的业务需求,基于湖仓一体架构,在结构化数据与非结构化数据融合处理方向提供了成功的解决方案,并进一步积极探索湖仓一体在全量数据场景下的落地方案,截止到目前,可以为客户提供实时在线数据服务、联机交易等场景落地解决方案。
巨杉数据库银行典型客户案例
在股份制银行的内容管理平台场景中,已经落地了近百亿条、百TB级数据的稳定支撑能力,提供PB级数据场景下的高并发访问。
行业背景近些年,伴随着移动互联网飞速发展,基于手机银行、移动营业厅、网上银行、远程银行、开放银行、流程银行等业务渠道,在各类创新的业务有效地提升了客户体验的同时,也为银行带来了海量的电子票据、图像、音视频等非结构化数据。非结构化数据从原来仅仅用于数据的电子化存档,上升成为业务交易链条中的关键环节,传统内容管理平台基于Documentum、FileNet、IBMCM、SAN存储等架构的管理系统随着数据量爆发式增长之后,逐渐面临查询性能慢、实时性不高、并发处理性能急速下降、扩容困难等问题。
图1系统概述进化图SequoiaDB基于原生分布式技术构建的湖仓一体架构,实现了资源池化,结构化和非结构化等多模数据海量存储,多中心容灾等技术能力,为银行提供一体化的非结构化数据存储平台,以及包含批次管理、版本管理、生命周期管理、标签管理、模糊检索、断点续传等丰富的元数据管理机制。SequoiaDB银行分布式内容管理平台满足银行的灵活按需扩容、低成本海量存储、高并发低延时访问、异地分布式架构、高效整合、多中心高可用、跨中心容灾等需求,有效解决了平台高并发低延时、数据管理、弹性扩容、双活、高可用、集约运营、容灾、系统持续稳定等问题,实现非结构化数据统一管理、数据全量在线、降低风险和减少成本等目标。现状
股份制银行内容管理平台提供各类业务流程化处理的影像数据及相关元数据的存储,将原本分散的影像数据进行统一集中的管理,原内容管理平台使用Documentum、FileNet架构,随着数据量增长,面临性能急速下降、扩容困难、查询并发低、实时性不高等问题。不适用于面向客户、高并发、高实时场景。同时由于数据量较大,存在灾难恢复周期长的问题。
业务痛点产品平台化难:多产品线独立建设,整合困难数据共享:数据分散存储,提取困难扩容难:烟囱式系统构建,横向扩容难性能差:亿级记录后,性能下降,难优化解决方案
股份制银行内容管理平台是基于SequoiaDB的内容管理平台进行规划建设的。SequoiaDB的内容管理平台图2SequoiaDB的内容管理平台以基于Spring-Cloud框架的微服务架构为基础,SequoiaDB内容管理平台解决方案通过可插拔组件与可配置流程,允许用户自由定义不同数据存储容器中对象文件的处理方式。譬如,对于合同扫描件类型的业务,系统可以将OCR文字识别模块直接加入非结构化文件处理流程,使得所有写入该容器的合同自动进行文字识别处理,并直接支持针对其内容的全文检索能力。SequoiaDB的内容管理平台优势业务创新:多业务融合创新,数据统一管理非结构化数据治理:双引擎技术,存算分离原生分布式架构引擎级多模:兼容S3协议,兼容MySQL引擎高性能,低成本:全量内容数据持续在线,多策略分区管理、分域缓存,资源池化的存储引擎层,提升海量数据管理效率及处理性能,TCO为传统ECM方案1/3基于SequoiaDB的内容管理平台的优势股份制银行内容管理平台规划建设设计如下:股份制银行内容管理平台改造方案图3股份制银行内容管理平台改造前后架构对比各厂商的的内容管理平台(如:信雅达、方正国际、清华紫光等)通过调用巨杉数据库提供的标准SQL或SCMAPI,与分布式SequoiaDB进行交互,实现可按需横向扩展的元数据、对象数据、标签数据的跨中心一体化管理。平台采用SequoiaDB巨杉数据库进行数据的存储与统一管理。巨杉数据库是国产分布式数据库,原生支持分布式集群模式,基于湖仓一体设计,“计算与存储分离”架构满足客户海量数据弹性存储、横向弹性扩容、亿级记录情况下的低延时高并发的数据查询等需求,多副本机制提供数据高可用能力,多中心双活提升数据读写性能以及灾备能力,可以实现打通不同业务类型、不同数据类型之间的技术壁垒,实现交易分析一体化、流批一体化、多模数据一体化,充分满足客户在海量数据下高并发低延时查询、按需的节点扩容、持续稳定运行等需求。图4SequoiaDB巨杉数据库系统架构巨杉数据库提供存算分离、资源隔离、多副本一致性、跨引擎分布式事务以及多模数据(结构化、半结构化、非结构化数据)能力。图5SequoiaDB巨杉数据库弹性水平扩展巨杉数据库基于存算分离架构,实现存储与计算能力的横向弹性无限扩展。本方案采用集群方式部署,消除单点问题,提供高可用、高并发性能。改造方案优势高并发低延时:海量数据下高并发、毫秒级响应海量存储:PB级数据管理、弹性扩容、灵活数据分片资源隔离:物理隔离、逻辑隔离、权限分级离线、滚动升级:部分或全部服务可用,完成软件升级除此之外,系统还拥有丰富的平台能力,如下:系统能力集约运营:多模数据统一管理数据管理:数据权限管理、对象数据版本控制、历史版本回溯等功能,数据生命周期管理、冷热数据分层存储,提升数据治理水平服务节点高可用:节点无状态,多节点提供服务多中心:跨中心部署,逻辑隔离、物理隔离多索引:不同字段、维度创建索引,精确查询数据高可用:多副本机制满足监管要求:数据全量在线,数据安全系统自主可控,支持信创:支持x86、ARM,核心代码可控容灾:同城双活、两地三中心、三地五中心,RPO=0,RTO15秒此改造方案已经成功落地实施,并帮助客户实现系统性能提升。结束语
目前SequoiaDB已经有超过家大中型金融机构客户,客户生产系统最长稳定运行时间超过7年,数据量超过3PB,单集群物理机超过台。我们将客户案例整理归类、深度分析之后,精心编制成精彩的通用解决方案并附加案例集,分期进行推送。这是首期银行内容管理平台解决方案及股份制银行内容管理平台落地场景方案和案例,下一期,我们将推送更多精彩内容,敬请期待......