数联行数V32上线,对数据采集数据加

数联行数V3.2(以下简称行数V3.2)版本上线啦,本次更新对数据采集、数据加工能力进行了升级,并对多个板块进行了优化迭代,保证了平台的可用性、易用性,让行数V3.2覆盖更多的项目交付。

更新速递:1、数据管理2、数据规划3、数据采集4、数据加工

数联行数DI是数之联推出的全链路数据治理服务平台,该平台专为IT与数据管理人员设计,提供智能、敏捷的数据全生命周期管理,是大数据管理及使用的基础。平台涵盖数据管理、数据规划、数据采集、数据加工、元数据管理、数据标准管理等功能模块,帮助各行各业实现大数据开发、加工、共享服务与治理。

01数据管理

将数据连接、接口、消息队列、FTP菜单统一放在数据源管理菜单进行统一管理,提升了用户操作体验;

消息队列可对多topic字段进行管理,覆盖多topic消息队列的接入和应用;

接口管理可进行转代理服务,支持代理地址加密、代理服务开启/关闭、代理服务记录功能,提升外部接口的接入能力;

文件管理功能在上传文件时可查看文件上传进度和上传状态,让文件上传进度全掌控,提升操作体验。

02数据规划

自定义数仓构建:支持MySQL、Doris、HIVE数据连接构建为数仓能力,支持三种类型数仓的分层划域和建模建表,覆盖多种数仓构建场景。

03数据采集

多策略的数据采集:适配Doris数据连接,支持JDBC数据库采集。在原有“数据连接”目标端基础上,新增“内部数仓”和“消息队列”类型,满足多样化数据采集需求。同时,增加采集方式,如全量或增量采集;增加入库方式,可选择插入、更新插入或删除插入。此外,新增采集作业运行策略设置,支持运行模式、并行度、checkpoint、日志级别和taskmanager等参数设置。

接口采集新增手动建表选项。此功能能够根据接口信息,自动捕获并创建对应目标表的数据结构,从而适配PG、MySQL和Oracle等多种数据库。这一改进将极大提升数据采集的效率和准确性。

新增本地结构化文件的解析采集,包括文件的上传、解析、入库,支持对相同数据结构文件的复用上传;

04数据加工

数据加工能力提升:处理算子新增3个数据加工算子组件,即“类型转换”、“四则运算”、“时间窗口”。

此外,还有这些细节的迭代:

调度平台批量便捷操作,支持批量启动、批量停止、批量上下线等功能。

数据安全策略管控,新增“安全中心”功能,对数据进行自上而下的授权管控,让数据管理更加安全有序。

系统标识元素可替换,满足不同项目的定制化需要,降低定开成本。

菜单页面多页签切换,用户可切换页签页面,避免重新加载,提升用户操作体验。

了解更多详情可以


转载请注明:http://www.aierlanlan.com/rzfs/8809.html

  • 上一篇文章:
  •   
  • 下一篇文章: