支持多种异构数据源的质量校验通知管理服务

一、开源项目简介

Qualitis是一个援助多种异构数据源的原料校验、通告、经管效劳的数据原料经管平台,用于处置营业系统运转、数据重心建筑及数据责罚经过中的各式数据原料题目。

Qualitis基于SpringBoot,依赖于Linkis停止数据谋略,供应数据原料模子建筑,数据原料模子施行,数据原料职责经管,反常数据觉察保管以及数据原料报表生成等功用。并供应了金融级数据原料模子资本隔断,资本管控,权力隔断等企业性格,完备高并发,高机能,高可用的大数据原料经管才力。

二、开源协定

运用Apache2.0开源协定

三、界面展现登录创立项目创立规定职责施行职责观察规定模板摆设先容四、功用概括重心特征

数据原料模子界说援助下列数据模子界说:1.单表校验数据模子。2.跨表校验数据模子。3.自界说校验数据模子。同时,系统预置了多个数据原料校验模版,包罗空值校验,罗列校验等罕用校验,而且援助自界说数据原料模版。

数据原料模子调剂援助数据原料模子调剂。

数据原料报表援助生成数据原料报表。

日记经管日记围拢经管,便利排查数据原料职责

反常数据经管援助反常数据讨取和保存,迅速定位题目

援助劳动流援助在劳动流之中停止数据原料校验劳动流必装DataSphereStudio.

经管员掌握台供应经管员掌握台界面,援助人员经管,权力经管,权力经管,元数据经管等经管功用。

与雷同系统相比五、技艺选型Architecture整体模块谋略图用例图环节一、基本软件安置

Gradle(4.9)MySQL(5.5+)JDK(1.8.0_)Linkis(0.9.1),必装Spark引擎。DataSphereStudio(0.7.0)可选.若是你想运用功做流,必装DataSphereStudio

环节二、安置包下载

观察底部源码地点

环节三、编译(二进制包跳过)

gradlecleandistZip环节四、安排4.1解压安置包zip包

unzipqualitis-{version}.ziptar包

tar-zxvfqualitis-{VERSION}.tar.gz4.2连贯MySQL,插入初始数据。

mysql-u{USERNAME}-p{PASSWORD}-h{IP}--default-character-set=utf8sourceconf/database/init.sql4.3改动摆设文献

vimconf/application-dev.yml

改动下列摆设:

##数据库摆设spring.datasource.username=spring.datasource.password=spring.datasource.url=##数据库摆设,和以上一致task.persistence.username=task.persistence.password=task.persistence.address=4.4启动系统

dos2unixbin/*shbin/start.shRoadMap1.援助对报表数据停止数据原料校验

援助在劳动流之中,对生成的报表数据停止数据原料校验

2.援助多种数据源的数据原料校验

援助HDFS,HIVE,MySQL等数据源间的数据原料校验

援助时刻数据的数据原料校验,如Kafka

3.援助生成可选纬度的数据原料报表

援助可选纬度生成数据原料报表

4.援助智能觉察数据原料题目Tips

由于Qualitis的前端代码是采纳WeBank自研的前端框架FES,不过FES框架方今没有开源,因此Qualitis的前端代码暂不开源。咱们会尽量推动Qualitis的前端开源。对此咱们觉得特别抱愧。

你也许经过源码下载,并解压web/app/src/main/resources/static/static.zip来猎取编译后的前端代码,也许经过下载release直接运用。

六、源码地点

私函回答:数据原料经管平台

或走访一飞开源:


转载请注明:http://www.aierlanlan.com/tzrz/1056.html