新一代数据可观测性系统，提供元数据管理和数据质量检查

源码资源网

新一代数据可观测性系统，提供元数据管理和数据质量检查
一站式开源数据可观测性平台，提供元数据管理、数据概览报告、数据质量管理，数据分布查询、数据趋势洞察等核心能力，致力于帮助用户全面地了解和掌管数据，让您做到心中有数。

新一代数据可观测性系统，提供元数据管理和数据质量检查

特性数据目录

• 定时获取数据源元数据，构造数据目录
• 定时监听元数据变更情况
• 支持元数据的标签管理
  

新一代数据可观测性系统，提供元数据管理和数据质量检查

数据质量监控

• 内置 27 个数据质量检查规则，开箱即用
• 支持 4 种数据质量检查规则类型
  
  • 单表单列检查类型
  • 单表自定义SQL检查类型
  • 跨表准确性检查类型
  • 两表值比对检查类型
    
• 支持配置定时任务进行定时检查
• 支持配置 SLA 用于检查结果告警
  

新一代数据可观测性系统，提供元数据管理和数据质量检查

数据概览

• 支持定时执行数据探测，输出数据概览报告
• 支持自动识别列的类型自动匹配合适的数据概况指标
• 支持表行数趋势监控
• 支持列的数据分布情况查看
  

新一代数据可观测性系统，提供元数据管理和数据质量检查

插件化设计

平台以插件化设计为核心，以下模块都支持用户自定义插件进行扩展

• 数据源：已支持 MySQL、Impala、StarRocks、Doris、Presto、Trino、ClickHouse、PostgreSQL
• 检查规则：内置空值检查、非空检查、枚举检查等27个检查规则
• 作业执行引擎：已支持Spark和Local两种执行引擎。Spark 引擎目前仅支持Spark2.4版本，Local 引擎则是基于JDBC开发的本地执行引擎，无需依赖其他执行引擎。
• 告警通道：已支持邮件
• 错误数据存储：已支持 MySQL 和 本地文件（仅支持Local执行引擎）
• 注册中心：已支持 MySQL、PostgreSQL 和 ZooKeeper
  

多种运行模式

• 提供Web页面配置检查作业、运行作业、查看作业执行日志、查看错误数据和检查结果
• 支持在线生成作业运行脚本，通过 datavines-submit.sh 来提交作业，可与调度系统配合使用
  

新一代数据可观测性系统，提供元数据管理和数据质量检查

容易部署&高可用

• 平台依赖少，容易部署
• 最小仅依赖 MySQL 既可启动项目，完成数据质量作业的检查
• 支持水平扩容，自动容错
• 无中心化设计，Server 节点支持水平扩展提高性能
• 作业自动容错，保证作业不丢失和不重复执行
  

环境依赖

• Java 运行环境:Jdk8
• 支持 JDBC 引擎，如果你的数据量较小或者只是想做功能验证，可以使用 JDBC 引擎
• 如果您要想要基于 Spark 来运行 ，那么需要保证你的服务器具有运行 Spark 应用程序的条件
  

链接: https://pan.baidu.com/s/1aVJtKTEu9K4RxgRlkC4e9w
提取码下载：

文件名称:提取码下载.txt 
下载次数:0  文件大小:16 Bytes  售价:49金钱 [记录]
下载权限: 不限 [购买VIP]   [充值]   [在线充值]   【VIP会员6折；永久VIP4折】

安全检测，请放心下载