一款定位为数据智能分析的一站式指标中台产品。数据智能分析,通过创新与集成优秀的开源项目dolphinscheduler、supersonic等实现任务调度、智能分析等核心功能

源码资源网 · 发表于昨天 11:03

一款定位为数据智能分析的一站式指标中台产品。数据智能分析,通过创新与集成优秀的开源项目dolphinscheduler、supersonic等实现任务调度、智能分析等核心功能
该项目是基于dolphinscheduler海豚调度之上的创新+集成方式实现的数据开发治理服务分析一站式数据指标中台。平台旨在研发数据集成、数据工作流离线开发、实时开发、数据资产治理、指标管理、智能分析Copilot、数据质量、数据分析等核心功能。正在以及规划集成优秀的开源项目supersonic、datavines、数据血缘等。
智能ChatBi&Copilot(集成supersonic)

多指标联合问答:基于指标模型支持单个指标问答以及多个指标多个维度联合问答
智能补全:支持输入搜索词后返回联想指标和维度，帮助快速补全
历史会话:对历史记录进行管理

指标管理

指标归因分析和维度归因分析
指标模型管理:快速灵活组合各个指标和维度，提供API和智能问答的指标语义模型
指标定义管理:支持原子指标和衍生指标的定义，统一指标口径指标
维度管理:对业务维度进行管理，标准规范化维度管理

数据质量管理

数据质量监控:定义和执行数据质量规则，如空值检测、重复值检测、范围检查等，确保数据的准确性和完整性。
告警和通知:当数据质量出现问题时，通过电子邮件、短信等方式发送告警通知，确保相关人员能够及时响应和处理问题。
数据治理:支持数据分类、标签和权限管理，确保数据的合规性和安全性。
数据质量报告:生成详细的数据质量报告，帮助用户了解和改进数据质量。

工作流调度(DolphinScheduler)

分布式架构:处理大规模的数据处理任务，确保系统的高可用性和扩展性。
任务依赖管理:定义复杂的任务依赖关系，确保任务按照预定的顺序执行。数据集成与开发:支持多种类型的任务，包括Shell、Python 脚本、SQL、MapReduce、Spark、Flink 等。
可视化工作流设计:提供直观的图形化用户界面，通过拖拽方式设计和配置工作流。
任务调度:支持灵活的调度策略，包括定时调度、依赖触发、手动触发等。任务监控与告警:实时监控任务的执行状态，并提供告警通知功能，确保问题及时处理。
资源管理:管理任务所需的资源，确保资源合理分配和使用。

数据集成