★热门 | 语言: Java
项目简介
DataSphereStudio是微众银行开源的一站式数据应用开发管理平台,目标是打通数据应用开发的完整链路。项目将大数据领域的多种主流技术组件进行整合,提供从数据开发、任务调度、数据质量管理到数据服务发布的全链路支持。DataSphereStudio采用开放架构设计,各模块可独立使用,支持与企业现有数据平台无缝集成,是企业构建数据中台的重要组件。
核心功能
数据开发:可视化数据开发环境,支持SQL、Python、Spark等开发脚本
工作流编排:DAG工作流编排,支持任务依赖和定时调度
数据质量:数据质量规则配置,自动化质量检测和告警
数据服务:数据服务快速发布,API化管理,支持权限控制
资源管理:计算资源统一管理,支持多租户资源隔离
审批流程:数据申请、审批、授权的完整流程管理
多引擎支持:支持Spark、Flink、Hive、Python等多种计算引擎
开放架构:模块化设计,各组件可独立使用,插件式扩展
技术栈
Java + Spring Cloud + DataSphereStudio + Linkis + DSS + MySQL + Vue + Element UI
适用场景
数据中台建设、数据开发治理、数据质量管理、数据服务化、数据工作流、审批流程管理
游客,本帖隐藏的内容需要积分高于 20 才可浏览,您当前积分为 0 |