一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务
一站式开源数据中台,覆盖中台基础建设、数据治理、数据开发、监控告警、数据服务与数据可视化等核心能力,致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务。
使用场景[td]场景 | 描述 | 多源数据整合 | 整合业务系统、IoT、第三方等数据,实现统一采集、清洗与治理,构建标准数据资产。 | 统一数据服务 | 将治理数据通过 API 或数据集方式提供,支撑系统共享调用,提升复用效率。 | 决策分析支撑 | 提供统一数据视图和分析能力,助力业务分析、报表生成及科学决策。 | 优势[td]优势点 | 描述 | 统一标准 | 建立统一的数据规范、模型和指标体系,消除“数据孤岛”,提升全局协同效率。 | 敏捷支撑 | 快速响应业务变化,按需提供数据服务和分析支持,加速业务创新。 | 安全可控 | 数据权限精细化管理,保障数据合规使用,支撑审计与监管要求。 | 已有功能一览[td]功能模块 | 功能描述 | 状态 | 系统管理 | 包含系统配置、用户与权限管理、运行监控、日志管理、服务器资源监控和工作空间管理,支持将任务拆分给不同项目组协作,适应前店后厂的工作流程。 | ✅ 完成 | 数据标准管理 | 管理逻辑模型(表级,支持关联数据元)和数据元模型(字段级,绑定规范、稽查与清洗),实现结构化数据规范和质量管控。 | ✅ 完成 | 数据集成(ETL) | 支持数据库、文件、消息队列等多种数据源接入,提供可视化ETL设计、多任务调度与监控,支持数据清洗规则应用,包含运行日志和执行配置管理。 | ✅ 完成 | 元数据管理 | 集中管理数据表、字段、稽查、清洗指标等元信息,建立统一的数据资产目录,支撑数据查找、血缘分析和结构维护。 | ✅ 完成 | 数据质量管理 | 支持基于预置的稽查规则及数据清洗规则,实现对数据准确性、一致性和完整性的自动校验与修正。 | ✅ 完成 | 数据资产管理 | 通过目录结构对数据资产进行分级分类管理,支持全生命周期跟踪与维护。 | ✅ 完成 | 统一标签管理 | 支持标签自动生成与多维度标签筛选,便于数据分类和精准检索。 | ✅ 完成 | 数据开发 | 支持达梦8、MySQL、Oracle、人大金仓等主流数据库任务开发,包含调度配置和日志管理,基于数据仓库,通过SQL及大数据脚本结合业务需求开发和加工业务数据。 | ✅ 完成 | 数据查询 | 提供灵活且高效的交互式查询工具,支持快速分析和挖掘结构化数据。 | ✅ 完成 | 数据服务管理 | 将数据资产封装为 API 服务,支持外部 API 接口转发,包含 API 日志、数据脱敏、数据接口和服务接口管理及调用日志监控。 | ✅ 完成 | 默认端口[td]端口号 | 协议 | 说明 | 8080 | http | 平台前端默认端口 | 8081 | http | 平台后端默认端口 | 2181 | tcp | ZooKeeper 默认客户端连接端口 | 8020 | tcp | Hadoop HDFS NameNode RPC 端口 | 9870 | http | Hadoop HDFS NameNode Web UI端口 | 9000 | tcp | Hadoop HDFS 默认FS端口(部分配置) | 10000 | tcp | HiveServer2 默认端口 | 9083 | tcp | Hive Metastore Thrift 服务端口 | 16010 | http | HBase Master Web UI 端口 | 60010 | http | HBase RegionServer Web UI 端口 | 7077 | tcp | Spark Master 端口 | 8080 | http | Spark Master Web UI 端口 | 4040 | http | Spark 应用程序 Web UI 端口 | 18080 | http | Spark History Server Web UI 端口 |
访问地址:127.0.0.1:81,账号:qData 密码:qData123 技术栈采用前后端分离架构,后端基于 Spring Boot,前端基于 Vue 3,整合常用中间件与数据工具,构建一站式数据中台解决方案。
后端技术栈[td]分类 | 技术 | 描述 | 服务框架 | Spring Boot | 提供快速开发能力 | 权限控制 | Spring Security | 实现用户权限认证与控制 | 数据库 | MySQL、PostgreSQL、达梦8、人大金仓 | 持久化存储与配置管理 | ORM 框架 | MyBatis-Plus | 简化数据库操作 | 缓存与并发控制 | Redis | 支持缓存、分布式锁等 | 消息队列 | RabbitMQ | 实现异步通信与解耦处理 |
前端技术栈[td]分类 | 技术 | 描述 | 框架 | Vue 3 | 现代化响应式框架 | 组件库 | Element UI | 常用 UI 组件支持 | 构建工具 | Vite | 快速开发与构建工具 | 第三方依赖[td]分类 | 组件 / 工具 | 描述 | 数据仓库 | Hive | 支持数据建模、分区管理及元数据维护 | 计算引擎与数据集成 | Spark | 批流一体,支持 ETL 数据处理 | 大数据存储 | Hive、HBase | 支持海量非结构化与半结构化数据存储 | 作业调度与任务管理 | DolphinScheduler | 提供可视化任务编排、依赖管理及调度能力 | 部署要求服务端环境要求(后端)项目推荐版本说明
JDK1.8 或以上建议使用 OpenJDK 8 或 11
Maven3.6+项目构建与依赖管理
达梦88.0关系型数据库(可切至MySQL)
Redis5.0+缓存与消息功能支持
RabbitMQ可选用于任务调度、异步通信等功能。
操作系统Windows / Linux / Mac通用环境均可运行
前端环境要求(可选,若需本地构建)项目推荐版本说明
Node.js16+构建工具依赖
npm10+包管理器
Vite最新版脚手架工具
一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务 ...
一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务 ...
一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务 ...
一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务 ...
一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务 ...
一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务 ...
一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务 ...
一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务 ...
一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务 ...
一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务 ...
一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务 ...
一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务 ...
一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务 ...
一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务 ...
一站式开源数据中台 致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务 ...

链接: https://pan.baidu.com/s/1cVXl6f6fo4yq2zMahc2utg
提取码下载:
|