★热门 | 语言: Java
项目简介
Apache DolphinScheduler(海豚调度)是Apache基金会的顶级项目,是一个现代化的数据编排和工作流调度平台。DolphinScheduler以其强大的可视化操作能力著称,用户可以通过拖拽方式零代码完成复杂工作流的创建和配置。项目支持批量和流式任务调度,提供完善的任务依赖管理、失败重试、告警通知等企业级功能,已在数千家企业生产环境稳定运行,是Apache Airflow的优秀替代方案。
核心功能
可视化工作流:拖拽式DAG编排,零代码工作流设计
多任务支持:Shell、Python、Spark、Flink、SQL、HTTP等20+任务类型
任务依赖:丰富的时间依赖、数据依赖、跨工作流依赖
调度引擎:高性能分布式调度,支持百万级任务调度
失败处理:任务失败自动重试、告警通知、故障转移
权限管理:完善的用户、角色、租户权限管理
多数据源:MySQL、PostgreSQL、Hive、Kafka等20+数据源连接
集群模式:分布式集群部署,Master-Worker架构,支持动态扩缩容
技术栈
Java + Spring Boot + ZooKeeper + DolphinScheduler + MySQL + Vue + Element UI
适用场景
数据平台调度、ETL任务编排、大数据工作流、批处理任务调度、数据资产管理、工作流协同
游客,本帖隐藏的内容需要积分高于 20 才可浏览,您当前积分为 0 |