11.3K+星 Apache协议 | 语言: Java
项目简介
spider-flow是一款新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫任务。采用流程图方式定义数据采集规则,支持CSS选择器、XPath、正则表达式等数据提取方式。其图形化流程编排思路可应用于OA系统的业务流程可视化设计
核心功能
图形化设计:拖拽式流程图设计器
零代码:无需编写代码完成数据采集
多数据源:HTTP、数据库、文件等多源采集
数据提取:CSS选择器、XPath、正则表达式
定时任务:Cron表达式定时采集
代理支持:HTTP代理池轮换
脚本支持:JavaScript/Python脚本扩展
数据输出:数据库、文件、API推送
技术栈
Java + Spring Boot + H2 Database + JavaScript + Vue + Element UI
适用场景
OA数据采集模块、业务流程可视化设计、信息抓取平台、自动化数据采集
游客,本帖隐藏的内容需要积分高于 20 才可浏览,您当前积分为 0 |