跨平台大语言模型一站式管理平台，下载推理微调知识库 API 全搞定

源码资源网

游客，本帖隐藏的内容需要积分高于 20 才可浏览，您当前积分为 0

语言：Python

项目简介：
跨平台大语言模型一站式管理平台，支持下载、推理、微调、知识库问答、图像识别、API 服务，一个工具全搞定。支持 NVIDIA CUDA GPU、Apple MPS (M1/M2/M3/M4)、CPU 自动检测，零配置运行。

核心功能：
- 模型下载：HuggingFace 一键下载，内置 7+ 精选模型，支持 Transformers/GGUF 双格式
- 模型推理：双引擎推理，流式输出，自动 4-bit 量化
- LoRA/QLoRA 微调：参数高效微调，支持 Alpaca/ShareGPT 数据集
- RAG 知识库：支持 PDF/Word/Excel/PPT 等 10+ 格式文档，检索增强问答
- 图像识别：视觉语言模型，图片描述/问答/OCR
- REST API：OpenAI 兼容接口，SSE 流式
- API 密钥管理：内置 Web 管理后台
- Web 界面：Gradio 8 页签可视化操作
- CLI 命令行：完整命令行操作能力

技术栈：
- 语言：Python
- 界面：Gradio
- 推理：Transformers + llama-cpp-python
- 许可：MIT

适用场景：
- 大模型本地部署
- 模型微调训练
- 知识库问答系统
- API 服务搭建
- 图像识别分析