开源LLM与AI框架：LangChain/Ollama/vLLM/LlamaIndex/RAGFlow

源码资源网

开源LLM与AI框架

本帖精选推荐大语言模型应用开发框架与本地部署工具，覆盖LLM编排/RAG检索/本地推理加速/知识库全流程。

• LangChain — 98K★ | LLM应用开发框架，Prompt模板/Chain链/Memory记忆/Agent决策/Retrieval检索
• Ollama — 78K★ | 本地LLM运行，Ollama pull/run，Llama3/Mistral/Gemma/Qwen等，开源模型本地跑
• vLLM — 37K★ | PagedAttention高效推理，比HuggingFace快24倍，Continuous Batching，OpenAI兼容API
• LlamaIndex — 34K★ | RAG知识库框架，数据连接器/Ingest索引/Query查询/评估测试
• RAGFlow — 15K★ | 深度文档理解RAG，基于OCR+LLM，非结构化文档QA首选
  

核心功能

• LangChain: LLM/ChatModel接口，Chain序列调用，Agent自主决策，Memory持久化，Tool工具
• Ollama: ollama pull model，ollama run，Modelfile定制，REST API服务，context window控制
• vLLM: vllm serve模型，--gpu-memory-utilization，tensor parallelism，streaming推理
• LlamaIndex: SimpleDirectoryReader加载，VectorStoreIndex索引，QueryEngine查询，Retriever
• RAGFlow: DeepDoc深度文档解析，GraphRAG知识图谱，Multi-modal多模态，模板配置

适用场景

• 本地LLM部署推理
• RAG知识库问答
• AI应用快速原型
• 文档智能分析

游客，本帖隐藏的内容需要积分高于 20 才可浏览，您当前积分为 0