开源本地大模型运行全家桶：Ollama/llama.cpp/GPT4All/Oatmeal/Jan/LM Studio/LocalAI

源码资源网

开源本地大模型运行全家桶

本帖精选本地运行大语言模型的开源工具，涵盖Ollama、llama.cpp、GPT4All等，在个人电脑上无需联网即可运行GPT级别模型，隐私安全零成本。

• ollama/ollama — 170K★ | Go | 本地LLM运行平台，ollama run llama3/deepseek/qwen，本地模型管理/GPU加速/Modelfile自定义，Mac/Linux/Win全平台
• ggml-org/llama.cpp — 107K★ | C++ | 纯C++大模型推理，GGUF量化格式/Metal/CUDA/CPU，Mac M系列完美适配，q4_0/q5_K_M量化，无GPU运行7B模型
• nomic-ai/gpt4all — 77K★ | C++ | 本地ChatGPT风格UI，GGUF模型/DirectLLM，Mac/Linux/Win，聊天历史，隐私保护无需联网
• janhq/jan — 18K★ | TypeScript | 本地LLM平台，ChatGPT替代/OpenAI API兼容/多模型切换，Jan Engine推理引擎
• lmstudioai/lm-studio | 桌面应用 | LM Studio本地模型运行，模型下载管理/Server API/聊天界面，GGUF支持，GPU卸载
• mudler/LocalAI — 12K★ | Go | 本地REST API推理，OpenAI API兼容/GPT/S/stable-diffusion，Docker一键部署，语音转文本
• oatml/oatpp | C++ | 高性能LLM推理框架，量化优化/GPU加速，支持LLaMA/Alpaca/Vicuna
• imartinez/privateGPT — 11K★ | Python | 私有化GPT，文档问答/本地RAG/无互联网/GPT4All/llama.cpp，多文档支持
  

核心功能

• Ollama: ollama pull deepseek-r1，ollama run模型对话，Modelfile自定义，REST API端口11434
• llama.cpp: llama-cli -m model.gguf -prompt，llama-quantize量化，llama-server REST API，-ngl GPU卸载
• GPT4All: GUI下载模型，聊天历史，本地RAG，API Server模式
• LocalAI: docker-compose一键，/v1/chat/completions OpenAI兼容，/v1/images生成图片

适用场景

• 本地LLM体验
• 隐私敏感数据处理
• 离线AI应用
• 开发者API测试
• 个人知识库问答

游客，本帖隐藏的内容需要积分高于 20 才可浏览，您当前积分为 0