纯C/C++实现的大模型推理引擎，无外部依赖高效运行

源码资源网

纯C/C++实现的高性能大语言模型(LLM)推理引擎。不依赖任何外部库（无Python、无CUDA驱动依赖），支持在各种硬件平台上高效运行模型。

核心特点：
- 纯C/C++，零依赖，单文件可执行
- 支持多种量化方式（INT4/INT5/INT8等），大幅降低内存占用
- 支持CPU和GPU推理
- 支持主流模型：LLaMA、Mistral、Qwen、DeepSeek等
- 支持苹果M系列芯片（MLX后端）
- 量化效率高，7B模型可在4GB内存运行

适用场景：边缘设备推理、嵌入式AI、老旧硬件部署、隐私敏感场景

游客，本帖隐藏的内容需要积分高于 20 才可浏览，您当前积分为 0