NVIDIA 推理服务器——高性能 LLM 部署（1.3万⭐）

源码资源网

NVIDIA 官方的高性能推理服务框架，支持 TensorRT / ONNX / PyTorch / TensorFlow 模型在 GPU 上高效推理。

核心功能：
- Dynamic Batching 动态批处理，最大化吞吐
- TensorRT 模型优化引擎
- GPU/CPU 混合推理
- INT8 / FP16 低精度加速
- Concurrent Model Instances 并发实例
- Model Ensemble 流水线组合
- HTTP/gRPC inference API
- CUDA Streams 并行处理
- 性能分析工具（Perf Analyzer）
- Kubernetes 部署支持

技术栈：CUDA / TensorRT / C++ / Python / Kubernetes

详细描述：生产环境部署 LLM 的工业标准。Dynamic Batching 技术将多个请求合并为 batch 处理，吞吐量可提升 5-10 倍。配合 NVIDIA A100/H100 GPU，单卡即可支持数十个并发推理请求。

游客，本帖隐藏的内容需要积分高于 20 才可浏览，您当前积分为 0