[工具源码]TensorRT - NVIDIA大模型推理优化

源码资源网

⭐ Stars: 13,400+ | 语言: Python | 今日新增: 20⭐

NVIDIA TensorRT LLM优化库，GPU推理优化，高吞吐，低延迟。

核心特性：
• TensorRT： 集成
• GPU优化： 高效
• 高吞吐： LLM
• 低延迟： 推理
• 多模型： 支持
• CUDA优化： 原生

适用场景：LLM推理、NVIDIA GPU、高性能计算

源码：

游客，本帖隐藏的内容需要积分高于 20 才可浏览，您当前积分为 0