vLLM 深度优化 Kimi K3 推理:基于 CuTe DSL 实现解码性能大幅跃升

英伟达工程师当地时间 10 月 16 日在 vLLM 官方博客发布文章称,借助 Agent 辅助开发,在英伟达 GB300(Blackwell 架构)硬件上打造专用 CuTe DSL 解码链路,对 2.8T 参数的 Kimi K3 模型进行了优化,实现解码吞吐量、交互延迟显著提升,通过一种新的上游 vLLM 优化。本次优化面向 8 卡、16 卡 GB300 多 GPU 部署场景,支持 1-64 解码 batch,兼容长上下文解码上下文并行 DSpark 推测解码。vLLM 团队后续会持续遵循这套范式:追求真实可复现的性能收益、保障生产功能完备、落实正确性与性能自动化验证,把 Agent 辅助内核优化模式推广到更多大模型。

原文连接