如果说前几年的 AI 重点是训练，那么现在的重点是推理，NVIDIA 上周的 GTC 大会上已经发布了全新的 LPU 芯片，就是要重塑 AI 推理 … AI 推理对延迟的要求很高，Dally 指出目前的瓶颈已经不是算力本身，瓶颈在通信开销上，**NVIDIA 正在研究片上通信的静态调度，将会彻底取消路由开销、排队和仲裁，通信速度接近光速本身 … **Dally 表示他有信心未来 AI 推理可以做到单用户每秒 10000 到 20000Token 的推理速度 **—— 作为对比，大家要知道目前很多人用在大模型 AI 推理速度，普遍在 100Token 每秒以内，甚至每秒 60Token 以上的速度就算高速了。
暂无讨论，说说你的看法吧