浪潮信息发布元脑 SD200 Ultra 超节点:单机承载 2.8 万亿参数 Kimi K3,Token 时延首次突破 5.85 毫秒

元脑 SD200 Ultra 基于国产 AI 芯片打造,单机可承载运行 2.8 万亿参数的 Kimi K3 大模型。浪潮表示,SD200 Ultra 的 Token 生成时延首次降至 5.85 毫秒以内,相当于单用户速度 170 Tokens / s,达到业界平均水平的 5 倍。针对 Kimi K3 推理,SD200 Ultra 使用 Kimi K3 构建超级算子智能体,实现通算融合、Tile 级流水的超级算子,将 KDA、Gated MLA、MoE 中的基础算子融合。

原文连接