日均产出万亿 Token Mooncake 落地生产,KV Cache 命中率稳定突破 90%

以某头部万亿参数模型的生产实践为例,趋境科技日均高品质 AI Token 产量已稳定突破一万亿。自 2026 年春节以来,平均单台算力的 Token 生产效率提升超过 3 倍,总产能增长超过 30 倍。要把 Mooncake 推向日均超一万亿的 Token 生产环境,研究团队面对的核心问题不只是”能不能共享 KV Cache”,而是 Mooncake 能否跟上 Token 工厂对性能和稳定性的超高要求。2026 年春节以来,趋境平均单台算力的 AI Token 生产效率提升超过 3 倍,总 Token 产能增长超过 30 倍,KV Cache 命中率也有显著提升,稳定在 90% 以上。

原文连接