线性层用一个固定大小的循环状态概括整个前缀,好处是状态不随输入 prompt 长度增长,但坏处是单个状态块占用内存大,且无法回滚:拿着第 10000 个 token 处的状态,推不出第 9000 个 token 处的状态。在三个模型上,FlashStates 的预填充吞吐分别为 vLLM 的 3.15 倍(GLM-5.3-Flash)、2.27 倍(Nemotron 3 Super)和 1.54 倍(Qwen3.8-Flash-Next),p90 TTFT 分别降低 88.4%、77.1% 和 79.0%。随着混合架构普及、Agent 上下文持续变长,推理系统中为纯 Transformer 设计的缓存逻辑,需要针对混合状态重新设计。

