ICML 2026｜小模型也能「指挥」大模型RL后训练：清华&腾讯提出GPS，最高减少69% Rollout成本

RLVR 已经成为提升大模型推理能力的重要后训练路线。在数学推理、代码生成和复杂逻辑任务中，模型会针对同一个 prompt 生成多条 Chain-of-Thought，再通过可验证奖励判断对错，并据此更新策略。实验显示，GPS 在数学推理和逻辑推理任务上都带来了明显收益：相比 Uniform 随机采样，训练步数加速达到 1.4×–2.0×；更有意思的是，这个训练过程中学到的小预测模型，还可以复用到测试时计算分配中：在固定预算下最高提升 3.2% ，或在性能不下降的情况下最多节省 36.4% 推理计算。