大模型训练省钱秘籍:清华 POPO 一招组级回放,把浪费的算力全部捡回来

一句话概括:POPO 不再为无效样本额外做更多 rollout,而是把当前 batch 里的无效组替换成最近缓存过的高质量有效组,并通过解耦式 off-policy 重要性采样稳定更新,从而用更少 rollout 获得接近 DAPO 的训练效果 … POPO 的思路则是少浪费:既然训练过程中已经见过有效组,就把最近的高质量有效组缓存起来,用来替换当前 batch 中没有训练信号的无效组 … 未来的 RLVR 训练,可能不能只靠”多采样、多过滤”解决问题,而需要像 POPO 这样,把训练过程中已经产生的有效信号尽可能吃干榨净。

原文连接