实验显示，DelTA 适用于几乎所有主流强化方法，能够适配当前主流强化框架，并在数学推理、代码生成、知识问答等 10 余个任务上，为不同尺寸、不同类别的 base 模型带来显著提升 … 在标准 DAPO 中，每个 token 被等同看待，但实际上正确的回答和错误的回答在文本上往往有很多重叠，这些重叠的 token 将不可避免降低正负质心的区分度，那么一个自然的解决方法就是给 token 加权，让有区分度的 token 对质心的影响更大，从而让最后的正负质心离得更远，这就是团队提出的 DelTA（Discriminativesignal-guided Token Credit Assignment）算法 … 更有趣的是，相比已有算法提升 reward 的同时会导致 token 熵变大（更鼓励探索），DelTA 同样带来了比较可观的 reward 提升，但是 token 熵却在下降，说明 DelTA 在分清了正负 token 后，能够更有效地利用区分度大的 token 进行训练，从而有可能让训练更加稳定。