OPD 天然具有密集的 token-level 监督信号：学生模型生成推理轨迹，教师模型对轨迹中的每一个 token 提供反馈。在 OPD 中，每一个 token 的监督信号代表了教师模型和学生模型在该 token 处的分歧度，研究团队选择保留每一条 rollout 中分歧最大的 token。实验结果显示，监督一个或者两个 token 所得到的学生模型不仅比全信号训练得到的学生模型好，更是超过了教师模型本身。
OPD 天然具有密集的 token-level 监督信号：学生模型生成推理轨迹，教师模型对轨迹中的每一个 token 提供反馈。在 OPD 中，每一个 token 的监督信号代表了教师模型和学生模型在该 token 处的分歧度，研究团队选择保留每一条 rollout 中分歧最大的 token。实验结果显示，监督一个或者两个 token 所得到的学生模型不仅比全信号训练得到的学生模型好，更是超过了教师模型本身。