流水线依次包含 SFT、推理 RL、编码 RL、指令遵循 RL、通用 agent、编码 agent、搜索 agent 和 RLHF。前面阶段更多使用可程序验证的奖励，后面才引入更软的 judge 信号。训练数据来自公开组件和公开数据集，报告称没有新增人工标注或内部蒸馏教师。
流水线依次包含 SFT、推理 RL、编码 RL、指令遵循 RL、通用 agent、编码 agent、搜索 agent 和 RLHF。前面阶段更多使用可程序验证的奖励，后面才引入更软的 judge 信号。训练数据来自公开组件和公开数据集，报告称没有新增人工标注或内部蒸馏教师。