Vivo AI Lab 研究团队提出 CAPO-SLT（Confidence-Aware Policy Optimization for Sign Language Translation），在不更换视觉编码器与奖励函数的前提下，通过改进强化学习的更新规则，使手语翻译生成更稳定、更忠实。自动手语翻译需将连续视频或姿态序列转换为自然语言，面临模态差异、时间粒度差异和语言结构差异等挑战，如手部动作细微、相近手势易混淆、动作边界不清、表情口型等非手部线索可能不完整。
Vivo AI Lab 研究团队提出 CAPO-SLT（Confidence-Aware Policy Optimization for Sign Language Translation），在不更换视觉编码器与奖励函数的前提下，通过改进强化学习的更新规则，使手语翻译生成更稳定、更忠实。自动手语翻译需将连续视频或姿态序列转换为自然语言，面临模态差异、时间粒度差异和语言结构差异等挑战，如手部动作细微、相近手势易混淆、动作边界不清、表情口型等非手部线索可能不完整。