苹果新作:内化视觉思考,推理提速 5 倍

机器人、智能助手或主动视频理解系统还需要根据不完整的视觉信息推断事件如何发展,并提前预测接下来可能发生的动作。一种直观的做法是视觉思维链(Visual Chain-of-Thought,Visual CoT):先让模型生成一张 “想象中的未来画面”,再基于这张图像完成后续推理。围绕这一问题,团队提出 Internalized Visual Thinking(IVT,内化视觉思考),一种将预测性世界建模能力内化到模型表征中的后训练框架。IVT 在训练阶段同时学习文本答案和未来帧的隐空间表征,但在推理阶段完全移除未来视觉预测过程,只根据当前观测视频直接生成答案。

圈主 管理员

热门评论
:
该帖子评论已关闭
图片审查中...
编辑答案: 我的回答: 最多上传一张图片和一个附件
x
x