来自南洋理工大学 S-Lab、商汤研究院与 Ropedia 的研究团队提出 NEO-VLA,将原生视觉语言模型引入机器人动作学习。多数视觉语言动作(VLA)模型采用相似的处理流程:先由 CLIP、SigLIP、DINOv2 等预训练视觉编码器提取图像特征,再将这些特征交给语言主干和动作模块。NEO-VLA 由此提出一个问题:如果动作模块能够直接访问视觉计算过程中形成的不同层次的表征,能否更好地利用其中与操作有关的信息。
来自南洋理工大学 S-Lab、商汤研究院与 Ropedia 的研究团队提出 NEO-VLA,将原生视觉语言模型引入机器人动作学习。多数视觉语言动作(VLA)模型采用相似的处理流程:先由 CLIP、SigLIP、DINOv2 等预训练视觉编码器提取图像特征,再将这些特征交给语言主干和动作模块。NEO-VLA 由此提出一个问题:如果动作模块能够直接访问视觉计算过程中形成的不同层次的表征,能否更好地利用其中与操作有关的信息。