235B 参数也没用港中文等发布 7 模态数据集,专测顶级 VLM 的感知盲区

港中文 AIoT 实验室联合 UIUC、哥伦比亚大学与匹兹堡大学,用一个包含 64,267 个七模态同步样本的数据集 CUHK-X,第一次系统地把这条”看得见却读不懂”的能力断崖量化了出来 … 现有的人类活动识别(HAR)数据集绝大多数只给到粗粒度的 ⟨数据,标签⟩,比如一条”跌倒”、一条”睡觉”,既没有连贯的语义描述,也不覆盖多模态 … HAR 七模态平均识别准确率为 76.52%,视觉模态一骑绝尘:热成像拿到 92.57% 准确率、93.36% F1,RGB 与深度的 F1 分别为 91.28% 和 90.93%,骨架也有 79.08% 准确率。

原文连接