**【新智元导读】CVPR 新研究 MoDES 让多模态大模型推理效率飙升:无需训练,智能跳过 88% 冗余专家,仍保留 97% 性能,彻底打破「跳得多必掉点」旧认知,推理速度提升 2 倍 … 在 Qwen3-VL-MoE-30B 上,MoDES 在跳过 88% 专家的情况下,仍保留 97.33% 原始性能,同时带来显著推理加速,打破了一个长期存在的共识:高比例专家跳过必然带来不可接受的性能损失 … 通过显式建模不同层专家对最终输出分布的全局贡献,以及不同模态 token 在专家网络中的更新特性,MoDES 证明了一件重要的事情:即便跳过 80% 以上的专家,只要跳得足够「聪明」,模型性能依然可以稳定保持。
暂无讨论,说说你的看法吧

