让GUI Agent不再「边做边忘」:快手、浙大提出MemGUI-Agent,攻克长程GUI任务

在短程任务中,多模态大模型驱动的GUI Agent已经能较好理解截图、推理用户目标,并执行点击、输入、滑动等操作。但一旦任务跨越几十步、多个App、多次页面跳转,Agent就会遇到明显的上下文退化:前面看到的价格、联系人、规格、日期、验证码、待写入文本等关键信息,可能在后续步骤中被稀释、转述错误、截断,甚至完全遗忘。它的核心思想不是简单把prompt变得更长,而是让Agent在执行UI操作的同时,主动决定「该压缩什么历史」「该记住什么UI事实」「该如何描述当前步骤」。

圈主 管理员

热门评论
:
该帖子评论已关闭
图片审查中...
编辑答案: 我的回答: 最多上传一张图片和一个附件
x
x