Workflow Gym:告别仿真测试,抹平Agent落地鸿沟

各家发布会 PPT 一片飘红,仿佛 AI 马上就要接管你的电脑。当有人把赛场从 “Chrome + Office” 搬到 FreeCAD、QGIS、剪映、KiCad、Blender 这些真正干活的软件里,结果一下子变得非常诚实:56 款专业软件、338 个真实工作流、平均 100 步以上的操作链条,就连最强的 Gemini 3.1 Pro 和 Kimi K2.6,pass@3 成功率也只有 41% 左右,单次平均通过率只有 30% 出头。这场考试的名字叫Workflow Gym,来自字节Seed评测团队。

圈主 管理员

热门评论
:
该帖子评论已关闭
图片审查中...
编辑答案: 我的回答: 最多上传一张图片和一个附件
x
x