3.8万小时、狂烧天价token:字节发现Agent的 Scaling Law

字节 Seed 发布了一个 Agent评测项目 EdgeBench。看起来又是一个 benchmark,但它问了一个其他榜单不问的问题。 给模型一道题,做对了得分,做错了不得分。这是绝大多数 benchmark 现在的工作方式,越来越像高考。 但真实世界里,人不是这么用 AI 的。 你不会给 Claude Code出一道题然后等它交卷。你会给它一个项目、一个代码库、一批数据,然后它在那里折腾好几个小时,探索、犯错、读反馈、修正、再试。你更关心的是 它浸泡在现实任务环境里一段时间之后,能不能比刚进来时更强 。 但当前的 benchmark 几乎测不出这些东西。

圈主 管理员

热门评论
:
该帖子评论已关闭
图片审查中...
编辑答案: 我的回答: 最多上传一张图片和一个附件
x
x