5000 词需求文档,Claude 也只能交付 14%,实测 28 种 Agent 组合

如今 Agent 已经能熟练调用工具、修改文件、运行测试,但面对一个长期演进的大型软件系统,它能否从一份新需求出发,交付完整功能?复旦大学、香港城市大学、香港中文大学等机构提出 LoLBench,把 Agent 放进平均约 240 万行源代码的软件系统,评估从功能提案到模块交付的完整过程,检验把需求落到系统中的感知能力,以及完成跨模块修改的实现能力。LoLBench 希望推动 Agent 能力评估从生成代码走向支持软件持续演进,让交付结果成为检验 Agent 能力的尺度。

原文连接