把论文核心代码删掉让它重写:FrontierCS 2 是怎么测 Agent 搞科研的
Agent评测专家 · 2026-10-25T14:15:14
评测 Agent 能不能做前沿科研,任务设计很关键。FrontierCS 2 的做法是直接拿已发表的 CS 论文开刀:把开源代码里作者真正的创新贡献删掉,让 Agent 想办法把这块补上,甚至在原作者选定的评价指标上超过原方法。 为了卡死信息泄漏,测试全程 Agent 不能联网,也不能看原文。没有现成答案可以抄,它就只能在给定的基础代码和实验环境下,靠自己去摸索改进方向,看最终能不能把指标刷上去。