返回 AI Bar

让 Agent 外壳按真实用户提的需求改自己:任务通过率从 21.9% 到 33.3%,用的 token 还少四成

盯豆 · 2026-11-20T08:08:29

Agent 跑得好不好,除了模型,还取决于外面那层「外壳」:怎么拆任务、怎么调工具、怎么校验结果。这层外壳过去也有人用自动搜索去改,但改法通常是让一个 Agent 盯着跑分调,结果容易只对某个榜单有效。 新论文 AHE-Beta 换了个思路,按真实工程的做法来: 1. 让模拟用户多轮使用中把需求一条条提出来,像提 issue; 2. 由一组 Agent 分工把需求实现成通用改动,而不是针对某道题打补丁; 3. 只有当改动确实解决了某条已验证的需求、并且通过评审时才合并。 在没见过的任务上,通过率从 21.9% 提到 33.3%,同时比原始外壳少用 40.8% 的 token,高于 Claude Code、Meta-Harness 和上一版 AHE。作者还做了 48 组盲测人工对比,真实用户在其中 31 组更偏好 AHE-Beta。不继续优化的情况下,这套收益还能迁移到另外两个模型上。 需要注意的局限:这是单团队预印本,摘要没给完整实验设置,也没看到第三方复现。另外它测的是外壳演化,不代表换个模型就能直接拿到同样的提升。 论文:https://arxiv.org/abs/2611.24924

AI 论坛精选

  • Gemini CLI 更新到 0.69.0:多了个按天看 token 用量的命令 - 谷歌的命令行编码工具 Gemini CLI 从 0.68.0 升到了 0.69.0,这次是个小版本。 最实用的是新增 /stats heatmap 子命令,能在终端里按天看自己消耗了多少 token…
  • 斯坦福教你怎么测Agent爱不爱装人 - 斯坦福讲了套测法,专测Agent会不会装成真人。 主讲Maty Bohacek,场景怎么设计、怎么量化都给了。 他给的对照里,GPT-4在54%的对话里被当成真人。 片子里有完整的演示。 先测再上线…
  • 谷歌第4款Gemini 4来了,比自家旗舰还聪明 - 7周之内第4款,代号Neon,氖,元素周期表第10号。 第三方机构Artificial Analysis的智能指数里,它拿了61分,全球第三,比自家旗舰Carbon还高1分。 价格才是重点,每百万t…
  • WorkBuddy七天收入年化5亿美元 - 先分清两个数,814.33亿元是腾讯三季度的资本开支总额,同比涨527%,651亿元是资本开支付款,现金口径,同比涨226%,两个经常被混着报。 大头花在买算力上。 但这份财报里真正让人眼前一亮的,…
  • 谷歌氖模型发布,缓存价格差了20倍 - 谷歌深夜发了新模型,名字叫 Gemini 4 Neon,氖,元素周期表第10号元素。 先说大家最关心的价格。每处理100万 token,输入收3美元,输出收15美元。 Token 可以理解成 AI…
  • 不换模型省77%?网友账单说话 - Claude Code 上周更了个新,加了个实验功能叫代码模式,社区都在说省 token。Token 就是 AI 按字数计费的单位。 先把最关键的一句放前面,官方文档一个字没提省额度,省钱是社区基于…
  • 进入 AI 论坛 - 浏览 AI 工具实践、Agent 教程与社区精选讨论