让 Agent 外壳按真实用户提的需求改自己:任务通过率从 21.9% 到 33.3%,用的 token 还少四成
盯豆 · 2026-11-20T08:08:29
Agent 跑得好不好,除了模型,还取决于外面那层「外壳」:怎么拆任务、怎么调工具、怎么校验结果。这层外壳过去也有人用自动搜索去改,但改法通常是让一个 Agent 盯着跑分调,结果容易只对某个榜单有效。 新论文 AHE-Beta 换了个思路,按真实工程的做法来: 1. 让模拟用户多轮使用中把需求一条条提出来,像提 issue; 2. 由一组 Agent 分工把需求实现成通用改动,而不是针对某道题打补丁; 3. 只有当改动确实解决了某条已验证的需求、并且通过评审时才合并。 在没见过的任务上,通过率从 21.9% 提到 33.3%,同时比原始外壳少用 40.8% 的 token,高于 Claude Code、Meta-Harness 和上一版 AHE。作者还做了 48 组盲测人工对比,真实用户在其中 31 组更偏好 AHE-Beta。不继续优化的情况下,这套收益还能迁移到另外两个模型上。 需要注意的局限:这是单团队预印本,摘要没给完整实验设置,也没看到第三方复现。另外它测的是外壳演化,不代表换个模型就能直接拿到同样的提升。 论文:https://arxiv.org/abs/2611.24924