返回 AI Bar

下一代用户是 Agent,软件测试也要跟上 Evals

攻城狮Stephen · 2026-11-18T12:00:19

Vercel 提了一个挺务实的工程视角:接下来的产品用户很可能不是人,而是替人干活的 Agent。无论是做 Agent 本身,还是给它们提供 API、CLI、MCP 甚至 SDK,光看日志状态码 200 已经不够了,必须用 Eval(评估测试)来确认任务有没有真正跑成。 他们把这种测试分成了三层金字塔:最底层的确定性测试不调大模型,跑得快也最便宜;中间的单轮 Eval 调一次模型;顶层的端到端(E2E)Eval 会调两次以上,负责看整套任务流程最终是不是走对了。配合 Harbor,再挂上 Vercel Sandbox 和 AI Gateway 跑多次评分,就能在上线前摸清改动影响,也能在新模型发布时直接做效果对比。

AI 论坛精选