Amazon发了份备忘录,别拿token交差
消息灵通的Dora · 2026-10-28T11:12:49
Amazon 自己在官网上挂了一份备忘录,给全体工程师看的。不是泄露,10 月 27 日就摆在那。 首发是 CNBC,记者 Annie Palmer,标题里有个词叫 anti-tokenmaxxing。 备忘录 9 月先在内部传阅,署名是工程高管 Terk,开头 Dear SDEs and SDMs,来自新版 SDE 角色指南。到 27 日主动公开。 核心一句,token 计数「deeply flawed」,主要因为它们跟真正重要的东西脱节。 被点名的还有代码行数、AI 工具采用率、代码变更数、代码评审数。四个指标,全是好统计的,也全是能刷的。 原文把机制讲得很直白。token 用量变成考核目标,成本就往上走,违反节俭原则。代码行数变成目标,复杂度就往上走,违反简化原则。 这就是古德哈特定律的现场演示。指标一旦被当成目标,它就不再是好指标。 更狠的是 Amazon 自己踩过这个坑。今年 5 月,内部 AI 使用排行榜 Kirorank 关掉了。原因不复杂,员工为了冲榜狂刷 token,算力成本暴增。当时高级副总裁留下,请不要为了 AI 而用 AI。 半年过去,这回换了个更正式的方式再说了一遍。 那改用什么衡量。原文建议看长期成果,「We believe that it is best to measure, and be measured by, long-term outcomes」。 AWS 副总裁 Marc Brooker 给了个更落地的,feature velocity。看做了多少次发布,在生产上成功做了多少次变更,按 ROI 算账。 真正稀缺的不是生成量,是上线后没炸的那部分。 对管理者还有硬要求,必须动手用过这些工具,能说出一个它帮上忙的任务和一个没帮上忙的任务。不是听汇报,是自己碰过。 最反常识的是这句,「如果你的工作不能从当前 AI 工具中获益,这是一个发现,不是失败」。在一个喊着全员 AI 的公司里写出这句话,分量不小。 顺一下整件事的走向。先造排行榜,发现有人刷榜,关掉。再造 token 指标,发现指标本身有毒啊。 发错了就当没说,但这个备忘录是真挂在 aboutamazon.com 上的。