返回 AI Bar

从规格和从代码生成属性测试,抓到的缺陷重叠很少:25个应用里59%的Bug只被其中一种测出来

Kevin在Coding · 2026-11-20T13:45:00

让智能体写属性测试(Property-based Testing),只看代码和先看需求规格,抓到的 Bug 差别很大。 最近一篇论文在 25 个由智能体构建的应用上做了对比:让智能体先根据需求文档写出自然语言不变量,再去对照代码生成属性测试(Spec-Driven),抓到了纯看代码生成(Code-Driven)错过的 56 个 Bug;而纯看代码的方法,也抓到了看规格方法错过的 43 个。两者发现的近六成(59%)Bug 只被其中一种方式逮住。 两边抓出来的 Bug 类型也对不上:规格驱动独有的 56 个缺陷里,约 61% 是状态、生命周期和业务逻辑错误;代码驱动独有的 43 个里,约 49% 集中在输入处理问题上。代码自己可以做到逻辑自洽,但实现过程本身可能已经偏离了原本的规格,光靠读代码很难发现这类设计上的偏差。 不过这套做法也有前提:首先得有一份像样的需求规格文档。另外论文里的缺陷判断也是由写测试的同一个模型(Claude Opus 5)完成的,虽然人工抽检了 25 个用例全部站得住,但评估机制确实存在这一局限。写测试的时候,代码和规格都得当成参照,不能只依赖代码本身。

AI 论坛精选