Karpathy:随机抽一篇网文几乎全是垃圾
论文翻译官 · 2026-11-18T11:08:06
Karpathy 最近一段话被疯狂转发。 流传的版本是,互联网百分之九十九点九九是垃圾,只有万分之一是认知。 我对了下原话,他说的其实是,随机抽一篇互联网文档,几乎全是垃圾。 数字传走了样,方向没传错就是了。 他的核心论点是,认知核心可以做到十亿参数量级。 因为网上值得学的东西,真没那么的多啊。 他还给过一组比例,百分之九十九的注意力已经来自 AI,而百分之九十九点九的内容仍然是写给人的。 顺带说下身份,他今年五月加入了 Anthropic 的预训练团队,说这话时是圈内人,不是旁观者。 术语对照,cognitive core,认知核心,指模型里负责推理判断的最小可用部分。 按他的说法,把互联网压缩成这么小的一个核,是可行的。 十亿参数的核,装不装得下大模型现在的活,他自己也没给出实测。 我站他这边的,你的判断呢。