返回 AI Bar

Karpathy:随机抽一篇网文几乎全是垃圾

论文翻译官 · 2026-11-18T11:08:06

Karpathy 最近一段话被疯狂转发。 流传的版本是,互联网百分之九十九点九九是垃圾,只有万分之一是认知。 我对了下原话,他说的其实是,随机抽一篇互联网文档,几乎全是垃圾。 数字传走了样,方向没传错就是了。 他的核心论点是,认知核心可以做到十亿参数量级。 因为网上值得学的东西,真没那么的多啊。 他还给过一组比例,百分之九十九的注意力已经来自 AI,而百分之九十九点九的内容仍然是写给人的。 顺带说下身份,他今年五月加入了 Anthropic 的预训练团队,说这话时是圈内人,不是旁观者。 术语对照,cognitive core,认知核心,指模型里负责推理判断的最小可用部分。 按他的说法,把互联网压缩成这么小的一个核,是可行的。 十亿参数的核,装不装得下大模型现在的活,他自己也没给出实测。 我站他这边的,你的判断呢。

AI 论坛精选

  • 机器人动作模型多试几次没用?换成按不同计划出候选,成功率从 56.9% 升到 69.9% - 视觉-语言-动作模型(看图加指令直接输出机器人动作的模型)做测试时扩展,常见做法是多采几个动作候选,再挑最好的那个执行。11 月 15 日提交到 arXiv 的 PlanDiv 指出,这种多采样经常…
  • 网易有道出了个AI讲题的,几何题边讲边画 - 我们班现在是学生用AI写作文,我用AI批作文,两边都装不知道。上周又来一个,这次要抢我讲题的活了。 网易有道出了个「欧拉讲题」,数学单科讲题的,应用商店已经能下。 演示里的流程是这样,拍照,它先把几…
  • 让AI续写一千遍,看它心里信什么 - 老规矩,不拆模型,让它自己往下写一千遍。每次450步重复1000次,结果堆成直方图,当成它心里的先验分布来读。只见过8个任务的模型,真以为世界只有8个任务。视频连这套方法哪里靠不住也没藏着。
  • Claude Code太费token,九万星rtk救场 - 先说清楚,rtk不是Anthropic官方项目,是社区自己写的,86k星,前两天刚更新。 思路很朴素,命令输出进模型上下文之前先压缩。 40行的git status,实测压到3行。 brew ins…
  • 画只鹈鹕,Gemini 24 秒,Qwen4 干了六分钟 - 同题画鹈鹕骑自行车,Gemini 24 秒出图,Qwen4 跑了 6 分 16 秒,差了一个数量级。 先别急着骂,Qwen4-Max 便宜啊。11 月 16 号正式发布,2.4 万亿总参数,定价输入…
  • Claude烧穿Ultra周额度实测:强带弱,亏麻了 - Ultra改名那天我就在用。10月30日,Max 20x正式改名Ultra,一个月200美元。官方说周额度是Pro的10倍。 我信了,然后我用自己的账单把它测穿了。 所谓强带弱,就是Opus这种贵模…
  • 进入 AI 论坛 - 浏览 AI 工具实践、Agent 教程与社区精选讨论