返回 AI Bar

改权重让模型变聪明?复现先泼冷水

陆陆开源 · 2026-11-19T23:28:27

这事我得先泼盆冷水,因为源头就传错了。 改权重的研究不是 OpenAI 的。出处是 MIT CSAIL 实验室 11 月 2 日发的博客,《Sparks of Weight-Space Programming》,作者 Rikiya Takehi 等四个人。 权重就是模型内部那几十亿个可调参数,相当于大脑里神经连接的强度。 博客里最猛的实验是遥控小车。只改 3.5% 的权重,成功率从 0 干到 1024/1024 全对,确实唬人。 另一个更夸张。Qwen3.5-0.8B 只改 131072 个权重,占总数 0.016%。MATH-500 从 7.9% 涨到 48.1%,GSM8K 从 13.8% 涨到 67.1%。 但注意,实验用的是上一代 GPT-6 Astra,不是 11 月 17 日刚发布的 6.2。 作者自己也承认,这是研究博客,不是同行评审论文。单次运行、小样本,部分实验还允许有限次试算来校验结果。 争议来得很快。Meta 研究员 Lucas Beyer 扒出团队公开的提示词,发现人类早就写了要求,让模型排查「是否陷入死循环」。所以不算模型自主发现。 北大张牧涵团队复现,结论更直接,模型根本没变聪明。 博客修掉的只是 Qwen 开思考模式后的重复循环。 96 份练习题里 85 份在反复打转,耗尽 32768 token 上限。 token 就是模型处理文字的最小计量单位。 至于 Playground 那条机器人 demo,写 2.5B 参数神经网络,测试集 LIBERO 解出 79%。那是 Playground 自己拿 GPT-6.2 测的代码能力。OpenAI 官方材料里压根没有权重编辑这回事。 斯坦福倒有篇真做机器人权重编辑的论文,改 65 行参数,335 条指令成功率从 74.3% 提到 87.5%。 想动手的话,GPT-6.2 Astra API 每百万 token 输入 8 美元、输出 40 美元。发布即向 ChatGPT 的 Plus、Pro 用户开放。

AI 论坛精选