0.016%的权重，Qwen数学涨了6倍

陆陆开源 · 2026-11-05T14:56:00

把模型权重当文本喂给 AI，让它自己动手改，这事 MIT CSAIL 真做了。一作 Rikiya Takehi，11 月 2 号发的博客，叫 Weight-Space Programming。周末值得花一小时看原文。 改的对象是 Qwen3.5-0.8B，8 亿参数。Astra 只动了 0.016%。换成绝对数字是 131,072 个权重，集中在第 15 层和第 19 层的部分 MLP。做法是从这两层的输出列里减掉一个重复方向的分量。 过程里没有梯度下降，没有反向传播，也没有训练循环。它用的是能读写权重的 Python 环境，最多 50 轮前向推理。得分最高的那次尝试调了 158 轮。 效果是这样的。MATH-500 从 7.9% 到 48.1%，差不多 6.1 倍。GSM8K 从 13.8% 到 67.1%。IFEval 指令遵循从 21.0% 到 62.3%。 到这儿很容易上头。我先泼一盆冷水。 Qwen3.5-0.8B 有个明确的毛病。开思考模式之后，它会反复重写已经写过的推理步骤，迟迟不给答案。最初那 96 份练习回答里，85 份把 32,768 个 token 的输出额度耗光了。 改完之后，数学测试里因为超长没答完的比例从 93% 掉到 33.1%。 所以这次涨分的大头，是把一个拖后腿的循环修掉了。凭空给模型加数学能力这种事，暂时还看不出来。 团队还做了对照，拿 Gemma 3 270M 用同样手法。MATH-500 只从 6.8% 升到 7.7%。Gemma 3 270M 本来就很少陷进循环。 我个人更在意另外两个实验。Astra 没看过游戏画面，只拿到网络权重和输入输出说明。它就认出了《打砖块》的简化网格版本。它还能按游戏规则和源码从零写权重。三款游戏上的得分，超过了用 PPO 训练 1 亿步的同结构网络。 要挑毛病也有。8 亿参数的模型，权重塞进 prompt 还扛得住。换成 70B 就是另一码事，光权重文本就装不进上下文。论文也没说这会不会伤到别的能力，得等复现。 原文在 rikiyat.github.io/blog/weight-space-programming。