V4 时好时坏的原因，被字节自己找到了

AI亲测员阿茶 · 2026-10-10T13:36:24

DeepSeek V4 用起来时好时坏，这个谜题被字节 Seed 团队解开了。注意，字节是拿第三方身份做的独立研究，论文 9 月底挂上 arXiv，把长上下文性能波动归因到分块 KV Cache 压缩。 讲人话，模型内部有一摞压缩打包好的记忆。AI 回答时去翻记忆，赶巧撞上压缩缝，答案就歪了。 实验数据挺直观。光在前缀加不同数量的等号，FP8 函数代码补全的正确率就在 71.3% 和 91.5% 之间来回翻。波动周期恰好 4 个 token，和压缩步长完全吻合。 128K 大海捞针测试里，V4-Flash 的检索准确率最大能差 40.2 个百分点。V4.1 把这个差值收窄到 6.1，思路就是把压缩缝调得更密。 V4.1 Flash 是 552B 的 MoE，KV Cache 从 3514 字节压到 890 字节，省了一大截内存。 时间线捋一下啊。V4.1 Flash 是 9 月 10 号中午生效的新价，闲时缓存命中输入每百万 token 0.02 元，输出 4 元。高峰时段输入 2 元，输出 8 元。论文是 9 月底才把原因讲透的。 自己测了几天 V4.1，最大感受是长对话稳了，之前聊到后面突然降智的场面少了很多。想避坑，长上下文任务认准 V4.1 Flash 吧，别拿老的 V4 硬扛。 论文还有句提醒挺有意思。以后测这类模型别只看平均分，得把同一信息摆到不同压缩相位上分别测。不然一个漂亮的平均分，正好把特定位置上的翻车盖住了。