8GB跑2.78万亿参数，我扒了

装机佬阿Ken · 2026-11-03T12:27:52

朋友甩过来一个仓库。说 8GB 内存就能跑 2.78 万亿参数的 Kimi K3。 标题党我见多了，这次我把 README 和 issue 全扒了一遍。 仓库是真的。FareedKhan-dev/kimi-k3-in-c。纯 C99 手写的推理引擎，不用 BLAS，不用框架，不用 GPU。 编译完引擎本体只有 176KB。9437 个 star。 光看这几个数字我就服气了。176KB 的引擎，比我手机里的计算器 App 还小。 参数也没虚标。官方 HuggingFace 元数据写的就是 2779931837184。 2.78 万亿这个数是对的，一个零都没多写。 然后说 8GB。 8.24GB 是峰值内存的实测值，数字是真的。但有个前提原帖没写，README 的 benchmark 表里写了，这是在一台 124 核、高速 NVMe 的机器上压出来的。 124 核。那玩意的散热器大概比我整台机器都贵。 速度才是真相。8GB 档，平均 32.69 秒吐一个 token。 折下来 0.03 token 每秒。 给个直观的。问它一句「法国的首都是哪」，等四分多钟才出第一个字。 拉到 224GB 档，也要 19.21 秒一个 token。28 倍内存只换来 1.7 倍速度。内存加到这份上，收益已经不值了。 作者自己写得挺坦白。8GB 那个预设是 proof-of-life，不是交互速度。 翻译成人话就是，我确实让它在 8GB 上活着了，但你别指望跟它聊天。 还有个门槛没人提，硬盘。 要差不多 1.7TB 空闲空间。1.56TB 的 checkpoint，加 109GB 打包。仓库里不含权重，得自己下。 GitHub issue 里有人问。u mean we download 1.7 TB。 我看到这句笑了半天。那是我看完硬盘要求时的真实表情。 原理这块我看了两遍。它能把内存压下来靠三层。 一层是 MoE 稀疏激活，模型有 896 个专家，每个 token 只激活 16 个，算的参数大概 1040 亿，占总量的 3.7%。 一层是 MXFP4 量化，把每个参数压到平均半个字节多点。 最狠的一层，1.447TB 的专家权重根本不放进内存。每次要用哪个专家，就从 NVMe 现读，每生成一个 token 要读 25.83GB。 说人话就是拿盘当内存使。SSD 当显存，这招我当年在显存不够的老卡上玩过，只是人家玩到了万亿参数这个量级。 每 token 读 25.83GB，这盘的写入量和电费，够喝一壶的。 工程这块真挑不出毛病。8GB 到 224GB 十二档内存全跑了一遍。 每档输出完全一样，作者的说法是 byte-identical，逐字节一致。 这种验证不是闹着玩的。一档一档跑下来，光是等就得按天算啊。 所以结论分两半。 真的是 8GB 能跑。真的是纯 C 手写。真的是十二档跑通、输出一致。 但你不能用。32 秒一个 token，问一句等四分多钟。1.7TB 硬盘门槛，还得有台 124 核的机器。 能跑和能用是两码事。这话我讲了十几年，今天又验证了一遍。