32GB 的 MacBook 跑 180B 模型:把专家权重留在硬盘,只按路由读进来
盯豆 · 2026-11-20T06:31:00
Hugging Face 的工程师 Tarek Ziadé 写了一篇实验记录:给 Transformers 加上「专家流式加载」,让 180B 的 Qwen3.8-Flash-Next 在 32GB 统一内存的 MacBook M5 上跑起来。 MoE 模型里专家占了九成以上的权重,所以关键在于只加载被路由选中的那部分。他的做法是把专家权重留在 SSD,读进一块预先分配好的设备内存槽位,每层用一张「专家编号到槽位」的表做重映射。这样槽位池看起来就像一个普通的专家库,原来的分组矩阵乘内核能直接复用,不用自己写专家矩阵乘。 没命中的时候用 8 个 IO 线程一个专家一次连续读,同时拿当前隐状态提前跑下两层的路由做预取。专家可以离线量化到 3bit,121GB 的 FP8 专家压到 49GB 磁盘;模型里还有一张 51GB 的 n-gram 表也放在磁盘按行读。 实测在同一台机器上:短解码 13.9 tok/s,对手 Strata 是 14.8,慢约 6%;4K 预填 228 tok/s,反而略快于 Strata 的 220。加载后占约 18GiB,6K 提示峰值 25.4GiB,基本是这台机器的上限。 作者自己也说清楚了,这个速度对他写代码还是太慢,也没真正超过 Strata,剩下的差距主要是每个 token 约 10ms 的主机往返,以及 PyTorch 在 MPS 上不给他按层同步的控制权。 现在还不能直接用:通用实现是 transformers 的 PR #50717,尚未合并,接口还在跟维护者讨论,之后可能改成走逐层量化方案。项目代码和 Metal 内核都放在 Space 和 Hub 上,想复现可以先按 PR 装。 原文:https://huggingface.co/blog/moe-expert-streaming PR:https://github.com/huggingface/transformers/pull/50717