笔记本没GPU，SSD当显存跑7000亿GLM
今晚又star了 · 2026-09-29T08:53:31
这台叫 Colibri 的，在 GitHub 上热度一天没退。纯 C 写的一个推理，9 月 26 号就攒到 3.7 万星，冲进 Trending 前三。 它专治一件事，把GLM-5.2这种混合专家模型塞进没独显的机器。总参数744B，但每个字只用得到约40B，这是它的底气。 原理土但管用。约370GB的专家权重全压在SSD固态硬盘上，模型每次只把它点名要的那部分实时读出来，缓存压到约57分之一。用得上才读，用不上不搬，把大模型从常驻内存搬到硬盘上按需取。 实测数字摆在这里。128GB内存的纯CPU台式机，每秒能吐约1.8个字，慢点但能跑。六张RTX 5090能拉到每秒6个字上下。 最狠的是双 SSD 各放一份模型，吞吐又抬 37.5%。门槛真不高，最低16GB内存加一块约400GB的固态硬盘就够。 作者更是带劲，JustVugg 之前几乎没公开项目，这次 1300 行 C，十天交卷，不拉第三方依赖，纯手工拧。硬盘当显存这条思路，把普通人那台机器重新拉回大模型阵营。