8核32G不要显卡,跑通英伟达30B
装机佬阿Ken · 2026-11-13T09:36:15
8 核 32G,没显卡,机器还是白嫖的,Nemotron 3 Nano 30B-A3B 真跑起来了。 关键是 MoE 稀疏,每个 token 只激活 32 亿参数。可权重不跟你讲道理,30B 全量还得整个进内存,32G 刚好卡着门槛过。 官方只给 FP8、NVFP4 这些 GPU 档位。 CPU 能跑,靠的是社区 llama.cpp 的 3bit 量化,就是把权重压到 3 位,拿精度换内存。 Q4 文件本身 24GB,再加上下文和 KV 缓存(跑长对话临时占的那块内存),32G 就爆了。 只能压到 3bit,再把上下文砍短。 速度别抱期待,原帖没给每秒几个字,你按最保守的想就行。 要天天用我还是选二手卡,CPU 这套适合当玩具或者应急呗。