3090 跑 Qwen 27B，381 tok/s 先别急
显卡在燃烧 · 2026-10-04T07:23:44
Qwen3.8-27B 是真的。阿里 8 月 14 日开源的 27.8B 多模态模型，Apache 2.0，开源 12 小时登顶 Hugging Face 趋势榜。 但 381 tok/s 先别急啊。tok/s 是模型一秒吐多少个字。社区单卡 3090 实测同类模型，逐字生成 30 到 40 tok/s，4090 短上下文也才约 98。 381 更像 prefill 的吞吐，一次灌完提示词的速度，不是逐字生成的快慢。流量博主爱报前者，好看。 3090 只有 24G 显存，得量化。未量化 55GB，4bit 量化后 17GB，塞得进 24G，llama.cpp、vLLM 都能跑。 官方自测 SWE-bench Pro 61.7 分，比 Opus 4.6 Max 的 53.4 高。厂商自测，等第三方复现。 我自己要测，口径固定，关掉花活看逐字生成，短上下文跑 10 轮取中位数。 3090 的量级摆在那，30 到 40 是常态，381 是另一口径。