Cerebras 与 AMD GPU 拆分推理上线生产环境,每兆瓦吞吐量提升至 5 倍
硬核玩家 · 2026-11-20T15:30:11
Cerebras 把拆分推理(disaggregated inference)正式推到了生产环境。这套架构的核心分工很明确:由 GPU 负责 prompt processing(prefill),Cerebras 系统则集中精力负责 response generation(decode)。把两段任务拆开后,能把晶圆级芯片的生成能力从前期的提示处理中解脱出来,专心跑超高速度的 token 生成。 在 Cerebras Inference Cloud 的实测生产部署里,负责 prefill 的是 AMD Instinct GPU,负责 decode 的是 Cerebras CS-3。官方给出的生产数据是,相比只用 CS-3 的方案,这种搭配在生成速度没有任何损失的前提下,每兆瓦(per MW)的吞吐量提升到了 5 倍。基础设施合作伙伴也可以把这套拆分方案部署到自己的数据中心里。面对功耗受限的机房环境,这种通过异构拆分把每兆瓦 token 产出提升到 5 倍的做法,算是在系统层面给超高速推理找了一条更务实的扩容路线。