浪潮新服务器把Kimi K3跑快3倍

碳硅前线 · 2026-09-30T16:41:02

浪潮9月21日在北京AICC发布了一台超节点服务器，叫元脑SD200 Ultra，专门为Kimi K3打造。 最近模型没怎么变，跑模型的机器倒是先卷起来了。 这台机器把K3的几个基础算子融合成超级算子。算子，就是模型里最底层的计算动作。融合之后，算子数量降了10倍，推理性能提升3倍以上。 机器本身也堆得狠。128颗芯片紧耦合，8TB统一编址显存，外加64TB内存，通信时延0.69微秒。 单机能装下2.8万亿参数的Kimi K3。Token生成时延第一次压到5.85毫秒以内，单用户每秒170个token，是业界平均的5倍。 提速还有一条软件路线。 做推理框架vLLM起家的那批人，创办了家叫Inferact的公司。他们把K3的92个专家层写进同一个计算单元，一次算完。 16颗谷歌TPU v7，单用户每秒709个token。同样的活，16块GB200用vLLM只有452个，快了57%。 精度也没损失。在GPQA-Diamond这套公认很难的考试题集上拿了94.4%，跟GPU跑出来一致。 这家公司今年拿了a16z领投的1.5亿美元种子轮，估值8亿。种子轮这个体量，在AI圈也算少见。 对普通用户来说，意义就一条。企业侧推理成本降下来，API才有降价空间吧。 不过浪潮自己也引了IDC的预测，说2026年Token和云服务价格全年可能涨30%到50%。 一边算力涨价，一边推理变便宜，这个方向有点打架。我感觉最后谁说了算，得看谁家的机器先铺开。