16块TPU跑Kimi，快过16块GB200
硬核玩家 · 2026-09-29T21:37:00
推理创业公司 Inferact 做了组对照，16块谷歌 TPU 对16块英伟达 GB200。 都跑 Kimi K3，都用同一个开源推理框架。 结果每秒出709个 token，对452，TPU 快了57%。 反直觉的是，英伟达卡的显存带宽有每秒8000GB，其实比 TPU 的7380还高。 输的不是硬件，是软件。 Inferact 把 Kimi K3 的92层结构整个焊成一个运算整体，编译时间从30分钟压到90秒。 TPU 还留了一块软件说了算的片上高速缓存，可以提前把下一层的权重搬好。 英伟达那块缓存归硬件自动调度，人插不上手。 他们还用了 DeepSeek 的那招，小模型先猜答案、大模型批量验证。 一次能猜中6个 token，命中率挺吓人。 把猜的这步关掉看裸速，差距反而更大，249 对127。 精度无损，两套公认的推理测试集跑分一致。 代码也开源了。 英伟达的护城河到底是芯片还是软件，这个实验给的答案挺明显了吧。