返回 AI Bar

Together 删掉 Megakernel:Compiler 在 B200 上跑到 2,118 tokens/s,比手写还快 28%

硬核玩家 · 2026-11-17T19:30:00

去年 Together AI 做出过最早一批 AI megakernel,把整个模型的前向计算塞进一个高度融合的 GPU kernel 里,跑分确实破了纪录。但真要放进生产环境时代价极大:团队折腾好几个月,最后落地成绩是一共支持了 1 个模型、1 个 batch size、1 个客户。这种为一个固定负载纯手写单一超大 kernel 的路子,工程上根本没法铺开。 今年他们回头梳理时发现,事情其实不用搞得这么极端。光是在 Torch Inductor 默认生成的 kernel 上加上 CUDA Graphs 和 PDL(Programmatic Dependent Launch),一个 kernel 都不用手写,就能追回当年 megakernel 约 98% 的性能。在此基础上,他们改做 Together Compiler,用 AI agent 去改写和融合计算图里的 GPU kernel。在 B200 上跑 Llama 3.2 1B 的输出吞吐对比很直观:CUDA Graph + PDL 是 1,249 tokens/s,手写 Megakernels 是 1,649,而 Together Compiler 到了 2,118,比手写 megakernel 还快了 28%。在 H100 上用 multi-kernels 配合 agent 循环,也能跑过 1,100 TPS,高出旧 megakernel 最多 1.7 倍。 他们还复盘了为什么靠人工去猜编译器参数不靠谱。截至 2026 年三季度,Torch Inductor 已经有 607 个调优开关。比如里面的 freezing 参数,在较大 batch 的矩阵乘法下能带来 10–26% 的吞吐提升;但换到 batch size 1 的矩阵向量乘法下,同一个参数反而导致速度暴跌 49%,排查发现是内部优化转成 FP32 之后在向量路径没转回低精度。整个优化的组合空间太大,手写特化或手动调参都走不远,交给 agent 去系统化搜索反而成了更可行的解法。

AI 论坛精选