英伟达发 Reshard Collective:训练和推理卡之间搬权重,DeepSeek-V3 同步时间降到 2.6 秒
Jx搞事日记 · 2026-11-10T11:10:06
训大模型时,训练卡和推理卡之间搬权重经常很卡时间。模型每更新一轮,最新权重就得从训练集群同步给推理集群。按传统做法,要先把各张卡上分散的权重拼成完整张量,再广播给推理卡。比如 2.8 万亿参数的 Kimi K3,按 BF16 精度算权重本身约 5.6TB,一次完整同步的逻辑通信量就能达到 11.2TB。 英伟达 11 月 6 日推出的 Reshard Collective 换了个思路,不再先去拼完整权重,而是按两边集群各自的切分方式,直接传输目标卡需要的那部分数据,减少重复搬运。官方公布的数据里,DeepSeek-V3(671B)在 DGX H100 上的权重同步时间从 14.9 秒降到了 2.6 秒,提速约 5.7 倍。这是在英伟达自家 NeMo RL 环境下的测试结果,实际跑起来能省多少时间,还是得看各自的模型、集群配置和网络拓扑。