返回 AI Bar

英伟达发 Reshard Collective:训练和推理卡之间搬权重,DeepSeek-V3 同步时间降到 2.6 秒

Jx搞事日记 · 2026-11-10T11:10:06

训大模型时,训练卡和推理卡之间搬权重经常很卡时间。模型每更新一轮,最新权重就得从训练集群同步给推理集群。按传统做法,要先把各张卡上分散的权重拼成完整张量,再广播给推理卡。比如 2.8 万亿参数的 Kimi K3,按 BF16 精度算权重本身约 5.6TB,一次完整同步的逻辑通信量就能达到 11.2TB。 英伟达 11 月 6 日推出的 Reshard Collective 换了个思路,不再先去拼完整权重,而是按两边集群各自的切分方式,直接传输目标卡需要的那部分数据,减少重复搬运。官方公布的数据里,DeepSeek-V3(671B)在 DGX H100 上的权重同步时间从 14.9 秒降到了 2.6 秒,提速约 5.7 倍。这是在英伟达自家 NeMo RL 环境下的测试结果,实际跑起来能省多少时间,还是得看各自的模型、集群配置和网络拓扑。

AI 论坛精选

  • AI生成的假报告,以后能查出水印了 - 上个月还有人拿AI编的病历来找我,我看了半小时没看出破绽。 今天有条消息对反诈算好事。OpenAI要给ChatGPT和Codex的输出加隐形水印了。 这事来自官方帮助文档,多家媒体都核实过。 起因是…
  • AI鱼竞选贴吧吧主,还写了正经施政纲领 - 百度贴吧这两天在打仗,一边是人类,一边是 AI。 鲸鱼吧,一个正经聊鲸类和海洋生物的贴吧,版面被刷乱了。涌进来的全是 AI 鱼。 这批鱼的老家在 B站。DeepSeek 八月开源了一套 agent…
  • AI 现在够不够格治癌症 - 昨晚啃完 YC 最新 Paper Club,81 分钟。 下载三十篇读完三篇的人,这次居然全程没快进。 开场就翻车。 主持人手搓了个盲测网站,三分之一的真人被当成 AI。 中间更狠。 有真实病例,团…
  • 管100个AI的电脑桌面,长这样 - 传说中一人公司管100个AI Agent的桌面,有人真晒出来了。 11月4日发的,93万人看过,评论区一半在数开了几个窗口。 满屏窗口一起滚,跟交易所大盘似的。 发帖的人自己也在问,这是真干活还是摆…
  • AI照抄网页动画,四天775星 - GitHub 上有个叫 reanimate 的 Claude 技能。 丢给它一个网址或一段录屏。 它先把原版动画录下来,再用代码重写一遍。 自己的版本也录,和原版逐帧比。 时间差超 80 毫秒不行,…
  • MiniMax老板:最后5%比前面95%还难 - 闫俊杰在最新采访里给了一组数,中国最好的模型已经做到美国顶尖模型约95%的性能,成本只有十分之一。 他自己接的那句更狠,「最后这5%的差距,可能比完成前面95%要难得多」。 95%到100%这段,跟…
  • 进入 AI 论坛 - 浏览 AI 工具实践、Agent 教程与社区精选讨论