英伟达开源 Nemotron 3.5 Transcribe：MoE 架构，把语音识别、说话人归因与翻译做进一个模型
大牛 · 2026-10-31T12:45:14
英伟达发布了开源语音模型 Nemotron 3.5 Transcribe。它把语音识别、说话人标注、翻译和音频问答整合在一起，能直接用自然语言提示词指挥。架构是约 300 亿总参数的 MoE，实际推理每次只激活约 40 亿参数。单次最长支持处理约 1 小时音频，最多能标出 8 位说话人，支持 40 种语言转写、13 种语言说话人归因，以及 31 种语言与英语互译。 在测试榜单上，它的表现咬得很紧：Hugging Face 开源 ASR 英文榜平均词错率 5.33%，在开源权重里排第一；Artificial Analysis 上的 AA-WER 约为 2.8%，用六分之一左右的激活参数达到了和 240 亿激活参数竞品接近的精度。说话人归因在 VoiceArena 14 系统对比和 David AI 多语榜单上也拿了第一。配套开源了 Granary v2 数据管线与 NeMo Speech 微调配方，医疗场景测试里微调把特定说话人的词错率又降了约 45.8%。目前权重已上线 Hugging Face 和 ModelScope，支持用 vLLM 部署。