发生了什么
10 月 28 日,英伟达发布开放权重语音模型 Nemotron 3.5 Transcribe,权重同步上线 Hugging Face 与 ModelScope,采用 OpenMDW-1.1 许可,并把配套的训练数据整理管线与数据集 Granary v2 一并公开。与以往「先转录、再分说话人、再翻译」的串联方案不同,这一版把四类任务压进同一个检查点:转写、说话人归属、语音翻译与音频问答。
结构上是混合专家模型,官方口径为约 300 亿总参数、每 token 约 40 亿激活(部分中文报道写作 340 亿与 43 亿,口径略有差异)。单次请求可处理最长 1 小时录音,覆盖 40 种语言转录,其中 31 种可与英语双向互译;说话人方面支持 13 种语言标注、最多 8 人。
关键能力与评测数字
- 提示词控制:无需重新训练,用一句自然语言指定输出形态,例如「转录并标注每位说话人」「翻译成英文」「去掉口头语」。
- 术语引导:可在提示中给出期望出现的专有名词(药品名、人名等),官方称在 ContextASR-Bench 上可把命名实体错误降低约六倍。
- 公开榜单位置:Hugging Face Open ASR 英文榜平均词错率 5.33%、RTFx 462.09,居开放权重模型首位;Artificial Analysis 非流式词错率 2.8%,与另一开源模型并列第一;其语音智能体测试集 AA-AgentTalk 为 1.8%,次优开源模型为 2.3%。
- 说话人分离:在 David AI 的 21 语种基准上错误率最低,中文报道给出的数值为 18.26%。
数据侧与部署形态
Granary v2 覆盖 463,062 小时音频、48 种语言、16 个源语料库,相比第一版 25 种语言明显扩容;官方同时给出微调配方,第三方转述称在单台 GB300 上约 14 个 GPU 小时即可完成医疗语音微调,留出集词错率下降 45.8%。部署上,官方测试环境为单张 80GB H100,量化版本稍后发布,目标设备包括 RTX Spark、DGX Spark 与 Jetson AGX Thor;不自建的用户已可通过 Baseten、DeepInfra 等托管端点调用,OpenRouter 标价约每秒 0.000033 美元。
边界与不确定之处
该模型面向已录制音频的批处理,不做实时流式识别——这对客服实时质检、会议同传是硬限制。榜单数字多由英伟达引用第三方榜单,缺少独立复现,口音、噪声与行业术语仍会显著改变实际表现,官方也建议对姓名、说话人切换与问答结论逐项抽检。此外 OpenMDW-1.1 并非通用宽松许可,商用前需通读条款;说话人标注在非英语语种的实际错误率,公开材料中尚无细项。

