返回行业动态
模型与产品

英伟达开源 30B 语音模型:一次转录 40 种语言并标注说话人

英伟达 10 月 28 日开源 Nemotron 3.5 Transcribe,把转录、说话人归属、翻译与音频问答合并进单一检查点。模型为 30B 总参数、约 4B 激活的混合专家结构,支持最长 1 小时录音、40 种语言转录、31 种语言与英语互译、13 种语言说话人标注,最多区分 8 人。官方称其在 Hugging Face 开放权重英文榜以 5.33% 平均词错率居首,并同步放出 46 万小时规模的 Granary v2 数据管线。

来源:IT之家:英伟达开源最强转录 AI,支持 40 种语言原标题:英伟达开源最强转录AI:支持40种语言,8人抢话也能精准转录查看原文
现代会议室纵深视角中,长桌中央升起多层彩色同心声波环与频谱光柱,象征单一模型处理多语言语音

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

10 月 28 日,英伟达发布开放权重语音模型 Nemotron 3.5 Transcribe,权重同步上线 Hugging Face 与 ModelScope,采用 OpenMDW-1.1 许可,并把配套的训练数据整理管线与数据集 Granary v2 一并公开。与以往「先转录、再分说话人、再翻译」的串联方案不同,这一版把四类任务压进同一个检查点:转写、说话人归属、语音翻译与音频问答。

结构上是混合专家模型,官方口径为约 300 亿总参数、每 token 约 40 亿激活(部分中文报道写作 340 亿与 43 亿,口径略有差异)。单次请求可处理最长 1 小时录音,覆盖 40 种语言转录,其中 31 种可与英语双向互译;说话人方面支持 13 种语言标注、最多 8 人。

关键能力与评测数字

  • 提示词控制:无需重新训练,用一句自然语言指定输出形态,例如「转录并标注每位说话人」「翻译成英文」「去掉口头语」。
  • 术语引导:可在提示中给出期望出现的专有名词(药品名、人名等),官方称在 ContextASR-Bench 上可把命名实体错误降低约六倍。
  • 公开榜单位置:Hugging Face Open ASR 英文榜平均词错率 5.33%、RTFx 462.09,居开放权重模型首位;Artificial Analysis 非流式词错率 2.8%,与另一开源模型并列第一;其语音智能体测试集 AA-AgentTalk 为 1.8%,次优开源模型为 2.3%。
  • 说话人分离:在 David AI 的 21 语种基准上错误率最低,中文报道给出的数值为 18.26%。

数据侧与部署形态

Granary v2 覆盖 463,062 小时音频、48 种语言、16 个源语料库,相比第一版 25 种语言明显扩容;官方同时给出微调配方,第三方转述称在单台 GB300 上约 14 个 GPU 小时即可完成医疗语音微调,留出集词错率下降 45.8%。部署上,官方测试环境为单张 80GB H100,量化版本稍后发布,目标设备包括 RTX Spark、DGX Spark 与 Jetson AGX Thor;不自建的用户已可通过 Baseten、DeepInfra 等托管端点调用,OpenRouter 标价约每秒 0.000033 美元。

边界与不确定之处

该模型面向已录制音频的批处理,不做实时流式识别——这对客服实时质检、会议同传是硬限制。榜单数字多由英伟达引用第三方榜单,缺少独立复现,口音、噪声与行业术语仍会显著改变实际表现,官方也建议对姓名、说话人切换与问答结论逐项抽检。此外 OpenMDW-1.1 并非通用宽松许可,商用前需通读条款;说话人标注在非英语语种的实际错误率,公开材料中尚无细项。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。

英伟达开源 Nemotron 3.5 Transcribe:40 语种转录与说话人标注|北京拓实科技