返回行业动态
智能体与应用

火山引擎把语音三级串联压进一个模型:SeedRealtime 1.0 全量开放 API

11 月 19 日,火山引擎全量上线豆包实时音视频通话模型 SeedRealtime 1.0 的 API 服务。该模型把声音、画面、时序与表达放进同一个端到端模型,不再依赖 ASR、VLM、TTS 串联,可边看边听边说,并在合适时机主动开口。官方称音视频对话节奏问题比级联方案减少一半,适用于语音助手、智能硬件、陪伴式应用与实时客服。

来源:火山引擎(文档中心:豆包实时音视频模型版本说明)原标题:豆包实时音视频通话模型 1.0 API 全量上线查看原文
明亮客厅中一排深灰圆柱形智能终端,被同心声波光环与蓝色音频波形光带环绕,中央悬浮发光粒子球,顶部深灰墙面上白色中文标题「边看边听边说」

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

11 月 19 日,火山引擎正式全量上线豆包实时音视频通话模型(Doubao-Seed-Realtime 1.0)的 API 服务。与传统语音助手不同,它不把语音识别、视觉理解、语音合成拆成三级流水线,而是把声音、画面、时序与表达统一到同一个端到端模型中,在连续的多模态信息流上实时推理与回话。

官方给出的价值判断很直接:级联架构的延迟是叠加的,信息在模块之间逐级损耗;端到端之后,模型不必等用户开口才启动,可以持续观察场景,在关键目标出现、画面状态变化或任务节点到来时主动提醒、补充与介入。

  • 架构:声音、画面、时序与语言表达在同一模型内对齐,可结合画面消解同音词歧义、理解视觉中的时序指代
  • 多人与嘈杂环境:可区分说话对象、识别各人身份、过滤旁人闲聊与背景噪声,降低误触发
  • 节奏:官方称相比级联方案,音视频对话节奏问题减少一半,单次对话完整顺畅的概率明显提升
  • 版本:文档中心同时列出 SeedRealtime 1.0 与 S2S 全双工版本,后者强调更精准的意图理解、抗干扰、动态判停,能主动参与对话并自然处理插话与停顿

几个被演示过的真实场景

机场场景中,模型过滤无关闲聊,调用此前看到的航班大屏信息回答提问,并识别指示牌指引旅客前往网约车上车点;咖啡制作场景中,看到用户把整颗咖啡豆倒入萃取手柄即提醒先研磨,萃取完成后依据油脂与出液量建议缩短时间;家庭学习场景中,背景里有人接电话、人声不断,模型仍跟随孩子手指方向实时纠音并举例造句。这些演示的共同点是:判断依据同时来自听到的和看到的。

对开发者而言,能力清单里还包括精品音色(vv、xiaohe、yunzhou、xiaotian)、声音复刻 v3 接口克隆的音色、System Prompt 配置、热词与正则替换词,以及 AIGC 内容标识。后两项在国内商用场景中不是可选项——生成内容标识已成为合规要求,接入时需要一并确认。

尚缺的三项关键信息

  • 价格:官方公告与文档页均未给出 API 计费方式与单价,无法与级联方案做成本对照
  • 时延:只给了「更低时延」「节奏问题减半」这类相对表述,没有首字响应与端到端往返的具体毫秒数
  • 评测:没有公开基准分数,全部依据官方自述的场景演示,第三方复现数据尚未出现

对企业的现实影响

端到端实时多模态真正的分水岭不在「能视频通话」,而在工程复杂度的转移:过去一个实时语音项目要同时调优识别准确率、打断策略、TTS 音质与三段延迟预算,现在变成对一个模型的行为调优,链条短了,但对供应商的依赖更集中。选型时建议先做两件事——用真实噪声环境的长会话测误触发率,以及确认断网、超时、内容被拒时的降级路径是否仍可用。

对智能硬件厂商,这类模型意味着「摄像头 + 麦克风」的产品定义可以重新设计;对客服与陪护类应用,则意味着从「问答机器人」向「在场协助」的转变。但主动开口本身也是风险:何时不说话,比何时说话更难调。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。

SeedRealtime 1.0 全量上线:一个模型替代 ASR+VLM+TTS 三级串联|北京拓实科技