返回行业动态
模型与产品

腾讯混元开源 Hy-Nomas:世界一段一段长出来,一张 4090 也能跑

10 月 23 日,腾讯混元在 Hugging Face 与 GitHub 开放交互式视频世界模型 Hy-Nomas,Apache 2.0 授权,权重、推理代码、标注工具、LoRA 微调流程与 280 条测试用例一并放出。模型按视频段自回归生成,段与段之间可用文本或相机轨迹改写世界,靠持久 KV 缓存维持长程一致。官方给出八卡与单张 RTX 4090 两套配置,但不公布任何跑分。

来源:腾讯混元 Hy-Nomas 模型卡(Hugging Face)原标题:Hy-Nomas: Towards Free-Form Interactive World Generation查看原文
夜色林间小路上悬浮着由多段发光薄板首尾相接的环状结构,路边成片绽放青蓝色发光花朵

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

10 月 23 日,腾讯混元把交互式视频世界模型 Hy-Nomas 上架 Hugging Face 与 GitHub。Diffusers 格式仓库标称约 8.6B 参数,代码、权重、数据标注工具、LoRA 微调流程与评测数据集均在 Apache 2.0 之下,可商用;但 Qwen 文本编码器等第三方组件仍按各自许可执行,企业落地前需要逐项核对。

它不是一次性文生视频。模型按段自回归:先给一段开场描述,生成一段视频;在段边界上可以插入新指令——加一棵树、换风格、改人物动作——或者直接给一串相机外参控制视角,两种控制方式可以交替使用。跨段一致性靠一条持久 KV 缓存,官方称其为「世界记忆」。

  • 主干:54 个双流 MMDiT 块、隐藏维 2048,段内为因果联合注意力,视频位置用 3D RoPE 编码
  • 文本条件:取 Qwen2.5-VL-7B-Instruct 的语言模型部分,3584 维隐状态经两层 token refiner 投到 2048 维
  • 相机条件:归一化 4×4 外参按四帧分组展平为 64 维,在视频分支 MLP 之后做交叉注意力
  • 解码:蒸馏版 4–8 步去噪,输出 704×1280、24 fps,视频解码器为微调的 PixelUMM
  • 两套推理配置:标准 8 卡(sp_size=8);单卡方案把 DiT 权重与 KV 缓存压成 INT8、解码器走 FP8,并让文本编码器与 DiT 在 CPU/GPU 间分阶段换入换出

为什么值得单独看

世界模型过去多以闭源演示出现:权重不给、接口限量、无法二次开发,团队只能看剪辑过的样片判断能力。Hy-Nomas 把「能不能在自己的卡上跑」写进了发布内容。单卡方案是用显存换时间——历史帧窗口被压到有限帧数,更早的内容转存内存,延迟随之上升,但至少让做游戏原型、影视预演、机器人仿真的团队可以自己测交互可控性,而不是只看官方 demo。

随模型给出的机器人 LoRA 适配器用公开真实机械臂数据训练,指向一条正在成形的路径:先在生成世界里批量「做梦」练操作,再把策略迁到真机,以绕开真机训练成本高、周期长的问题。这条路径的效果尚无独立验证,但工具已经开放。

限制与不确定处

  • 官方一个分数都没给。Hy-Nomas-Bench 有四个测试集、280 条用例与 220 条参考相机轨迹,但不含生成视频、不含结果,是开放题而非成绩单
  • 持久 KV 缓存不等于稳定的三维场景图。复杂运镜或长序列编辑后,物体外观漂移、消失仍可能出现;也没有确定性的刚体动力学与碰撞处理
  • 单卡配置只说明装得下,不代表实时,也不代表与八卡等效。仓库总量约 196GB、蒸馏 DiT 约 34.2GB,这些是存储数字,不是显存需求
  • 技术报告标注「即将推出」,第三方榜单与独立复现尚未出现;24 fps 是播放帧率,不代表生成速度

对企业意味着什么

采购判断可以先落在三点:一是许可链条要逐项过,Apache 2.0 覆盖腾讯自有部分,底座组件另算;二是先用自己的场景跑一遍长程一致性,官方题库只提供题目不提供答案;三是把它当研究基座而非生产件,适合预演、分镜、合成数据这类容错较高的环节。结论是值得进评估清单,暂时不宜直接进生产链路。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。