发生了什么
10 月 23 日,腾讯混元把交互式视频世界模型 Hy-Nomas 上架 Hugging Face 与 GitHub。Diffusers 格式仓库标称约 8.6B 参数,代码、权重、数据标注工具、LoRA 微调流程与评测数据集均在 Apache 2.0 之下,可商用;但 Qwen 文本编码器等第三方组件仍按各自许可执行,企业落地前需要逐项核对。
它不是一次性文生视频。模型按段自回归:先给一段开场描述,生成一段视频;在段边界上可以插入新指令——加一棵树、换风格、改人物动作——或者直接给一串相机外参控制视角,两种控制方式可以交替使用。跨段一致性靠一条持久 KV 缓存,官方称其为「世界记忆」。
- 主干:54 个双流 MMDiT 块、隐藏维 2048,段内为因果联合注意力,视频位置用 3D RoPE 编码
- 文本条件:取 Qwen2.5-VL-7B-Instruct 的语言模型部分,3584 维隐状态经两层 token refiner 投到 2048 维
- 相机条件:归一化 4×4 外参按四帧分组展平为 64 维,在视频分支 MLP 之后做交叉注意力
- 解码:蒸馏版 4–8 步去噪,输出 704×1280、24 fps,视频解码器为微调的 PixelUMM
- 两套推理配置:标准 8 卡(sp_size=8);单卡方案把 DiT 权重与 KV 缓存压成 INT8、解码器走 FP8,并让文本编码器与 DiT 在 CPU/GPU 间分阶段换入换出
为什么值得单独看
世界模型过去多以闭源演示出现:权重不给、接口限量、无法二次开发,团队只能看剪辑过的样片判断能力。Hy-Nomas 把「能不能在自己的卡上跑」写进了发布内容。单卡方案是用显存换时间——历史帧窗口被压到有限帧数,更早的内容转存内存,延迟随之上升,但至少让做游戏原型、影视预演、机器人仿真的团队可以自己测交互可控性,而不是只看官方 demo。
随模型给出的机器人 LoRA 适配器用公开真实机械臂数据训练,指向一条正在成形的路径:先在生成世界里批量「做梦」练操作,再把策略迁到真机,以绕开真机训练成本高、周期长的问题。这条路径的效果尚无独立验证,但工具已经开放。
限制与不确定处
- 官方一个分数都没给。Hy-Nomas-Bench 有四个测试集、280 条用例与 220 条参考相机轨迹,但不含生成视频、不含结果,是开放题而非成绩单
- 持久 KV 缓存不等于稳定的三维场景图。复杂运镜或长序列编辑后,物体外观漂移、消失仍可能出现;也没有确定性的刚体动力学与碰撞处理
- 单卡配置只说明装得下,不代表实时,也不代表与八卡等效。仓库总量约 196GB、蒸馏 DiT 约 34.2GB,这些是存储数字,不是显存需求
- 技术报告标注「即将推出」,第三方榜单与独立复现尚未出现;24 fps 是播放帧率,不代表生成速度
对企业意味着什么
采购判断可以先落在三点:一是许可链条要逐项过,Apache 2.0 覆盖腾讯自有部分,底座组件另算;二是先用自己的场景跑一遍长程一致性,官方题库只提供题目不提供答案;三是把它当研究基座而非生产件,适合预演、分镜、合成数据这类容错较高的环节。结论是值得进评估清单,暂时不宜直接进生产链路。

