发生了什么
昆仑万维旗下 AI 团队 Skywork AI 于 10 月 15 日发布 Matrix-Game 4.0,并同步开源:推理代码、浏览器演示与三款可玩游戏(中世纪城堡、古埃及两款第三人称射击游戏与一款城市竞速游戏)的源码已上 GitHub,模型权重与游戏素材在 Hugging Face,许可为 Apache-2.0。这是该系列交互式世界模型的第四代,1.0 加入动作控制,2.0 实现实时生成,3.0 引入长程记忆。
4.0 的关键改动是架构分工的调整。此前做法是让视频模型自己记住世界、自己维护规则并逐帧生成;4.0 则把玩法逻辑、物理与玩家输入全部留在可执行的游戏引擎里——引擎作为「裁判」持续维护世界状态并输出粗略的低多边形画面,再由一个因果、少步的视频模型以流式方式把粗糙画面渲染成细节画面。团队把这种关系描述为「给视频模型套上 harness」:代码决定发生什么,模型决定看起来像什么。
- 实时指标(厂方数据):单张 RTX 5090 上 480p 分辨率 60 FPS;按键到首帧端到端延迟低于 150 毫秒;单步去噪稳态生成 83 FPS,显存峰值约 18.5GiB
- 状态可靠性:生命值、物品归属、任务进度等状态显式记录在代码中,偶发画面异常不会改写游戏逻辑
- 可编辑性:玩家可用自然语言让编程智能体修改游戏代码,例如提高武器射速、把计时赛改为追逐玩法
- 训练数据:在虚幻引擎 5 中构建「结构画面—精细画面」配对数据,并配动态语义标注描述可见物体及其状态
技术含义
这条路线试图解答世界模型领域一个长期悬置的问题:世界状态究竟由谁负责。纯视频生成范式的短板在于,模型的隐式记忆会漂移,规则无法被精确定义,玩法也难以用自然语言改写。把引擎置于回路中之后,状态可被持续校正、规则可被显式定义、几何与语义条件可以贯穿采集、训练与推理全链路,从而降低对精细 3D 资产制作的依赖。对工程团队而言,这套「引擎管状态 + 模型管观感」的分工,比单纯追求生成画质更有复用价值:它把不可控的生成过程收敛为可控的渲染层。
不确定之处
- 83 FPS 是「单步去噪」的稳态生成速度,不等于实际游玩帧率。GitHub 说明中自带的实测表显示,射击场景在线会话中模型处理速度约为 38 至 39 FPS,与宣传口径存在差距
- 演示输出为 480p、低多边形结构画面转精细画面,画面分辨率与细节控制仍是团队自述的下一步工作(部署 refiner 提升分辨率)
- 跨玩家视角一致的多人联机体验尚未实现,官方表述为「尝试」
- 所有性能数字均来自厂方与团队自测,尚无第三方在同一硬件与设置下的复现结果

