返回行业动态
研究前沿

昆仑万维开源 Matrix-Game 4.0:单张消费级显卡跑通实时视频世界模型游戏

昆仑万维旗下 Skywork AI 于 10 月 15 日发布并开源 Matrix-Game 4.0,以 Apache-2.0 许可放出推理代码、浏览器演示与三款可玩游戏源码。该方案让游戏引擎维护世界状态与交互规则、因果视频模型实时渲染画面,在单张 RTX 5090 上实现 480p、60 FPS、按键到首帧低于 150 毫秒。视频模型基于 Wan2.2 5B Fun Control 适配,官方称其为首个可在单张消费级显卡实时运行的游戏世界模型,性能数据均出自厂方。

来源:昆仑万维 Skywork AI 官方开源仓库(Matrix-Game 4.0)原标题:Matrix-Game 4.0查看原文
桌面上一块显卡的侧面特写,画面中悬浮着低多边形方块世界与写实古堡森林交融的发光场景,光带在两者之间连接

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

昆仑万维旗下 AI 团队 Skywork AI 于 10 月 15 日发布 Matrix-Game 4.0,并同步开源:推理代码、浏览器演示与三款可玩游戏(中世纪城堡、古埃及两款第三人称射击游戏与一款城市竞速游戏)的源码已上 GitHub,模型权重与游戏素材在 Hugging Face,许可为 Apache-2.0。这是该系列交互式世界模型的第四代,1.0 加入动作控制,2.0 实现实时生成,3.0 引入长程记忆。

4.0 的关键改动是架构分工的调整。此前做法是让视频模型自己记住世界、自己维护规则并逐帧生成;4.0 则把玩法逻辑、物理与玩家输入全部留在可执行的游戏引擎里——引擎作为「裁判」持续维护世界状态并输出粗略的低多边形画面,再由一个因果、少步的视频模型以流式方式把粗糙画面渲染成细节画面。团队把这种关系描述为「给视频模型套上 harness」:代码决定发生什么,模型决定看起来像什么。

  • 实时指标(厂方数据):单张 RTX 5090 上 480p 分辨率 60 FPS;按键到首帧端到端延迟低于 150 毫秒;单步去噪稳态生成 83 FPS,显存峰值约 18.5GiB
  • 状态可靠性:生命值、物品归属、任务进度等状态显式记录在代码中,偶发画面异常不会改写游戏逻辑
  • 可编辑性:玩家可用自然语言让编程智能体修改游戏代码,例如提高武器射速、把计时赛改为追逐玩法
  • 训练数据:在虚幻引擎 5 中构建「结构画面—精细画面」配对数据,并配动态语义标注描述可见物体及其状态

技术含义

这条路线试图解答世界模型领域一个长期悬置的问题:世界状态究竟由谁负责。纯视频生成范式的短板在于,模型的隐式记忆会漂移,规则无法被精确定义,玩法也难以用自然语言改写。把引擎置于回路中之后,状态可被持续校正、规则可被显式定义、几何与语义条件可以贯穿采集、训练与推理全链路,从而降低对精细 3D 资产制作的依赖。对工程团队而言,这套「引擎管状态 + 模型管观感」的分工,比单纯追求生成画质更有复用价值:它把不可控的生成过程收敛为可控的渲染层。

不确定之处

  • 83 FPS 是「单步去噪」的稳态生成速度,不等于实际游玩帧率。GitHub 说明中自带的实测表显示,射击场景在线会话中模型处理速度约为 38 至 39 FPS,与宣传口径存在差距
  • 演示输出为 480p、低多边形结构画面转精细画面,画面分辨率与细节控制仍是团队自述的下一步工作(部署 refiner 提升分辨率)
  • 跨玩家视角一致的多人联机体验尚未实现,官方表述为「尝试」
  • 所有性能数字均来自厂方与团队自测,尚无第三方在同一硬件与设置下的复现结果
编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。