返回行业动态
研究前沿

阿里通义 MAI 团队开源 OpenGCUA:让智能体自己决定看屏幕还是写代码,OSWorld-v2 平均提分 19.6

阿里 Token Hub 的 MAI-UI 团队于 10 月 15 日提交预印本,开源通用计算机使用智能体技术栈 OpenGCUA,包含提示词、八个前沿模型的评测轨迹、真实设备 harness 与跨设备 SDK 预览。作者称在 OSWorld-v2 离线子集上平均部分分提升 19.6、步骤数下降 53%,但数据为自评且未经同行评审。

来源:arXiv:OpenGCUA, Toward a Fully Open Stack for Generalist Computer Use(2610.22200)原标题:OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use查看原文
俯视双屏工作区与机械臂、半透明流程线,画面上方为中文标题智能体自己选路径

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

10 月 15 日,阿里 Token Hub 下属 MAI-UI 团队在 arXiv 提交《OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use》,同日在 GitHub 以 Apache-2.0 开源代码与提示词。首个版本并不发布新训练的模型,而是把「通用计算机使用智能体」的整套方法公开:如何观察、如何行动、如何组织任务状态。

技术主张

传统计算机使用智能体基本是「截图—点击」循环。OpenGCUA 让模型在四类界面之间自行选择:视觉截图、无障碍树、应用接口与命令行。更关键的是「harness 到模型的决策转移」:何时观察、任务是否完成这类原本写死在外部框架里的判断,被交还给模型。作者称,在同等 GUI 与 shell 权限下,把 GUI 操作写成可执行代码(含循环、分支与中间校验),比 GUI 加命令行的基线平均部分分高 6.1、步骤少 14.8%。

  • OSWorld-v2 离线子集(82 个任务,剔除依赖联网的条目):八个模型平均部分分提升 19.6,步骤数下降 53.0%。
  • 参与评测的模型含 GPT-6 Astra、Claude Opus 5、Gemini 3.8 Flash、Qwen3.8-Max/Flash、Kimi K3、DeepSeek-V4.1-Flash、GLM-5.3-Flash。
  • 真实 macOS 设备的四项任务中,Qwen3.8-Max 的推理 token 用量是 GPT-6 Astra 的 19.4 倍,且完成任务数更少。
  • 仓库同时放出八套模型的完整评测轨迹,可用于复现与二次训练。

为什么重要

这组数字的含义是:在模型不变的前提下,仅改变执行框架,计算机使用任务的完成度就能明显变化。对企业选型,这提示「买哪个模型」之外还有「用哪套脚手架」这个变量,而且这个变量是开源的、可审计的。对自建 RPA 或内部自动化平台的团队,代码执行与 GUI 混合的路线,比纯点击方案更容易处理结构化数据与批量操作。

不确定之处

上述数字全部来自作者自评:既有自建 harness,也有自选运行轮次;19.6 是平均部分分而非整任务成功率;离线子集剔除了联网任务,真实网络环境的表现仍未知。真机对比只覆盖四个任务,样本量不足以支撑模型优劣排序。论文未经同行评审,真实设备 harness 与跨设备 SDK 均标注为初步版本。同一团队的 MAI-Gym 另称 9B 模型在 MobileWorld 达 78.4%、OSWorld-Verified 达 76.2%,同样属自报数据。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。

阿里开源 OpenGCUA:计算机使用智能体全栈开放|北京拓实科技