OpenGCUARESEARCH NOTES

COMPUTER USE · 论文音频解读

不止点击屏幕,
让电脑操作成为程序。

Toward a Fully Open Stack for Generalist Computer Use
把图形界面与命令行交给同一段代码,让模型决定何时看、怎样做。

先听懂,再深入16:03 MIN

听一篇 OpenGCUA

中文音频解读 · 16 分 3 秒

直接打开音频 ↗下载音频

正在完整加载约 15.4 MB 音频,完成后尝试自动播放;若未响起,点击播放。

已核对全文覆盖;发音及补录拼接听感尚未人工核验。

arXiv:2610.22200v1 · 2026.10.15探索这项研究

会用电脑,为什么一定要一步一步点?

传统计算机操作智能体往往重复“截图、判断、点击”。即使能一次提交多步操作,执行顺序也通常事先写定。真实任务却常常需要在图形界面、文件和命令行之间切换,遇到不同结果再决定下一步。

OpenGCUA 把这些操作放进可执行代码:用循环处理重复工作,用分支响应中间结果,再让模型按需获取截图、选择观察目标并跟踪任务状态。研究重点是如何组织现有模型的能力,而不只是给模型多加几个工具。

一句话理解

把“下一步点哪里”,
变成“写一段能检查结果的程序”。

从操作列表,到可执行的工作流程

01

用代码协调 GUI 与 shell

图形界面操作和命令行可以出现在同一段程序中。循环、条件分支与中间检查,让执行过程根据结果继续,而不只是机械重放动作列表。

02

按需观察与跟踪进度

把部分决策从固定框架交给模型:何时截图、看哪个目标、如何记录任务进度。程序可处理结构化结果;图片仍需在后续输入中交给模型理解。

03

走向真实设备的开放栈

首发包含实现与提示词、评测轨迹,以及初步的真实设备框架和跨设备 SDK。训练模型仍在后续路线图中,本次发布尚未包含新训练的模型。

+19.6跨模型平均部分得分提升

8 个模型,任务得分都提高

在 OSWorld-v2(v2.1)的 82 项离线任务上,跨模型平均部分得分从 45.3 提升至 64.9,比支持批量动作的纯 GUI 基线提高 19.6 分。每任务模型调用次数的平均相对降幅为 53.0%。

来源:arXiv 2610.22200v1,§3.3、表 2 与附录 A。部分得分不等于完整成功率;53.0% 是各模型调用次数相对降幅的平均值,不是端到端耗时缩短 53%。
更少调用,不等于全面更快、更可靠。
主结果限于 82 项离线任务,不包含另 26 项需要联网的任务。真实 macOS 部分仅有 4 项任务,主表使用每任务的选定运行;它展示了配置之间的差异,不能证明生产环境可靠性,也不能据此建立通用模型排名。

回到原文,读完整细节。

OpenGCUA 论文 v1 首页,包含标题、作者、摘要与主要结果查看完整 PDF
RESEARCH PAPER · 40 PAGES

OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use

Hanzhang Zhou · Long Li · Quyu Kong · Lei Wang · Panrong Tong 等 15 位作者

Alibaba Token Hub, Alibaba Group
MAI-UI Team · OpenGCUA

收录 arXiv v1(2026 年 10 月 15 日提交),PDF 保持原文不变。论文采用 CC BY 4.0 许可;版权归原作者所有。简介为中文解读,以原论文为准。

在本页展开 PDF 阅读器

如果手机浏览器未显示预览,请直接打开 PDF。

立川学习札记 · 全部论文 · 京ICP备17044010号-2