用代码协调 GUI 与 shell
图形界面操作和命令行可以出现在同一段程序中。循环、条件分支与中间检查,让执行过程根据结果继续,而不只是机械重放动作列表。
COMPUTER USE · 论文音频解读
Toward a Fully Open Stack for Generalist Computer Use
把图形界面与命令行交给同一段代码,让模型决定何时看、怎样做。
中文音频解读 · 16 分 3 秒
正在完整加载约 15.4 MB 音频,完成后尝试自动播放;若未响起,点击播放。
已核对全文覆盖;发音及补录拼接听感尚未人工核验。
会用电脑,为什么一定要一步一步点?
传统计算机操作智能体往往重复“截图、判断、点击”。即使能一次提交多步操作,执行顺序也通常事先写定。真实任务却常常需要在图形界面、文件和命令行之间切换,遇到不同结果再决定下一步。
OpenGCUA 把这些操作放进可执行代码:用循环处理重复工作,用分支响应中间结果,再让模型按需获取截图、选择观察目标并跟踪任务状态。研究重点是如何组织现有模型的能力,而不只是给模型多加几个工具。
把“下一步点哪里”,
变成“写一段能检查结果的程序”。
图形界面操作和命令行可以出现在同一段程序中。循环、条件分支与中间检查,让执行过程根据结果继续,而不只是机械重放动作列表。
把部分决策从固定框架交给模型:何时截图、看哪个目标、如何记录任务进度。程序可处理结构化结果;图片仍需在后续输入中交给模型理解。
首发包含实现与提示词、评测轨迹,以及初步的真实设备框架和跨设备 SDK。训练模型仍在后续路线图中,本次发布尚未包含新训练的模型。
在 OSWorld-v2(v2.1)的 82 项离线任务上,跨模型平均部分得分从 45.3 提升至 64.9,比支持批量动作的纯 GUI 基线提高 19.6 分。每任务模型调用次数的平均相对降幅为 53.0%。
来源:arXiv 2610.22200v1,§3.3、表 2 与附录 A。部分得分不等于完整成功率;53.0% 是各模型调用次数相对降幅的平均值,不是端到端耗时缩短 53%。