AI 操作电脑改成写脚本：步数砍掉一半，验收的活落回人身上

先说结论：让 AI 操作电脑，主流做法正在从「看一眼屏幕、点一下鼠标」换成「写一段小程序，一次跑完一串操作」。阿里巴巴团队的新论文显示，这样改之后，八个模型的步数平均少了一半多，分数都涨了。但同一篇论文里也有一个细节值得记住：程序跑得很顺，不等于活干完了。人需要接手的位置没有消失，而是从「盯着每一步」挪到了「最后验收」。

发生了什么

10 月 15 日，阿里巴巴集团的 15 位研究者在 arXiv 发布论文《OpenGCUA》，提出一套开源的「通用电脑操作智能体」框架，并公开代码、提示词和八个模型的全部测试轨迹。下面的数字都来自这篇论文，属于作者自测，论文是预印本，尚未经过同行评审。

OpenAI 的开发者文档也指向同一个方向。它的电脑操作指南列出两种接法：一种是模型返回结构化的鼠标键盘动作，由你的程序去执行；另一种是模型直接写代码，用 PyAutoGUI 或 Playwright 这类库操作界面，「一次调用可以组合多个动作、循环或条件判断」。文档明确写道，对 GPT-6 Astra 推荐用写代码的方式，原来的鼠标键盘工具保留为备选。

一件具体的事：填一张表

拿论文里举的例子来说：把表格里每一行的三个字段填进一个网页表单，填完确认显示「已保存」。

旧办法是一步一截图：截图，模型看图，决定点哪里，点完再截图。论文的说法是，这种做法下，智能体可能点十几个页面才完成一条命令就能做完的事。后来出现了「批量动作」，一次给出一串点击，但每一下点哪里都得在看到第一下的结果之前定好。

写代码的办法不一样。模型交出的是一段程序，里面可以有条件（如果弹窗出现就关掉）、循环（每一行填三个字段）和检查（确认状态变成「已保存」）。论文把这句话说得很直白：批量动作只是「没有控制流的程序」。按论文的说法，原本要来回十几次的任务，一次就能跑完。

论文还把几项原来由框架写死的规则交给了模型：什么时候需要截图，由模型自己决定；任务进度记在一张待办清单里；每段程序运行前，模型先用一句话写明这段代码要干什么。最后这一条的目的写得很清楚，是让真实电脑前的用户看得懂智能体在做什么，而不是为了提分，实测分数还略降了一点。

数字说了什么，没说什么

测试用的是 OSWorld-v2 的 82 道离线题（去掉了 26 道需要联网的题），对照组是「只用图形界面 + 批量动作」。八个模型包括 GPT-6 Astra、Claude Opus 5、Gemini 3.8 Flash、Qwen3.8-Max、Kimi K3 等。

• 平均分（按每道题完成的比例给部分分）从 45.3 升到 64.9，涨了 19.6 分；每道题的步数平均少了 53.0%。
• 在同样能用图形界面和命令行的前提下，光是把操作写成代码，就多拿 6.1 分、少用 14.8% 的步数。论文据此认为，差别不只在给了哪些接口，还在怎么组织执行。
• 分数最高的 GPT-6 Astra 从 67.1 分升到 75.7 分，步数从每题 102.1 步降到 33.5 步。

这里要分清两个数。75.7 是部分分的平均值；论文另列了「整题完全做对」的比例，GPT-6 Astra 是 46.3%，Claude Opus 5 是 36.6%。也就是说，在这套测试里表现最好的组合，也有一半多的题没有百分之百做完。看到「分数涨了二十分」，最好先问一句：涨的是哪种分。

真实电脑上的那张表格

论文还在真实的 Mac 上试了四个任务：表格推理、填 PDF 表单、按饮食限制做购物调研、比较酒店。每个模型只取一次运行，作者自己也说，这只能描述这几种配置，不能当作模型排名。

结果里最有用的不是谁赢，而是一个对比。表格任务要求回答 125 道题。GPT-6 Astra 先写了一个可以复用的解题程序，用表里给出的七个例子检查过，再从表格内容里找出所有题目所在的行，125 题全部填上。Qwen3.8-Max 也用了函数和循环，但它处理的是写死的几段行号，只覆盖了 85 题；它的程序甚至报出了这个数，却没有回头检查漏了什么。事后核对保存的文件，有 40 个答案格是空的。

论文对这件事的总结是：差别不在于模型会不会写带循环的代码，而在于它能不能用代码覆盖完整个任务，并检查有没有没做完的部分。

成本也不是一条线。四个任务里，GPT-6 Astra 全部完成，按论文的价格假设，每个任务约 18.29 美元；Qwen3.8-Max 完成三个，每个约 1.49 美元，但输出的 token 是 GPT-6 Astra 的 5.7 倍。

人在哪里接手

把这两份材料放在一起看，人工介入的位置写得相当具体。

论文为真实电脑设计的框架里，有一个专门问用户的接口，用在三种情况：目标不明确时问清楚，遇到登录或验证时请人帮忙，执行后果重大的操作前先拿授权。它还有一条原则：操作成功送达，不算任务真的完成。

OpenAI 的文档在「安全运行」一节列了四条，其中两条直接落在人身上：购买、发送数据、破坏性修改这类难以撤回的操作要由用户确认，往表单里输入敏感信息也算发送数据；要给运行设步数、时间或花费上限，并且检查实际结果，不要只看模型最后怎么说。

我们的看法

从论文自测的步数和分数看，写代码这条路方向是对的。但它也改变了出错的样子：一步一截图的时候，点错了一般看得出来；一段程序跑完、还报了个数，漏掉的 40 行却不会自己冒出来。这是我们的推断，依据就是上面那个表格案例。所以我们认为，接下来值得关注的不是智能体又快了多少，而是它交活时能不能附上一份「我做了哪些、没做哪些」的清单。

如果之后的评测开始把「整题做对率」和「漏做检查」当作主要指标来报，或者框架能自动核对任务覆盖范围，我们会改口，认为验收这一步可以更多交给机器。

我们不知道什么

• 所有数字都是作者自测，82 道题是离线子集，真实电脑只有四个任务、每个模型一次运行。
• 成本按论文存档的公开价格估算，耗时受网络和排队影响，作者自己说时间对比只能作参考。
• GPT-6 Astra 自家的电脑操作方案基本是闭源的，论文只能对照 OpenAI 公开的文档，无法确认内部做法是否一致。

接下来看什么

• OpenGCUA 称这是一个持续项目，真实设备的测试集还在建设中，后续是否公布更多任务和多次运行的结果。
• 其他团队能否用公开的轨迹复现这些分数。
• 面向普通用户的电脑操作产品，会不会把「执行前说明要做什么」和「交活时说明没做完什么」做成默认界面。