千问小模型操作电脑胜出，多半靠换了工具

电脑操作智能体的成绩里，工具和外壳的贡献开始盖过模型大小：一个 270 亿参数的千问模型，在电脑操作测试里赢过了 GPT-5.5，但这件事不能直接读成「小模型更强」。

想象一个报销任务：从邮箱里翻出三张收据，再去网银里核对对应的刷卡记录。一种智能体的做法是截图、看图、点开一封邮件、再截图，遇到下载提示就关掉，找一笔 500 美元的扣款要往下滚八次。另一种直接从已登录的浏览器标签页里把整个邮箱读成文字，用命令行下载附件、转成文本，再去网银页面里一次取回交易表。两者用的是同一个模型，差别只在手里的工具。

这个对比来自 Simular 本周发布的 Agent S4 论文。先给结论：论文最抢眼的那句「27B 开放模型超过 GPT-5.5 和 Claude Opus 4.8」，数字是真的，但比较的两边用的不是同一套操作方式；把账拆开，大部分提升来自换了外壳，论文主打的「自动进化接口」本身只多做对 2 道题。我们认为，它真正证明的是另一件事：比较电脑操作智能体之前，先要对齐工具。

发生了什么

10 月 20 日，Simular 与几所大学的研究者在 arXiv 发布论文《Evolving Agent Interfaces》，10 月 21 日 Simular 在 官方博客 正式介绍 Agent S4，代码已在 GitHub 开源。下面的数字都来自 论文，属于作者自测，论文是预印本，尚未经过同行评审。

Agent S4 本身不做任务。它让一个「元智能体」去读任务智能体在 30 道合成练习题上的操作记录，找出反复出现的笨办法，比如一格一格往表格里敲数，然后写一个新工具补上，比如一次写入一整块单元格。新工具和使用说明攒在一个代码库里，许多版本并存，按另一组 15 道验证题的分数决定谁留下来继续改。元智能体看不到验证题本身，只看得到它们决定了谁留下。

在 108 道题的 OSWorld V2 上，千问 Qwen3.8-27B 配上进化出的工具库，整题完全做对的比例是 21.30%，论文称这是开源电脑操作智能体的最好成绩。对照组里，GPT-5.5 是 13.00%，Claude Opus 4.8 是 20.60%。按论文估算，千问一方每题花费约 1.10 美元，GPT-5.5 约 25.50 美元，Opus 4.8 约 72.40 美元。

把账拆开

论文自己的表格里，同一个千问 27B 模型有四个成绩，按 108 道题换算成做对的题数：

• 用千问官方的固定界面（截图加鼠标键盘）：5.56%，约 6 题。
• 换成能直接写代码、跑命令的 Prime Agent 外壳，不给任何工具库：15.74%，约 17 题。
• 再加上人写的种子工具库（约 550 行代码、15 个基础工具）：19.44%，约 21 题。
• 最后用 Agent S4 进化出的工具库：21.30%，约 23 题。

分析推断：从 6 题到 23 题，多出的 17 题里有 11 题出现在「换外壳」那一步，人写的种子工具又贡献 4 题，自动进化本身是最后的 2 题。按部分得分看，不给工具库是 44.93 分，进化后是 46.90 分，差距更小。依据是论文正文表 2 和表 4 的数字，只跑了一次，没有给误差范围。

这不等于进化没用。论文里最有说服力的部分，其实是那些具体工具：一次写入一整块表格、不打开软件直接读 PDF、从已登录的网页里把数据当文字取回来、给科学软件直接发命令。在专门测科学软件的 ScienceBoard 上，进化后的工具库把做对的题从 93 道提到 99 道（共 169 道），其中代数软件那一类从 48% 升到 68%。这些是一个个能看懂的改进。

比的不是同一场考试

再看「超过 GPT-5.5」这句。论文附录写得很清楚：闭源模型的成绩直接取自 OSWorld V2 原论文，用的是基准自带的参考环境，只看截图、上限 500 步；千问一方用的是能执行 Python 和命令行的外壳，上限 300 步。论文把闭源一方标成「固定界面」，把千问一方标成「可进化界面」。

分析推断：这相当于一方开卷、一方闭卷，然后比分数。论文的贡献在于证明开卷有用，但「27B 模型胜过 GPT-5.5」这个说法，混进了开卷本身的分数。如果给 GPT-5.5 同样的外壳和工具库，结果会是多少，论文没有测。

还有两处口径要注意。对照的是 GPT-5.5 和 Opus 4.8，不是两家现在的旗舰。成本一项，千问按第三方托管平台的单价、假设 80% 输入能命中缓存来估算，并且不含进化工具库本身花的算力；闭源模型的成本取自原论文。

最强反方

反方会说：拆账没有意义，用户买的就是一整套。真实产品里没人用「闭卷」方式跑智能体，千问加这套工具每题 1.1 美元做对 21%，Opus 4.8 用参考方式每题 72 美元做对 20.6%，这就是用户能拿到的结果。而且外壳和种子工具库也是 Simular 团队做的，算进成绩理所应当。

这一条我们部分接受。对一个想低成本做电脑操作的团队，「27B 模型加好工具」确实是一条可行的路，论文给了可复现的代码。我们坚持的是读法：这份成绩说明的是「工具对了，小模型也能做」，不是「这个小模型比 GPT-5.5 强」。两者的差别在于，前者告诉你该在哪里花力气，后者会让你去换模型。

我们不知道什么

• 所有千问成绩都是单次运行。作者在 ScienceBoard 上自己演示过波动：某个工具库第一次验证 73.33%，复测降到 60.00%。2 道题的进化增益在这种波动面前有多稳，论文没有给出。
• 闭源模型配上同样的外壳和进化工具库会怎样，论文没有测。
• 进化工具库本身花了多少算力和时间，成本表没有计入。
• 30 道合成练习题由 GPT 系列模型编写和审核，作者称做过不与基准重合的检查，外部尚无人复核。

我们的看法

过去两周，电脑操作智能体的研究连着指向同一个方向：先是 阿里团队的论文 显示，让模型写代码代替一步一截图，步数砍掉一半；现在 Simular 又显示，给模型配一套随经验生长的工具，27B 模型就能摸到闭源模型的成绩。我们的判断是，在这个领域，「哪个模型更强」正在变成一个问错了的问题。以后再看到某个小模型在电脑操作榜单上胜出，第一件该问的不是参数量，而是它手里拿着什么工具、对手拿着什么。