Gemini 编程榜涨 14.6 个点，靠模型还是工具？

编程智能体榜单上，同一个模型换一层工具壳就能挪一个名次，比的其实是模型加工具的整套。FrontierCS 2 在 10 月 25 日前后把 Gemini 4 Argon 从第三方工具 Pi 换到 Google 自家的 Antigravity 重跑，通过率从 39.6% 升到 54.2%，排名从 GPT-6 Astra 之后跳到 Claude Opus 5.5 之后。

先给结论：多出的这 14.6 个点，能找到的解释有两个，一是 Pi 遇到拒答就结束运行，二是 Antigravity 每次运行多花了将近一倍的钱。模型本身没有换。所以这次换位说明的是「Argon 配自家工具」的整套表现，不能读成 Argon 强过 Astra；按每通过一题的花费算，Argon 换工具后反而更贵了。

发生了什么

FrontierCS 2 是一套考编程智能体做计算机研究的基准：从 48 篇已发表论文的开源代码里删掉论文的核心贡献，让智能体在 5 小时内重新写出来，只有在所有隐藏测试上都追平或超过原作者的实现才算通过，每题只跑一次。据 Kaggle 榜单（10 月 25 日更新，成绩由 FrontierCS 团队提供，Kaggle 标注为外部来源、正在合作复现），13 个上榜模型都跑在各自厂商的工具里：Opus 5.5 用 Claude Code，Astra 和 GPT-6.1 Sol 用 Codex CLI，DeepSeek、Kimi、GLM 也各用自家工具。此前唯一的例外就是 Argon，它跑在第三方的 Pi 上。

FrontierCS 作者 Wenhao Chai 在 X 上说明，团队检查运行记录时发现，Pi 一碰到服务商的回退（比如安全类任务被拦）就直接结束运行，这种情况出现在两成的运行里，于是改用 Antigravity 重跑。FrontierCS 官网的「拒答与工具故障」说明写得更具体：Argon 用 Pi 时，48 次运行里有 10 次是服务商的内容过滤拒绝了请求，Pi 随即结束；用 Antigravity 时被拒的请求会重试，只有 Structured LWE 一题重试用完而中断，CREST 一题被拒的上下文摘要被截短保留。同一段说明也记了 Opus 5.5 的一次：在 Progent 一题里，一次拒答让剩下的运行切换到了 Claude Opus 4.8。

结果是：Argon 用 Antigravity 通过 26 题（54.2%），用 Pi 通过 19 题（39.6%）。Kaggle 现在把 Antigravity 这一行放进正式排名，Pi 那一行只作脚注保留。团队成员 Hanchen Li 在 X 上评论，配上官方工具有帮助，但涨 14 个点仍出乎意料，团队原本以为 Pi 就够用了。

为什么重要：多过的七题是花钱买来的

Kaggle 表里同时给了每次运行的平均成本。Argon 用 Pi 是 10.44 美元，用 Antigravity 是 19.52 美元，多了 9.08 美元，涨了约 87%；每题平均词元从 2520 万升到 2870 万，单题用时从 159 分钟升到 172 分钟。

把成本和通过题数放在一起算（48 次运行的总花费除以通过题数，分析推断，依据为 Kaggle 表中的每次成本与通过数）：

• Argon 配 Pi：约 501 美元过 19 题，每过一题约 26 美元；
• Argon 配 Antigravity：约 937 美元过 26 题，每过一题约 36 美元；
• Opus 5.5 配 Claude Code：约 959 美元过 28 题，每过一题约 34 美元；
• Astra 配 Codex CLI：约 789 美元过 21 题，每过一题约 38 美元。

也就是说，换工具让 Argon 多过了 7 题，但每过一题的花费从 26 美元左右涨到 36 美元左右。看通过率，Argon 是从 Astra 身后跳到了它前面；看单件成本，Argon 从比 Opus、Astra 都省的位置，变成和它们同一档。

再看 FrontierCS 自己的能力指数 FCI（按每项指标是否胜过人类参考、超出多少拟合出的分数，附 90% 区间）。据官网数据，Argon 配 Antigravity 是 45.2（36.4–55.5），配 Pi 是 38.7（27.3–51.7），Astra 是 48.6（39.6–60.4），Opus 5.5 是 53.3（44.5–64.3）。按这个更细的尺子，Argon 换工具后依然排在 Astra 之后，几个模型的区间大面积重叠。通过率上的「超过 Astra」，在 FCI 上并不成立。

我们的看法：这张榜比的从来是「模型加本厂工具」的整套，Argon 只是之前唯一没按这个规矩跑的一个，这次是把口径拉齐了。拉齐之后看到的不是 Argon 突然变强，而是两件事：一是拒答怎么处理会直接改写名次，二是工具愿意花多少钱、跑多久，也算进了分数里。如果以后出现同一模型、同一工具、只改重试策略的对照，而涨幅主要来自那 10 次被掐断的运行，我们会更确定第一点；如果拒答次数相同而涨幅仍在，就要改口承认 Antigravity 本身的编排更强。

最强反方

最有力的反驳是：拿模型配本厂工具来比，本来就是最公平的口径，Opus 和 Astra 一直享受这个待遇，Argon 之前用 Pi 是吃了亏，现在的 54.2% 才是它的真实水平；成本高是因为跑得更完整，被掐断的运行当然便宜。这一点我们部分接受：拉齐口径是对的，Pi 那一行确实低估了 Argon 在完整运行下的表现。但这恰好说明，榜单上的分数离不开工具和花费，单独拿「Argon 54.2%、Astra 43.8%」说谁的模型更强，仍然越过了证据。FCI 上 Argon 仍低于 Astra，而每过一题的花费 Argon 也没有优势，这两点在口径拉齐后依然成立。

我们不知道什么

• 多出的 7 题里，有几题是原来被 Pi 因拒答掐断、换工具后完成的，有几题是 Antigravity 的编排本身带来的，FrontierCS 没有逐题拆开。
• Argon 只跑了 Pi 和 Antigravity 两种工具，其余模型都只跑了本厂工具，我们不知道 Opus 或 Astra 换到 Pi 上会掉多少。
• 每题只跑一次，同一配置重跑的波动有多大，榜单没有给出。
• Kaggle 标注正在与作者合作复现，复现结果还没出来。

接下来看什么

一看 FrontierCS 是否公布 Argon 两次运行的逐题对照，把拒答掐断和编排差异分开；二看 Kaggle 的复现结果；三看其他编程智能体榜单是否开始把工具和重试策略写进每一行，而不是只写模型名。