NewToken 新词元关注新智能
读懂

谷歌 Hydrogen 找 bug 的 13.5% 不能和对手比

Hydrogen 在找 bug 测试里报出 13.5%,用的是谷歌自家 Antigravity 工具;对手和自家 Carbon 都按公开榜单的通用工具算。

专题OpenAI:持续追踪 · Meta:持续追踪主线模型竞争

读懂|谷歌 Hydrogen 找 bug 的 13.5% 不能和对手比
本文提纲4 节
  1. 两张模型卡用了两套工具
  2. 换工具能把分数推上也能拉下
  3. 公开榜单上的第一仍是 9.5%
  4. 找 bug 的难处正是工具能做文章的地方

谷歌给 Hydrogen 测找 bug 时换了一套自家工具,这个 13.5% 因此和公开榜单上的对手分数不在同一把尺子上。

SWE-sweep 是 Meta 团队做的测试:把代码库停在许多已知 bug 同时存在的版本,不给任何提示,让模型自己找、自己修。谷歌说 Hydrogen 在这里领先同级模型。在 Meta 团队用通用工具复跑之前,这个数不能算榜单纪录,独立测得的第一仍是 OpenAI 的 Astra 6,9.5%。

两张模型卡用了两套工具

据 Hydrogen 模型卡,Hydrogen 得 13.5%,Claude Sonnet 5.5 得 3.1%,GPT-6.1 Terra 得 5.8%。评测方法说明写明,Hydrogen 的分数由谷歌用自家 Antigravity 命令行工具 1.4.8 版自测,两个对手的分数取自公开榜单。

一个月前不是这样测的。Carbon 评测方法说明写的是,谷歌旗舰 Carbon 用的是榜单默认的 mini-SWE-agent 工具。Carbon 模型卡上它得 9.6%,比 Astra 6 只高 0.1 个点。

同一家公司、同一项测试,后发布的 Hydrogen 比 Carbon 高出 3.9 个点,工具也换了。工具对这 3.9 个点贡献多少,谷歌没有拆开交代。

换工具能把分数推上也能拉下

工具会改变分数,这是 SWE-sweep 团队自己测出来的。论文在 20 个代码库上换用厂商原生工具:OpenAI 的 Sol 5.6 换成 Codex 后,从 2.9% 掉到 1.6%;Anthropic 的 Opus 5 换成 Claude Code,从 1.0% 到 1.1%。

方向不固定,所以不能断言 Antigravity 一定抬高了 Hydrogen。能断言的是,工具不同的两个分数放进一张表比高低,比的不只是模型。这是分析推断,依据是论文的这组对照。

公开榜单上的第一仍是 9.5%

编辑 11 月 15 日打开 SWE-sweep 公开榜单,统一用 mini-SWE-agent,前五名如下:

  • Astra 6:9.5%,每个代码库 35.00 美元
  • Sol 5.6 最高档:4.7%,72.30 美元
  • Opus 5.5 最高档:3.6%,21.98 美元
  • Fable 5.1:2.9%,39.04 美元
  • Luna 5.6 最高档:2.5%,2.24 美元

榜单上没有 Hydrogen,也没有谷歌引用的 Sonnet 5.5 和 GPT-6.1 Terra 两个条目。谷歌的 3.1% 和 5.8% 取自哪一版榜单,方法说明没有写。

有人会说,测试负责人 Kilian Lieret 自己都认了。他 11 月 14 日在 X 上回复网友说,Gemini 4 似乎已是第一,榜单还没更新,谷歌报的是最高 13.5%。

我们接受这句话的善意,不接受把它当复跑:他引用的仍是谷歌自报的数。至于 Antigravity 更贴近真实使用,这对用 Antigravity 的人成立,对拿 Hydrogen 和 Claude、OpenAI 选型的人不成立。

找 bug 的难处正是工具能做文章的地方

这项测试的难点在找,修反而不难。论文里,给 Sol 5.6 加上原始问题描述,同一批代码库的修复率跳到 75.3%;只给出要改的文件名,分数翻倍到 11.0%,再给出行号,又翻倍到 19.2%。

找 bug 靠的是怎么读文件、怎么搜、什么时候停。这些正是工具决定的部分。谷歌发布文也把 Hydrogen 的长处写成并行批量读文件和搜索。模型和工具在这项测试里分不开,谷歌却只换了自己那一边的工具。

13.5% 是 Antigravity 加 Hydrogen 的成绩单,不是 Hydrogen 在榜单上的名次。用 Antigravity 写代码的团队可以把它当参照;要按找 bug 能力挑模型,同一把尺子量出来的第一名是 Astra 6。

来源

引用与数据Markdown 镜像