Vals 科学指数：第一名站得住，第二到第四名只差约两道题，同价模型每题成本差近十倍

先说结论：独立评测机构 Vals AI 新发的科学指数，把 GPT-6 Astra 排在第一，这个位置站得住，它在三项里拿了两项第一，领先第二名 5.46 分。站不住的是后面的名次：第二到第四名 GPT-6.1 Sol、Claude Sonnet 5.5、Claude Opus 5.5 之间相差 0.98 分，折算下来约等于一次运行里两道终端题。读这张榜，比名次更值得记的是分项和每题成本：Sol 和 Sonnet 5.5 标价相同，每题成本差了近十倍。

发生了什么

据 Vals AI 在 X 上的发布帖（背景资料），Vals 在北京时间 10 月 17 日清晨发布 Vals Science Index，称它衡量 AI 做科学发现的能力。据 Vals Science Index 榜单页（第三方评测），这个指数是三项智能体基准的等权平均：Anthropic 编写的 BioMysteryBench（拿真实生物数据去查答案）、Vals 自建的 MysteryMechanism（靠有限次实验反推隐藏的数学规律）、Terminal-Bench 团队的 Terminal-Bench-Science（在终端里完成科研工作流）。截至 10 月 16 日，前五名是：

• GPT-6 Astra 65.09%，每题 8.03 美元
• GPT-6.1 Sol 59.63%，每题 1.36 美元
• Claude Sonnet 5.5 59.12%，每题 13.24 美元
• Claude Opus 5.5 58.65%，每题 9.13 美元
• Gemini 4 Argon 55.36%，每题 18.40 美元

同一页还列了它与 Vals 综合指数的名次对照：Astra 在综合指数排第七，在科学指数排第一；Argon 在综合指数排第一，到这里排第五。据 AlphaSignal 的报道（媒体报道），报道标题落在的正是这种换位：科学指数重排了前沿模型的名次。

把总分拆回三项

三项的分数都在各自的榜单页上，可以逐项核对。前五名的三项成绩如下（BioMysteryBench、MysteryMechanism、Terminal-Bench-Science）：

• Astra：79.26、53.15、62.86
• Sol：79.63、46.40、52.86
• Sonnet 5.5：81.11、49.10、47.14
• Opus 5.5：79.26、49.55、47.14
• Argon：76.30、45.49、44.29

按等权平均把这三项加起来除以 3，正好得出榜单上的总分，比如 Astra 是 (79.26 + 53.15 + 62.86) ÷ 3 = 65.09。拆开以后能看清两件事。

第一，Astra 的领先是实打实的。据 Terminal-Bench-Science 榜单页（第三方评测），这项共 70 道题，按通过与否计分，Astra 比 Sol 多 10 分，也就是多做对 7 道；据 MysteryMechanism 榜单页（第三方评测），它在 222 个隐藏规律上又比 Sol 高 6.75 分。只有生物这一项，Astra 比 Sol 低 0.37 分。5.46 分的总领先里，约 3.3 分来自终端这一项，约 2.3 分来自反推规律那一项，分布在两个独立的基准上。

第二，后面的名次很薄。Terminal-Bench-Science 的方法说明写明，所有成绩都是每个模型只跑一次的 pass@1。70 道题里每一道值 1.43 分，进到三项平均后，一道题约等于总分 0.48 分。第二名 Sol 与第三名 Sonnet 5.5 相差 0.51 分，约等于一道终端题；第二名与第四名相差 0.98 分，约等于两道。这几个模型在三项里互有胜负：Sonnet 5.5 是生物那一项的第一，Sol 是终端那一项的第二，Opus 5.5 与 Sonnet 5.5 在终端那一项同为 47.14。分析推断：这个差距可能落在单次运行的波动之内，依据是按题计分、只跑一次的成绩里，一两道题的通过与否就能换掉名次，而榜单页没有给出置信区间。

还有一处会影响第三名。据 BioMysteryBench 榜单页（第三方评测），Sonnet 5.5 在三次运行里都拒答了同样三道题；Opus（页面未写版本）有五道、GPT-5.6 Sol 与 Luna 各有三道被生物内容过滤器拦下，这些一律计为失败。也就是说，生物这一项量到的有一部分是厂商的安全过滤策略，不全是分析能力。

同样的标价，不同的账单

这张榜最有用的一列，可能不是分数。Sol 与 Sonnet 5.5 的标价相同，都是每百万词元输入 2 美元、输出 10 美元；但在科学指数里，Sonnet 5.5 每题 13.24 美元，Sol 每题 1.36 美元，差了约 9.7 倍。榜单页给出的用量解释了原因：整套测试里 Sonnet 5.5 用掉 200.5 亿输入词元，Sol 是 7.57 亿，约 26 倍；耗时 1 小时 9 分对 33 分钟。AlphaSignal 的报道也写到，Sol 的成本约为 Sonnet 5.5 的十分之一。

Argon 是另一面：前五名里它的标价不算最高，每题成本却最高，18.40 美元。据 AlphaSignal 转述 Vals 的发现，把推理强度开到最大，在准确率已经不再上升之后，成本最多还能再涨 20 倍。

我们的看法：评估一个科研类智能体时，先问它在你那一类任务上的分项成绩，再问每题花多少钱，最后才看总名次。依据是：总名次的第二到第四名差距不足一分，而同价模型的每题成本差了近十倍，后者对预算的影响远大于前者。如果 Vals 之后公布多次运行的置信区间，显示第二到第四名的差距稳定存在，我们会修正名次不可靠这一判断。

最强反方

最有力的反驳是：名次本来就是用来排序的，差距小也是信息。Vals 用一个固定的通用框架测所有模型，三项平均、题目由科学家编写、判卷程序与智能体分开运行，比厂商自报可信得多；单次运行的波动对每个模型一视同仁，长期看会互相抵消。况且三项分别来自三个不同的团队，按榜单页的分项名次，前五名在三项里都排在指数模型的前六之内，说明这个排序不是偶然。

我们让步两点：Vals 的测法确实比厂商自报严格，前五名作为一个整体也确实明显领先后面的模型；Astra 的第一名同样不是偶然。但具体到第二、三、四名，单次运行里差一两道题就能对调，三项平均也抹不掉这一点，因为三项里互有胜负的恰恰是这三个模型。每题成本那一列也有局限，Terminal-Bench-Science 的方法页写明，Vals 用同一个通用框架代替各家自带的智能体，成绩不能直接与官方榜单比较，通常会低于厂商自家智能体的成绩；分析推断：成本也一样，换成 Claude Code 或 Codex 这类各家自带的工具，词元用量可能完全不同，依据是用量取决于框架怎样把上下文喂给模型。所以我们说的是，这张榜给出的成本差距值得在你自己的框架里复测，而不是直接照搬。

我们不知道什么

• 各项成绩的置信区间：Terminal-Bench-Science 写明是单次运行，BioMysteryBench 页提到 Sonnet 5.5 跑了三次，但三个榜单页都没有给出误差范围。
• 输入词元是否已按缓存折扣计价：Sonnet 5.5 的用量是 Sol 的约 26 倍，成本只高约 9.7 倍，差额可能来自缓存计价，榜单页没有说明。
• 终端这一项的数字为什么变了：据 Vals 首页的报告摘要（第三方评测），较早的 Terminal-Bench-Science 报告写 Astra 65.71%、第二名 Claude Fable 5.1 34.29%，几乎是两倍；现在的榜单是 Astra 62.86%、Sol 52.86%、Fable 5.1 40.00%。方法页说榜单正在从 Terminus 2 框架迁到 mini-swe-agent，两者是否就是全部原因，我们无法确认。
• Claude Fable 5.1 为什么不在指数里：它在终端和反推规律两项都有成绩，却不在指数的 21 个模型中；我们在生物那一项榜单页显示的模型里没有看到它，可能是缺这一项成绩。
• 换成各家自带的智能体后，名次会不会变。

接下来看什么

一是 Vals 会不会给科学指数补上多次运行与置信区间；二是它说会陆续加入新的科学基准，等权平均的成分一变，名次也会随之变化，引用这个指数时要记下日期和版本；三是 GPT-6.1 Sol 这种每题一美元多的成绩，能否在别的框架里复现。