Vals 指数的头名要看拒答怎么算：Claude 拒答的题由旧模型代答也计分，按失败计 Opus 5.5 少 6 分

旗舰模型的榜单分数开始含有拒答后由旧模型代答的部分，名次取决于这部分怎么算。Vals AI 10 月 19 日发布 Vals 指数 2.2 版，Claude Sonnet 5.5 以 70.85% 排第一，Claude Opus 5.5 以 70.18% 排第二，Gemini 4 Argon 以 69.24% 排第三。同一页上有一行小字：两款 Claude 的分数里，有一部分题是模型拒答之后由另一个模型答的。

先给结论：按 Vals 默认的算法，Claude 领先；把代答的题算作失败，Sonnet 5.5 降到 69.03%，Opus 5.5 降到 64.16%，头名换成没有任何代答的 Gemini 4 Argon。两种算法下第一、第二名都只差 0.67 分和 0.21 分，真正站得住的变化只有一条：Opus 5.5 少了约 6 分。

发生了什么

据 Vals 指数页面，2.2 版更新了五个分项：Finance Agent 升到 v2.1，EMB、Code Migration、HLAB 升到 v1.1，Tax Agent Bench 改为「每条评分项全部通过才算对」。指数按四个行业占美国 GDP 的比重加权：金融 8.0、编程 5.6、法律 1.2、税务 0.5，共 22 个模型上榜。页面写明，Sonnet 5.5 和 Opus 5.5 的部分分项任务「在提供方拒答后由备用模型完成」；按失败计，两者分别是 69.03% 和 64.16%，Argon 没有代答，因此会排第一。

据 DigIntoAI 的报道，这一条是这份排名「关键的前提」。我们同意这个判断，并把它拆开看。

代答是怎么回事

据 Anthropic 开发者文档，Opus 5.5、Sonnet 5.5 等模型带有安全分类器，判定请求有风险时返回一个正常的 200 响应，停止原因写「refusal」，并注明政策类别。开发者可以在请求里设置 fallbacks，让 API 自动把同一请求交给 Anthropic 推荐的另一个模型重答，这项功能目前是测试版；Haiku 5.5 没有服务端代答。响应里的 model 字段会写明实际作答的是哪个模型。

哪些请求会被代答，Claude 帮助中心写得更具体：网络安全类，比如生成漏洞利用、扫描二进制漏洞、渗透测试，Opus 5.5 会降到 Opus 4.8；生物两用类和一小部分「前沿大模型开发」能力，比如为某些加速器写内核，会降到 Opus 5。分类器不只看用户这句话，还看模型读到的全部内容，包括搜索结果和文件。

Vals 的做法是把代答打开。据 Opus 5.5 模型页，它评测时以 Opus 5 和 Opus 4.8 作为服务端备用；据 Sonnet 5.5 模型页，Sonnet 5.5 的备用是 Sonnet 5。两页列出的代答率分别是 4.28% 和 3.99%。

影响有多大

指数层面，Sonnet 5.5 按失败计少 1.82 分，Opus 5.5 少 6.02 分。分析推断：如果其他模型的分数不变，Opus 5.5 会从第二排到第六，排在 Wonder Full、GPT-6 Astra 和 Wonder 之后；Vals 只写明 Argon 没有代答，没有说其他模型是否同样受影响，这个名次是我们按页面数字排的。

单项基准上差得更大（其中 Terminal-Bench 4.0 计入指数，SRE Bench 和 CyberBench 不计入）。据 Vals 9 月 22 日的 Opus 5.5 评测说明，评测当时 Terminal-Bench 4.0 有 30 道题（共 198 道）由备用模型完成，按失败计从 61.62% 降到 53.54%；SRE Bench 有 217 道（共 262 道，占 82.82%）由备用模型完成，分数从 33.59% 降到 5.34%。据 9 月 28 日的 Sonnet 5.5 评测说明，CyberBench 有 54 道（共 116 道）代答，从 59.58% 降到 41.97%；SRE Bench 有 126 道代答，从 30.15% 降到 19.08%。

分析推断：Opus 5.5 掉得比 Sonnet 5.5 多，可能是因为它多一类「前沿大模型开发」分类器，编程和终端类任务更容易触发；依据是帮助中心写明这类分类器只用于 Opus 5.5，以及 Vals 显示 Opus 在 Terminal-Bench 上的代答题数（30 道）多于 Sonnet（7 道）。Anthropic 和 Vals 都没有公布每道题触发的类别，所以这只是一个解释。

还有一处要补充交代。我们 10 月 18 日写 Vals 科学指数时，第三、四名的 Sonnet 5.5 和 Opus 5.5 分数同样含代答，当时没有写明。按 Opus 模型页，受影响的两项是 Terminal-Bench-Science（48.57% 降到 47.14%）和 MysteryMechanism（49.55% 降到 49.10%），幅度在 1.5 分以内。分析推断：按这两项估计，不至于推翻那篇「第二到第四名差距很小」的结论；但 Sonnet 5.5 在科学指数各项的代答影响，Vals 没有逐项写明。

为什么重要

榜单分数原本回答的是「这个模型能做多少」。代答把问题换成了「这个模型加上它的备用链能做多少」。两种问题都合理，但对应不同的采购场景。

据 Anthropic 文档，API 上的代答要在请求里主动设置才生效。没设置的团队，被拒的请求就是空答案，更接近按失败计的那一列；设置了的团队，拿到的是 Opus 5 或 Opus 4.8 写的答案，按代答模型的价格计费，每次尝试单独计费。文档还写明，生物、前沿大模型开发、套取推理过程三类在出字之前的拒答也要收费。所以同样调用 Opus 5.5，实际能拿到的分数和账单，取决于你的配置和你的任务落在哪一类。

对做安全运维和渗透测试的团队，这件事影响最直接：SRE Bench 上 Opus 5.5 八成以上的题由备用模型完成，按失败计只剩 5.34%，这一项的分数大部分来自备用模型。

最强反方

反方会说：按代答计分才是用户真实拿到的结果。帮助中心写明，Claude 应用里自动切换模型默认开启；企业接入时也可以一行配置打开代答。用户关心的是问题有没有被解决，不关心是哪一代模型解决的。Vals 两个数都公布了，默认展示含代答的分数并无不妥。

这一条我们部分接受。对在 Claude 应用里使用、或已经在 API 上开启代答的团队，含代答的分数确实更接近体验，我们不认为 Vals 的默认算法有错。我们坚持的是另一点：这份分数描述的是一套带备用链的服务，不能当作 Opus 5.5 单个模型的能力去和 Gemini 4 Argon 比；而且 API 代答是测试版、需要主动开启，Haiku 5.5 没有，被拒请求还可能按类别收费。头两名在两种算法下分别只差 0.67 和 0.21 分，Vals 给 Sonnet 5.5 标的误差是正负 0.93 分，两种算法下「谁是第一」都不该当成选型依据。

我们不知道什么

• 2.2 版指数里每个分项各有多少题被代答。Vals 页面上的逐项拆分需要交互展开，我们读到的是 9 月两份评测说明里的旧版数字，与 2.2 版分项不完全对应。
• 除 Argon 外，GPT-6 Astra、Wonder 等模型是否也有类似的拒答或代答，Vals 没有逐一写明。
• 代答那部分题的花费如何计入「每题成本」：Opus 5.5 每题 28.12 美元，是否包含备用模型的费用，页面没有说。
• Anthropic 说会持续调低分类器的误拦，这些比例下一个版本还会不会这么高。

接下来看什么

三件事：Vals 下次更新时是否把「按失败计」的分数单列成一栏；Anthropic 下一代模型上线时，第三方评测机构是否统一写明代答设置；以及其他厂商是否推出类似的服务端代答，让「模型分数」和「服务分数」进一步分开。