NewToken 新词元关注新智能
读懂

Claude 默认档比榜单少 11 分,每题省 19 分钟

评测机构改按每题耗时比速度:Opus 5.5 榜上 59 分出自 max 档,每题 25.8 分钟;API 默认档只有 48 分。

专题Artificial Analysis:持续追踪 · Anthropic:持续追踪主线模型竞争

读懂|Claude 默认档比榜单少 11 分,每题省 19 分钟
本文提纲4 节
  1. 速度榜改成按每题分钟数排
  2. Opus 5.5 三个档位,分数和时间不成比例
  3. 第一名的 Gemini 每题近半小时
  4. 给 Opus 5.5 用户的一句话

评测机构 Artificial Analysis 现在按「每道题要等几分钟」比模型速度,Claude Opus 5.5 排行榜上那 59 分的时间代价因此一目了然:它来自 max 档,每题约 25.8 分钟。按 Anthropic 的 API 默认设置调用,你拿到的是 medium 档,48 分,每题 6.7 分钟。榜单分数和你实际用到的模型,差了 11 分和 19 分钟。

多数要交付结果的团队,该把 Opus 5.5 显式开到 high 档,而不是追榜单上的那一档。

速度榜改成按每题分钟数排

Artificial Analysis 在性能测试方法 v3.0.0 里加入了带工具调用的多轮智能体任务,输出速度改为覆盖整个请求、含首个字出来前的等待,失败请求按速度为零计。每个模型页的性能一栏,现在都列出每题耗时。

这个数是怎么算的:每道智能指数题平均要输出多少字,除以实测的端到端输出速度,再按各项测试的权重加权。它是估算出来的生成时间,不含工具本身运行的时间,也不是秒表掐出来的墙钟时间。拿它比较同一模型的不同档位,误差方向一致,够用。

Opus 5.5 三个档位,分数和时间不成比例

Artificial Analysis 给 Opus 5.5 的多个推理档位分别打了分。下表数据来自它的 max 对比页、high 对比页和 medium 模型页,要看的是每多一分要多等多久:

档位 智能指数 每题耗时与成本
medium(API 默认) 48 6.7 分钟,2.45 美元
high 52 9.3 分钟,3.46 美元
max 59 25.8 分钟,10.04 美元

从 medium 到 high,多 4 分,多等 2.6 分钟。从 high 到 max,多 7 分,每题多等 16.5 分钟,成本约为 high 档的 2.9 倍,这是编辑据上表计算。max 档最后那 7 分,是用将近三倍的时间和钱换来的。

默认档位这件事写在 Anthropic 的 Effort 文档里:多数 Claude 模型默认 high,Opus 5.5 和 Haiku 5.5 默认 medium,不传参数就等于 medium。文档对 Opus 5.5 的建议是在自己的评测上逐档试,不要沿用旧模型的设置。

第一名的 Gemini 每题近半小时

榜单第一的 Gemini 4 Carbon 高档 60 分,每题 29.5 分钟,比 Opus 5.5 的 max 档还慢;它的输出速度每秒 69 个词元,Opus 5.5 是 112 个。Carbon 的中档 58 分、24.5 分钟,降一档只省 5 分钟。两家顶级模型的头名分数,都建立在每题二三十分钟的等待上。

有人会说,排行榜本来就该测模型的上限,默认档位是厂商的产品选择,和能力无关。这一点我们接受。但读者拿榜单选型时问的是「我接进去能拿到多少」,不是「它最多能做到多少」;Artificial Analysis 把每题耗时摆在分数旁边,正好把这两个问题分开了。

Opus 5.5 的 high 档 52 分、9.3 分钟,比 max 档少 7 分,时间却只要三分之一多一点。

给 Opus 5.5 用户的一句话

要交付结果的团队,把 Opus 5.5 显式开到 high 档:比默认档多 4 分,每题只多等两分多钟。max 档只留给能等半小时、单题值十美元的难题。按榜单分数选了 Opus 5.5 却不改设置,你接进产品的是一个 48 分的模型。

来源

引用与数据Markdown 镜像