NewToken 新词元关注新智能
读懂

GDPx 头名只拿 12%,背后有三个计分细节

SemiAnalysis 新考卷 GDPx 上 Claude Opus 5.5 以 12.0% 居首。总分混了部分分、安全设置和各家工具,分领域记录比名次有用。

专题OpenAI:持续追踪 · Meta:持续追踪 · Anthropic:持续追踪主线模型竞争

读懂|GDPx 头名只拿 12%,背后有三个计分细节
本文提纲3 节
  1. 金融和法律两门换成了部分分
  2. Opus 和 Astra 有三门被安全设置拉低
  3. 每家用自己的工具跑,出题方也给实验室供数据

前沿模型有了一张按 8 小时长任务、带真实文件环境来排名的新考卷,名次同时取决于计分规则和各家的安全设置。

SemiAnalysis 11 月 2 日发布 GDPx:11 个领域、14 家合作方、206 道题。据 GDPx 官方榜单,Claude Opus 5.5 以 12.0% 居首,Gemini 4 Carbon 10.9%,GPT-6 Astra 9.6%。

我们的判断是,这个 12% 不能读成模型只会做 12% 的高价值工作。总分里压着三个计分细节,选模型时分领域的记录比名次更有用。

金融和法律两门换成了部分分

据 SemiAnalysis 的发布长文,金融题原本按「过线才得分」计,因为一张表里错一个关键格子就该算失败。结果所有模型在这一门都是 0,法律也一样。

于是榜单在这两门改报平均部分分。总分由 11 门等权平均而来,其中两门量的是「做对了几成」,另外几门量的是「做成了没有」。

两门的公开题能看出差距在哪:

  • 金融的公开题有 11 项检查,25 次尝试没有一次全过,单次最好过了 8 项;
  • 法律的公开题是替领投方修改 B 轮融资文件,20 次全部不合格,平均部分分 18%,Opus 5.5 平均 44%。

分析推断:如果两门也按过线计,各家总分都会再低一截,名次未必变,依据是这两门本来人人是 0。

Opus 和 Astra 有三门被安全设置拉低

长文写明,Opus 5.5 与 GPT-6 Astra 的总分在网络安全、生物和对齐三门受到各自安全分类器的压制,扣掉这三门,排名会变。

它举的例子是 Meta 的 Muse Wonder Full:按 GDPx,它是眼下网络安全最强的可用模型,而且领先明显。Gemini 4 Carbon 拿下生物第一,长文自己的解释是它的安全分类器较弱。

这就让总分同时量了两样东西:模型会不会做,和厂商让不让它做。对要在安全或生物场景选模型的团队,这两样得分开看。

每家用自己的工具跑,出题方也给实验室供数据

GDPx 每题默认时限 8 小时,模型尽量在自家工具里跑:Opus 5.5 用 Claude Code,Astra 用 Codex,Carbon 用 Antigravity,没有自家工具的用 OpenCode。

据 Unite.AI 整理,每题平均花费 Opus 5.5 是 51.41 美元,Carbon 是 16.29 美元,Astra 是 53.99 美元。

所以榜单比的是「模型加它的工具」。题目由 14 家做强化学习环境的公司出,其中网络安全的出题方在长文里写明专门向美国前沿实验室卖安全数据。

领域也是挑过的:长文说选的是未来一两年最可能被 AI 加速的方向,有意不收政府、房地产和保险。Dealroom 的报道也提醒,这是 SemiAnalysis 自己跑的、自己选的领域,算不上独立第三方测试。

有人会说,题目难、审题严、题库大多不公开,正是 12% 可信的原因。长文称,同一套审题流程查 Terminal Bench 4.0,会把近一半题判为有问题,合作方还必须一次通过审题。

这一点我们接受:前沿模型离 8 小时的真实工作还远,量化交易一门 111 次有效运行里 70 次没跑赢参考策略,就是证据。我们不接受的是用 12.0 对 10.9 来定谁更强。SemiAnalysis 计划每 3 到 6 个月出一版,到时候若部分分改回过线制、安全分类器的影响单独列出,名次才更好读。

来源

引用与数据Markdown 镜像