GPT-6 Astra 多花 5.3 倍钱,湿实验分数持平
UniPat AI 的 SPU 基准让 13 种智能体配置预测真实湿实验排名:Astra 最高档单题成本是中档的 5.3 倍,分数没有更高。
专题OpenAI:持续追踪 · Anthropic:持续追踪主线模型竞争

同一个模型把推理档位从中档拉到最高档,预测真实湿实验结果的分数没有变高,账单却翻了五倍多。
这是 UniPat AI 牵头的 SPU 基准给出的结论:GPT-6 Astra 在最高档上单题成本中位数是中档的 5.3 倍,运行时间是 4.8 倍,平均分反而低 0.022,差异在统计上分不出来。我们的判断很直接,这类任务里多付的推理钱买到的是更长的运行,不是更准的答案。
116 道题都在考没公开的实验结果
据 arXiv 上公开的 SPU 论文,基准有 116 道任务、4,207 个实验,覆盖化学、材料、生物等领域。
100 道公开题取自 85 篇近两年发表的 Nature 系列论文,另有 16 道来自从未公开的合作实验。智能体拿到实验条件,在 8 小时、一块 H20 显卡的容器里自己查资料、跑计算,最后给候选条件排序。
评分只看排序与实测结果的秩相关,满分 1,随机排序约为 0。答案放在智能体碰不到的独立容器里,没有模型当裁判。
据 36氪转载量子位 11 月 14 日的报道,参与的顾问和实验合作者来自斯坦福、哈佛、康奈尔等机构,报道把它称作「史上最严」,因为模型没法靠背题拿分。
档位拉满,分数没动
成绩整体不高。13 种配置里最好的调整后均分是 0.478,每种配置只在 34% 到 52% 的题上明显好过随机。
最该看的是 Astra 两个档位的对照。中档每道已计分题平均花 9.59 美元,最高档花 65.91 美元;1,300 次正式运行总计约 1.71 万美元,最高档一项占 38%。论文还发现,分数与运行时间、工具调用次数、是否用显卡都没有可检出的相关。
为什么多算没用?论文翻了 1,155 条轨迹:最高档在跑到约四分之一时写出的第一版排序,已经和最终提交一样准,之后的改动对错各半。
决定成绩的是智能体拿哪个量来排序,选错了量,算八小时也是白算。各配置之间的一致度是 0.52,和实测的一致度只有 0.33。
有人会说每题只跑一次,噪声太大。论文另挑 29 道题让最高档各重跑 5 次,四种算法下中档领先 0 到 0.022,区间都含零,最高档的优势始终没有出现。还没测的是其他模型:只有 Astra 跑了两个档位,别家加档是否同样无效,论文没有答案。
Opus 5.5 的第一名只答了 44 道题
成本与分数的最优边界上有四个配置:DeepSeek、豆包、Astra 中档和 Claude Opus 5.5。Opus 5.5 的 0.478 是全场最高,但它只在 44 道公开题上有分。
据论文,Opus 5.5 拒答了 56% 的公开题,Claude Fable 5.1 拒答 69%,全部由 Anthropic 的生物风险安全分类器触发;化学和生物题大多被拦,材料题被拦得少。
论文检验过,被它跳过的题对其他模型没有检出更难,0.478 没有因跳题明显虚高。可对做化学和生物预测的实验室来说,一个半数题目不作答的模型,在这些题上等于不可用。
这份成绩单给出的答案很硬:做实验结果预测,把 Astra 留在中档就够了,最高档多付的 5 倍多的钱只换来更长的等待;真正拉开分数的,是智能体有没有挑对那个决定实验结果的量。
来源
引用与数据Markdown 镜像

