谷歌 Carbon 的数学第一赢在形式化证明

数学榜第一换了人，换来的领先却集中在一类考卷上。11 月 13 日，第三方数学评测 MathArena 把 Gemini 4 Carbon 排到第一，期望得分 85.4%，压过 GPT-6.1 Sol 的 80.6%。

拆开分项看，Carbon 的领先几乎都出在 Lean 形式化证明这一项。另外两类考卷上，它只比 Sol 高 1.5 分以内，每题却贵 5 到 14 倍。

我的判断是：写 Lean 证明的人该换 Carbon，其余数学任务的默认选择仍是 Sol。

两类考卷上，分差小于误差

MathArena 运营者是苏黎世联邦理工学院博士生 Jasper Dekoninck，他在 X 上的帖子 宣布了换位。

排名由三类考卷合成。ArXivMath 从新论文出题；BrokenArXiv 要求找出错误定理；ArXivLean 要求用 Lean 写出可由机器检验的证明。

下表取自 Carbon 模型页 和 Sol 模型页，成本是每题跑一遍的花费：

考卷	Carbon（high）	Sol（max）
ArXivMath 汇总	94.28%，5.08 美元	92.81%，0.96 美元
BrokenArXiv 汇总	84.40%，16.35 美元	83.09%，1.14 美元
9 月 ArXivLean	62.26%，45.11 美元	35.85%，1.16 美元

前两行的分差是 1.47 分和 1.31 分，模型页给的误差范围都在正负 3 分以上。这两类考卷上两者分不出高下，价格却差了 5 倍和 14 倍。

Lean 证明一项拉开 26 分

第三行才是 Carbon 的真本事：同一批 Lean 证明题，它比 Sol 高 26 分。Dekoninck 说，受成本所限，Carbon 在 Lean 类考卷上只跑了这一套。他评价 Carbon 在这套题上的表现非常亮眼。

MathArena 首页 写明，期望得分按题目等权平均，没跑的题用统计模型估算补上。前两类考卷的分差都不到 1.5 分，分析推断，总分上 4.8 分的领先主要来自 Lean 这一项。

账单还会变重。Google 的发布文 写明，11 月 30 日优惠期结束。之后每百万输入、输出的价格从 2 美元和 10 美元涨到 4 美元和 20 美元。MathArena 按优惠价计费，分析推断，同样的用量，12 月起每题成本接近翻倍。

第二名 Fable 5.2 每题 40.2 美元

排第二的是 Anthropic 的 Claude Fable 5.2，期望得分 82.8%，误差正负 5.3 分，是前三名里最宽的。它的模型页 只列了四套成绩：9 月、10 月的 ArXivMath 和 BrokenArXiv。它没有 Lean 成绩，其余题目靠估算。

它实际跑过的两套 ArXivMath，得分与 Carbon 一模一样，是 96.23% 和 93.62%。每题成本却是 24.13 美元和 22.28 美元，约为 Carbon 的四倍。10 月 BrokenArXiv 它排第四，得分 73.46%。

Dekoninck 写道，Fable 最常见的失败是推理提取出错，MathArena 决定照样扣分。按每题 40.2 美元算，它的第二名是三家里最贵的一张成绩单。

研究者要天花板，代价不只是钱

对 Sol 结论最有力的反驳是：做数学研究的人只看天花板，多付几十美元无所谓。这在 Lean 一项上成立，26 分的差距足以让人换模型。

但 Carbon 的代价不只写在账单上。Dekoninck 说，Gemini 最常见的错误是超时：它几乎从不放弃，无视明确给出的时限。有一次它启动的脚本跑了 11 个小时，中间一次都没回来查看。

还有两件事没有成绩：Carbon 只在 high 档测过，更低档位能省多少钱不清楚；Lean 另一套考卷它也还没跑。

成本这件事，Dekoninck 自己在帖子里写得很直白：

The extra performance does come at significantly higher costs under these reasoning settings

据 ORIENS 报道，Google 首席执行官皮查伊和 DeepMind 首席执行官哈萨比斯都转发了这条结果。Google 自己没有就排名发公告。

榜首的名字会被反复引用，付钱的人该看的是分项表。写 Lean 证明的人现在就该换 Carbon，其余数学活交给 Sol，用 14 倍的价钱买 1.3 分不值。