Fable 5.2 的 MKA 榜首在统计上站不住
看图做文档的智能体测试 MKA 把 Fable 5.2 排第一,Google 报告的区间却显示前三名分不开,单题成本差五倍以上。
专题Artificial Analysis:持续追踪 · Anthropic:持续追踪主线模型竞争

看图做文档的智能体有了一张专门的榜单,前三名却分不出高下,单题成本差了五到六倍。11 月 10 日,Google DeepMind 与 Artificial Analysis 推出 MKA 测试。模型要读图纸、电路图和扫描件,交出报告、表格和幻灯片。
榜单把 Claude Fable 5.2 排在第一。我的判断是:这个第一在 Google 自己的报告里站不住,MKA 真正证明的是 Gemini 4 Carbon 用约六分之一的钱拿到同一档成绩。
领先 2.22 分,区间跨过了零
据 Artificial Analysis 的发布文章,头条指标 Climb WSR 上,Fable 5.2 的 Max 档得 57%,Gemini 4 Carbon 得 54%,Claude Opus 5.5 得 53%。它把这组数写成「Fable 5.2 领先」。
Climb WSR 不等于做完任务的比例。每道题约 70 条带权重的是非检查,作者先剔掉一组较旧模型都能过的基础项,只对剩下的难项计分。所以 54% 不代表做完了 54% 的题。
据 Tech Times 对 Google 技术报告的转述,报告在 200 道题上做了配对重抽样。Fable 5.2 比 Carbon 高 2.22 分,95% 区间从 -0.94 到 +5.49。
Carbon 比 Opus 5.5 高 1.33 分,区间同样跨过零。只有对第四名 GPT-6 Astra,Carbon 领先的 4.10 分区间全在零以上。
报告里每个模型每题只跑一次,只用一个评分模型。这个区间只算了抽题带来的波动,没算重跑和评分的波动。真实的不确定只会更大,这是分析推断,依据是报告写明的跑法。
同一档成绩,单题差五倍以上
分数分不开,钱的差距是实的。两家各算了一遍单题成本:
- Google 报告按标价算:Fable 5.2 每题 35.28 美元、约 4,048 万词元,Carbon 每题 5.63 美元、约 705 万词元,相差 6.26 倍;
- Artificial Analysis 的榜单:Fable 5.2 每题 31.97 美元,Carbon 每题 6.29 美元,相差 5 倍多。
两家没有解释算法差在哪里。不管按谁的算,Fable 5.2 都是多花五倍以上的钱,换一个区间里看不出来的 2 分。
这张榜单由 Google 参与设计,自家模型排第二,这层利益要先摆出来。
Google 博客只写 Carbon「质量排第二」、成本约低六倍,没点出第一名是谁。评分用的是 OpenAI 的 GPT-6 Luna。OpenAI 的 GPT-6 Astra 却在四个对比模型里垫底,看不出评分偏向同门。
拆到行业里的 2 分,样本更薄
有人会说,Fable 5.2 在十个行业里领先五个,Word 与 PDF 交付也排第一。做软件和金融文档的团队,要的正是这几分。
我接受它在这些格子里分数更高,不接受拿它当选型依据。200 道题分进 10 个行业,每格平均约 20 道,比总榜更容易被几道题左右,这是分析推断,依据是题量。
更该记住的是另一组数。Google 拿掉 Carbon 的看图工具后,Climb WSR 掉了 5.94 分,是第一和第二差距的两倍多。一道路面巡检题从 86.7% 掉到 14.3%。会不会看图,比挑哪家顶级模型影响大得多。
MKA 给读图纸、扫描件干活的团队一个清楚的答案:要前三档的成绩,Carbon 是这张榜上该先用的模型,为 Fable 5.2 多付的五倍钱,买不到一分看得见的差距。
来源
- Google 博客 · Introducing the Multimodal Knowledge Agent benchmark(2026-11-10) 企业宣称
- Artificial Analysis · Multimodal Knowledge Agent (MKA) benchmark(2026-11-10) 第三方评测
- Tech Times · Gemini 4 Carbon Statistically Ties Claude Fable 5.2 on MKA Benchmark(2026-11-11) 媒体报道
引用与数据Markdown 镜像

