新考卷把 Kimi 和闭源头名拉开 12 分

第三方总指数改以私有题为主之后，开放权重模型与闭源头名的分差从 3 分拉回到 12 分。Artificial Analysis 在 10 月 27 日发布 Intelligence Index v5，六成权重来自私有题或答案不公开的测试。

10 月 23 日，Kimi K3.1 Pro 在旧版 v4.3 上拿到 55 分，离头名 Claude Opus 5.5 只差 3 分。新版里它是 46 分，Opus 5.5 仍是 58 分。分差是开放权重这一侧掉分拉开的，头名没有涨。

我们 10 月 25 日写过《Kimi 新模型离闭源头名只差三分》。换了考卷，这句话要改口。下面三处换题，各自解释一部分分差。

总指数换了 5 项，Opus 仍是 58 分

据 Artificial Analysis 的发布说明，v5 新增两项测试：Cognition 的编程题库 FrontierCode 2.0，和在终端里做科研任务的 Terminal-Bench-Science。

另有三项换成新版，其中 Humanity’s Last Exam 换成精修过的 1,000 题版 HLE-Diamond。GDPval-AA、SciCode 和一项长上下文测试被移出。

知识工作、编程、科学、通用四类各占 25%。Artificial Analysis 写明，这是私有题第一次占到指数的多数。公开题的老问题是题目和答案可能混进训练数据，分数被刷到饱和。

新版排名如下：Opus 5.5 第一，58 分；GPT-6 Astra 57 分；GPT-6.1 Sol 55 分；Gemini 4 Argon 50 分；Kimi K3.1 Pro 46 分。Kimi 的权重要到 11 月 4 日才放出，Artificial Analysis 已把它算作开放权重。

已经放出权重的模型里，最高的是 DeepSeek V4.1 Flash 1017 和 GLM-5.3，都是 32 分。它们离头名 26 分，还低于 Anthropic 的小模型 Claude Haiku 5.5，后者是 36 分。

新编程题上，Gemini 也掉了 21 个点

FrontierCode 1.1 已经是私有题，由开源项目维护者出题，按「维护者会不会合并」打分。

据 Cognition 的说明，2.0 的参考解平均多改 67% 的文件、89% 的代码行，代码库大 25%。没过任何一条阻断项，整题记 0 分。

变化最大的是「周全性」阻断项，从 168 条增加到 501 条。它考的是题目没写、但看代码库就该想到的要求。Cognition 举的例子是：题目只报了一条路径上的缺陷，同样的缺陷在相邻路径上也要一起修。

Cognition 公布了同一批模型在两个版本上的成绩，下表用来看降幅是按什么划线的：

模型	1.1 → 2.0	降幅，百分点
Claude Opus 5.5	54.6% → 45.5%	9.1
GPT-6 Astra	53.3% → 42.8%	10.5
Gemini 4 Argon	47.5% → 26.3%	21.2
DeepSeek V4.1 Flash	43.9% → 19.3%	24.6
Kimi K3	44.2% → 17.7%	26.5

读法是：Anthropic 和 OpenAI 的旗舰降了约 10 个点，其余模型降了 20 个点上下。闭源的 Grok 4.7 从 47.6% 降到 28.6%，降幅也接近开放权重模型。

所以新题拉开的是两家头部实验室和表里其余的模型，开放权重只是落在其余这一组里。这是分析推断，依据是上表与 Grok 的降幅。Cognition 自己的判断是，开源模型还有很大提升空间，西方的开源模型更明显。

规格写明的终端题，Kimi 仍是第一

这条论证也有反例，而且来自同一份指数。v5 的九项测试里，Kimi K3.1 Pro 在 Terminal-Bench 4.0 上拿到 67%，排第一。Cognition 在同一篇说明里拿这套题举例：题目把做法、约束和验收条件都写明了，模型不需要自己揣摩意图。

差距最大的两项正好相反。在 HLE-Diamond 上，Kimi 是 37%，Opus 5.5 是 68%。在 Terminal-Bench-Science 上，Kimi 是 34%，GPT-6 Astra 是 63%；已放出权重的 DeepSeek 只有 13%。

开放权重落后的地方集中在需求没写全的长任务上，规格写清的任务差距很小。有人会说，v5 同时换了题、换了权重、拉长了任务，分差扩大未必来自题目私有。这一点我们接受。

Artificial Analysis 也给了佐证：每道指数题的输出词元中位数从 3.5 万升到 5.9 万，推理档位的影响也变大了，Opus 5.5 低档 35 分、最高档 58 分。Kimi 掉的 9 分里，私有题、新题型和更长的任务各占多少，发布说明没有拆开。

三天前那句「只差三分」要改口

我们不接受的是把 v4.3 的 3 分当成今天的距离。拿开放权重做自托管评估的团队，用旧分差和新分差会得出两种结论。新版的数字更接近真实开发里的处境：需求写不全，还要顾到没说出口的约束。这是分析推断，依据是 FrontierCode 2.0 的题目取自真实仓库，按维护者会不会合并来判分。

Kimi 的 46 分还有一个前提，就是权重按时放出、第三方能复现。成本也要一起看：据 Artificial Analysis，GPT-6.1 Sol 每道指数题 1.27 美元，离 Opus 5.5 只差 4 分，Opus 5.5 是 10.04 美元。

v5 的 12 分比 v4.3 的 3 分更值得信，因为它更难刷。如果 11 月 4 日放出的权重能在第三方环境复现 46 分，且下一批开放权重在 FrontierCode 2.0 上把降幅收窄到 10 个点左右，我们会改说分差在缩小。