读懂｜Kimi 读实验图三遍全对 45%，Astra 是 63%

Artificial Analysis 把 161 道实验读图题每题跑三遍：Kimi K3.1 Pro 会做的题与闭源头部相当，三遍全对只有 45%。

实验读图题改成每题跑三遍、三遍全对才计分以后，开放权重模型和闭源头部的差距落在了答得稳不稳上。Artificial Analysis 11 月 6 日公布的 VIALS-AA 里，Kimi K3.1 Pro 三遍全对 45%，GPT-6 Astra 63%，两者至少做对一次的题却都在四分之三左右。

我们的判断很直接：读实验图是要拿来做决定的活，就该按三遍全对挑模型；按这把尺子，今天的开放权重模型还不够格。

161 道实验图，每题跑三遍

据 Artificial Analysis 的发布文章，VIALS-AA 是它对 Handshake AI 的 VIALS 基准的独立实现。161 道题分 8 类，图来自生物技术公司日常实验流程：凝胶电泳、质粒图谱、流式细胞图、系统发育树、分子结构等。

据其方法页，模型在断网的沙箱里拿到原图，可以写 Python 处理图片，有视觉能力的模型还能直接看图。每题独立跑三遍，由 GPT-6 Luna 按上游的评分提示判对错。

头条分数是三遍全对的题占比。Artificial Analysis 给的理由是：换一次就变的答案，在科研里没法依靠。前三名是 Gemini 4 Carbon 64%、GPT-6 Astra 63%、Claude Opus 5.5 61%。

旧榜单习惯报单次或平均正确率，碰巧答对也算分。三遍全对把这部分剔掉，开放权重模型的位置就变了。下表比的是 161 题里的题数，左列看上限，右列看能不能放心用。

组别	至少做对一次	三遍全对
Kimi K3.1 Pro、MiMo-V2.6-Pro、MiniMax-M3.1-Flash	114–119 题	48–73 题
得分最高的七款闭源模型	111–118 题	95–103 题

左列开放权重模型不输，右列少了二十多到五十多题。开放权重模型缺的不是会不会，是稳不稳。这是分析推断，依据是两组的至少做对一次几乎重合，差距只在重复作答时出现。

同一套题换一种跑法，间距也会变。Handshake 在自家基准页公布的准确率里，Astra 49.9%、Opus 5.5 40.2%，上一代 Kimi K3 是 20.9%。页面没写明跑了几遍、给没给工具，这组数只能说明跑法会改名次间距，不能和三遍全对的分数直接相减。

另一个常见的直觉，是把模型查得认真当成可靠的信号：放大、裁剪、量像素。VIALS-AA 的数据不支持这个直觉。

据发布文章，Claude Sonnet 5.5 得 60%，GPT-6.1 Sol 得 59%，前者每题的工具调用是后者的 3.6 倍。量像素这类调用，在 Astra 和 Sol 只占 5% 到 6%，在 Opus 5.5 和 Sonnet 5.5 占 25% 到 27%。

Grok 4.7 在一道凝胶题上用了 27 轮、看了 20 次图，最后答 50–70 kDa，标准答案是 40–50 kDa。Artificial Analysis 的解读是，它按图上的数字标签和箭头定位，没有盯住那个很淡的蛋白点。过程长短证明不了可靠，能证明的只有重复跑。

成本把这张表拉得更开。每题成本从 GPT-6 Luna 的 0.02 美元到 Grok 4.7 的 1.77 美元，相差约 99 倍。

GPT-6.1 Sol 每题 0.06 美元拿到 59%。Sonnet 5.5 得 60%，每题成本约是 Sol 的 18 倍；Opus 5.5 得 61%，Sol 的成本约是它的三十分之一。按分数和成本画出的最优边界上，五款模型都来自 Google 和 OpenAI。

有人会说，实验室里总有人复核，三次里挑出答对的那次就够了，所以至少做对一次才是开放权重模型的真实水平。我们不接受这个说法：三个答案不一样时，复核的人要自己把图重读一遍才知道哪个对，模型替他省下的时间是零。至少做对一次说明开放权重模型有上限，上实验流程看的是下限。

给实验流程挑读图模型，三遍全对是门槛，每题成本是第二把尺。按这两把尺，GPT-6.1 Sol 每题 6 美分、离头名只差 5 分，是今天该先上手的那一档。会做对一次的模型很多，能连对三次的才配上实验台。