NewToken 新词元关注新智能
读懂

OpenAI湿实验榜只测了自家模型

OpenAI 11月6日公布BioBasicsBench:100道湿实验原始数据题;xhigh下Astra自报66.7%,Sol为43.8%,未测外部模型。

专题OpenAI:持续追踪主线模型竞争

读懂|OpenAI湿实验榜只测了自家模型
本文提纲4 节
  1. 考卷考的是原始材料,不是论文配图
  2. 数字只在 OpenAI 自家模型之间动
  3. 官方自己也写了仍会读错的地方
  4. 读这份榜先看名单再看分差

厂商自评新增用原始实验材料考多模态读图,但榜上仍只有自家模型的自报分。

答案先说清:据 OpenAI 11 月 6 日发布的 BioBasicsBench,在对各模型都报告的 xhigh 推理设置下,GPT-6 Astra 平均拿到可用分的 66.7%,GPT-5.6 Sol 为 43.8%。

七个被测模型全部来自 OpenAI,没有外部对照。

这是评测口径变化,不是诊疗产品上线。本篇只核对考卷怎么出、分怎么报,不讨论患者诊疗或医院部署。

考卷考的是原始材料,不是论文配图

据 OpenAI,BioBasicsBench 共 100 道题,与酶设计公司 Ligo 合作出题,覆盖蛋白方法、成像与流式、定量与测定、核酸方法、分子克隆五块。

输入刻意保留实验台常见形态:凝胶与印迹、菌落平板、显微图像、仪器导出表、测序文件、操作视频。官方对照说法是:现有不少科学基准用的是论文里选好的图,容易漏掉失败实验、模糊图像和对照出问题之后该不该下结论。

每道题配专家写的评分细则;答案按细则逐项给分,所以「结论对、推理半对」可以分开计。AI Affairs 对同一发布的转述也停在:100 题、原始实验证据、与 Ligo 合写细则。

数字只在 OpenAI 自家模型之间动

官方表在 xhigh 上列出七个模型:Astra 66.7%(95% 区间约 60.3–73.1),GPT-6.1 Sol 62.0%,GPT-5.6 Sol 43.8%,其后是 Luna、GPT-5.5、GPT-5.4、GPT-5.2。

每个设置对 100 题各跑五次,共约 1.85 万次结果。

分差大约二十三个百分点,只说明在这套自建题与自跑设置里,Astra 比 Sol 吃到更多细则分。它不证明 Astra 在别家湿实验流水线上更强,也不证明任何外部模型的名次。

有人会说「自家进步幅度已经够大,可以当选型依据」。反方站不住:入榜名单没有竞争对手;基准与被测方同一主体,证据等级只能标企业宣称。跨厂比较要等第三方复现或公开题面与外部模型成绩。

官方自己也写了仍会读错的地方

同一篇文章用反例说明:更高分还不等于可靠判断。Astra 仍会出现用先验假设压过对照、丢掉与偏好结论冲突的观察、菌落计数漏标或空琼脂误计等情况。

这些例子的用途是界定尺子量什么——读原始材料、查对照、承认证据不够——不是替实验室背书「已经能放手让模型做主」。官方收束也写:更高基准分还不意味着模型能在台上做可靠判断。

读这份榜先看名单再看分差

模型竞争里,新基准常被写成「谁赢了科学」。这一次公开文本先改的是题怎么出(原始材料 vs 论文图),再给的是同一家产品线内部的自报分差。把 66.7% 对 43.8% 读成行业总排名,越过了证据。

硬结论:BioBasicsBench 现在不值得拿来做跨厂选型;只值得记下 OpenAI 在自家湿实验读图考卷上,Astra 比 Sol 多拿约二十三分(企业宣称)。名单扩到外部模型、并有独立复现之前,把它当对照尺,不当排行榜。

来源

引用与数据Markdown 镜像