OpenAI湿实验榜只测了自家模型
OpenAI 11月6日公布BioBasicsBench:100道湿实验原始数据题;xhigh下Astra自报66.7%,Sol为43.8%,未测外部模型。
专题OpenAI:持续追踪主线模型竞争

厂商自评新增用原始实验材料考多模态读图,但榜上仍只有自家模型的自报分。
答案先说清:据 OpenAI 11 月 6 日发布的 BioBasicsBench,在对各模型都报告的 xhigh 推理设置下,GPT-6 Astra 平均拿到可用分的 66.7%,GPT-5.6 Sol 为 43.8%。
七个被测模型全部来自 OpenAI,没有外部对照。
这是评测口径变化,不是诊疗产品上线。本篇只核对考卷怎么出、分怎么报,不讨论患者诊疗或医院部署。
考卷考的是原始材料,不是论文配图
据 OpenAI,BioBasicsBench 共 100 道题,与酶设计公司 Ligo 合作出题,覆盖蛋白方法、成像与流式、定量与测定、核酸方法、分子克隆五块。
输入刻意保留实验台常见形态:凝胶与印迹、菌落平板、显微图像、仪器导出表、测序文件、操作视频。官方对照说法是:现有不少科学基准用的是论文里选好的图,容易漏掉失败实验、模糊图像和对照出问题之后该不该下结论。
每道题配专家写的评分细则;答案按细则逐项给分,所以「结论对、推理半对」可以分开计。AI Affairs 对同一发布的转述也停在:100 题、原始实验证据、与 Ligo 合写细则。
数字只在 OpenAI 自家模型之间动
官方表在 xhigh 上列出七个模型:Astra 66.7%(95% 区间约 60.3–73.1),GPT-6.1 Sol 62.0%,GPT-5.6 Sol 43.8%,其后是 Luna、GPT-5.5、GPT-5.4、GPT-5.2。
每个设置对 100 题各跑五次,共约 1.85 万次结果。
分差大约二十三个百分点,只说明在这套自建题与自跑设置里,Astra 比 Sol 吃到更多细则分。它不证明 Astra 在别家湿实验流水线上更强,也不证明任何外部模型的名次。
有人会说「自家进步幅度已经够大,可以当选型依据」。反方站不住:入榜名单没有竞争对手;基准与被测方同一主体,证据等级只能标企业宣称。跨厂比较要等第三方复现或公开题面与外部模型成绩。
官方自己也写了仍会读错的地方
同一篇文章用反例说明:更高分还不等于可靠判断。Astra 仍会出现用先验假设压过对照、丢掉与偏好结论冲突的观察、菌落计数漏标或空琼脂误计等情况。
这些例子的用途是界定尺子量什么——读原始材料、查对照、承认证据不够——不是替实验室背书「已经能放手让模型做主」。官方收束也写:更高基准分还不意味着模型能在台上做可靠判断。
读这份榜先看名单再看分差
模型竞争里,新基准常被写成「谁赢了科学」。这一次公开文本先改的是题怎么出(原始材料 vs 论文图),再给的是同一家产品线内部的自报分差。把 66.7% 对 43.8% 读成行业总排名,越过了证据。
硬结论:BioBasicsBench 现在不值得拿来做跨厂选型;只值得记下 OpenAI 在自家湿实验读图考卷上,Astra 比 Sol 多拿约二十三分(企业宣称)。名单扩到外部模型、并有独立复现之前,把它当对照尺,不当排行榜。
来源
- OpenAI · Measuring how AI agents handle everyday wet-lab science 企业宣称
- AI Affairs · OpenAI introduces BioBasicsBench to test AI agents on wet-lab tasks 媒体报道
引用与数据Markdown 镜像

