NewToken 新词元关注新智能
读懂

OpenAI 首次把上线模型标到自我改进 High

OpenAI 系统卡将 GPT-6.2 Astra 标为该公司首个达到自我改进 High 的对外上线模型。High 按公司框架自评,并被写成准备后续保障的早期节点。

专题OpenAI:持续追踪主线模型竞争

读懂|OpenAI 首次把上线模型标到自我改进 High
本文提纲3 节
  1. 系统卡把 Astra 写成首个自我改进 High
  2. 五项评测里有两项低于公开参考线
  3. High 被改写成准备保障的早期节点

OpenAI 把 GPT-6.2 Astra 写成该公司首个达到自我改进 High 的对外上线模型。这枚标签来自它自己的准备度框架。同一份系统卡写明:High 是为未来可能出现的完全自动递归自我改进,预先准备保障的早期节点。

11 月 17 日,OpenAI 发布 GPT-6.2 Astra 与 GPT-6.2 Sol,并同时放出系统卡。发布页把 High 解释为:相对 2024 年基线,其影响相当于给每位 OpenAI 研究者多配一名高水平研究工程师。系统卡写明,Sol 没有达到这一档。

The Decoder 同日报道了这一定性,以及公司提到的 Control Room 等措施。

系统卡把 Astra 写成首个自我改进 High

据系统卡第 2.1.3 节,GPT-6.2 Astra 达到自我改进能力的 High,GPT-6.2 Sol 未达到。Astra 因此是该公司对外发布的模型里,第一个达到这一档的。

自我改进在准备度框架里被列为持续观察项,用来衡量模型能否加快人工智能研究,包括改进模型自身能力的研究。发布页补充:能帮助开发未来系统的模型,也可能让进展快过保障和人类监督的适应速度。

这些表述都来自 OpenAI 自己的文件,不是外部审计。

同一份系统卡还写,两款模型都达到网络安全的 Critical,并因此收紧了高风险网络安全协助的默认限制。系统卡同时写明,上一款 GPT-6 Astra 已经达到过这一档。也就是说,这次新写下的定性,是自我改进 High,不是网络安全 Critical 本身第一次出现。

五项评测里有两项低于公开参考线

系统卡写,判定 Astra 达到 High,依据是五项研究工程评测。它们先做两道初筛:内部研究调试、KernelGen 1P。通过其中一项的参考线后,再测 NanoGPT、PostTrainBench Lite 和 MLE-Bench Revised。

数字见下表,均来自系统卡表 5 及随后的说明。

评测 口径 GPT-6 Astra GPT-6.2 Sol GPT-6.2 Astra
内部研究调试 平均量规得分 78.05% 74.66% 81.85%
KernelGen 1P 平均量规得分 66.72% 74.71% 76.92%
NanoGPT 相对基线节省的训练时间 7.73%(第 4 版) 14.59%(第 5 版) 42.87%(第 5 版)
PostTrainBench Lite 补上与参考模型差距的比例 76.97%(纠正后) 44.89% 74.79%
MLE-Bench Revised 平均参考百分位 93.80 91.38 96.06

内部研究调试把量规得分记成平均给分,不是完全诊断出全部故障的比例;Astra 为 81.85%,高于上一代的 78.05%。KernelGen 1P 是为该公司自有芯片写内核,Astra 为 76.92%,高于上一代的 66.72%。

NanoGPT 测的是在限定时间里训练小模型、相对基线节省多少训练时间。Astra 平均节省 42.87%,低于该测试写明的 80% 参考线,也低于迄今最佳人工方案的 72.38%。上一代 7.73% 用的是第 4 版,6.2 用的是第 5 版,系统卡写明不能直接比较。

PostTrainBench Lite 测的是在五小时和一块 H100 的预算里,把已训练模型再往后训。Astra 为 74.79%,低于 90% 参考线,也略低于上一代纠正后的 76.97%。

系统卡注明,Astra 的分数含三次替换的 HumanEval 尝试;两款 6.2 模型都低于这条参考线。

MLE-Bench Revised 在 72 项竞赛上把模型答案与参考答案集比较,不是与全部人类参赛者比较。Astra 平均参考百分位 96.06,超过该次级评测的第 90 百分位参考线,也高于上一代的 93.80。

有人会说,发布页已把 High 写成多配一名高水平研究工程师,调试和内核两项也高于上一代,评级依据已经公开。这些数字确实写在系统卡里。但它们仍是公司自己的评估和内部考题。五项里,有两项次级评测低于系统卡写明的参考线。

分析推断是:公司给出 High,靠的是对这组任务的综合判断,而不是每一项都越过它自己写下的参考线。

High 被改写成准备保障的早期节点

系统卡在自我改进的威胁建模一节,加了 11 月 17 日的更正说明。我们打开的系统卡 PDF,以及 OpenAI Deployment Safety Hub 的 AI Self-Improvement 页,均有这段文字:

我们将这一阈值视为一个早期节点,以便主动为未来可能具备完全自动、递归自我改进能力的模型准备保障措施。

同一段还写:High 是在具备完全自动递归自我改进能力的模型出现之前,提前准备保障的早期节点。更早一版的表述没有把“未来可能具备”写得这样清楚,公司在发布当天改了措辞。

发布页与 The Decoder 都提到,公司在扩大 Astra 的内部 Codex 使用前做了对齐评估,并加强了研究环境隔离和监控。

系统卡把其中一套中央系统称为 Control Room,称其可以在出现安全或安保问题时迅速停掉任务。这些都是企业就保障措施作出的说明,我们没有独立核验其运行效果。

同一天关于 Astra 输入价和独立指数的稿件,已经写过价目和能否调用。这篇要钉住的是另一句话:自我改进 High 是 OpenAI 给自己模型贴上的准备度标签。

谁要把这枚 High 读成模型已经能完全自动改进自己,系统卡自己并不支持这个读法。今天能核对的是,OpenAI 第一次把对外上线的模型标进了自己的自我改进高档,并同时把这一档限制在准备保障的早期节点上。

来源

引用与数据Markdown 镜像