NewToken 新词元关注新智能
读懂

OpenAI 的公开报告仍由公司审改证据

OpenAI 与四家机构签下嵌入式评估协议;Apollo 将派 6 人在公司工作四个月。公开报告的结论不能删,但公司可按知识产权等理由审改证据,争议先交回公司内部裁决。

专题OpenAI 下一代旗舰与思维链可监控性 · OpenAI:持续追踪主线监管·安全·出口

读懂|OpenAI 的公开报告仍由公司审改证据
本文提纲4 节
  1. 六名评测员进门四个月评四项主张
  2. 访问可以给,也可以按知识产权拒绝
  3. 结论不能删,支撑它的证据可以删
  4. 争议先交给公司自己的安全顾问组

四家评测机构被请到 OpenAI 做评估,公开报告的证据先经公司审改。据 OpenAI 官网 11 月 16 日公告和 Apollo Research 说明,公司已与 Apollo Research、METR、Transluce、Goodfire 签约,六名评测员将工作四个月。

公开报告的结论不能删,公司可按知识产权等理由审改证据,争议先交回安全顾问组。这是一套由 OpenAI 划定范围的试点协议,不是交出去的独立核验权。

六名评测员进门四个月评四项主张

据 OpenAI 官网公告,这四家机构的任务并不相同。Apollo 评估模型会不会暗中违背开发者意图,以及现有防护能不能发现这种行为。它要查四项主张:训练有没有激励这种行为、强化评测与红队测试能不能把它引出来、内部使用中有没有出现、相关推理能不能被检测到。

据 Apollo Research 的说明,六人团队将在 OpenAI 内部工作四个月,并分两阶段完成评估。它计划发表两份公开报告:第一份写训练是否激励了这种行为,第二份写评测、内部部署,以及相关推理是否可被发现。每份报告都要写方法、结论、限制,以及无法评估的问题。

Goodfire 将派人进驻,用自有工具观察训练过程、排查异常并改进对齐。据 OpenAI 官网公告,它的评估主要写给公司内部研究人员,用于改进安全,同时也会陆续公开学习收获。

METR 拟做两项评估。第一项看迄今最大的强化学习训练中,现有测试和监测可能漏掉的偏离行为。第二项监测评估双方已有初步意向,范围仍待谈定。OpenAI 在脚注中写明,第一项的范围比 METR 自己的对齐评估方案更窄。

Transluce 先评估训练后对齐测试的质量和覆盖面。双方还打算在 2027 年初再做约八周的后续评估,扩大模型范围,并查看评测结果如何进入发布决定。这些安排写的是意向和试点,不是已经完成的评测。

访问可以给,也可以按知识产权拒绝

据 OpenAI 官网公告,评测方将按评估需要,获得部分与公司研究人员相同的内部资源,包括模型检查点、源代码、训练和评测数据、监测系统、技术文档,以及相关人员的说明。它同时写明,一旦直接访问可能暴露最敏感的知识产权,例如模型权重或架构,公司会考虑改由 OpenAI 研究人员陪同进行分析。

Apollo 写得更具体。为了评估训练是否激励了这种行为,访问范围包括相关训练代码和数据集、带推理痕迹与奖励的强化学习轨迹,以及对中间检查点的查询。其余三项主张的详细访问安排尚未谈定。

即使已在约定范围内,OpenAI 仍可因技术不可行、安全风险或知识产权保护,拒给部分材料。公司须告知存在被拒绝的条目,并给出书面理由。

人员接触也由公司把关。Apollo 可以点名希望交谈的人,但由 OpenAI 选定参加者,正式谈话必须记录。

评测工作在 OpenAI 的设备上进行,评测员默认不能进入安全研究员日常使用的内部频道。据 Apollo 自己的经验,非正式交谈和这类频道常常会冒出事先没问到的线索;它把这一点写成了当前试点的限制。

结论不能删,支撑它的证据可以删

评测机构可以发表结果,但删改权写在公司这边。据 OpenAI 官网公告,评测方在发表上保持独立,公司保留删改机密信息的权利,也可要求延期披露,以便处理安全或防护风险。据 CNBC 11 月 16 日报道转述了同一条规定:评测机构可以公布发现,OpenAI 保留删改机密信息的权利。

Apollo 把这条写得更细。OpenAI 不得删改各项主张的结论,也不得只因为发现不利就要求删改。它仍有权删改自认为会暴露敏感知识产权的证据,不论这些证据是否直接支撑结论。

公开报告的读者因此可能看不到支撑结论的全部证据。Apollo 可以标明删改有没有影响它的结论,并把未删节文本交给 OpenAI 基金会董事会下的安全与安保委员会。

与员工的谈话默认不供发表。据 OpenAI 官网公告,这些讨论可以给评估提供背景,但不能公开或归到个人名下。要把其中的信息写进公开文本,须走公司出具的书面确认;评测方可以公布获得确认的陈述,或说明公司拒绝确认。公开报告可以留下结论,却不一定留得住支撑结论的证据。

争议先交给公司自己的安全顾问组

意见不合时,第一道门仍在公司内部。据 OpenAI 官网公告,OpenAI 与评测方的分歧将提交安全顾问组和公司管理层,在规定时限内处理,并立即通知安全与安保委员会。仍解决不了,再交由该委员会裁决。

安全与安保委员会是 OpenAI 基金会董事会下的独立监督委员会。它能在评估前、中、后履行监督,并收到未删节报告。评测方也可以在评估期间与该委员会单独交谈。

钱怎么付,公告也写了。Apollo 与 Goodfire 接受工作报酬,报酬不与评估结果挂钩;METR 与 Transluce 不接受金钱报酬,但可能接受评估所需的接口额度或算力。OpenAI 写明,它不认为收费会损害独立性,但应当披露。这些是协议里的安排,不是已经完成的独立审计。

有人会说,这已经比实验室自己出报告前进了一大步。OpenAI 承诺不因结论不利就拒给材料或删改结论,Apollo 将发表两份公开报告,并被允许说明访问和披露上的限制,董事会下的委员会能看到未删节文本。这些条款应当写上,也确实比只有公司自评要清楚。

可是,允许说明删了什么,并不等于读者已经能核对被删掉的证据。其余三项主张的访问安排还没谈定,METR 的第二项评估还待双方同意。现在能核对的,是协议怎么写,不是评测已经得出了什么。

协议已经把权限分界写清楚了。人可以进门,证据能不能见光,仍由 OpenAI 决定。责任在这家公布协议、留下审改权和内部裁决路径的公司。评测机构把限制公开了,并不能替代它把核验权交出去。

来源

引用与数据Markdown 镜像