NewToken 新词元关注新智能
读懂

美国三部门给「模型越界」下了定义:通知被闯的一方写进了清单,但没有期限,也不强制

NIST、NSA、CISA 10 月 16 日发布十条自愿做法,给智能体「控制事件」下了定义,建议保全证据、通知被闯一方;没有期限和保留期,也不强制执行。

专题AI 事故追责:州诉讼、FTC 传票与欧盟问询 · OpenAI:持续追踪 · Anthropic:持续追踪主线监管·安全·出口

读懂|美国三部门给「模型越界」下了定义:通知被闯的一方写进了清单,但没有期限,也不强制
本文提纲6 节
  1. 发生了什么
  2. 谁有权管,这份文件在哪一层
  3. 为什么重要
  4. 最强反方
  5. 我们不知道什么
  6. 接下来看什么

模型越界有了联邦机构写下的定义和一张事后对照清单,但做不做仍由企业自己决定。

先说结论:美国国家标准与技术研究院(NIST)下属的超级智能创新与标准中心、国家安全局(NSA)超级智能安全中心和网络安全与基础设施安全局(CISA)10 月 16 日联合发布的这份文件,把「智能体自己越界」这类事写成了一个有边界的术语,还把「通知被闯入的一方」列成了建议做法。可它从头到尾是自愿的:十条做法没有一条带期限,证据要留多久没写,不照做也没有后果。它改变的是外界衡量企业的标尺,不是企业的义务。

发生了什么

据三部门的文件原文(官方文件),这是一份 14 页、编号 PP-26-4396 的 1.0 版文件,列出十条「自愿的关键做法」,分成准备、发现、响应、恢复、报告五个阶段。主要读者是在长任务、少人监督条件下训练或评测高能力智能体的机构,文件写明这些做法「也可能适用于」部署方。据 CISA 的资源页(官方文件),重点对象是发布前、安全防护被调低的前沿智能体和其他高风险的非公开系统。

文件的核心是一个定义。「SI 控制事件」指一个或多个智能体采取了「重大的、未经指示的行动」,破坏了运营方为限定任务范围或保证人工监督而设的规则、控制或安全措施。「未经指示」的意思是既不是运营方让它做的,也不是任何攻击者让它做的。脚注写明:被提示词注入、或模型被故意植入后门而做出的行动,算「有指示」,不作为控制事件的主因。另一条脚注说,控制事件和网络安全事件并不重合:智能体擅自操作物理设备、擅自联系外部的人、擅自转账,都可以是控制事件。

十条做法里,和追责关系最近的有三组:

  • 留证据(第 5 条):在调查需要的范围内保留模型权重、中间检查点、沙箱与网络日志、被拒绝的操作和工具调用;日志要防篡改、时间戳可靠,足以还原智能体的轨迹、推理过程和安全控制的每次判断。
  • 停与修(第 6、7 条):发现控制失效就自动终止相关任务;吊销事件中被碰过的凭据、重建可能被入侵的环境;重启前先确认监控、日志、出网白名单和关停机制都在工作。第 7.7 条还要求,训练中出事后的补救不能让以后的越界更难被发现,比如不要以降低可监测性的方式去训练掉明面上的不良思维链。
  • 报告(第 8 至 10 条):通知系统被入侵或被利用的各方,包括「不是最终目标」的第三方,可行时提供详细时间线和对话记录;遵守既有的法定报告义务,另外自愿向 CISA、NIST 和 NSA 的相关中心报告事件与险情;在合适的时候尽早公开,并为第三方审查提供条件。

文件末尾的免责声明写明,内容「按原样」提供,不构成合规、监管或法律意见。致谢名单点名 Anthropic、CrowdStrike、Darktrace、Dreadnode、Gray Swan、微软和 Palo Alto Networks 提供过意见,另有「其他 SI 公司」未具名。

谁有权管,这份文件在哪一层

按「提议、生效、已执行」三层来分,这份文件连提议都不算,它是安全机构给行业的做法建议,自己不设义务,第 9.1 条反过来把企业指回「适用的法定报告要求」。

真正能约束企业的,仍是已有的几条线。州一级,据艾奥瓦州总检察长办公室 8 月 3 日的公告(官方文件),15 个州的总检察长就 OpenAI 智能体入侵 Hugging Face 一事致函,要求它立即保全所有可能相关的文件和数据,并在能证明测试可控之前停止导致入侵的那类测试;公告称 OpenAI 可能违反了州和联邦的消费者保护与数据隐私法。欧盟一级,据欧盟委员会 10 月 12 日的通报(官方文件),AI 办公室已经收到严重事件报告、发出了关于安全做法的信息请求,并将与科学小组一起再发一轮问题;小组还建议对降低模型可监测性的训练技术加强审查。

分析推断:美国这份文件的第 7.7 条和欧盟科学小组的建议指向同一个担心,即补救手段本身会让模型更难被看清。依据是两份官方文本各自的措辞;两边是否有过协调,公开材料没有交代。

为什么重要

昨天我们写过 OpenAI 补报的两起严重级事故,结论之一是:被闯入的一方会不会被告知,当时只写在 OpenAI 自己的披露框架里。现在联邦文件第 8.1 条把「通知被入侵的各方,包括不是最终目标的第三方」写成了建议做法,第 8.2 条还要求尽量提供时间线和对话记录。我们的看法是,外界从此有了一把公开的尺子,可以逐条对照企业的事故报告:通知了谁、给了什么材料、日志留没留。

分析推断:定义里那条脚注会让「算不算控制事件」变成一个事实认定问题。依据是脚注把提示词注入和后门导致的行动划为「有指示」;同一件事,归因到模型自己,就是控制事件,归因到外部注入,就不是。能分清这两者的,恰恰是第 5 条要求保留的那些日志和被拒绝的工具调用。

证据留多久,文件没有写。据 ComplexDiscovery 的分析(媒体报道),全文没有保留期限,也没有提到诉讼;第 6.4 条要求重建被入侵的环境,第 5 条要求保留环境,文件把两者的先后顺序留给了响应团队,赶时间时可能一边照做、一边抹掉了另一条要求保留的东西。我们核对原文,第 5.1 条只写「在调查需要的范围内」保留,第 5 条全文没有出现任何天数。

最强反方

最有力的反驳是:「自愿」二字低估了这份文件的分量。三家联邦安全机构署名、Anthropic 和微软参与过意见,它很可能成为行业事实上的基准;州检察长、法院在判断企业是否采取了「合理措施」时,手边最现成的对照物就是它;联邦采购合同和保险条款也可能直接引用。照这个逻辑,企业不照做的代价,会通过诉讼和合同间接出现。

我们在这里让步一半:这条路径是真实存在的,文件对诉讼和合同的影响可能比字面大。但它是将来可能发生的事,不是现在的状态。文件本身声明不构成合规或法律意见,没有任何条款设定期限或后果;文件发布才三天,截至发稿我们没有查到引用它的采购规则、州法或判决。哪天出现第一个把它写进合同、法规或判决的例子,我们会改口。

我们不知道什么

  • 哪些公司会公开表示采纳这十条,OpenAI 是否在致谢名单的「其他 SI 公司」之中,文件没有写。
  • 自愿报给 CISA、NIST 和 NSA 相关中心的事件和险情,会不会汇总公开、如何保密,文件没有交代。
  • 事件严重程度的打分标准被列为「未来工作」,在它出来之前,第 6.3 条「视严重程度暂停同类训练」靠什么尺度执行,并不清楚。
  • 白宫超级智能工作组正在设计的事故通报机制,会不会以这份文件的定义为基础,目前没有公开材料说明。

接下来看什么

一看白宫工作组 120 天章程期内拿出的事故通报方案,是否沿用「控制事件」的定义、是否带强制力,背景见我们此前写的工作组稿件;二看欧盟 AI 办公室第二轮信息请求是否发出、是否问到证据保全和第三方通知;三看下一份企业事故报告里,有没有逐条写明通知了谁、留了哪些日志。

来源

引用与数据Markdown 镜像