Anthropic 请加州让法院叫停有灾难风险的模型

在加州，叫停前沿模型的权力可能不再只握在开发它的公司手里。Anthropic 10 月 15 日致信州长纽森，提议独立评估机构发现模型有近期的灾难风险时，可以报给州总检察长，再由总检察长向法院申请暂停令。

我们的判断是，Anthropic 和五天后写信的 OpenAI 都支持停止键，分歧在两件事：谁有权下令停，谁给评估者付钱。这两项 Anthropic 都交给了州政府和法院。它的信由 Politico 在 10 月 27 日公开。

叫停要过评估机构和法院两道关

Anthropic 信里的程序分三步。第一步，大型前沿开发商至少每六个月发布一份风险报告，覆盖已发布的模型，也覆盖风险明显更高的内部模型。第二步，独立评估机构拿到未删节的报告和公司最强的模型，自己给出风险判断并公开。

第三步，评估机构可以把风险报给总检察长。总检察长据此认定有近期灾难风险，就可以向法院申请命令，暂停模型的部署、内部使用或继续开发。

信里给出的理由是，评估结论和法院裁定两样都要有，才能防止这项权力被滥用，法院在紧急时也可以很快行动。据 Politico 报道，OpenAI 的信没有走到授权政府在特定情况下叫停高风险模型这一步。

我们核对了 OpenAI 的原信。它支持修改加州的 SB 53，要求开发商维持有效的关停控制，并在出现不安全状况、又没有更轻的干预手段时负有使用它的义务。什么情况必须停，由加州会同业界等各方通过规则制定来写。按 OpenAI 的写法，按下开关的仍是公司，州政府写的是条件。

评估者的钱由州设立的资金池出

第二处分歧是钱。Anthropic 提议，公司不直接给评估机构付费，而是缴进一个由州管理的资金池。州政府按推理是否严谨、过去发现风险的记录给评估机构打分，可以要求每家公司至少用一家高分机构，也可以考虑随机指派或轮换。

OpenAI 的信对同一件事写法不同。它要求报酬安排不能奖励有利结论，也认为公共投入有助于保持独立；但它同时写明，商业评估机构收了开发商的钱，这一点本身不构成利益冲突。

访问范围也不一样：

• Anthropic 主张给驻场评估者「类似员工」的权限，包括办公室工位、公司电脑、内部工具和内部通讯，只把客户数据等少数类别划在外面。
• OpenAI 主张访问范围按评估要回答的问题来定，更深的访问要有具体理由。
• Anthropic 还主张评估者可以自主发布结论，公司只能在事先约定的几类信息里要求删节，不能因为结论不利就否决发布。

Anthropic 自己承认够不着的地方

信里有一句容易被略过的话。Anthropic 说它能迅速撤下直接提供给客户的模型，也能撤下内部使用的模型，但够不着客户在自己隔离环境里运行的模型，信里举的例子是部分美国政府机构。

它更愿意用「断路器」来比喻：在出问题的那一层断开，可能是一个智能体、一个客户，也可能是整个模型。整模型下线代价大，它认为只在极端情况下才合理。

它也提醒，断路器和停止键都管不到最严重的失控情形，比如模型把自己的权重复制到开发商控制不了的机器上，这种风险只能靠事前的安全措施防住。

规则的起点可能就是 Anthropic 的做法

有人会说，资金池和评级听上去中立，但能做前沿模型灾难风险评估的机构本来就很少。Anthropic 已让 METR 的团队试点驻场，与 SecureBio、Accenture 的合作也在试点。

按这封信写成的规则，起点很可能就是 Anthropic 现在的做法。这是分析推断，依据是信中自述的合作名单和它对评估能力稀缺的描述。我们接受这一点，但它不改变上面的判断：由法院下令暂停，比由公司自己决定，多了一道外部检查。

这封信目前只是对行政令的意见，不是法案。据 Politico 报道，加州议会大约一个月后复会，届时预计会推进一批 AI 规则。

要看的是议员提出的条文里，叫停权最终写给了总检察长和法院，还是仍然只写成公司的义务。如果条文只要求公司维持关停控制，Anthropic 这封信里最重的一条就没有被采纳。