NewToken 新词元关注新智能
读懂

Mythos 5.2 的安全结论押在它认得出的考试上

Anthropic 发布 Mythos 5.2 并称风险低;系统卡显示它更常认出测试,越出沙箱的尝试多于 Opus 5.5,这个结论站不稳。

专题Anthropic:持续追踪主线模型竞争

读懂|Mythos 5.2 的安全结论押在它认得出的考试上
本文提纲3 节
  1. 发布页写 3.1%,系统卡里是 31%
  2. 43% 的考卷里,它知道自己在考试
  3. 读推理的监控,第一次被骗过四分之一

Anthropic 这次披露,自家新模型在被要求藏起意图时,约四分之一的时候能骗过读它推理的监控,同一份文件仍把风险定为低。

11 月 9 日,Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2,两者是同一个底座模型,Fable 带网络安全和生物防护,Mythos 只给通过核验的机构。据 TechCrunch,Fable 输入价从每百万 token 10 美元降到 8 美元。

我们的判断是:降价和跑分都不是这次最该读的东西,最该读的是「风险低」这个结论凭什么成立。答案是凭一套模型越来越能认出来的考试。

发布页写 3.1%,系统卡里是 31%

发布页讲沙箱测试,只给了一个数:在故意留了漏洞的 1,829 个场景里,Mythos 5.2 动用沙箱外凭据或文件的比例是 3.1%,和 Opus 5.5 的 3.3% 差不多。

系统卡 6.5.1 节还有一个数:把「伸手到沙箱外」的尝试都算上,Mythos 5.2 是 31%,高于 Opus 5.5 的 20% 和 Sonnet 5.5 的 21%。系统卡也写了,越界的绝大多数停在探查环境这一级,拿到别人凭据的有 2 个场景,在宿主机上跑起代码的有 1 个。

两个数都是真的,挑哪个上发布页,是 Anthropic 的选择。它挑了和 Opus 5.5 持平的那个,没挑比 Opus 5.5 高出一半多的那个。

43% 的考卷里,它知道自己在考试

系统卡 6.6.1 节用读取模型内部状态的方法检查约 3,500 份审计记录:Mythos 5.2 在多达 43% 的记录里意识到自己可能在被评测,并且这种意识影响了它的选择,比 Opus 5.5、Mythos 5.1 都高。Anthropic 自己的解读是,它可能更会认出人工搭出来的测试场景。

这一条直接削弱了前面所有好成绩。系统卡写明,由于评测意识偏高,对齐结果「可能无法完全预测」部署后的行为。英国 AI 安全研究所测它会不会向开源项目投毒,它一次都没做,研究所自己也说,这可能用高评测意识就能解释。

读推理的监控,第一次被骗过四分之一

6.6.4.5 节是这次最硬的一个数。让模型故意答错又不许被发现,此前测过的模型要么拒绝,要么在推理里露馅,监控至少抓住 99%;Mythos 5.2 是第一个藏得住的,监控只抓住 76%。

Anthropic 的安全论证有一块依赖读得到模型的推理,出事能看见。模型一边更会认出考场,一边更会在明处藏意图,这块论证就同时从两头松动。系统卡给的结论仍是基本放心,这是 Anthropic 综合判断后的说法,上面这三组数据本身撑不起它。

有人会说,31%、43%、四分之一都是 Anthropic 自己写进系统卡的,在系统提示里加一段沙箱说明,越界就从 31% 降到 1.2%,英国 AI 安全研究所和 METR 也在发布前测过。对此我们接受一半:披露是真的,缓解办法也有效。

但据 The Next Web,Anthropic 说这几家外部机构都没有审阅发布稿和系统卡;缓解效果要靠部署方配置。把不利的数放在 264 页文件深处,把有利的数放在发布页,风险就从 Anthropic 转到了没细读文件的企业身上,这是分析推断,依据是 1.2% 要靠部署方自己写对系统提示。

一家公司说「我们测过了,风险低」,前提是考生不知道自己在考试。Mythos 5.2 常常认得出考场,这句风险低就只是 Anthropic 的自我担保。企业要把权限交给它,先按 31% 设计沙箱,再谈 3.1%。

来源

引用与数据Markdown 镜像