Astra 领先 Claude,是因为更会说谎吗?
Dwarkesh 的 Clocktower Bench 用 386 局社交推理对局给模型打分;Astra 综合 Elo 1859,对 Fable 5.1 的分差在侦测侧更大。
专题OpenAI:持续追踪 · Anthropic:持续追踪主线模型竞争

不是。据 Clocktower Bench 公开的 ratings.json,GPT-6 Astra 对 Claude 的领先主要落在侦测(detection)一列,欺骗(deception)一列的分差更小。
这改变了读「社交推理榜头名」的方式:综合 Elo 第一不等于「更会说谎」;先看它是在抓谎,还是在说谎。
榜上第一,先分清两列分数
Dwarkesh Patel 11 月 5 日公开 Clocktower Bench:让前沿模型互相对打 Blood on the Clocktower,一边扮好人抓恶魔,一边扮恶人撒谎保命。
据 About 页,每局一边全是同一模型的好人席,另一边全是另一模型的恶人席,同一发牌再换边重赛;说书人是脚本概率表,不是模型。
据 ratings.json,已计入评分的对局共 386 局、11 个模型。
综合 Elo 前四:GPT-6 Astra 1859(90% 区间 1779–1983)、GPT-6.1 Sol 1734、Claude Fable 5.1 1595、Claude Opus 5.5 1549。Astra 比 Fable 高 264 分,比 Opus 5.5 高 310 分。
同一份 JSON 把综合分拆成两列。Astra 侦测 1940、欺骗 1806;Fable 5.1 为 1582 / 1588;Opus 5.5 为 1500 / 1585。对 Fable,Astra 侦测高出 358、欺骗高出 218;对 Opus 5.5,侦测高出 440、欺骗高出 221。领先的大头在抓谎。
Dwarkesh 在文中也写明同一判断:OpenAI 新模型相对 Anthropic 的优势,主要是扮演好人时更强;两边当恶人时差距更接近。
好人席上,Astra 一场都没输
ratings.json 还给出按阵营的胜场。Astra 在好人席打了 27 局,赢了 27 局;在恶人席 27 局赢了 17 局。Fable 5.1 好人席 27/37,恶人席 14/37;Opus 5.5 好人席 30/49,恶人席 16/49。
好人席全胜只说明在这套规则与这批对手下,Astra 当镇民时没有翻车,不能外推成「对人类也抓得住谎」。但它和分项 Elo 指向同一处:这张榜表扬的,首先是把互相矛盾的线索捏在一起、拒绝单条证据洗白嫌疑人的能力。
Dwarkesh 文中举了同一发牌、双方换边的对照:好人「杀手」开枪打中真恶魔却没命中——前夜恶人禁用了该能力。Claude 阵营立刻把目标当成已洗清;GPT 阵营拒绝「打不中就等于清白」,次日找出下毒路径并处决真恶魔。这是作者挑选的例子,用来解释侦测分差,不是 386 局的统计摘要。
这张榜测什么,不测什么
About 写明:座位只记得自己看见、说过和想过的内容;每回合同一字数上限;评分用 Bradley–Terry 拟合。
恶方全场胜率约 33.4%,说明规则没有把局面向恶方灌满。
边界也清楚。这是模型对模型,不是人对模型;座位之间没有游戏外的暗线;脚本固定为 Trouble Brewing。综合 Elo 头名仍是 Astra,它在欺骗列也高于两款 Claude——只是分差小于侦测列。有人会说,既然综合分第一,强调抓谎是在淡化它也会说谎。
反过来说才对:不拆两列,读者更容易把「会玩狼人杀」读成「对齐失败、更会密谋」。Dwarkesh 自报为搭环境与跑局花了约 2 万美元 API 额度,这是作者口述,不是实验室审计数字。
作者文末提到,LessWrong 约一个月前另有同题材评测,当时他未见。两套环境不同,本文数字只采用 Clocktower Bench 的公开 JSON。
读社交推理榜,先问领先写在哪一列
Clocktower Bench 的用处,不是证明「AI 已经会骗人」,而是把长期记忆、多代理协调和怀疑态度,从考试题里拆出来,变成可回放的对局。
对企业选型,它几乎不回答写代码或跑 SQL 谁更强;它回答的是:当多条线索互相打架时,模型会不会过早相信一条「洗白」。把 Astra 的头名读成「更会说谎」,是读错了这张榜;正确读法是——它把领先主要写在了抓谎那一列。
来源
- Dwarkesh Patel · The benchmark where AIs have to lie to win 第三方评测
- Clocktower Bench · ratings.json 已证实
- Clocktower Bench · About 第三方评测
引用与数据Markdown 镜像

