AI 接电话能聊,常记不准你的名字
Sierra 新基准只考语音智能体记一个字段:榜首在普通通话里记对六成,换三种声音环境都记对的约三成。同样的题用文字做全对,强制复述能补回一部分,代价是每通电话多二十多秒。

语音智能体的考核开始单独查一件小事:一个名字、一个电话号码,它能不能记对,而不只看整通电话最后办没办成。做客服智能体的公司 Sierra 在 10 月 22 日发布了新基准 τ-Entity,结论很直接:今天的语音智能体能聊下去,但常常记不准你报给它的那串字。
先说我们的判断:语音客服的短板已经从「听不听得懂要办什么事」转到「能不能把一个字段一次记准」。同样的题目用文字做能全部做对,换成语音就大面积出错;让模型自己决定什么时候复述核对,补不上这个缺口,强制按流程复述和校验能补回一部分,但要用通话时长去换。
发生了什么
据 Sierra 的博客,τ-Entity 有 200 个任务,覆盖姓名、电话、地址、邮箱等十类字段。每通电话只问一个字段,来电者很配合,被要求时会准确拼读,多数电话不到两分钟。成功的标准是存进系统的值与正确答案一字不差。基准用 Pass³ 衡量稳定性:同一个任务在普通、强噪声、频繁插话三种环境下都做对,才算过。
成绩并不好看。博客称,在六种语言合并的榜单上,排第一的 OpenAI GPT Live 1 在普通通话里记对 60.3%,三种环境都做对的只有 34.0%;Google 的 Gemini 3.8 Live 和 xAI 的 Grok Voice Think Fast 2.0 在普通通话里是 43.8% 和 44.2%,三种环境都对降到 19.5% 和 24.0%。只看英语容易一些,GPT Live 1 是 74.0% 和 47.5%;韩语的 Pass³ 只有 3.5%–8.5%,普通话为 12.5%–24.5%。
对照 τ-bench 官网的总览,同一系列的 τ³-Voice 榜单考的是整通电话办成率,GPT Live 1 是 79.9%。两个榜单题目和口径不同,不能直接相减,但方向一致:整件事能办成,不等于中间每个字段都记对了。
错在哪一步
更有用的是论文。据 Sierra 与 Mercor 研究员发布在 arXiv 的论文,同一批 200 个任务交给一个文字版智能体,全部做对;论文测的四种语音配置,三种环境都做对的比例只有 14%–41%。论文据此认为,问题在于口语里的字段采集与纠错,而不在理解任务。
论文把失败拆成两段。第一段是该不该慢下来:智能体对难的、少见的字段会多复述几次,但不会针对自己最容易听错的那种声音多核对,噪声大时也只有 Grok 会多核对。第二段是核对之后能不能改对:被核对过的错误里,最后改对的只有 24%–37%,有时重复同一个错误,有时换成另一个错值。
论文还测了把流程写死:先问、再请来电者拼读或由智能体复述、确认并更正、最后提交。这样三种环境都做对的比例升到 37%–54%,提高 14 到 31 个百分点,每通电话多花 21 到 28 秒。字段一多,错误会叠加:三个字段的电话只有 53% 全对,尽管单个字段的准确率是 75%;每填一个字段就校验、出错就重试,任务成功率从 64% 升到 82%,论文说明这两个动作的作用无法分开。
分析推断(依据:文字版全对、语音版大面积出错,以及强制流程带来的提升):企业上线语音客服时,「核对」不该交给模型自觉,而要写进流程:哪些字段必须拼读复述、哪些要用格式或数据库校验、错几次转人工。Sierra 博客也提到,他们在此前的 τ-Voice 测试里反复看到智能体因为记错一个细节而通不过身份验证,没能进入后面的办事环节。
最强反方
反方有三点。第一,这是 Sierra 自己出的题,Sierra 卖的正是客服智能体,论文作者也来自 Sierra 和 Mercor,基准越显得难,越凸显它的产品价值。第二,题目刻意把难度集中在一个字段上,还包括作者自造的生僻名称,真实客服电话里很多字段可以用账户系统反查,不必全靠听写。第三,论文测的是英语、三家厂商、模拟来电者,每种环境只跑一次,作者自己也写明结果不能说明真实部署是否就绪。
我们接受第二、第三点的限定:这些数字不能直接换算成真实客服的出错率。但第一点不改变核心结论:被测的是 OpenAI、Google、xAI 的模型,评分用数据库逐字比对、不用模型打分,文字版同题全对这一对照也不依赖 Sierra 的产品。只要论点限定在「语音环节记字段不稳、自觉核对补不上」,证据是够的。如果其他机构用真人来电复现时差距明显缩小,我们会改口。
我们不知道什么
我们不知道这些成绩在真实客服电话里对应多少错误,也不知道各家企业上线的语音客服用的是哪种核对流程。我们不知道榜单上的新模型在论文那套强制流程下能到多少,博客只给了论文里旧一代配置的区间。普通话、韩语成绩偏低的原因,博客和论文都没有展开。
接下来看什么
一是有没有其他机构或真人来电的测试复现这组差距;二是 OpenAI、Google、xAI 下一代语音模型在 τ-Entity 上的 Pass³ 能否过半;三是做语音客服的企业会不会公开字段错误率和转人工率,而不只公布「解决率」。
来源
- Sierra 博客 · τ-Entity: Can voice agents get the details right?(2026-10-22) 第三方评测
- arXiv · TAU-ELICITATION: Benchmarking multi-turn entity extraction in voice agents(Sierra 与 Mercor) 第三方评测
- τ-bench 官网 · 排行榜总览 第三方评测
引用与数据Markdown 镜像

