NewToken 新词元关注新智能
读懂

英伟达开源转写模型在独立榜单排第几?

英伟达新转写模型在 Artificial Analysis 榜上与 Mistral 并列开源第一,全榜排第十前后;经公开托管接口测得的错误率是 3.4%,高于厂商引用的 2.8%。

专题NVIDIA:持续追踪 · Artificial Analysis:持续追踪主线模型竞争

读懂|英伟达开源转写模型在独立榜单排第几?
本文提纲4 节
  1. 英伟达列了四个榜单,只有一个我们核对过
  2. 2.8% 与 3.4%,同一张榜上的两个数
  3. 它的长处在一张卡上做完几件事
  4. 出现哪两种情况,我们会改口

能自己部署的开源转写模型,现在可以把转写、分说话人和翻译放进同一个模型,独立测得的准确率也追平了开源头名。

英伟达 10 月 28 日发布的 Nemotron 3.5 Transcribe,在 Artificial Analysis 的转写榜上错误率 2.8%,与 Mistral 的 Voxtral Small 并列开源第一。放进榜上 60 多个模型里,它排在第十名前后,前面至少有 9 个闭源接口错得更少。

还有一处要看清:经公开托管接口调用时,同一张榜测得的是 3.4%。

英伟达列了四个榜单,只有一个我们核对过

据英伟达在 Hugging Face 的发布博客,模型总参数 300 亿,每个词元激活约 40 亿。它能转写 40 种语言,其中 31 种可与英语互译,13 种可以分说话人;单段录音最长一小时,最多分出 8 个人。

博客把名次放在四个榜单上:

  • Hugging Face Open ASR 榜:英语平均错误率 5.33%,开源模型第一;
  • Artificial Analysis 转写榜:2.8%,开源并列第一;
  • David AI 的 21 种语言分说话人榜:错误率 18.26%,榜上最低;
  • VoiceArena 的英语整场会议测试:32.4%,14 个系统里最低。

四个榜单测的东西不同,数字不能横着比。VoiceArena 出现在这篇博客文末的合作方博客名单里,它的成绩算不上完全独立的第三方。我们逐项打开核对的是 Artificial Analysis;David AI 与英伟达有无合作,博客没有交代。

2.8% 与 3.4%,同一张榜上的两个数

Artificial Analysis 的转写榜给这款模型的代表成绩是 2.81%,其中语音智能体对话测试集一项是 1.78%。这与英伟达博客写的 2.8% 和 1.8% 对得上。

同一页的服务商表格里,经 DeepInfra 调用的 Nemotron 3.5 Transcribe 一行写的是 3.4%。DeepInfra 是表格里列出的唯一一家托管方。页面没有说明 2.81% 是经哪家测得的,也没有解释两者为何相差 0.6 个百分点。

按读者今天能买到的托管版,把它和两个邻居放在一起看,差别会更清楚:

模型 错误率 每千分钟价格
Nemotron 3.5 Transcribe(DeepInfra 托管) 3.4% 2.00 美元
Voxtral Small(Mistral,开源) 2.8% 4.00 美元
MAI-Transcribe-2(微软,闭源) 2.0% 1.67 美元

表里三行都出自 Artificial Analysis 同一页,用同一套测试集。读法是:只买托管转写服务的话,Transcribe 今天既不比微软的接口准,也不比它便宜。

它的长处在一张卡上做完几件事

英伟达称,一张 RTX PRO 6000 Blackwell 服务器版 GPU 用 NVFP4 精度,3 分钟内能处理 100 小时音频;这个数是按 30 秒短片段、高并发测的,属于企业宣称。博客同时写明,模型只处理录好的音频,不做实时流。TechCrunch 的报道也写明了这一点。

同一天发布的还有 Granary v2 语音数据集,公开清单覆盖 48 种语言、463,062 小时,并附微调工具。英伟达自己也提醒,这些数字描述的是数据集,不是模型的完整训练配比。

这款模型的价值在自部署和多任务合一,不在准确率领先。这是分析推断,依据有两点:独立榜单上它只是追平开源头名,托管版落后于同价位的闭源接口。

它的差别在于一个模型同时做转写、分说话人和翻译,音频可以不出自己的机房。本站 10 月 21 日写 Mistral Voxtral 3 时,得出的也是相近的看法。

出现哪两种情况,我们会改口

有人会说,0.6 个百分点对会议纪要几乎没有影响,争这个数没有意义。我们接受这一点用在日常纪要上;但对按错误率选供应商的采购方,厂商引用的数和买到的数不一致,本身就该写清楚。

两种情况会让我们改看法。

一是 Artificial Analysis 补上更多托管方,或说明 2.81% 的测法,而公开接口也能测到 2.8% 上下,那么 3.4% 只是一时的托管问题。

二是有第三方在自己的机器上复现出 2.8% 上下的成绩,那么它在准确率上也站得住。在这之前,判断它要看自己部署后的实测,不要只看发布博客里的名次。

来源

引用与数据Markdown 镜像