NewToken 新词元关注新智能
脉络

同价模型每题成本差十倍,排名要按任务重算

同价模型做同一套题,花费可差十倍。八篇稿子和新的计费变化指向一件事:选模型要按完成一件事算账,排名会因此改写。

专题GitHub:持续追踪 · Artificial Analysis:持续追踪主线模型竞争

脉络|同价模型每题成本差十倍,排名要按任务重算
本文提纲5 节
  1. 同一张价目表,每题账单差了十倍
  2. 便宜省在缓存和重试,不全在模型
  3. 路由和计费,都开始按任务算
  4. 按任务算的账,也可能越算越贵
  5. 第二家企业的账本会决定这个判断

今年 2 月的一个周末,做代码审查智能体的 Gitar 把主力模型换成了 Kimi K2.5。词元是模型按量收费的单位,大致相当于一小段字。按价目表,Kimi K2.5 每百万输入词元 0.6 美元,是原来所用 Claude Sonnet 的五分之一。一个周末之后,他们换了回去。

据 Gitar 在公司博客里的复盘,有一次审查陷进重试循环,烧掉约 50 万词元才被人工掐断,活也没干完。修好这个问题后,账单仍比预期高。他们的结论只有一句:「The metric that matters is cost per successful outcome.」

这句话说的是一家公司的一次试验,本站写过的八篇模型稿,却一再碰到同一件事。我的判断是:企业比较模型的单位,正在从每百万词元的价格换成每完成一件事的成本。按这个单位重算,单价最低的模型常常不是花钱最少的,模型排名也会改写。

同一张价目表,每题账单差了十倍

过去比模型,第一张表是每百万输入、输出词元各多少钱。这张表好比加油站的油价,能说明每一升多贵,说明不了一趟路要加几升。

Beam 公司的 Fredrik Falk 在 10 月 6 日的一篇分析里,整理了 Artificial Analysis 智能指数上的数据。GPT-6.1 Sol、Sonnet 5.5 和发布期价格下的 Gemini 4 Argon,标价都是每百万输入 2 美元、输出 10 美元。

做完同一套题,每题花费分别约为 0.72 美元、7.62 美元和 1.99 美元。

同一张价目表,账单差了约十倍。差距来自用量:据该文,Sonnet 5.5 在最高推理档下每题要写出约 19.3 万个输出词元。

更反直觉的一组在同一家公司内部:Anthropic 的旗舰 Opus 5.5 在同档下每题约 5.98 美元,比中档的 Sonnet 5.5 还便宜,分数也更高。按每题成本排,中档模型反倒落在旗舰后面。

本站的几篇稿子从不同方向碰到了同样的事。MiniMax M3.1 Flash 每题成本从 0.51 美元降到 0.22 美元,省钱全靠降价,每题用掉的输出词元反而多了 56%。按上一代的单价算,它每题至少要 0.58 美元。

DeepSeek 的 Flash 1017 走的是另一条路:单价没动,每题成本从 0.49 美元降到 0.26 美元,省下的部分来自更少的用量和更高的分数。

OpenAI 的决策模型走得更远,每百万输入词元只收 0.1 美元、输出不收费,可每答一百万个问题要 78.87 美元,在 16 个模型里排第 14。

三件事放在一起,含义很直接。单价是费率,不是账单;一个模型完成一件事要用多少词元,取决于它怎么想、写多长、会不会走回头路,这些在价目表上都看不到。

便宜省在缓存和重试,不全在模型

第二种旧做法,是把省钱等同于换一个更便宜的模型。可本站写过的几笔账,省钱的大头都不在模型本身。

IBM 推的开源推理框架 llm-d 宣称,自己托管比调用接口便宜 5 到 10 倍。本站拆过那组数字:测试里 85.2% 的输入来自缓存。缓存是把模型读过的同一段上下文存起来,下次再用按低价计费,省下的钱主要省在不用重读。

托管商的价格也在靠近,Beam 模型的输入价在各家托管商之间一周内从相差 5.2 倍缩到 1.6 倍,账单高低改由缓存命中多少决定。

Gitar 的第二个坑正好在这里。他们给新模型配了故障切换:新模型触发限流,请求就转到 Claude。两家的缓存不互通,每切一次,对面都要从头读一遍上下文,再付一次写缓存的附加费。

博客里写道,长时间运行的智能体会话里,读缓存的费用常占账单九成以上。新模型限流更紧,负载一上来就频繁切换,缓存命中率随之大跌。他们的结论是:在一家提供商上用全价加缓存,可能比在一家打折却总掉线的提供商上更便宜。

重试是另一个看不见的用量。据 Gitar 描述,新模型在调用工具失败后会原样重试同一个请求,不换路径。每重试一次,上下文都更长,下一次也更贵。

所以每完成一件事的成本,是模型、调度程序、缓存和路由合起来的结果,不只属于某个模型。同一个模型放进两家公司的系统,每件事的花费可以完全不同,这也是企业不能直接拿公开榜单做预算的原因。

路由和计费,都开始按任务算

如果每件事的成本由整套系统决定,下一步就是让系统替人选模型、让账单按件算。这件事已经从两头开始。

在买方这头,Prosus 的账单降了九成,公司说约一半来自路由,也就是把每件活分给够用且便宜的模型。这是企业宣称,没有公开基期和成功率,但方向清楚。

GitHub 10 月 28 日上线的 Copilot Fusion,把这件事做进了产品:开发者只选用多大力气,用哪个模型交给路由。第三方测得它最高档比 Claude Code 搭配 Opus 5.5 低 2 分,每题花费约为后者一半。

编程智能体榜上,头部几家分数只差 3 分左右,每题成本却差出约 40 倍。分差这么小、价差这么大,按每题成本排出的名单,和按分数排的不会一样。

在卖方这头,HubSpot 4 月 13 日宣布,客服智能体从每次对话 1 美元改为每解决一单 0.5 美元。

公司称这个智能体能解决 65% 的对话,已有八千多家客户在用,这两项都是公司自己的数字。首席客户官 Jon Dick 的说法是「You pay when it works, full stop.」

HubSpot 不是孤例。据 QueryNow 10 月 16 日的整理,他们逐页核对到六家公开按结果标价的厂商,其中五家做客服。当按件收费的一方是软件商,模型每件事花多少钱,就变成了软件商自己的利润问题,它会比任何买家都更在意每题成本。

按任务算的账,也可能越算越贵

这个判断有三处软肋,我得先说清楚。

第一,每题成本来自固定题库。Artificial Analysis 的题不是你的发票、工单或代码库,题目一换,排名可能又变。公开生产数据目前只有 Prosus 一家,还是企业宣称。

第二,按结果计费还很少。同一份整理引用计费平台 Orb 的统计:80 家智能体公司里,只有 3.8% 采用按结果收费,多数仍按用量或席位卖。整理里还提醒,一单的定义因家而异,单价更低、但把更多对话算作一单的报价,账单可能更高。

第三,每件事的成本不一定会降。Gartner 1 月 26 日预测,到 2030 年,生成式 AI 在客服里每解决一单的成本将超过 3 美元,高于很多离岸人工坐席。它给的原因包括数据中心成本上升、AI 厂商从补贴换增长转向要利润,以及用例越来越复杂、要消耗更多词元。

该公司分析师 Patrick Quinlan 在接受 CX Today 采访时说,厂商通常强调的单位用量成本往往很低,问题出在别处:

But what then ends up happening is that many organizations consume a lot more than they expect, and then they don’t account for the total cost of ownership.

用户的体感也一样。Hacker News 上一位用户 Insanity 6 月在讨论模型价格时写道:「if they superficially go down, the models just consume more tokens per task so your bill still increases in the end.」

MiniMax 新模型用量多出五成,就是这句话的一个实例。

这些反例削弱的是「按任务算会更便宜」,并没有削弱「要按任务算」。恰恰因为单价降了、账单未必降,比价的单位才非换不可。

第二家企业的账本会决定这个判断

回到开头那个周末。Gitar 换回 Claude,不是因为价目表变了,而是因为他们按每做成一次审查重算了一遍。这种算法正在从个别团队的复盘,变成评测榜单的默认列、编程工具的路由逻辑和客服软件的报价单。

我对未来一年的判断有三条。独立评测会把每题成本和成绩并列,成为比价的默认读数。按结果计费会从客服扩到线索筛选、单据处理这类能清楚判定做完的环节,但多数智能体仍按用量或席位卖。每件事的成本未必逐年下降,用量增长和补贴退坡都可能把它推高。

能证明这条判断的,是 Prosus 之外第二家大企业公开每件事的生产成本,并给出基期和成功率;或者主要模型厂商在发布时把每题成本写进官方对比表。

能推翻它的,是主要厂商重新只靠下调单价竞争,企业财报和采购讨论又回到每百万词元的价格;或者已经按结果计费的厂商改回按对话、按席位收费。

在那之前,企业选模型时可以先做一件小事:定义清楚一件事怎样算做完,再拿自己的十个真实任务,各跑一遍,记下每件花了多少钱。

来源

引用与数据Markdown 镜像