NewToken 新词元关注新智能
落地

Prosus 说 AI 账单降了九成:一半靠把活分给合适的模型,这个数只能当方法看

Prosus 自述 token 用量一年涨 52 倍后把 AI 成本压掉 90%,一半归功于路由。方法可迁移,数字没有基期和质量指标,只能按企业宣称读。

主线模型竞争

落地|Prosus 说 AI 账单降了九成:一半靠把活分给合适的模型,这个数只能当方法看
本文提纲9 节
  1. 一个具体的场景
  2. 做了什么
  3. 效果:九成降幅是怎么分的
  4. 代价与踩坑
  5. 另一种口径:HPE 的 60%
  6. 哪些已证实,哪些只是宣称
  7. 最强反方
  8. 我们不知道什么
  9. 接下来看什么

企业压 AI 成本的主要办法,正在从挑单价更低的模型,变成按任务分派模型、自己算完成一次的成本。

先给结论:Prosus 公开的这份降本账,最值得带走的是它的做法,而不是那个 90%。九成降幅、一半来自路由,都是公司自己的说法,没有基期,也没有质量指标;可它讲清了一件被价目表掩盖的事:同一道活,交给谁做、带多少上下文去做,比每百万 token 多少钱更决定账单。

一个具体的场景

设想一个平台每天收到两类请求:一类是从一张单据里抄出金额和日期,另一类是分析一组复杂数据、规划接下来几步操作。多数应用的默认做法,是两类请求都送进同一个最强模型,因为接入最省事。用量小的时候这无所谓;当智能体开始承担日常运营,几十亿次请求就变成了几百万美元。这正是 Prosus 在文章开头描述的处境。

做了什么

据 Prosus 2026 年 8 月 26 日发布的文章(署名 Fabricio Bloisi 与 Ioannis Zempekakis),这家公司过去一年的 token 用量增长了 52 倍,达到每月 8.2 万亿,成本起初随之上涨。它列了四件事:

  • 路由:做了一个按任务目标选模型的简单路由器,困难、需要规划的请求送往最强模型,简单请求交给自己运行的、更便宜的开放权重模型。评测时比较的模型里提到了 Luna、DeepSeek 和 Kimi。
  • 减少每次请求携带的内容:在一个生产负载里,平均每次请求带着约 11.5 万 token。直接截掉最长的对话几乎没用;有效的是丢掉不再需要的信息、优化文件传输、只在模型真正需要时再取数据,平均上下文降到 6 万 token。
  • 提高 GPU 利用率:一个负载的平均需求约每秒 1 个请求,高峰接近平均的 6 倍。他们把报告生成、评测、定时智能体任务挪到低谷时段。
  • 蒸馏专用模型:把前沿模型蒸馏成只做一件事的小模型,第一次就把推理成本降到约十分之一,再经过几轮量化和裁剪,同一任务降到约四十分之一。文章说自家为电商任务蒸馏的模型每百万 token 0.021 美元。

效果:九成降幅是怎么分的

Prosus 给出的分摊是:路由约 50%,减少请求内容约 20%,蒸馏约 20%,GPU 利用率与负载均衡约 10%。另一个可以单独看的数字是容量:上下文减半后,同样的设备在相同响应时间下承接了近一倍的流量,按高峰负载算,机器需求减半。

读这组分摊要小心一点。分析推断:四项措施是叠加生效的,比如先路由到小模型、再压缩上下文,后一项省下的钱取决于前一项之后还剩多少账单;这种情况下「各占几成」随计算顺序而变,是一种记账口径,不是四个可以分别验证的独立结果。依据是文章本身写的是「四项相互叠加」,并且只给了「近似份额」。

站内此前几篇讲的是模型一侧的价格口径,比如 DeepSeek 新 Flash 的每题成本 和 Beam 那场考试的账单;Prosus 这篇补上的是企业一侧:同样的价目表,用法不同,账单可以差一个数量级。

代价与踩坑

Prosus 自己写了三个坑,比 90% 更有用。

第一,单价便宜不等于用起来便宜。文章说,有些开放权重模型每 token 只要五分之一的价钱,却要用多得多的 token、有时还要更多步骤才能得到同样的答案。它举的一个例子里,高级推理档多花 62% 的钱,成功率只多 0.5 个百分点。

第二,自己运行模型,付费方式就变了:不再按请求付钱,而是租 GPU,GPU 闲着也一样收钱。流量的高峰与低谷差得越远,这笔钱越难省。

第三,这件事没有做完的一天。用量在涨,流量在移动,模型在更新,昨天的优化会过时;路由规则、上下文裁剪和蒸馏出来的小模型都要持续维护。

另一种口径:HPE 的 60%

据 Constellation Research 的报道,HPE 首席财务官 Marie Myers 在一次投资者会议上说,公司用自己的私有云,token 成本比原本在公有云上要花的钱低 60%;内部智能体平台建在自家私有云、开源和开放权重模型上,用路由把每个请求送往最划算的模型,常规任务留在本地,前沿模型只做最复杂的活。

做法和 Prosus 是同一套,但这个 60% 的对照组是「假设在公有云上会花多少」,不是同期实测;而且据同一篇报道,Myers 在那次会上说混合云是 HPE 的老本行,并称公司因此看到了更大的潜在市场,也就是说,本地推理正是它想多卖的东西。所以这条只能证明路由加本地推理是大公司正在用的结构,不能证明省了多少。

哪些已证实,哪些只是宣称

  • 企业宣称:Prosus 的 52 倍、8.2 万亿、90%、四项分摊、上下文从 11.5 万降到 6 万、蒸馏后便宜约 40 倍、0.021 美元每百万 token,全部来自公司自己的文章,没有第三方核对;「质量没有明显下降」没有给出任何指标。
  • 媒体报道:HPE 的 60% 是 Constellation Research 转述的高管发言,对照组是假设的公有云开支。
  • 第三方评测:按任务算成本这个方向有独立测量支持。据 DataLLM Lab 10 月 3 日的测试,19 个模型在同一组 9 道 Python 题上全部满分,每千道题的实测成本从 0.03 美元到 12.41 美元,相差 414 倍。但这组题只是单轮短任务,说明不了长链路智能体任务上的情况。

最强反方

最有力的反驳是:这套方法谁都知道,难以复制的是规模。Prosus 每月 8.2 万亿 token,才值得自建 GPU、维护评测集、蒸馏专用模型;对用量小得多的企业,搭一套按任务的评测和路由,花的人力可能超过省下的钱,最省事的做法就是直接换一个便宜的托管小模型。DataLLM Lab 的数据也站在这一边:简单任务上 19 个模型分数一样,挑最便宜的就行,不需要路由;它测的一个路由器反而因为一次把题目送去 Claude Opus 5.5,这一次就占了整轮账单的 56%。路由做不好,可能比不做更贵。

我们在规模这一点上让步:自建 GPU 和蒸馏确实是大用量才划算的事。但论点不变。「直接挑最便宜的」这个建议本身,就要先在自家任务上测过才知道谁最便宜;Prosus 那个多花 62% 只换来 0.5 个百分点的例子,以及 DataLLM Lab 那 414 倍的差距,说的都是同一件事:不测,就不知道钱花在了哪里。评测可以很轻,但不能没有。

我们不知道什么

  • 90% 是和什么比的:是单位任务成本、单位 token 成本,还是总账单相对于「全部用前沿模型」的假设开支?用量涨了 52 倍,总账单降九成和单位成本降九成是完全不同的两件事,文章没有说。
  • Prosus 的降幅里有多少来自供应商自己降价、有多少来自它的工程改造,文章没有拆开。
  • 「质量没有明显下降」是按什么指标、在哪些任务上衡量的,没有披露。
  • HPE 的 60% 用的是哪些负载、按什么价格假设算出来的,报道里没有。

接下来看什么

一是 Prosus 会不会公布任务成功率或质量指标,那是把这份降本账从宣称变成可核对结果的唯一办法。二是更多企业是否开始在公开场合用「完成一次任务的成本」而不是 token 单价来讲 AI 开支。三是独立评测能否把按任务计价的测量从单轮短题扩到长链路智能体任务,DataLLM Lab 自己也写明了这是它测不到的部分。

来源

引用与数据Markdown 镜像