NewToken 新词元关注新智能
读懂

Beam 托管价一周拉近,账单还看缓存

Beam 上线一周,OpenRouter 上四家托管商的输入标价从相差五倍多收到一倍六,四家都列了缓存价。按 Plotly 那场考试粗算,账单高低主要看缓存命中。

专题AI 数据中心融资与债务风险:CoreWeave、算力债与电网主线模型竞争

读懂|Beam 托管价一周拉近,账单还看缓存
本文提纲5 节
  1. 发生了什么
  2. 为什么重要
  3. 最强反方
  4. 我们不知道什么
  5. 接下来看什么

开放权重模型上线一周,托管商的标价就向低价收拢了:Beam 在 OpenRouter 上四家托管商的输入价,从最多相差五倍多收到了一倍六,四家也都列出了缓存价。账单高低,转而主要取决于缓存能不能命中。

先说结论。10 月 17 日我们写 Beam 那张 8.29 美元的账单时,托管商之间的价差和缓存是两个同时存在的变量。五天后,第一个变量基本消失了。我们的判断是:开放权重模型上架首周的悬殊价差,更像上架初期的临时状态,不宜拿来判断一个模型贵不贵;之后真正拉开账单的,是智能体任务里反复重读的输入有没有按缓存价计费。

发生了什么

据 OpenRouter 的 Beam 托管商接口数据(北京时间 10 月 22 日 19:30 查询),四家托管商的标价如下,单位是每百万词元美元,括号里是 10 月 17 日晚我们上一篇记录的数字:

  • Nebius:输入 0.25(0.25),输出 1.00(1.00),缓存读取 0.05(当时没有列),FP8 精度
  • CoreWeave:输入 0.30(1.00),输出 1.00(3.00),缓存读取 0.04(0.10),FP4 精度
  • BaseTen:输入 0.40(1.30),输出 1.20(4.30),缓存读取 0.04(0.13),FP4 精度
  • Together:输入 0.40(0.40),输出 1.20(1.20),缓存读取 0.04(0.04),精度未标注

最贵和最便宜的输入价之比,从 5.2 倍(1.30 对 0.25)降到 1.6 倍(0.40 对 0.25);输出价之比从 4.3 倍降到 1.2 倍。BaseTen 的旧价不只是我们一家记下的:Price Per Token 的上架记录在 10 月 17 日的条目里同样写着「via BaseTen · $1.30 in · $4.30 out」。BaseTen 自己的 Model APIs 价格页现在列的是输入 0.40、缓存输入 0.04、输出 1.20 美元,与 OpenRouter 上的新数字一致。

变化最大的是 Nebius:它的单价没动,但新列了每百万 0.05 美元的缓存读取价。上一篇里,我们的分析推断是 Plotly 的请求落在了单价最低、却不打缓存折扣的 Nebius,所以 Beam 只有 0.4% 的输入按缓存计费。现在这家也有缓存价了。

为什么重要

OpenRouter 的缓存文档写明,它会把同一段对话后续的请求尽量发给同一家托管商,让缓存保持有效;但这种「粘住同一家」的路由,只在那家的缓存读取价低于普通输入价时才启用,而且闲置 10 分钟就失效。10 月 17 日,四家里有一家不满足这个条件;今天四家都满足了。

这让我们可以把 Plotly 那场考试重新粗算一遍。据 Plotly 的评测,Beam 做 43 道题,每题调用模型约 15 次、读进约 74 万个输入词元。我们沿用上一篇的口径:43 题合计约 3100 万个输入词元、约 50 万个输出词元。以下是分析推断,只用了今天的列价,没有实测:

  • 如果缓存命中率能到 Muse Spark Open 在同一评测里的 94%,四家的整场成本都落在约 2.2 到 2.5 美元之间,最高比最低只多一成多。
  • 如果像 Plotly 那次一样几乎不命中,四家的整场成本在约 8.3 到 13 美元之间,差距超过五成。

两种情形放在一起看,托管商换来换去,账单只差零点几到几美元;缓存命中与否,账单差三到五倍。上一篇我们说「先问有没有缓存,再看单价」,这周的降价让这句话更站得住:单价差距在收窄,缓存差距没有。

对正在挑开放权重模型的团队,我们的建议(分析推断)是:上架首周的成本对比只当参考,等托管商价格稳定后再算;算的时候按「每个任务调用几次、输入里有多少能命中缓存」来估,而不是按每百万词元的标价来排。

最强反方

最有力的反驳是:一周内的降价未必代表常态。BaseTen 和 CoreWeave 可能是在用首发促销价抢流量,等用量上来再调回去;我们手里只有两个时间点的列价,看不出这是定价收敛还是一次性折扣。另外,单价收拢了,精度没有:Nebius 是 FP8,CoreWeave 和 BaseTen 是 FP4,Together 没标注。同样的标价背后,模型质量可能不同,「挑哪家不重要」的说法可能过头。

我们在第一点上让步:「拉平」目前只是五天里的一次观察,需要再看几周才能叫趋势。第二点我们部分接受:精度差异确实可能让同一道题的成绩不同,这一点没有任何第三方在四家之间对照测过。但就本文讨论的账单而言,缓存造成的三到五倍差距,仍然远大于托管商之间的单价差。

我们不知道什么

  • 各家降价是长期定价还是限时折扣,BaseTen、CoreWeave 都没有发布说明。
  • Beam 在各家托管商那里的实际缓存命中率能到多少,Plotly 或其他评测还没有在支持缓存的托管商上重跑。
  • FP4 和 FP8 两种精度下,Beam 的成绩差多少。
  • 降价是 Reflection 与托管商的约定,还是各家自己的竞争结果。

接下来看什么

第一,看 Plotly 或其他评测有没有在缓存生效的条件下重跑 Beam:如果整场成本仍然在 8 美元附近,我们会改口,认为 Beam 的高调用次数本身就是成本短板,而不只是部署问题。第二,看下一个开放权重模型上架时,首周价差是否同样在一周左右收拢;如果再出现一次,「首周价差不作数」就可以当成一条经验来用。

来源

引用与数据Markdown 镜像