IBM 说自托管省五到十倍，省在缓存上

开放模型自己部署省不省钱，开始取决于推理调度软件把缓存复用做到多高，而不只是模型本身的单价。10 月 20 日，由 Red Hat、IBM、Google Cloud、CoreWeave 和英伟达发起的开源推理框架 llm-d 发布 1.0 版，IBM 在发布稿里再次用了一个醒目的数字：自托管开放模型，每词元成本比买同款模型的商用 API 低五到十倍。

先给结论：这个倍数不是假的，但它是在缓存命中率很高、几千个智能体同时跑满的条件下得出的，而且 IBM 没有公开它拿哪个 API 价、按什么租卡价来比。我们按公开数字重算后发现，对照价是否计入缓存折扣，会让「省五到十倍」需要的租卡价相差约 2.5 倍。读这个数字，应该把它当成方法的上限，不是企业自建的常态。

发生了什么

据 llm-d 在 GitHub 上的 1.0 发布说明，这一版的重点是生产运维：多租户的优先级与公平调度、路由高可用和不停机滚动升级、把预填充与解码副本当成一个整体管理，以及让多轮对话的请求尽量落回已经存有其上下文缓存的机器。路由配置接口升到 v1，意味着使用方可以按这一版做标准化部署。

据 IBM Research 的 1.0 博客，这些技术本身不是新的，新的是它们在真实流量下能一起工作。博客给出两个和钱有关的数：一次智能体写代码的测试里，按前缀匹配的路由拿到了可复用缓存的 97%；另一次演示中，IBM 和 Red Hat 让 3000 个软件工程智能体同时运行，成本比「把同一个开放模型当作服务购买的实际价格」低五到十倍。

IBM 发布稿还列了用户：JetBrains 称 llm-d 已在其免费的 Junie Lite 方案背后承担了相当一部分流量，DigitalOcean 称它的无服务器推理和托管智能体用 llm-d 作为基础软件。发布稿另提到一个量子纠错研究的案例，推理成本比全用闭源模型的配置低 11.5 倍，缓存命中率约 98%，综合成本约每百万词元 0.11 美元。这三个都是企业自述。

五到十倍是怎么来的

这个数字最早出自 IBM Research 9 月 8 日的测试博客。团队把智谱的开放模型 GLM-5.2（约 7530 亿参数，激活约 390 亿）部署在 544 张英伟达 H100 上。在 2500 个智能体并发这个「舒适运行点」，系统每分钟处理 7612 个请求，输入峰值每分钟 1.3489 亿词元，输出峰值每分钟 605 万词元，没有请求被抢占。博客写的成本结论是：「按当前云上租卡价」，比同等商用 API 便宜五到十倍，节省最大的是输入为主的智能体流量。

同一篇博客给了两个更关键的条件。第一，智能体流量几乎全是在反复读上下文：在此前一项研究分析的 219 个真实 Claude Code 会话里，请求中位数约 19.5 万词元输入，只产出 317 个词元；96% 的主智能体请求，至少有九成输入和上一次请求一字不差。第二，测试中 85.2% 的输入词元由缓存提供，只有 14.8% 需要重新计算。换句话说，llm-d 省下的主要是「重复读同一段代码」的算力。

换一种对照价，倍数会变

博客没有写明租卡价，也没有写明对照的 API 是哪家、是否计入缓存折扣。我们能做的是倒推：按公开数字算出「自建和买 API 打平」时每张 H100 每小时值多少钱。

对照价用 GLM-5.2 的原厂价。据 Z.AI 价格页，每百万词元输入 1.4 美元、缓存输入 0.26 美元、输出 4.4 美元。

分析推断（依据：IBM 9 月博客的峰值吞吐与缓存比例、Z.AI 价格页；输入与输出峰值未必同时出现，下面的数偏乐观）：

• 如果输入全部按 1.4 美元计，这些流量每分钟约值 215 美元，折合每张 H100 每小时约 23.8 美元。要做到便宜五到十倍，自建成本得在每卡每小时 2.4 到 4.8 美元之间。
• 如果 API 也像自建一样，对 85.2% 的缓存输入按 0.26 美元计，同样的流量每分钟约值 84 美元，折合每卡每小时约 9.3 美元。要便宜五到十倍，自建成本得压到每卡每小时 0.93 到 1.86 美元。

分析推断：两种口径下的盈亏点差了约 2.5 倍。高缓存命中让自建系统少算了约 85% 的输入，而 API 的缓存价同样会让买方少付大部分输入费，同一个条件两边都占便宜。IBM 的倍数如果是拿不打折的输入价比，优势会被放大；如果已经按缓存价比，那它隐含的租卡价相当低。哪一种，我们无法从公开材料判断。

我们在 DeepSeek 开源推理引擎那篇里写过，DeepSeek 这次开源了推理引擎，但撑起它低价的缓存存储与跨实例调度没有放出来。llm-d 开源的正是缓存与调度这一层，企业想自己做出低价，多了一套现成工具；分析推断：能不能做到，取决于自己的流量像不像 IBM 的测试。

最强反方

反方会说：我们的倒推对 IBM 不公平。第一，IBM 用的是云上租卡价，已经自有 H100 集群的企业，边际成本可能远低于租价，五到十倍对它们反而保守。第二，自建的价值不止价格，还有数据不出门、不受单一模型厂商的限流和改价影响，发布稿也是这样表述的。第三，JetBrains、DigitalOcean 这样的公司已经把它用在生产里，说明不只是演示。

这些我们都接受一部分。自有集群的企业确实可能比租卡更便宜，数据控制也是真实的理由。但我们坚持的是读数方式：五到十倍出现在 85% 以上输入命中缓存、几千个智能体同时跑满的条件下，分析推断（依据：IBM 博客给出的是峰值与压力测试，没有公布长期平均负载）：一般企业的业务流量有峰谷，未必能长期保持这种负载；闲置的卡同样要付钱，运维团队的人力也没有算进去。至于 JetBrains 和 DigitalOcean，它们证明的是软件可用，没有公布各自省了多少。

我们不知道什么

我们不知道 IBM 采用的租卡价是多少，对照的是智谱原厂 API 还是第三方托管商的价，也不知道是否计入了缓存折扣。我们不知道这套部署在内部真实业务里的平均负载有多高，峰值吞吐和长期平均之间差多少。发布稿里 11.5 倍的案例，比较对象是「全用闭源模型」，和五到十倍不是同一个口径，不能放在一起看。JetBrains 与 DigitalOcean 的实际成本变化也没有公开。

接下来看什么

一是 llm-d 社区或 Red Hat 是否公开成本测算的算法，包括租卡价与对照价；二是有没有独立机构用同一模型、同一流量，对比自建与托管 API 的每任务成本；三是托管平台会不会继续压低缓存价，这会直接改变自建的倍数。