NewToken 新词元关注新智能
读懂

Modal 说英伟达 Vera 让沙箱吞吐翻倍:翻倍出现在挤满容器的时候,换成每美元还缺一个价格

Modal 自测 50 个智能体任务:单跑时 Vera 领先不多,塞满容器后吞吐最多翻倍。变的是 CPU 的比法;价格、上线时间和第三方复测都还没有。

专题NVIDIA:持续追踪主线算力与资本

读懂|Modal 说英伟达 Vera 让沙箱吞吐翻倍:翻倍出现在挤满容器的时候,换成每美元还缺一个价格
本文提纲6 节
  1. 发生了什么
  2. 把数字并排放
  3. 为什么这件事落在算力账本上
  4. 最强反方
  5. 我们不知道什么
  6. 接下来看什么

智能体沙箱让 CPU 的比法从单个任务多快,变成了一台机器同时塞得下多少任务。10 月 19 日,云算力公司 Modal 发文说,英伟达的 Vera CPU 在它的沙箱测试里,挤满容器后的任务吞吐最多是同类 x86 机器的两倍;同一天路透社报道,Modal 计划第一次在自己的机群里用上英伟达的 CPU。

先给结论:这个「两倍」值得认真看,但要看对地方。它是 Modal 自己设计的基准、在英伟达送来的一台样机上、在高并发条件下测出的上限;单个任务单独跑的时候,Vera 的优势并不大。能当依据的是比法的变化,也就是智能体负载把 CPU 的考题换成了「并发密度」;还不能当依据的,是每美元能省多少,以及英伟达在 CPU 市场能拿下多少。

发生了什么

据 Modal 官方博客,英伟达上周把 Modal 的第一台 Vera CPU 服务器送到了它的旧金山办公室。Vera 是英伟达为 Vera Rubin GPU 平台设计的 Arm 架构 CPU,也可以单独作为 CPU 服务器出售。Modal 过去只用 x86 机器,支持 Arm 意味着基础设施和镜像构建系统都要改。

Modal 为此做了一套叫 Agentless Agent Bench 的测试:取 50 个 Terminal-Bench 任务的标准解法和校验程序,去掉所有网络调用,放进预热好的并发容器里,只留下智能体和强化学习真正压在 CPU 上的活,比如编译、搜索文件、git 操作。对照组是 AMD Zen 5、英特尔 GNR(物理机和虚拟机),以及亚马逊 Graviton 4、Graviton 5 虚拟机。

结果分两段。单个任务在空闲机器上串行跑,博客的原话是 Vera 经常更好,但不总是,差距也不算大。容器数加到 50、100、150 个以后,情况变了:Modal 称 Vera 的任务吞吐最多是「同等」x86 GNR 机器的两倍,单个任务的时延持平甚至更低,它把原因归于 Vera 的高内存带宽,每个核能塞更多容器而不被降速。

据路透社的报道,Modal 首席执行官 Erik Bernhardsson 说,Vera 会和现有的英特尔、AMD 机器组成混合机群,每个任务放到跑得最好的硬件上;测试比的是市面上现有的英特尔和 AMD 芯片,两家的新一代产品出来后会再测。

把数字并排放

按周算的习惯,先把这件事里的数字并排放,口径写在括号里:

  • 吞吐最多 2 倍(Modal 自测,Vera 对「同等」英特尔 GNR 物理机,高并发条件,单台样机)。
  • 物理核数:Vera 88 个,英特尔 GNR 128 个,GNR 虚拟机与 Graviton 96 个(Modal 博客图表注释)。
  • 任务数 50 个(Terminal-Bench 标准解法,去掉网络调用,不是真实用户流量)。
  • Modal 上周以 157.5 亿美元估值融资 7.5 亿美元,称未来一年有望实现 10 亿美元销售额,收入同比增长超过 15 倍,用量涨到三倍(据路透社,公司口径)。
  • 沙箱产品年收入 3 亿美元(据 TNW 的报道,Modal 上周自述)。
  • Vera 本财年销售额至少 200 亿美元,英伟达估计这个市场约 2000 亿美元(据路透社,英伟达对投资人的口径)。

这里面没有一个数是第三方测出来的。TNW 也写明,这些结果没有经过独立核实,Modal 没有说搭载 Vera 的沙箱什么时候对客户开放。

为什么这件事落在算力账本上

智能体的工作,大部分时间不在 CPU 上。Modal 在博客里描述得很清楚:一个沙箱多数时候在等大模型回话,偶尔因为一次依赖安装或大范围搜索,CPU 用量冲到平时的十倍。几百个这样的沙箱挤在一台机器上,谁也说不准下一秒谁会冲高,一个租户的突发会拖慢旁边的租户。

这让 CPU 的考题变了。传统做法比的是单核快慢、核数多少;沙箱场景比的是挤满之后还能不能保持原速,也就是每台机器的并发密度。Modal 博客也写到,智能体跑得更快意味着 CPU 时间更少,销货成本随之下降。分析推断:同一台机器塞得下更多任务,单位任务分摊的机器成本就会降低;如果 Modal 的测试在真实流量下大致成立,沙箱云厂商采购 CPU 时会把「高并发下每台机器完成的任务数」放到核数和单价之前;依据是 Modal 自己把 Vera 的价值写成「更高的装箱密度和更宽松的突发保护」,而不是单任务更快。

还有一笔账在 GPU 那边。Modal 指出,强化学习训练多数仍是同步的,一批沙箱里的任务没跑完,GPU 就只能等着。博客的一句话概括得直白:每一秒 CPU 时间的成本不只是那颗 CPU。分析推断:在强化学习环境里,CPU 慢一点的代价按 GPU 的空转时间计价,这会让客户愿意为 CPU 的并发表现多付钱,这也是英伟达能拿 CPU 进场的一个理由;依据是 Modal 对同步训练流程的描述,但它没有给出 GPU 空转的比例。

对英伟达来说,这是把生意从 GPU 往 CPU 延伸的一个具体客户。据路透社,英伟达此前已说 OpenAI、Anthropic、甲骨文和 Perplexity 计划使用 Vera;Modal 是又一家原本只用英特尔和 AMD 的客户。据 TNW,Perplexity 此前报告过写代码任务快 1.5 倍。

最强反方

最有力的反驳是:这不是厂商自吹,而是一个客户的工程团队,用公开任务集搭的测试,结论还和英伟达的设计目标一致;英伟达团队也对 Modal 说,这些结果在意料之中。再加上 Modal 愿意承担迁移到 Arm 的改造成本,说明它对数字有信心,「两倍」已经足以改变 AI 云的 CPU 采购。

我们承认机制这一半站得住:内存带宽决定挤满时的表现,这和 Modal 描述的负载形态是自洽的,单跑差距小、并发差距大,也不像刻意挑出来的结果。但我们不接受把「两倍」直接当采购依据。第一,测试机由英伟达送来,部分结果是在英伟达总部现场看到的,独立性有限。第二,「同等」机器没有定义:Vera 有 88 个物理核,对照的 GNR 有 128 个,比的是整机还是每核、每美元还是每瓦,博客没有说。第三,「最多两倍」是曲线上的最好一段,平均能多出多少不清楚。第四,Modal 写到测试受限于它手里的那台节点,英特尔和 AMD 的新一代也还没参测。所以我们在机制上让步,在数字上坚持保留。

我们不知道什么

  • Vera 服务器的价格和功耗。没有这两个数,「吞吐两倍」换算不成每美元或每瓦的优势,也就算不出 Modal 的毛利能改善多少。
  • 真实流量下的表现。基准去掉了网络调用,真实沙箱里大量时间在等模型和网络,两倍能剩下多少,只有上线后才知道。
  • 上线时间和规模。Modal 没有说何时对客户开放、Vera 会占机群的多大比例,也没有说从哪家云厂商拿货。
  • 英伟达 200 亿美元的 Vera 销售目标里,有多少是单独卖的 CPU,有多少是随 Vera Rubin GPU 平台捆绑出货的。这决定了 Modal 这类订单在账本上的分量。

接下来看什么

一看英特尔和 AMD 的新一代数据中心 CPU 出来后,Modal 是否兑现复测,并公布同一套基准的结果。二看有没有第三方用 Agentless Agent Bench 或类似的高并发测试复现 Vera 的曲线。三看英伟达下一次财报里,是否把 Vera 的独立 CPU 收入单列出来;单列了,200 亿美元才能和英特尔、AMD 的数据中心业务放在同一个口径下比。

来源

引用与数据Markdown 镜像