NewToken 新词元关注新智能
读懂

OpenAI 决策接口只收输入费,每题比多数对手贵

OpenAI 决策接口正式开放,每百万输入 token 0.1 美元、输出免费。独立实测里,它每题成本高于 16 个决策模型中的 12 个,总分第 14。

专题OpenAI:持续追踪 · Artificial Analysis:持续追踪主线模型竞争

读懂|OpenAI 决策接口只收输入费,每题比多数对手贵
本文提纲6 节
  1. 决策模型是什么
  2. 按题算,账是另一本
  3. 它说的把握,和它实际对的比例
  4. 最强反方
  5. 我们不知道什么
  6. 接下来看什么

决策模型开始按每道题的成本和准确度比较,每百万 token 的标价已经说明不了谁便宜。

先说结论。10 月 22 日,OpenAI 把决策接口(Decisions API)正式开放给所有客户,标价是每百万输入 token 0.1 美元,输出不收费,听起来是这一类里最省事的选择。但按 Artificial Analysis(下称 AA)用同一套题实测的结果,它每道题的平均成本比榜上 16 个决策模型里的 12 个都高,总分排第 14。我们的看法是:这个接口眼下能拿出手的是速度、图片输入和「已经在用 OpenAI」的便利,不是价格和准确度。

决策模型是什么

决策模型只做一件事:给定一段材料和几个固定选项,一次调用就选出一个,并给每个选项一个概率。智能体里大量的小判断都是这种题,比如这条工单归哪个部门、这条命令危不危险、要不要先向用户追问。据 TechCrunch 的报道,这个品类由创业公司 TypeSafe 的 Jev 带起来,OpenAI 的产品负责人 Nikunj Handa 说,团队看到 Jev 后决定做自己的版本,办法不是专门训练一个模型,而是把 Luna 改成更快、更便宜的推理方式,「现在就是普通的 Luna 在干活」。他说响应时间从 1 到 3 秒缩到 100 到 180 毫秒;客户 Speak 的 CTO 说,两次动作之间的间隔从 1.4 秒降到 0.13 秒。这些数字是公司与客户自述,按媒体报道处理。

OpenAI 的文档写明,目前只支持 gpt-6-luna 一个模型;未缓存输入每百万 token 0.1 美元,缓存读写按 Luna 的标准缓存价计,输出不计费;区域处理和长上下文另有加价。文档还说它比普通的 Responses 接口快约 10 倍,单次请求最多可问 400 个问题,可以输入文字、图片和 JSON。

按题算,账是另一本

AA 的决策模型榜让每个模型做同一套四项测试:知识题(含能不能说「不知道」)、人类终极考试的选择题、判断该不该调用工具、内容安全分类,四项各占四分之一。我们在北京时间 10 月 23 日约 13:20 读取了这张榜的页面数据,几组数字放在一起看:

  • OpenAI 的 GPT-6 Luna(决策接口):总分 48.5,平均每题 168 毫秒,折合每百万道题 78.87 美元。
  • Liquid AI 的 d1-ultra:总分 65.2,每题 93 毫秒,每百万道题 31.80 美元。
  • Baseten 的 Elephant 9B:总分 64.7,每题 165 毫秒,每百万道题 8.39 美元。
  • TypeSafe 的 Jev 1.14:总分 57.1,每题 78 毫秒,每百万道题 41.53 美元。

同一套题、同一个分母下,OpenAI 每题的成本约是 d1-ultra 的 2.5 倍、Elephant 9B 的 9.4 倍、Jev 1.14 的 1.9 倍;16 个决策模型里只有 3 个比它贵。速度上它也不占先:168 毫秒和 Handa 说的区间对得上,但 Jev 1.14 和 d1-ultra 都在 100 毫秒以内。TechCrunch 同样写到,它在 AA 的榜上排第 14、在另一张 AIM System One 榜上排第 8。

为什么标价最低档、按题却贵?分析推断(依据:AA 每百万道题 78.87 美元,除以文档里每百万输入 token 0.1 美元):如果全部按未缓存输入计费,OpenAI 平均每道题计了约 789 个输入 token。这比一道选择题的字面长度多,可能来自接口在后台套用的说明文字、按请求而不是按题计费的方式,或者 AA 的调用方式。究竟是哪一种,文档和榜单都没写。

它说的把握,和它实际对的比例

决策模型的卖点之一是给出概率,开发者拿它设阈值:把握高的自动放行,把握低的转人工。OpenAI 的文档也建议用自己带标注的样本设阈值。AA 同一页的数据显示,OpenAI 决策接口给出平均约 98% 把握的 3710 个回答里,实际对了 87.9%;平均把握约 85% 的 668 个回答,实际对了 57.6%;把握约 74% 的那一档,只对了 46.3%。在没答对的知识题里,它回答「不知道」而不是给出错误答案的比例是 10.1%,d1-ultra 是 84.5%,Elephant 9B 是 93.2%。分析推断(依据:上述校准分档):直接把它报的概率当成正确率去设阈值,会放过比预想多的错误。

最强反方

最有力的反驳是:AA 的四项测试不是大多数客户的真实工作。据 TechCrunch,Box、Datadog、Ramp、Speak 参与了早期试用;真实业务里的判断题往往共享大段材料,能用上文档里的缓存折扣,图片题也可能更多。Handa 说 Luna 在图片分类上「校准得更好」,而据 AA 的方法说明,人类终极考试部分只取了不带图片的选择题,总分并不单独反映图片题。对已经把数据和权限放在 OpenAI 账户里的团队,少接一家供应商本身就是成本。TypeSafe 的 CEO 也劝大家别信榜单、拿自己的任务试。

这些我们部分接受:榜单不能替代自家任务的测试,图片题上它可能更强。但我们仍坚持主论点,因为两点不受这个反驳影响:一是每题成本是同一套题、同一个分母下的比较,「每百万 token 0.1 美元」并不自动等于每道题便宜;二是概率校准偏乐观,这在任何任务上都要先自己核对。如果 OpenAI 公布按题计费的口径、证明 AA 的成本算法高估了它,或者带图片的独立测试里它排到前列,我们会改口。

我们不知道什么

我们不知道 AA 的每题成本是怎么算的:是按标价乘以实际计费 token,还是含了缓存;方法页没有写成本口径。我们也不知道为什么 OpenAI 每题会计到约 789 个 token。Subquadratic 同日发布的 SubQ Snap 1.1 自称在 AA 榜上以 65 分并列第一,并把价格降到每百万 token 0.04 美元;但在我们读取的 AA 页面数据里,它只出现在模型列表中,没有找到总分,这个排名暂按企业宣称。OpenAI 说以后可能为决策任务专门训练,何时、效果如何都没有公开。

接下来看什么

一看 OpenAI 是否公开按题计费的说明,或者出现专门训练的决策版本;二看 AA 何时补上 SubQ Snap 1.1 的总分、是否加入图片题;三看 OpenRouter 这类平台上各家决策模型的实际调用量,TechCrunch 说目前在 OpenRouter 上调用最多的是 TypeSafe。站内此前写过 Perplexity 决策模型在新领域题上的表现,见那一篇。

来源

引用与数据Markdown 镜像