NewToken 新词元关注新智能
读懂

决策指数的第一名换成了 Liquid 的 75 分

Liquid 发布 d1.2-ultra,独立决策指数综合分 75,24 个里第一。同价上一代是 71 分。更便宜的 d1.2 是 69 分,成本和速度更好,但分数不是第一。

专题Artificial Analysis:持续追踪主线模型竞争

读懂|决策指数的第一名换成了 Liquid 的 75 分
本文提纲4 节
  1. 75 分买到的是名次,成本和耗时贴着中位
  2. 上一代同价旗舰是 71 分、301 毫秒
  3. 便宜那一档综合分是 69,过不了 70
  4. 新任务和高校准写在公司自己的测试里

独立决策指数上的第一名,被 Liquid 同价换代后的旗舰模型换成了 75 分。

11 月 16 日,Liquid AI 发布决策模型 d1.2 和 d1.2-ultra,官方博客把后者写成 Artificial Analysis 决策指数 v2.1 的第一名。我们北京时间 17 日傍晚打开指数页,综合分是 75,24 个里排第 1。

我们的看法是:这是一次把旗舰分数送到第一的同价换代。更快更便宜要看另一档,那一档没有第一名。

75 分买到的是名次,成本和耗时贴着中位

我们打开的 d1.2-ultra 指数页还给出了每题耗时和每百万题成本:

  • 综合分 75,第 1,比中位分 66 高 9 分
  • 每题 218 毫秒,第 14,慢于中位的 209 毫秒
  • 每百万题 133 美元,第 11,中位是 135 美元
  • 输入标价每百万词元 0.042 美元,上下文窗口 66k

第二名 Drex Max v1.1、第三名 SubQ Snap 1.2、第四名 GLiDE v1.2,综合分都是 73。官方说领先此前最高分 2 分,和我们核到的第二档成绩一致。

官方文档把每题输入上限写成 65,536 词元,与 66k 是同一档。指数页写明支持文本和图片输入。音频写在这份官方文档里,没有出现在我们打开的独立指数页上。

MarkTechPost 11 月 17 日的报道转述了 75 分,以及随后三名综合分都是 73,与我们打开的页面一致。

上一代同价旗舰是 71 分、301 毫秒

我们同时打开了仍列在榜上的 d1-ultra 页:综合分 71,排第 6;每题 301 毫秒,排第 23;每百万题成本同样是 133 美元,输入标价也是 0.042 美元,上下文窗口是 33k。

官方文档已把 d1-ultra 标为弃用,并写明旧模型不再支持新任务和音频。迁移时把型号改成 d1.2-ultra 即可,请求格式不变。

同价换过来,独立综合分从 71 提到 75,耗时从 301 毫秒降到 218 毫秒,上下文从 33k 扩到 66k。这 4 分和少掉的 83 毫秒,是这次换代里能在独立榜上核对的变化。83 毫秒是 301 减 218,由编辑计算。

便宜那一档综合分是 69,过不了 70

d1.2 的指数页上,综合分是 69,24 个里排第 9,高于中位的 66,但低于 Perplexity Decider v1.3 的 70。每题 150 毫秒,快于中位的 209 毫秒;每百万题 63 美元,成本排第 3,输入标价每百万词元 0.02 美元。

我们 16 日写过,Decider v1.3 换代后独立综合分仍是 70,当时 22 个模型里排第 6,每百万题 68 美元,每题 289 毫秒。

今天打开它的指数页,综合分还是 70,每百万题还是 68 美元,每题还是 289 毫秒,排名变成 24 个里的第 7。分析推断(依据:指数模型数从 22 增到 24,Decider 的三项读数未变):名次下滑来自新模型进入榜单,不是它自己掉分。

官方把 d1.2 写成按成本看分数最高的一档。我们没有把全部更便宜的模型逐个打开,不能替它背书这条结论。已经打开的 Decider Flash v1.3,每百万题 34 美元、成本第 2,综合分是 64,低于 d1.2。

新任务和高校准写在公司自己的测试里

官方博客列出五项新任务:读值、抽片段、在图上画框、估计数量、多选。它写明还没有公开基准覆盖这些任务,成绩来自公司用公开数据集留出部分自建的内部测试,例如收据读值 d1.2-ultra 为 98%、d1.2 为 96%。这些数字按企业宣称处理,不能改写 75 分和 69 分。

同一篇博客还给出一组 13 项基准、22,505 道题上的校准误差:d1.2-ultra 为 0.8 个百分点,d1.2 为 1.2,Jev 1.14 为 2.7,Decider v1.3 为 3.7,GPT-6 Luna 决策接口为 7.2。这是公司自己的对照,不是 AA 指数页上的分项读数。

最有力的反驳是:决策指数测的是固定选项的判断、抽取和概率校准,本来就不测画框、读值和音频。如果工作刚好是这些新任务,75 分说明不了新能力好不好。这一点我们接受。独立榜回答的是原来那类决策题谁分更高;新任务目前只有公司自测。二者不要并成一句「全面第一」。

官方还写了将登上 OpenRouter 和 Vercel,这是计划,不是已经上线。

要在独立榜上拿最高分,现在就用 d1.2-ultra,按接近中位的 133 美元每百万题去用,别指望它更快或更便宜。要省钱和速度,用同系列的 d1.2,综合分是 69,过不了 Decider 已经站住的 70。厂商的新任务,只能先当企业自测。

来源

引用与数据Markdown 镜像