NewToken 新词元关注新智能
读懂

Gemini 决策模型在独立榜单 18 个里排第九

谷歌开放 Gemini 决策接口,输入价与 OpenAI 同为每百万词元 0.1 美元。独立榜单上它排第九,每百万题成本是 Jev 的两倍多。

专题OpenAI:持续追踪 · Artificial Analysis:持续追踪主线模型竞争

读懂|Gemini 决策模型在独立榜单 18 个里排第九
本文提纲3 节
  1. 连谷歌自己的账单都显示 Jev 更便宜
  2. 独立榜单上,分数持平而成本翻倍
  3. 录音和视频才是它的位置

谷歌把决策接口的输入价定在每百万词元 0.1 美元,和 OpenAI 一档,单价已经比不出高低,挑模型要看每题花多少、输入是什么。11 月 11 日开放的 Gemini Decision 1 一次能对同一份材料答最多 1,000 道封闭题,谷歌说它在自家测试里领先。

独立的 Artificial Analysis 决策指数给它的位置是 18 个模型里第九,每百万题成本是 Jev 的两倍多。我的判断很直接:它该用在录音、视频、扫描件混在一起的检查单上,只判文字的团队犯不着为它多付钱。

连谷歌自己的账单都显示 Jev 更便宜

据 Google 博客,Decision 1 不逐字生成答案,一次给所有选项打分。端到端耗时 150 至 250 毫秒,单次输入最多 256K 词元,输出不收费。谷歌称它在路由、推理、排序和多模态测试里领先,校准误差也最低。

据 VentureBeat 整理的发布基准,四个模型都跑过的 7 项测试里,Decision 1 赢了 5 项;Jev 1.14 在网页任务和工具调用两项领先。同一组共享测试的花费如下:

  • Gemini Decision 1:0.88 美元
  • Jev 1.14:0.68 美元
  • Gemini 3.5 Flash-Lite(走通用接口):4.14 美元

谷歌宣传的「便宜近 5 倍」,比的是自家通用模型。换成专做决策的对手,谷歌自己公布的数字里它也更贵。

独立榜单上,分数持平而成本翻倍

Artificial Analysis 的决策指数 v2.1 合成六项测评,权重最大的 AA-Paperclip 占 30%,一份简历、发票或论文的 15 个答案整体算一次判断。据 VentureBeat 转引上线时的榜单:

模型 指数分 每百万题成本
Drex Max v1.1 72.62 103 美元
Jev 1.14 66.23 156 美元
Gemini Decision 1 65.98 345 美元
GPT-6 Luna 60.25 339 美元

Gemini 和 Jev 分数只差 0.25,成本差两倍多。原因在单价:据 VentureBeat,Jev 每百万输入词元 0.042 美元,Drex Max 0.03 美元。

AA-Paperclip 的全对率更说明问题:Gemini 只有 33% 的文档 15 题全对,Jev 是 35.5%,Drex Max 是 63%。要求每个字段都对的流程,该看的就是这个数。

据 Google AI Studio 定价页,Decision 1 不支持批量接口,也没有上下文缓存。

同一本政策手册在不同请求里反复送,每次都按全价计费;OpenAI 的缓存读取据 VentureBeat 是每百万词元 0.01 美元。

录音和视频才是它的位置

有人会说,榜单多测文字和图片,没测到 Decision 1 的长处。这个反驳我接受一半。Jev 只收文字、JSON 和可选的图片,Drex Max 收文字、JSON 和图片。Decision 1 能把通话录音、订单数据、扫描件和照片放进同一个请求。

不接受的那一半在于,谷歌在音频和视频测试上的领先,比的仍是自家 Flash-Lite,没有和同样收音视频的 Cloudflare Clef-Omni 同场。所以多模态优势目前是企业宣称。

能托管音视频判断的模型本来就少,Decision 1 的价格和 1,000 题上限在这条赛道上已经够用。这是分析推断,依据是 VentureBeat 对比的几家里,同样收音频和视频的只有 Clef-Omni。

有录音、视频、扫描件要一起判的团队,Gemini Decision 1 值得排进第一轮试点。只给文字工单分流、替智能体选工具的团队,按该榜单的测试组合,选它每百万题要多付 189 美元,换回的分数比 Jev 还低。

谷歌把单价压到了和 OpenAI 一样,每题成本却没压下来,这一轮决策模型比的是每题成本,谷歌在文字赛道上输了这一项。

来源

引用与数据Markdown 镜像