NewToken 新词元关注新智能
读懂

微软改图模型盲评第二,名次区间是 1 到 3

MAI Image 2.7 在第三方改图盲评排第二,与 OpenAI 头名差 6 分、在误差内;样本约为对手四分之一,暂无接口。

专题Artificial Analysis:持续追踪主线模型竞争

读懂|微软改图模型盲评第二,名次区间是 1 到 3
本文提纲4 节
  1. 微软说第二,榜单写第 1 到第 3 位
  2. 4,891 个样本对 1.8 万个
  3. 榜上第二,接口一栏是空的
  4. 最差第三,比上一代高 42 分

微软 10 月 27 日发布的改图模型 MAI Image 2.7,在 Artificial Analysis 的第三方盲评里排到第二,只比 OpenAI 的头名低 6 分。但榜单给它标的名次区间是第 1 到第 3 位,样本也只有对手的约四分之一,而且目前没有接口可以调用。

微软的说法和榜单的写法放在一起看,我们的分析推断是:微软进了改图的第一梯队,站在哪一格还没定。

微软说第二,榜单写第 1 到第 3 位

项目 微软发布说明 第三方榜单
名次 Artificial Analysis 第二、Arena 第三 名次区间第 1 到第 3 位
分数 未写 1193,95% 区间 1178–1208
能否调用 在三个试玩入口可用 价格一栏写暂无 API

据 Artificial Analysis 的改图排行榜,前三名的分数和区间如下:

模型 分数 95% 区间 名次区间
GPT Image 2.5 Sunburst(max) 1199 1188–1210 1–2
MAI Image 2.7 预览版 1193 1178–1208 1–3
GPT Image 2.5 Flare(max) 1182 1171–1193 2–3

这套分数来自评审员对两张改图结果的盲选。MAI Image 2.7 和头名只差 6 分,区间大面积重叠,榜单因此写的是第 1 到第 3 位。说它排第二没错,说它已经稳稳压过 Flare、只差 Sunburst 一步,证据还不够。

4,891 个样本对 1.8 万个

同一张榜上,MAI Image 2.7 只有 4,891 个投票样本,Sunburst 是 18,250 个,Flare 是 19,136 个。它的误差是正负 15 分,两款 OpenAI 模型都是正负 11 分。

样本少,区间就宽,名次也更容易随新投票移动。这是分析推断,依据是上面的样本数和区间宽度。和上一代比,变化更确定:MAI Image 2.6 是 1151 分,2.7 高出 42 分,两者区间没有重叠。

榜上第二,接口一栏是空的

微软的发布说明写,2.7 在评测的 10 类用途和 7 种编辑动作上都好于 2.6,在场景与风格一项领先下一名 24 分;分项成绩是微软引用的,我们没有在榜单页逐项核对。

微软说 2.7 目前只能在 Arena、Artificial Analysis 和自家 MAI Playground 上试用,文生图功能之后再上。Artificial Analysis 的价格一栏也写着暂无 API。Arena 的更新日志显示,它在 10 月 27 日被加入改图榜单,微软称排在第三。

对比价格时,两款 OpenAI 模型在榜单上都是每千张图 210.7 美元,上一代 MAI Image 2.6 是 38.9 美元。2.7 的定价微软没有公布,所以现在还算不出它和 OpenAI 每改一张图的价差。

最差第三,比上一代高 42 分

也有理由认为这次排名站得住。Artificial Analysis 给的名次区间最差也是第三,微软称它在 Arena 上同样排第三;它比自家上一代高 42 分且区间不重叠,进步本身是确定的。

微软在改图上已经和 OpenAI 同场,但「第二」这个格子还要等样本补齐、接口和价格公布后再确认,这是基于上述三项对照的分析推断。若下次读取时它的名次区间收窄到第 2 位以内,或微软公布接口价格,我们会更新这篇。

来源

引用与数据Markdown 镜像