编程智能体换尺子,分差远小于价差
编程智能体指数换成含 FrontierCode 的 2.0 版后,头名只比第二名高 3 分,按任务计费从约 0.3 美元到约 13 美元。
专题DeepSeek:持续追踪 · Artificial Analysis:持续追踪主线模型竞争

编程智能体公开指数换尺子后,顶尖分数挤成一团,比分意义让位给按任务计费。Artificial Analysis 当前公开的 Coding Agent Index 已标成 v2.0:三项基准等权平均,其中最难的那项从 DeepSWE 换成了 Cognition 的 FrontierCode v1.1。
先给结论:在对照页读到的数字里,Claude Code 搭配 Opus 5.5(max)指数 62,比 Muse Code 的 Muse Wonder Full(max)和 Claude Code 的 Sonnet 5.5(max)都只高 3 分;同一套任务上,按词元计费的「每题成本」从 DeepSeek Harness 约 0.30 美元排到 Claude Code Sonnet 5.5 约 13.30 美元。分析推断:3 分的领先在误差与配置噪声面前很薄,约四十倍的价差才是这份榜上更稳的信号;依据是对照页给出的整数指数与榜单「Cost per Task」栏的排序数字。
发生了什么
据 Artificial Analysis 的编程智能体方法页,Coding Agent Index v2.0 是 FrontierCode v1.1、Terminal-Bench 4.0 与 SWE-Atlas-QnA-AA 的等权平均。时间线上写明:2026 年 10 月起,用 Cognition 的 FrontierCode v1.1 替换 DeepSWE v1.1——100 道真实开源仓库上的软件工程任务,按「维护者会不会合并」这类标准打分。
据同站的 编程智能体榜单页,公开指数也标成 v2.0,并写明由上述三项组成。按任务计费一栏(pay-per-token API,含缓存写入与命中折扣,不含订阅套餐)按从低到高排列时,DeepSeek Harness(DeepSeek V4.1 Flash 1017)对应约 0.30 美元,Claude Code 的 Opus 5.5(max)约 11.42 美元,Sonnet 5.5(max)约 13.30 美元。
更细的分项来自 Claude Code 与 Muse Code 对照页:Opus 5.5(max)指数 62(FrontierCode 56%、Terminal-Bench 4.0 63%、SWE-Atlas-QnA-AA 66%,每题 11.42 美元);Sonnet 5.5(max)指数 59(48%/66%/64%,每题 13.30 美元);Muse Wonder Full(max)指数 59(49%/59%/69%),每题成本标成 0.00 美元并注明对照不可用——分析推断:这一格表示该组合没有可用的按词元单价,或计价不在同一口径,不能把它读成「免费」,依据是对照表对该格的说明文字。
尺子本身在量什么
据 Cognition 的 FrontierCode 1.1 说明,任务来自真实开源仓库的变更,评分看的是代码是否达到高质量生产库的标准,而不只是「测例过了没有」。Main 子集 100 题;1.1 版收紧了对「不公平上网抄上游补丁」的处理,并用规则扫描把作弊尝试判零分。Artificial Analysis 方法页写明:它采用的是 FrontierCode v1.1 的 Main 子集,题目本身不公开;Terminal-Bench 与 SWE-Atlas 按通过/失败计,FrontierCode 则在挡住硬性检查后给 70%–100% 的分段分。
把 DeepSWE 换成 FrontierCode,等于公开指数里最重的那块从「长程补丁是否提交成功」偏向「变更像不像能合并的生产代码」。旧版指数上的名次,不能直接拿来和 v2.0 比高低。
为什么重要
对选型的人,这份榜回答的问题变了。指数头名只多 3 分,说明在 v2.0 的公开集合上,好几家「智能体壳 + 旗舰模型」已经挤在同一窄带;再拿「谁多两三分」当采购理由,证据偏弱。按任务计费跨度约四十倍,说明同一套公开题上,账单结构差得更清楚——前提是你的用法接近「按词元付费、含缓存计价」,而不是月费套餐。
分析推断:若团队主要买的是 Claude、Codex 一类订阅额度,榜上的美元数字只能当相对位置参考,不能直接乘到自己的发票上;依据是榜单页写明许多用户通过订阅计划使用编程智能体,而成本图测的是 pay-per-token。
最强反方
反方会说:指数就是能力,价差只是供应商策略。Opus 5.5 在 FrontierCode 上 56%,高于 Muse Wonder Full 的 49%,说明它在「像维护者会合并」的题上确实更好;贵四五十倍如果换来更少的人工返工,总成本未必更高。而且 Artificial Analysis 自己把指数标成主指标,成本只是辅栏。
这一条我们部分接受。FrontierCode 上的 7 个百分点差距是实打实的分项领先,不是噪声故事能抹掉的。我们坚持的是另一点:合成指数上头名只多 3 分,且 Muse 在 SWE-Atlas-QnA-AA 上反而更高(69% 对 66%);在三项等权的规则下,没有一项能单独定义「整体更强」。价差是否被工程节省抵消,这份榜没有测「人工返工」或「合并后缺陷」,所以不能从指数推出总拥有成本。
我们不知道什么
- v2.0 上线的精确日期只写在方法页的「2026 年 10 月 – 当前」区间,榜单页没有单独的发布公告日。
- DeepSeek Harness 那一档的完整指数分项,我们只在成本排序里确认了约 0.30 美元,没有在对照页读到与 Opus 并排的指数整数。
- Muse Wonder Full 的 0.00 美元格具体是「无 API 单价」还是「未测成本」,Artificial Analysis 没有在对照表外另给说明。
- 各智能体壳的默认工具、权限与重试策略是否一致,方法页只概括了尝试次数与评分规则,没有公开每家的完整配置表。
- 订阅制用户的真实每题成本,公开榜刻意不覆盖。
接下来看什么
三件事:Artificial Analysis 是否给 v2.0 补一份与 v1.x 的并列对照,好让读者量出换尺幅度;FrontierCode 公开排行榜与 AA 指数是否继续同向;以及下一次有厂商用「第一」宣传时,是否写明测的是 DeepSWE 旧尺还是 FrontierCode 新尺。
来源
- Artificial Analysis · Coding Agent Index 榜单(v2.0) 第三方评测
- Artificial Analysis · Coding Agents 评测方法(含 v2.0 变更) 第三方评测
- Artificial Analysis · Claude Code 与 Muse Code 对照页 第三方评测
- Cognition · FrontierCode 1.1 企业宣称
引用与数据Markdown 镜像

