NewToken 新词元关注新智能
读懂

GitHub 替开发者选模型,跑分差 2 分、花费减半

GitHub 新功能替开发者挑模型,第三方测得 Max 档比 Claude Code 低 2 分、每题花费约一半,日常档尚无独立成绩。

专题OpenAI:持续追踪 · GitHub:持续追踪 · Artificial Analysis:持续追踪 · Anthropic:持续追踪主线模型竞争

读懂|GitHub 替开发者选模型,跑分差 2 分、花费减半
本文提纲4 节
  1. GitHub 写的和第三方测的,对得上的是三项
  2. 60 分是三项测试拉平的,单项差距更大
  3. 省下的钱来自少用词元,账单按模型分别算
  4. Standard 档省不省钱,只有一位客户的话

写代码时用哪个模型,在 GitHub Copilot 里开始由路由系统决定,开发者只选「用多大力气」。GitHub 10 月 28 日宣布 Copilot Fusion 正式可用,它在 Anthropic 和 OpenAI 的几个模型之间按任务挑选和搭配。

第三方机构 Artificial Analysis 测了它的 Max 档:编程智能体综合分 60,比 Claude Code 搭配 Opus 5.5 的 62 分低 2 分,每道题的平均花费约为后者一半。这个结果站得住,但只覆盖 Max 一档。GitHub 文档里供日常工作用的 Standard 档,还没有独立成绩。

GitHub 写的和第三方测的,对得上的是三项

GitHub 在更新日志里给了四个说法。Artificial Analysis 的测评文章能核对其中三个。下表把两边并排放,看哪些有独立数字。

项目 GitHub 的说法 Artificial Analysis 的测量
综合分 60,与 Claude Code 差 2 分以内 比 Claude Code 搭配 Opus 5.5 低 2 分
每题成本 约为对手一半 5.59 美元对 11.42 美元
每题用词元 约为对手一半 720 万,约为对手一半
每题用时 少约 40% 文章未给对比数字

前三行有第三方数字撑着,第四行目前只是 GitHub 自己的说法。Artificial Analysis 写明,它测的是 Max 档在命令行工具 Copilot CLI 里的表现。

60 分是三项测试拉平的,单项差距更大

Artificial Analysis 的这项指数由三个测试等权组成,综合分接近,不代表每类任务都接近。Fusion 在终端操作测试 Terminal-Bench 4.0 上拿到 71 分,在文中列出的系统里排第一。

另外两项拉低了它。在改动代码仓库的 FrontierCode 上,它得 51 分,Claude Code 搭配 Opus 5.5 是 56 分。在回答代码库问题的测试上,它得 57 分,排在 Codex 搭配 GPT-6 Astra 与 Gemini 4 Argon 之间。

同一篇文章还列了另一套多模型组合 Devin Fusion:综合 62 分,每题 8.00 美元。也就是说,同样做路由,有人换来了更高分,有人换来了更低价。

省下的钱来自少用词元,账单按模型分别算

每题词元用量只有对手一半左右,所以便宜不只是因为挑了单价低的模型,也因为干的活少。这是分析推断,依据是 Artificial Analysis 给出的 720 万词元和成本两组数字同时减半。

它怎么少干活,GitHub 文档写了三种做法:

  • 单模型:一个模型直接做完;
  • 逐级升级:便宜模型先起草,评判环节决定接受还是换更强的模型;
  • 互评:一个模型起草,几个模型并行挑错,原模型再改。

文档同时写明,High 和 Max 档一题可能调用多个模型,消耗的 AI 额度会多于 Standard 档。计费按实际用到的每个模型的标准价分别算,Fusion 本身不另收费。2026 年 11 月 30 日前,付费用户用 Fusion 的模型费打七折。

Standard 档省不省钱,只有一位客户的话

对多数团队账单影响更大的是 Standard 档,而它没有被独立测过。这是分析推断,依据是 GitHub 文档把 Standard 定为日常工作档位。

GitHub 在更新日志里引用了 AT&T 工程师 Hari Pokhrel 的话,称 Standard 档自动选模型,减少了开发者忘记切回便宜模型的浪费。这是厂商发布稿里的客户评价,没有附数字。

有人会说,5.59 美元只是一套测试配置的平均数,任务一旦频繁升级到更贵的模型,账单可能比直接用单个模型还高。我们接受这一点:路由能不能省钱,取决于一个团队的任务有多少停在便宜那一步,测试平均数回答不了。

模型池也会变。GitHub 文档写明可用模型会随时间调整,企业管理员排除的模型、数据驻留政策不允许的模型都不会被选到。今天的 60 分描述的是 10 月 28 日那套模型组合。

我们的判断是,多模型路由已经在独立测试里用一半成本逼近单个顶级模型,编程工具的比价开始按「每道任务花多少」来算。等 Standard 档有了第三方成绩,或者企业公开了用 Fusion 前后的额度账单,这个判断才能从 Max 档推广到日常用法。

来源

引用与数据Markdown 镜像