NewToken 新词元关注新智能
读懂

DeepSeek 新 Flash 的第三方成绩出来了:每题便宜近一半是真的,更快没有测出来

第三方复测 DeepSeek 新 Flash:每题成本从 0.49 降到 0.26 美元,每题用时几乎没变,输出只少约 16%,仍比同档中位数多五成。

专题Anthropic:持续追踪主线模型竞争

读懂|DeepSeek 新 Flash 的第三方成绩出来了:每题便宜近一半是真的,更快没有测出来
本文提纲6 节
  1. 发生了什么
  2. 拆开看:哪些被证实,哪些没有
  3. 省下的钱从哪来
  4. 最强反方
  5. 我们不知道什么
  6. 接下来看什么

DeepSeek 新 Flash 的「更省钱」第一次有了第三方读数,「更快完成」却没有被测出来。10 月 18 日,Artificial Analysis(下称 AA,一家独立评测机构)放出了 V4.1-Flash-1017 的复测结果,Arena 的网页开发榜也在同一天更新。

先给结论。按 AA 的数,同一套测试里,新版每题平均成本从 9 月版的 0.49 美元降到 0.26 美元,降了约 47%,分数从 39 升到 45,这两点和 DeepSeek 的说法方向一致。但 DeepSeek 发布说明里「更快完成任务」这一条,AA 的每题用时几乎没变;「输出更短」按总量只短了约 16%,而且输出量仍比同档模型的中位数多五成。10 月 17 日我们在 deepseek-flash-1017-cost-per-task 里写「省钱主要来自输出变短」,按这次的第三方数据,这句话要收窄。

发生了什么

据 AA 的 1017 模型页(北京时间 10 月 19 日下午读取,第三方评测),V4.1-Flash-1017 在最高推理档(Max)下的 AA 智能指数为 45。这个指数是 10 项测试的加权平均,包括 Terminal-Bench 4.0、GDPval-AA、AutomationBench-AA、HLE、SciCode 等。页面上的其他读数:

  • 每道指数测试题的加权平均成本 0.26 美元,按 DeepSeek 官方接口的每百万输入词元 0.30 美元、输出 1.20 美元计算;
  • 跑完整套指数共输出 2.1 亿个词元,页面写明同尺寸开放权重模型的中位数是 1.4 亿,并把它归为「非常啰嗦」;
  • 输出速度每秒 230.4 个词元。

AA 的 9 月版模型页给出了同一口径下的对照:指数 39,每题成本 0.49 美元,输出 2.5 亿个词元,速度每秒 231.2 个词元,单价同样是 0.30 美元和 1.20 美元。两页都标注使用 v4.3.2 版指数。

Arena 的网页开发榜(10 月 18 日更新,北京时间 10 月 19 日下午读取,第三方评测)上,1017 版得分 1664,误差正负 15,计入 1830 票,排第 12 位,名次区间第 8 到第 16;9 月 10 日版得分 1619,排第 25 位。在这张榜上标注 MIT、Apache 等开放许可的模型里,1017 版分数最高。作为参照,Opus 5 最高档得分 1689,排第 7。

拆开看:哪些被证实,哪些没有

我把 AA 两张模型页上的分项逐个对了一遍(数字取自页面内嵌的图表数据,第三方评测)。

被证实的:变便宜,分数上升。 每题成本降约 47%,单价没变,所以省下的是用量。分数方面,Terminal-Bench 4.0 从 26.8% 升到 33.8%,HLE 从 39.2% 升到 43.3%,GDP.pdf 全部通过率从 12.8% 升到 17.2%。对照 Hugging Face 模型卡上的自测(企业宣称),HLE 自测从 36.8 升到 42.6,和 AA 的读数接近;Terminal-Bench 4.0 自测是 31.2 到 42.3,模型卡注明用 Claude Code 框架,AA 用的是自己的测法,绝对值低了一截,涨幅也从 11.1 分缩到约 7 分。

没有被证实的:更快。 DeepSeek 发布说明(官方文件)把这次更新概括为更好的成绩、更快完成任务、更短的输出。AA 页面图表里的每题加权解码用时,1017 版约 282,9 月版约 287,只少了不到 2%;输出速度也基本持平。按 AA 的测法,新版做一道题花的时间和旧版差不多。

出现反向信号的: AutomationBench-AA 的部分得分从 68.9% 降到 66.6%,长上下文推理 AA-LCR 从 84.0% 降到 82.7%。DeepSeek 自测的 Automation-Bench v1.0.6 是 54.8 升到 60.5。两者不是同一版本、同一计分法,不能直接相减,但至少说明「11 项全部提高」只在 DeepSeek 自己的测法里成立。

还有一个值得写下来的变化。AA-Omniscience 的幻觉率(没答对的题里,硬答而不是承认不知道的比例)从 96.5% 降到 66.8%,同时答对率从 46.4% 降到 42.9%。分析推断:新版更常承认不知道,代价是少答对一些题;依据是这两个分项同时下降,且这项测试对答错扣分、对承认不知道不扣分。对要把模型接进流程的人来说,少瞎答通常比多答对几题更值钱,但这需要在自己的任务上验证。

省下的钱从哪来

10 月 17 日那篇写,单价没变时每题成本下降「主要应来自用量减少」,并把它和「输出更短」挂在一起。这次 AA 的数让这句话要收窄。

分析推断:每题成本降了约 47%,输出词元总量只少了约 16%,单价相同,单看总量,输出变短解释不了大部分节省。可能的来源有两类,一是输入和缓存命中的词元变少,比如智能体任务里来回的轮数减少,每轮要重读的上下文就少;二是节省集中在指数里权重较高的几项测试上,而输出总量是不加权的合计,如果是这种情况,输出变短仍可能是主因。依据是 AA 页面写明成本按输入、缓存命中、缓存写入、推理和回答词元分别计价再按指数权重加权。AA 的公开页面没有给出两个版本的输入词元对比,所以我们分不清这两类各占多少。

还有一个账单上的细节。AA 用的是 DeepSeek 官方接口的高峰价。10 月 17 日那篇引用的价格页写明非高峰时段减半。分析推断:如果任务全部在非高峰时段跑,同样的用量每题成本会接近 0.13 美元;依据是价格页的减半规则,前提是 AA 的用量在非高峰时段不变。

最强反方

最有力的反驳是:AA 的每题用时只计解码时间,不计首个词元之前的等待和其他开销,而 DeepSeek 说的「更快完成任务」指的是智能体从开始到做完的总时长,可能来自更少的轮数和更少的工具调用,AA 这个字段恰好测不到。再说,每题成本降了近一半,本身就意味着做的事少了,做的事少,总时长大概率也短了,单看解码用时否定「更快」并不公平。

我在这里部分让步:AA 的用时字段确实不是端到端时长,我不能据此说新版「没有变快」,只能说「按 AA 的测法没有测出来」,标题也是这么写的。但我仍坚持论点的另外两半。第一,「变便宜」被证实,是在同一机构、同一指数版本、同一单价下前后两个版本的对比,这是这次最可靠的读数。第二,输出总量只少了约 16%,单看总量撑不起将近一半的成本下降;除非节省恰好集中在高权重的测试上,而 AA 没有公开这一层数据,所以「省钱主要靠输出变短」目前证据不足,这一点和计时口径无关。如果 AA 或其他第三方给出端到端任务时长,显示新版明显更快,我会改口。

我们不知道什么

我们不知道 AA 两次评测之间的输入词元和缓存命中各变了多少,因此说不清省钱的具体构成;不知道 AA 页面上每题用时的单位(页面一处写分钟、一处写秒),只能比较相对变化;不知道 AutomationBench-AA 下降是否在误差范围内,页面没有给出分项的置信区间。Arena 网页开发榜的分数来自用户投票,不是测试是否通过,1830 票也还不多,名次区间横跨第 8 到第 16。我们也没有看到 1017 版在中低推理档下的第三方成本数据,而很多人实际用的并不是最高档。

接下来看什么

三件事。AA 是否补出 1017 版在中低推理档的成绩与成本;Arena 票数增加后 1017 版的分数是否稳在 1660 一线;以及 DeepSeek 的 Search 和 Fetch 接口按发布说明在 10 月 31 日(UTC)开始计费后,智能体任务的总账单要不要在每题成本之外再加一项。

来源

引用与数据Markdown 镜像