NewToken 新词元关注新智能
读懂

腾讯 Hy4 预览版在智能体榜上还排第十吗?

Hy4 预览版「全球第十」是 Arena 九月的数,11 月 1 日榜单上它排第 24,净改善从 5.4% 降到 0.94%,与 Kimi K3 打平,成本低六成。

专题月之暗面:持续追踪主线模型竞争

读懂|腾讯 Hy4 预览版在智能体榜上还排第十吗?
本文提纲4 节
  1. 同一个预览版,两个月前后差了 14 名
  2. 净改善量的是比平均模型强多少
  3. 领先 Kimi K3 已在误差里,便宜六成还在
  4. 九月那组分数当时并不假

不排第十了。凤凰网科技 11 月 4 日报道腾讯混元 Hy4 即将发布,文中「预览版位列全球第十、净改善 5.4%」来自 Arena 九月的一条帖子。Arena 页面标注 11 月 1 日的 Agent Arena 榜单里,Hy4 预览版排第 24,净改善只剩 0.94%。

我们的判断是,Hy4 没有变差,变的是尺子。Agent Arena 的净改善是相对分,强模型一进场,老模型的分就往下掉。拿九月的相对分报道十一月的新模型,读者拿到的是一个早已不成立的名次。

同一个预览版,两个月前后差了 14 名

凤凰网的报道列出的数字,与 Arena 在领英发的帖子逐项一致。帖子写的是 1.45 万次以上会话、净改善 5.4%、单任务中位成本 0.26 美元,Kimi K3(Max)是 6.6% 和 0.80 美元。

领英页面把这条帖子标为一个多月前。分析推断,按帖子编号算,发布时间在 9 月 10 日前后。

把它和 Agent Arena 现在的榜单并排:

项目 Arena 领英帖(9 月) 榜单(11 月 1 日)
净改善 5.4% 0.94%(±0.70)
总排名 第 10 第 24(页面列出区间 17 到 31)
会话数 1.45 万次以上 100,538 次
单任务中位成本 0.26 美元 0.44 美元
Kimi K3(Max)净改善 6.6% 0.86%(±0.57)

按榜单上的许可证数,Hy4 预览版在开放模型里也从第 2 退到第 4,排在小米 MiMo-V2.6-Pro、DeepSeek-V4.1-Flash 和智谱 GLM-5.3 之后。

净改善量的是比平均模型强多少

Arena 在帖子里解释了这个指标:

We use causal tracing methodology to measure a model’s net improvement, which indicates how much it improves outcomes relative to the average model.

也就是说,参照物是榜上模型的平均水平。现在的榜单有 57 个模型、271 万多次会话。前排三个是:

  • Claude Opus 5.5(Max):20.04%
  • Gemini 4 Carbon(High):16.56%
  • GPT-6 Astra(Max):13.68%

分析推断,这批强模型抬高了平均线,Hy4 和 Kimi K3 的净改善一起被压低。两者九月相差 1.2 个点,现在只差 0.08 个点。

第二个原因是样本。Hy4 预览版的会话从 1.45 万次涨到 10 万次以上。分析推断,早期小样本的估计容易偏高,样本变大后数字往回收。

领先 Kimi K3 已在误差里,便宜六成还在

0.94% 对 0.86%,两边的误差范围大面积重叠,Hy4 预览版和 Kimi K3(Max)在这张榜上是平手。还站得住的是成本:0.44 美元对 1.10 美元,Hy4 预览版每个任务便宜六成。

凤凰网拿来对比的 Kimi K3 也不是月之暗面最新的模型。同一张榜上,Kimi K3.1 Pro(Max)净改善 4.70%,排第 13。它的权重还没放出,榜单把它标为闭源。

九月那组分数当时并不假

可以反驳说,Arena 九月的分数当时是真的,Hy4 至今仍略高于 Kimi K3,排序没有反转。

我们同意分数当时不假。但它是相对分,能跨时间比较的只有同一天的相对位置。这个位置在总榜上从第 10 掉到第 24,在开放模型里从第 2 掉到第 4。一个月前的截图不能当今天的名次用。

还有一处没查清:Hy4 预览版的单任务中位成本从 0.26 美元升到 0.44 美元。榜单上它的标价是每百万 token 输入 0.83 美元、输出 2.50 美元,Arena 页面没有说明成本为什么变了。

用 Agent Arena 选模型,只认当天的榜和误差区间。按今天的榜,Hy4 预览版是 Kimi K3 的低价替代品,不是前十的模型。想压智能体成本的团队可以拿它换掉 Kimi K3,想要前排效果的团队,它给不了。

来源

引用与数据Markdown 镜像