Reflection 的 Beam:独立评测证实了「省」,排名是美国开放权重第二
Reflection 放出 501B 开放权重 Beam(Apache 2.0)。独立评测:美国开放权重第二、全部开放权重第十;用的词元少,单价偏高,终端测试与幻觉率是短板。

先说结论:Reflection 的第一个模型 Beam 在 10 月 16 日放出了权重。它最站得住的两点是许可证和用量:Apache 2.0,允许商用、修改和再分发;独立评测也证实它做题用的词元明显少于同档模型。至于「强」,独立评测给的位置是美国开放权重第二、全部开放权重第十,终端类任务和幻觉率是明显的短板。
这周已经是第三个「美国开放权重」新模型了。前两个,Meta 的 Muse Spark Open 和 NVIDIA 的 Nemotron 3.5 Super VL,我们分别写过标题里的限定词和尺寸分档。当时 Beam 的权重还拿不到,Meta 的对比表里只能引用 Reflection 的自报数字。现在权重和独立成绩都出来了,可以对一对账。
发生了什么
Reflection 是一家美国新实验室,Beam 是它的第一个模型。按官方博客(企业宣称):总参数 5010 亿、每个词元激活 230 亿的混合专家模型,只收文本,上下文 100 万词元,主打编程、推理和长时间运行的智能体任务;权重以 Apache 2.0 许可证发布在 Hugging Face,同时开源了配套的命令行工具 Mirror,上线时号称有 40 多家合作方和集成,云厂商与推理服务商可直接调用。
Hugging Face 与 Reflection 合写的技术博客补充了部署门槛(背景资料):BF16 权重约 1TB;4 位精度的 NVFP4 版本约 280GB,两张 B200 勉强放得下,建议用四张。也就是说,这是给企业机房和云服务商的模型,不是给个人电脑的。
厂商说了三件事,独立评测各给了什么答案
第一件:「推理效率是前沿水平」。这一条被证实了。 Reflection 在 10 月 5 日的预览文章里说,Beam 在推理测试上与 GLM-5.2 成绩相当,所需推理算力少 3 到 4 倍(企业宣称;这个算力是按「激活参数 × 生成词元」估出来的,不是实测账单)。Artificial Analysis(下称 AA)独立跑了自己的综合指数:Beam 每道题平均输出约 2.6 万个词元,分数只比它高 1 分的 K2 Horizon 要用约 5.2 万个,整套测试 Beam 共输出 7900 万词元,同档中位数是 1.3 亿(第三方评测)。口径不同,但方向一致:它确实「想得短」。
第二件:「推进了西方开放权重的前沿」。这一条要加限定。 AA 综合指数给 Beam 30 分,美国开放权重里排第二,在 Meta 的 Muse Spark Open(39 分)之后、NVIDIA 的 Nemotron 3.5 Super VL(26 分)之前;放进全部开放权重,它排第十(第三方评测)。值得说明的是,Reflection 自己并没有说最强。它的预览对比表里,Kimi K3、GLM 5.3、DeepSeek V4.1 Flash 在它们有报告的编程与终端项上大多高于 Beam,原文也写明 Kimi K3 这类模型「在原始能力上仍然领先」(企业宣称)。这一点比 Meta 的「美国最强」措辞更克制。
第三件:编程与终端任务成绩。这一条换了考卷,差别很大。 Reflection 自报 Terminal Bench v2.1 得分 80.1%(企业宣称)。AA 用的是更新的 Terminal-Bench 4.0,Beam 只有 3.0%,低于 Muse Spark Open 的 8.1%,也低于一个 270 亿参数的 Qwen3.8 27B 的 5.6%(第三方评测)。这两个数字不矛盾,它们不是同一份考卷;AA 列出的对比模型在 4.0 上也都是个位数,可见这一版整体难得多(分析推断)。但它说明「终端 80 分」只在 v2.1 这个版本上成立,换一份更难的卷子,Beam 的相对位置就往后掉了。AA 用 Reflection 自家的 Mirror 工具跑编程智能体指数,Beam 得 28 分,比排在它前面最近的组合(Claude Code 配 Qwen3.8 Max,43 分)低 15 分,比最高的 68 分低 40 分;好处还是省,只有两套组合用的词元比它少(第三方评测)。
两个容易被漏看的数字
单价不便宜。 AA 页面列出的标价是每百万输入词元 0.70 美元、输出 2.10 美元,同档开放权重中位数是 0.43 和 1.68 美元,AA 的原话是「有些贵」;跑一道综合指数题平均花 0.57 美元,输出速度每秒约 228 个词元,在同档里很快(第三方评测)。用得少、单价高,两者相抵之后按任务算贵还是便宜,取决于你的任务有多长、要多少推理,我们没有在 AA 页面上找到可以直接比较的同档中位数,所以不下结论。
知道得多,也编得多。 AA 的知识可靠性测试奖励答对、惩罚答错、不惩罚拒答。Beam 答对了 33% 的题,明显高于 K2 Horizon 的 18% 和 Qwen3.8 27B 的 16%;但幻觉率是 47%,后两者分别是 26% 和 30%。相抵之后的净分 1.5,仍然高于两者(第三方评测)。对要用它查事实的场景,这意味着答案要有出处可查,不能只看它说得多肯定。
另外,厂商自己的数字也在动。同一个 SWE-bench Verified,10 月 5 日预览写 80.9%,10 月 16 日 Hugging Face 博客转载的最终成绩写 81.6%;Reflection 在预览页注明 10 月 8 日更新过成绩(企业宣称)。差距不大,但它提醒读者,发布周里的自报成绩不是定稿。
为什么重要
对普通读者,Beam 的意义不在排名,而在选项。到这周为止,美国的大尺寸开放权重模型里,Muse Spark Open 分数更高,但许可证带「有限的商业条款」;Beam 分数低一截,但用的是 Apache 2.0,企业可以改、可以私有化部署、可以拿去再训练,Hugging Face 博客里给出了监督微调和强化学习的配方。对想把模型放进自己机房的公司来说,许可证往往比 9 分的指数差更早决定能不能用。
对评测这件事,Beam 是一个干净的样本:厂商的效率宣称被独立评测证实,排名宣称本来就克制,而最亮眼的终端分数在新版本考卷上站不住。三件事的结果不一样,说明读发布稿时不能整体信或整体不信,要一条一条问「谁测的、哪个版本、和谁比」。
我们不知道什么
- Beam 的安全技术报告已发布,我们这次没有逐项核对;AA 另测得它在网络安全任务指数上完成 34% 的任务,是 AA 测过的美国开放权重里最高的(第三方评测),这对一个 Apache 2.0 模型意味着什么,需要单独看。
- 按任务算的真实成本。AA 的 0.57 美元是在它自己的题目上,按标价算的;不同托管商价格不同,自建部署的成本又是另一回事。
- Terminal-Bench 4.0 上 3% 的成绩,有多少来自模型、多少来自工具链。AA 的这一项和 Reflection 的 v2.1 各自用什么工具跑,公开材料里写得不够细。
我们的看法
Beam 首先是一个「省」的模型,其次才谈得上「强」,Reflection 自己也基本这么定位。我们会把它当作美国开放权重里许可证最宽松的一档选项来看,而不是前沿的追赶者。什么情况下会改口:如果更多独立评测(尤其是多次重复、公开工具链的编程与终端测试)显示它和 Kimi K3、GLM 5.3 的差距明显缩小,或者第三方算出它按任务计的成本稳定低于同档模型,我们会上调这个判断。
接下来看什么
- Reflection 说已经在训练下一个模型,以及「几天内」放出自蒸馏配方(企业宣称)。
- 更多独立榜单与托管商的价格是否陆续公布,尤其是按任务计的成本。
- 这周三个美国开放权重模型的真实采用情况:下一期 Vercel 等平台的生产流量数据里,它们能分到多少调用和花费。