Kimi 开源前削了攻击能力，尺子是自家的

开放权重实验室开始把「不推高网络攻击能力的上限」写成放出权重的条件，并且公布了删数据前后的分数。这次是 Moonshot 为 Kimi K3.1 Pro 写下的。

先给结论。这一节值得记住的是它的写法，而不是它的数字。Moonshot 说删掉训练里的网络攻击相关数据后，自家的漏洞利用测试从 90.5% 降到 81.0%；可这把尺子是它自己的，对照组是它自己没删数据的版本，而且删完之后模型仍比上一代强。在 11 月 4 日权重放出、外部有人复测之前，这是一条发布原则，不是一个读者能核对的能力上限。

发生了什么

据 Kimi 技术博客（企业宣称），Moonshot 在后训练规模扩大的过程中，看到模型的漏洞研究能力持续上升；追查原因，发现网络攻击相关内容混在通用的中期训练语料里，强化学习环境里也有相关任务。为了放出 K3.1 Pro 的权重，它在这两个阶段都识别并删除了这类数据，保留通用编程任务。

评估用的是 Moonshot 自建的 xdev-bench-hard：题目多数复现近期公开的真实漏洞，涉及 Linux 内核、Node.js、JavaScriptCore、Exim、VirGL 等软件，开着缓解措施；每题给漏洞源码、一句提示和二进制文件，模型要在隔离环境里拿到任意代码执行并取回一段密文。成绩按三次里成功一次计（pass@3），只在随机抽取的一部分运行上统计，不设时间和输出长度上限。没做删减的检查点得 90.5%，最终版本得 81.0%。博客同时承认，最终版本仍比上一代明显更强，并说它的攻击能力落后于「已公开至少三个月的前沿闭源模型」。

博客还写了两条原则：不放出会把网络攻击能力推到绝对前沿的开放权重；之后逐步提高开放权重里可用的这类能力，理由是防守方也需要能自己部署、自己审计代码的模型。

据路透（媒体报道，经《海峡时报》转载）10 月 24 日的报道，这些结果没有经过独立核实；报道同时提到，中国上周提出的出口管制征求意见稿拟禁止出口 AI 驱动的恶意代码生成技术，并限制 AI 辅助的漏洞发现工具。Models at Work（媒体报道）的读法类似：两条原则是厂商的政策表态，博客没有描述任何外部对这项测试的审查。

为什么重要

林测的习惯是先问数字是谁测的、和谁比。这组数字有三个对照，各自说明的事情不同。

和自己没删数据的版本比，降了 9.5 个百分点，说明删数据这一招有作用，但作用有限：最终版本在这套题上仍然十题能做成八题。和上一代比，博客自己说是上升的，具体分数没有给出。和闭源模型比，博客只给了一句定性的「落后」，所谓「已公开至少三个月」的闭源模型是哪几个、差多少，正文都没有写。

分析推断：读者真正想知道的是第三个对照，因为它决定权重放出后，这项能力是否超过了今天任何人都已经能用到的水平。而 Moonshot 公布的数字只回答了第一个对照。依据是博客正文只给出了删减前后两个分数，对闭源模型的比较只有文字表述。

这件事放在模型竞争里也有分量。据 Artificial Analysis（第三方评测）同日的评测，K3.1 Pro 在其总指数上得 55 分，权重放出后会是该指数上最高分的开放权重模型，开放权重与闭源头名的分差将从约 12 分收到约 3 分（这部分我们在前一篇已经写过）。能力离闭源越近，「放出权重后谁也收不回来」这件事的分量越重，所以发布前怎么处理攻击能力，开始和分数一起写进发布说明。

最强反方

最有力的反驳是：我们对 Moonshot 太苛刻了。主要闭源实验室发布模型时，网络攻击评估同样大量依赖自建测试，外部也无法完整复现；Moonshot 至少公开了删数据前后的对照，这在开放权重发布里并不多见，比只写一句「我们做了安全评估」更透明。况且权重放出后，外部可以直接拿模型去测，可核对性反而比闭源模型更高。

我们部分让步：公开删减前后的对照确实比不写好，权重放出后外部复测也确实可行。但我们仍坚持主要判断。第一，可核对性在 11 月 4 日之后才出现，今天能读到的只有厂商一方的数字。第二，「落后于闭源模型」这句最关键的话没有数字支撑。第三，权重一旦放出，别人可以在上面继续训练，删数据带来的 9.5 个百分点能否保持，博客没有讨论。如果权重放出后有第三方在公开基准上复测，并给出与闭源模型的同口径对比，我们会据此改写判断。

我们不知道什么

• xdev-bench-hard 有多少题、随机抽取了多少次运行，博客没有写；9.5 个百分点的差距在统计上有多稳，我们无法判断。
• 上一代 Kimi K3 在同一测试上的分数，以及闭源模型在这套题上的分数，博客都没有公开。
• 拿到权重的人如果用攻击数据继续微调，删掉的能力能恢复多少，目前没有任何公开测试。
• 路透提到的出口管制征求意见稿与这次删数据之间有没有关系，Moonshot 没有说，我们也不做推测。

接下来看什么

一看 11 月 4 日权重是否按时放出，以及模型卡里是否给出更完整的网络安全评估；二看是否有安全研究机构在公开基准上复测；三看其他准备放出权重的实验室，会不会也把攻击能力的处理写进发布说明。