NewToken 新词元关注新智能
读懂

DeepSeek 的 461 行权重对上 Blackwell

DePue 称六个中国开放模型的初始权重带 Blackwell 指纹。我们用无显卡电脑复跑 DeepSeek 两代模型,结果与报告一致,但它证明不了违规。

专题月之暗面:持续追踪 · DeepSeek:持续追踪主线模型竞争

读懂|DeepSeek 的 461 行权重对上 Blackwell
本文提纲4 节
  1. 一台没有显卡的电脑,一分钟内对出 148
  2. 种子改一位,V4-Flash 一行都对不上
  3. 取证读得出芯片,读不出机房和许可证
  4. 开放榜前两名要按 Blackwell 产物重读

开放模型在什么芯片上起步,现在可以从它公开的权重里读出来,不必等实验室自己写进模型卡。11 月 12 日,研究者 Will DePue 发布取证报告,称 DeepSeek、月之暗面、MiniMax 和蚂蚁集团的六个模型,初始权重的排布与英伟达 Blackwell 芯片吻合。

我们在一台没有显卡的 Linux 电脑上,复跑了 DeepSeek 前后两代模型。结果与报告一致:V3 落在上一代 Hopper 的排布,V4-Flash 有 461 行权重对上了 Blackwell 的排布。我的判断是,这份取证站得住,它证明的是芯片型号,不是违规。

一台没有显卡的电脑,一分钟内对出 148

原理不复杂。模型训练前,每个权重先填一个随机数;随机数由「种子」决定,落在哪个位置却由显卡里的计算单元数量决定。有些词表行在训练里从没被用到,起步时的数值会原样留到发布版。

我们用的是 peterjliu 在 GitHub 公开的独立复现代码,全部在 CPU 上模拟,只按需下载词表那一张表。下面是 11 月 13 日 17:18 至 17:30(北京时间)的实测:8 核 CPU,代码版本 8f8ed78,两张表共约 2.9GB,下载用了约一分半。

模型 对上的排布 对上的行 其他排布
DeepSeek-V3 132 个单元(Hopper) 489 行 都在 2 个标准差以内
DeepSeek-V4-Flash 148 个单元(Blackwell) 461 行 都在 2 个标准差以内

表里的读法是:同一个种子 953049583,V3 只在 132 上成立,V4-Flash 只在 148 上成立。我们只扫了 108、132、148、152 四种排布,V4-Flash 那 461 行的匹配强度是 1,377 个标准差,每次扫描约一分钟。

种子改一位,V4-Flash 一行都对不上

对照实验才是这次实测的关键。我们把种子改成 953049584 再扫一遍,四种排布全部归零,程序报告找不到任何保留行。正确的种子配错误的排布,同样对不上。

两个条件必须同时成立,偶然撞上的可能就很小。报告称在约 6 万亿种组合里,纯靠运气最多到 8 个标准差,六个模型的证据在 49 到 1,385 个标准差之间;方法还与 24 个公开过硬件的模型全部一致。

CPU 和显卡在最后一位小数上算法略有不同,所以我们这边 V4-Flash 只有约 95% 的数值逐位相同。报告称,换到真实的 B300 上,有 445 行逐位一致。

取证读得出芯片,读不出机房和许可证

这份证据的边界,报告自己写得很清楚:它只认出生成初始权重的硬件,不能证明整轮训练都在上面跑,也读不出芯片在哪、归谁、怎么拿到的。Blackwell 可以在中国境外的机房租用。

据 Moneycontrol 梳理,Blackwell 对华出口仍需许可;路透社 11 月 12 日报道,中国 AI 公司在找海外机房的英伟达算力。把这份报告写成「走私」或「违规」,就越过了证据。

有人会说,这还只是一份没人复现的报告。DeAI 11 月 13 日就是这么写的,还指出 OpenAI 和 Anthropic 研究员已验证的说法在报告里找不到出处。后一点我们接受,不把它当证据;前一点已经过时,代码公开了,独立复现出来了,我们也复跑了。

我们没核的有两处:148 对应 B200 或 B300 是报告给的对应关系,复现者称公开规格页说法不一;用 AMD 芯片特殊配置伪造排布的可能,报告只对 V4-Flash 排除了。

开放榜前两名要按 Blackwell 产物重读

这件事落到模型竞争上,分量更重。据 BenchLeader 11 月 13 日的开放权重榜,前两名是 Kimi K3 和 Kimi K3.1 Pro,报告都读出 Blackwell 排布;第三名的 GLM-5,报告读出的是 Hopper。

据报告整理,DeepSeek-V3 和 Kimi K2 都公开写过用 H800 训练,那是 2023 年 10 月前可以合法出口中国的降配版。到了 V4 和 K3,模型卡不再写芯片,权重读出的是 Blackwell。

用「H800 也能逼近前沿」的旧印象去读这六个模型的成绩,已经不成立。这是分析推断,依据是排布证据,以及报告估计的数千张 Blackwell 级训练规模,后者报告自己说没把握。

DePue 把初始权重变成了一张谁都能核的出身证明。从今天起,谁再拿 DeepSeek-V4-Flash 证明「禁令下也能追平」,得先回答这 461 行权重。

来源

引用与数据Markdown 镜像