NewToken 新词元关注新智能
读懂

Hugging Face 自备密钥对语言模型失效

Hugging Face 把语言模型请求改走 OpenRouter。代码和令牌还能用,自备供应商密钥失效,费用改记到其账户。

专题Hugging Face:持续追踪主线智能体与应用

读懂|Hugging Face 自备密钥对语言模型失效
本文提纲3 节
  1. 46% 写在 OpenRouter 十月的自测里
  2. 11 月 16 日,语言模型改走 OpenRouter
  3. 自备密钥失效,账记到 Hugging Face

从 11 月 16 日起,在 Hugging Face 上调用语言模型,请求会交给 OpenRouter 选路。你事先填好的供应商密钥,在这条路上不再被接受。

Hugging Face 与 OpenRouter 当天同时发文。原先由 Hugging Face 自建路由器分发的语言模型请求,改由 OpenRouter 按实时价格、速度和可靠性挑选供应商。

失败了就在同一次调用里换一家再试。原来的代码和 Hugging Face 令牌还能用,费用改记到 Hugging Face 的账户。

我们的判断是:对在 Hugging Face 上跑语言模型的人来说,这次合作先改掉的是密钥和账单。路由变聪明,仍写在 OpenRouter 自己的实验数字里。

46% 写在 OpenRouter 十月的自测里

据 OpenRouter 11 月 16 日的文章,它在 10 月重建了供应商路由,不再只看最低标价,而按价格、速度和可靠性的组合来分配请求。

同一篇文章写明,这次重建做了一次在线实验。容量错误请求少了 46%,首个词元时间快了 16.9%,吞吐量高了 16.3%,每次请求成本高了 6.0%。这是 OpenRouter 的企业宣称。实验条件、对照样本,以及这些数字是否包含后来接到 Hugging Face 的流量,文章没有另给独立核验。

Hugging Face 同日的文章转述了前三个百分比,没有写这 6.0%。分析推断:只读 Hugging Face 发布页的人,会漏掉成本上升这一侧。

11 月 16 日,语言模型改走 OpenRouter

据 Hugging Face 11 月 16 日的文章,它从此把推理服务里的自建路由器,换成 OpenRouter 的路由。打向语言模型的请求现在经过 OpenRouter;原先只选一家、失败就返回错误,现在失败了会在同一次调用里换一家再试。

价格规则按 Hugging Face 的写法没有变:你付供应商的价,记在 Hugging Face 账单上,它不另加价。PRO 用户每月有 2 美元额度,Team 和 Enterprise 按席位每月 2 美元。

OpenRouter 同日写明,今天能这样调用的是 160 个模型、来自 38 家实验室。范围是它已经在提供、且 Hub 上有页面的模型。

图像、视频和音频生成仍走 Hugging Face 原来的供应商通路,不经过 OpenRouter。这些都是两边的企业宣称,我们按发布文记录,没有在控制台逐项点开核对。

两边都写了,开发者仍可用型号后缀指定最快、最便宜,或只走某一家供应商;对话也会尽量留在已有提示缓存的那一家。指定一家,并不等于继续使用你自己存在那一家的密钥。

自备密钥失效,账记到 Hugging Face

Hugging Face 把这件事写成了破坏性变更。语言模型请求改走 OpenRouter,并记到 Hugging Face 的账户或组织,因此不能再为这些模型使用你自己的供应商密钥。图像和视频供应商的自备密钥仍可用。

有人会说,原有代码和令牌不用改,还能用后缀指定供应商,密钥失效不算真正的限制。这一点只对了一半。后缀能让 OpenRouter 把请求打到指定那一家。账单和额度却不再走你与那家签好的密钥,而走 Hugging Face 的账户。

如果你先前靠自备密钥使用某家的合同价、预付额度或预留容量,这条路在语言模型请求上已经关掉。Hugging Face 没有公布有多少用户此前在用自备密钥,也没有给出切换前后它自己的成功率或时延。

OpenRouter 还写了一条反向接口。它可以把每次请求的输入、输出、词元和费用,以 JSON 文件送到你自己的 Hugging Face 存储桶,用于评测或微调。它标明此功能仍是测试版,且不含图像和其他媒体。这是附加能力,不是这次交接已经核过的使用结果。

你原先要做的那件事很具体:用同一串 Hugging Face 令牌调用模型,同时让费用继续走你已经开通的供应商密钥。11 月 16 日之后,同一段代码还能跑,那串自备密钥却打不开语言模型这扇门。这次合作做成的是路由交接,不是一张已经按 Hugging Face 流量核对过的成绩单。

对在 Hugging Face 上跑语言模型的人,先检查自备密钥还在不在,再谈路由有没有变快。

来源

引用与数据Markdown 镜像