Claude 接口让服务器暂存长对话 5 分钟

调用 Claude 的程序，从这周起可以不再每轮重传整段对话。Anthropic 11 月 2 日给 Messages API 加了「消息线程」公测：第一轮照常把对话、系统提示和工具发过去，之后每轮只发新消息和上一条回复的编号，服务器把上下文补齐后再交给模型。

我们的判断是，这次省下的是时间，不是钱。Anthropic 自己写明，模型每轮仍读完整段对话，token 用量不变，按标准价格计费，速率限制也照旧。

35% 只算了 Claude Code 最长请求

按 Anthropic 发布文，消息线程已对大多数 Claude Code 用户默认开启，其中 50 万到 100 万 token 的请求，首字等待时间的中位数下降约 35%。

这个数字有三层口径要看清：

• 测的是 Anthropic 自家的编程工具，不是第三方应用；
• 只报了最长的一档请求；
• 是中位数，没有给尾部延迟。

发布文的解释是，一个编程智能体一次会话可能发几百次请求，对话到几十万 token 后，每次重传都会拖慢首字。对话越长，能省的越多。反过来推，50 万 token 以下的普通请求能快多少，Anthropic 没有给数，分析推断是幅度会小得多。

token 照算，缓存还得自己开

原来的接口是无状态的。Messages API 文档写得很直白：每次都要把完整历史发过去。线程改变的是谁来保管这份历史，不是模型读多少。

真正影响账单的仍是提示缓存。消息线程文档提醒，线程不会替你缓存提示，缓存断点要自己设，带线程的请求最多 4 个断点。想省钱的团队要看的是缓存命中率，不是线程开关。

线程 5 分钟过期，应用仍要留全量副本

线程是「尽力而为」的服务。文档规定，线程在最后一次请求后 5 分钟过期，最迟 1 小时内删除；过期后续传会返回 404 错误，程序得把完整对话重新发一遍，另起线程。

据 Unite.AI 的整理，线程内容加密放在内存里，不写入持久存储，也没有接口可以列出、读取或删除线程。它只能往后追加，每个回复编号只能续一次，改系统提示或工具就得重建。

适用范围也有边界。文档列出，批处理请求、开启 HIPAA 合规的组织和开了推理钩子的组织都用不了；备用模型写的那一轮也不会存进线程。

所以开发者手里会有两条路：平时只传新消息，出错时整段重放。分析推断是，对长时间运行的编程和电脑操作智能体，这值得多写一段代码；对几轮就结束的客服对话，收益有限。