OpenAI 说 COBOL 迁移成功率从 5.4% 到 86.6%：能复核的是另一套公开测试，迁移那套没公开

老系统迁移的难点开始从写出等价代码，转到拿出能判对错的对照测试：OpenAI 10 月 19 日公布，新模型在它自建的 COBOL 迁移评测上，低推理档成功率从 5.4% 提到 86.6%，但这套评测没有公开，企业能自己复核的是另一套从零写数据库的测试。

先给结论：86.6% 是这次公告里离企业需求最近的数字，也是最不能拿去对账的数字。它说明模型在「保住旧程序行为」这件事上明显变强了，但一个程序算不算迁对，取决于用什么测试去判；这套判卷的题目外人看不到。轮到企业自己迁移时，判卷的题只能由企业自己出。

一件具体的事：把一段算利息的 COBOL 改写成 Java

设想一家银行要把一段计算存款利息的 COBOL 程序改写成 Java。据 OpenAI 的公告，COBOL 的定点运算默认直接截掉多出来的小数位，除非程序明确要求四舍五入；改写时如果顺手换成四舍五入，新程序照样能跑、界面照样能出数，只是金额对不上。

这类错误在演示里看不出来。它只会在两边跑同一批输入、逐位比较输出时暴露。所以这次公告真正值得记住的，是 OpenAI 给迁移定的判定方式：把 COBOL 程序迁到 C++、Java、Kotlin、Python 或 Rust，再用隐藏测试检查可观察输出是否逐字节一致，所有测试全过才算一次成功。按这个口径，86.6% 是「整段程序全部测试通过」的比例，不是单条测试的通过率。

两套测试，公开程度不一样

OpenAI 这次报了两套评测，口径和公开程度都不同，不能放在一起读。

第一套是 COBOL 迁移评测。据 OpenAI 公告，GPT-6.1 Sol 在低推理档达到 86.6%，同档的 GPT-5.6 Sol 只有 5.4%，API 成本是后者的 61%，也就是低了 39%；推理档调高后达到 97.9%，公告称这套评测已接近饱和。公告没有写评测里有多少个程序、每个程序多长、有没有文件读写、数据库或批处理作业，也没有给出高推理档的成本。全部数字都是 OpenAI 用自己的模型、在自己的测试上跑出来的，我们按「企业宣称」处理。

第二套是 MultiLangBench：让模型照着文档，用 20 种语言各写一个与 SQLite 兼容的数据库引擎。公告称 GPT-6 Astra 在最高推理档平均通过率 87.4%，此前 GPT-5.6 Sol 是 26.8%；其中 COBOL 从 10.9% 到 72.1%，是 20 种语言里最难的一种。这一套是公开的。我们打开了 MultiLangBench 的 GitHub 仓库，说明文件写得很具体：测试从 SQLite 自带的 TCL 测试转换而来，5.1 万条里有 2.4 万条能转换；由于全量跑很贵，评测只要求用名字以 00、01、02 开头的 272 条；成绩记作「API 成本、测试通过率」一对数字，模型不用指定语言写就记 0 分，运行环境要删除所有 SQLite 副本且不许联网。

两点要分清。其一，MultiLangBench 的 87.4% 是单条测试的平均通过率，迁移评测的 86.6% 是整段程序全过的比例，分母不同，不能比较。其二，两套评测报告的不是同一个模型：迁移评测用的是 GPT-6.1 Sol，建库评测用的是 GPT-6 Astra 和 GPT-6 Luna。所以「COBOL 写库 72.1%」和「COBOL 迁移 86.6%」说的不是同一件事。

还有一处没对上：OpenAI 公告说会在 GitHub 上一并发布各语言的结果。我们 10 月 20 日上午打开仓库时，根目录只有说明文件、许可证、依赖清单和 scripts、tests 两个目录，没有看到按语言列出的模型成绩文件。测试本身可以下载复跑，OpenAI 的成绩暂时只能看公告。

为什么重要

Interesting Engineering 的报道转述了公告引用的 IBM 估计：COBOL 支撑着四成以上的网上银行系统、八成线下刷卡交易和 95% 的 ATM 交易；报道也写明，这些成绩只代表 OpenAI 自己的测试，不保证真实迁移不出错，开发者仍要拿真实负载和没写进文档的依赖去验证。OpenAI 公告里自己也写了同样的限定：用到生产系统上，仍需要专家审查，并对照系统的业务规则与依赖做测试。

分析推断：把这两句限定放回「一件具体的事」里，迁移项目里人要接手的位置就清楚了。模型可以负责把程序写出来，但「旧程序到底承诺了什么」只存在于旧系统的行为里。谁手里有生产系统的输入输出记录、谁能把截断、舍入、记录缺失这些边角情况写成对照测试，谁就能用上这次的进步；拿不出这些测试的团队，86.6% 对它没有直接意义。依据是 OpenAI 迁移评测本身就是靠隐藏测试判定成败，而企业迁移时没有 OpenAI 的隐藏测试可用。

分析推断：这也会改变迁移项目的报价结构。按人天写代码的部分更容易被压价，整理测试、对比差异、对每一处不一致签字确认的部分更难被替代。依据是低推理档成功率与成本同时改善（企业宣称），而验收必须依赖客户自己的业务规则；这一点目前没有任何公开的合同或报价数据可以证实。

最强反方

最有力的反驳是：OpenAI 迁移评测本身就是按企业最怕出错的地方设计的，逐字节一致、全部测试通过才算成功，标准已经很严；97.9% 接近饱和，说明在这类程序上模型已经很少出错，企业照着同样的思路，拿自己系统的历史输入输出生成对照测试，并不是额外的新门槛。照这个看法，本文把重点放在「测试没公开」，是在低估一次真实的能力跳升。

我们在一部分上让步：判定标准确实严；我们的看法是，同一套测试、同一推理档下从 5.4% 到 86.6%，即使是自测，也说明模型在保住旧行为上有实质进步。但我们仍坚持论点，理由有两条：其一，标准严不等于题目像生产系统，公告没有披露程序规模与依赖，单个程序全过和几百个相互调用的程序加上数据库、作业调度一起迁对，是两种难度；其二，饱和意味着这把尺子已经量不出更多差别，下一步能说明问题的，只能是第三方或企业在自己系统上的结果，而这类结果现在一份都没有。

我们不知道什么

我们不知道迁移评测有多少个程序、来自哪里、平均多长，也不知道这些程序是否涉及文件、数据库、CICS 这类交易中间件或批处理作业；不知道 97.9% 那一档的成本；不知道 GPT-6.1 Sol 在 MultiLangBench 上的成绩；也不知道是否有银行或政府机构已经用这一代模型完成过一次可核对的生产迁移。OpenAI 承诺的各语言成绩文件，我们打开仓库时还没有看到。

接下来看什么

一是 MultiLangBench 仓库是否补上各语言的成绩，以及第三方用这 272 条测试复跑出来的数是否接近公告；二是 OpenAI 会不会公开迁移评测的样本规模或部分题目；三是有没有企业公布用这一代模型迁移老系统的实际结果，包括迁了多少程序、多少差异需要人工裁定。出现第三类数据之前，86.6% 可以当作能力在变强的信号，不能当作迁移项目的成功率。