NewToken 新词元关注新智能
读懂

GPT-6 Astra 的机器人高分是停表考出来的

OpenAI 解散独立机器人团队,称通用模型已能直接用于机器人。英伟达的公开测试里 Astra 赢了专用模型,前提是仿真在它思考时停表。

专题OpenAI:持续追踪 · NVIDIA:持续追踪主线模型竞争

读懂|GPT-6 Astra 的机器人高分是停表考出来的
本文提纲3 节
  1. 74.8% 是在停表的仿真里拿到的
  2. 每次出手等十几秒,专用模型只要 0.05 秒
  3. 换一个模型,成功率就掉到三成以下

通用大模型开始被当成机器人的大脑。据 Fortune 11 月 13 日的独家报道,OpenAI 解散了独立的机器人团队,研究人员并入 Mark Chen 领导的主研究线,应用与硬件团队并入 Greg Brockman 负责的应用部门。

OpenAI 给 Fortune 的理由是,GPT-6 Astra 等通用前沿模型已经证明可以直接用于机器人。

我们的判断是:公开证据只支持一半。Astra 在仿真里确实赢了专用模型,可那是在仿真为它停表的条件下赢的。

74.8% 是在停表的仿真里拿到的

Fortune 引用的是英伟达的一项研究。据英伟达 Astranomy 项目页,研究者把 Astra 接到 RoboLab-120 仿真基准上,这是 120 个桌面抓放任务,每个任务跑 5 个回合。

三种接法的成功率如下:

  • 放进 Codex 持续会话的智能体接法:74.8%
  • 直接调用接口出动作:66.3%
  • 让 Astra 审核专用模型的动作:66.5%

榜单上最好的专用策略 Lakeside 是 51.0%,智能体接法高出 23.8 个百分点。

关键在测试条件。项目页写明,控制频率 15 Hz,模型推理期间仿真暂停,且不设墙钟时间上限。机器人世界里的时间,在等 Astra 想完。

每次出手等十几秒,专用模型只要 0.05 秒

同一张结果图给了每次调用的延迟:

接法 每次调用延迟 每个成功回合的接口费用
Astra 直接调用 18.56 秒 1.96 美元
Astra 智能体接法 13.37 秒 36.40 美元
专用模型 π0.5 0.047 秒 不适用

表里的读法是:分数最高的那一行,每次出手要等 13 秒以上,成功一回合烧掉 3,090 万个词元。

项目页还给了另一组数:在有成功回合的任务上,直接调用平均调用 45.84 次,任务在仿真里约 25 秒做完。按每次 18.56 秒粗算,真实世界里要等十几分钟,这是分析推断,依据是两组平均数相乘,样本不完全相同。

研究者自己也写了结论:通用模型的延迟太长,难以直接用于真实部署。卡内基梅隆大学的 Guanya Shi 接受 Fortune 采访时说了同一件事:大模型慢、跑在云端,机器人上仍需要能离线运行的专用小模型。

换一个模型,成功率就掉到三成以下

高分还高度依赖 Astra 这一个模型。在 30 个任务的子集上,同样的直接调用设置,Astra 72.7%,GPT-6 Sol 33.3%,Claude Opus 5.5 25.3%,GPT-6 Luna 2.0%。

提示词也很关键:只给机器人基本描述时直接调用的成功率是 19.3%,补上夹爪和相机的几何参数后升到 72.7%。

有人会说,OpenAI 可能握有真机数据和更快的内部模型,这份仿真不是它决策的全部依据。这一点我们接受,OpenAI 没有公开内部测试,用的是真机还是仿真也不知道。项目页也承认,每个任务只跑 5 个回合,不足以看清单项任务的波动。

但公开能核对的证据只有这一份,它证明的是 Astra 会想机器人的动作,没有证明 Astra 能按真实时间开机器人。

OpenAI 撤掉团队,换的是研发路线,没有换掉机器人对实时的要求。今天能实时上机的,仍是 0.05 秒出一次手的专用小模型。做机器人的团队手里那套专用模型,一个也不用扔,Astra 该放在离线规划和事后复盘的位置,不该接上机械臂的方向盘。

来源

引用与数据Markdown 镜像