真实改需求时,最强编码智能体只做对 26.4%:阿里 Co-Design Bench 显示 harness 对结果的影响不亚于模型

为什么重要:旧基准上 99% 以上的分数已经测不出差别,这个基准把问题拉回到用户真正的体验:智能体能完成大部分工作,但几乎总要人收尾。harness 影响 19 个百分点这一发现,对企业选型的含义很直接:只看模型排行榜会选错,必须把模型和运行环境作为一对来测。反方检验:题目偏向历史上失败过的请求,不代表日常成功率;只测单轮请求,不含追问与中途修正;AI 评委本身可能出错。我的立场是:编码智能体的下一阶段竞争会落在 harness 与评测上,谁能公开「模型 + 环境」的组合成绩,谁才有资格谈生产力提升。
- arXiv:Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models 已证实
- The Decoder:AI coding agents still need human cleanup on nearly three out of four tasks 媒体报道
本页是事件档案;当日判断见 2026-11-10 简报。