Peng Copilot +55.8%、Microsoft 4867 人 +26%、METR -19%:三条数字连成一条"任务 realism 越高提效越低"的曲线
Peng 等 2023 (arXiv 2302.06590) 的 +55.8% Copilot 加速被广泛引用, 但读完方法论: 95 位 Upwork freelancer, 单一 HTTP server task, 1 分钟 Copilot intro, 实验期 2022-05 到 2022-06. 更要命的是完成率: 95 人只有 35 人完成, 55.8% 是"完成者组"的均值, 60 人 dropout 的数据不在分子里. Microsoft 2024 follow-up (Cui et al., Management Science 2026) 在 Microsoft/Accenture 等三家真实企业中测 4867 名真实开发者, 降到 +26.08%. METR 2025 资深 OSS 开发者在自己仓库上做真实任务, 变成 -19%. 三组数字连成一条清晰的递减曲线: 从"实验室 + synthetic task + 筛选 completer"到"真实企业 + 熟悉代码库 + 资深者", AI 提效从 +55.8% 一路降到 -19%, 落差 74pp. 这篇把三组实验设置摆到同一张表, 顺手讨论 35/95 完成率的 survivor bias.