Peng Copilot +55.8%、Microsoft 4867 人 +26%、METR -19%:三条数字连成一条"任务 realism 越高提效越低"的曲线

Peng 等 2023 (arXiv 2302.06590) 的 +55.8% Copilot 加速被广泛引用, 但读完方法论: 95 位 Upwork freelancer, 单一 HTTP server task, 1 分钟 Copilot intro, 实验期 2022-05 到 2022-06. 更要命的是完成率: 95 人只有 35 人完成, 55.8% 是"完成者组"的均值, 60 人 dropout 的数据不在分子里. Microsoft 2024 follow-up (Cui et al., Management Science 2026) 在 Microsoft/Accenture 等三家真实企业中测 4867 名真实开发者, 降到 +26.08%. METR 2025 资深 OSS 开发者在自己仓库上做真实任务, 变成 -19%. 三组数字连成一条清晰的递减曲线: 从"实验室 + synthetic task + 筛选 completer"到"真实企业 + 熟悉代码库 + 资深者", AI 提效从 +55.8% 一路降到 -19%, 落差 74pp. 这篇把三组实验设置摆到同一张表, 顺手讨论 35/95 完成率的 survivor bias.

Peng, Kalliamvakou, Cihon, Demirer,The Impact of AI on Developer Productivity: Evidence from GitHub Copilot(arXiv 2302.06590,2023-02-13;作者均 Microsoft Research)。企业 AI 落地圈最被广泛引用的”Copilot +55.8%“就来自这篇。但这个数字和 METR 2025 的 -19% 中间差 74pp,而且 Peng 自己的 Microsoft 后续研究(Cui et al. 2024,Management Science 2026 accepted)把它降到了 +26.08%。三组数字连起来形成一条清晰的”任务 realism 越高、AI 提效越低”的递减曲线。

Peng 2023 的实验设置:所有变量都偏向最大化”看起来的提效”

Peng 这个实验在方法学上几乎每一个选择都朝”让 Copilot 看起来最亮眼”的方向走:

实验维度Peng 2023 的选择为什么这偏向高提效
参与者95 位 Upwork freelancerUpwork 开发者不是真实企业开发者——他们习惯接 greenfield 快速任务、没有历史代码库负担、没有线上事故压力
任务类型单一 HTTP server in JavaScriptgreenfield(从零写)而非 brownfield(改存量)。CRUD 风格,正是 Dell’Acqua Jagged Frontier 定义的 “inside the frontier” 区域
代码库没有历史代码,没有线上系统没有”要和存量系统融合""保证上线后稳定”这些蒋林泉说的”65% 吃时间的难部分”
时间窗一次性短时限长周期任务(设计、沟通、review、测试)全部切掉,只留编码那 20%
培训1 分钟 Copilot intro 视频刚好够学会用,不够学会”什么时候不信 Copilot”。Dell’Acqua 发现 overview 培训反而让 correctness 下降,这里是另一半的证据
任务难度标准化 HTTP server,有测试套件自动判对错有 oracle 即时反馈,Copilot 错了测试会挂,用户立刻知道
数据取舍只统计完成者(35/95)这是最大的一个 flag——60 人没完成的数据未进入分子,survivor bias 直接砍掉可能的负面结果

在这种 setup 下测出 +55.8%(95% CI: 21%-89%, p=0.0017) 是扎实的实验结果,但不是可以外推到企业场景的提效预期。

35/95 的 completion rate:survivor bias 可能很重

看完上面那张表最刺眼的数字是 95 名开发者只有 35 名完成了任务。Peng 的表格给出:

  • Copilot 组完成时间均值:71.17 分钟
  • Control 组完成时间均值:160.89 分钟
  • 两组的 completion rate:没有显著差异

“completion rate 没显著差异”这句很重要——Copilot 没让更多人完成,只是让完成者更快。但问题是60 个没完成的人在哪里?

两种可能:

  1. 他们在 Copilot 组和 control 组均匀分布(各 30 人左右),那”没完成”就是任务本身难度问题,与 AI 无关——55.8% 加速依然成立。
  2. 他们在 Copilot 组和 control 组的时间分布不同——比如 Copilot 组没完成的是”卡在 AI 幻觉里”的人、control 组没完成的是”懒得写”的人。如果这个 heterogeneity 存在,完成者均值的差 55.8% 就有 survivor bias 污染。

论文没公开 dropout 的 time 分布(因为没完成就没有完成时间)。但按 Dell’Acqua 2023 的 “falling asleep at the wheel” 发现,AI 组存在一类”看起来在进步、实际走偏了”的用户——这种用户在时限内更可能 dropout。如果这种 dropout 模式存在,+55.8% 可能被稍微夸大。

这不是在反对 Peng 实验——它在自己的范围内严谨。只是任何 lab RCT 的 completion rate 低于 50% 时,均值统计都要戴这副眼镜。

三组数字排成递减曲线

真正让 Peng 这篇值得单独读的是把它和两个后续研究并排看:

                     参与者       任务 realism      时期       Copilot 提效
Peng 2023 (lab)      95 freelance greenfield task   2022       +55.8% (CI 21-89)
Cui 2024 (field)     4867 开发者  real production   2023-24    +26.08%
METR 2025 (field)    16 senior   自己贡献的大仓库   2025 H1    -19% (CI -39 to -2)

从左到右,realism 单调增加,提效单调下降。三个研究同样是”Copilot 为主的 AI 编码”,差的变量主要是:

  • 任务的 greenfield 程度:从零写 HTTP server → 真实 PR 任务 → 熟悉大仓库里的集成任务
  • 开发者的经验:Upwork 泛 freelancer → 三家公司的开发者组合 → 资深 OSS 贡献者(平均 5 年 1500 commits)
  • 代码库复杂度:无历史 → 真实企业代码 → 1M+ 行的开源仓库
  • 时间尺度:1 小时 → 持续数月 → 数月真实贡献
  • 工具版本:Copilot 2022 beta → Copilot 2023-24 → Cursor + Claude 3.5 Sonnet 2025

把这条曲线画出来,“AI 编码提效是 +X%” 这类单一数字彻底失效。它永远依赖具体 setup 的四个变量。

手算一下 Peng 和 METR 的 CI 到底差多远(注意单位要统一——Peng 的 55.8% 是”快了多少”,METR 的 19% slowdown 等价于 speedup = -19%):

python3 <<'PY'
# 把三组研究的 speedup estimate 和 CI 统一到同一坐标系 (正数 = 快了多少)
studies = [
    ("Peng 2023 (lab)",       55.8,   21,   89),
    ("Cui 2024 (field)",      26.08, None, None),  # CI 未在搜索结果给出
    ("METR 2025 (field)",    -19,   -39,   -2),
]

print(f"{'研究':<22}{'speedup center':<17}{'CI'}")
for name, c, lo, hi in studies:
    ci = f"[{lo:+d}%, {hi:+d}%]" if lo is not None else "(未报告)"
    print(f"{name:<22}{c:+6.1f}%             {ci}")

# Peng vs METR 的 CI 距离
peng_lo, metr_hi = 21, -2
gap = peng_lo - metr_hi
print(f"\nPeng CI 下界 ({peng_lo:+d}%) vs METR CI 上界 ({metr_hi:+d}%)")
print(f"间隔: {gap} pp —— 两个 CI 不重叠, 两个真值几乎肯定不同")
print("解读: 这不是 '一个对一个错', 是 '两个实验测的是不同场景, 其真值客观不同'")
PY

实际输出:

研究                    speedup center    CI
Peng 2023 (lab)         +55.8%            [+21%, +89%]
Cui 2024 (field)        +26.1%            (未报告)
METR 2025 (field)       -19.0%            [-39%, -2%]

Peng CI 下界 (+21%) vs METR CI 上界 (-2%)
间隔: 23 pp —— 两个 CI 不重叠, 两个真值几乎肯定不同
解读: 这不是 '一个对一个错', 是 '两个实验测的是不同场景, 其真值客观不同'

CI 不重叠这件事比 center 的 74 pp 差距更硬——它意味着两组实验测的是不同真值,不是”两次测量的 noise”。换到企业场景,预期落在 [21%, -2%] 这 23 pp 之外,看具体场景和 Peng 还是 METR 的 setup 更接近。

对企业的推论:你公司在这条曲线的哪里

企业读者要做的事,不是选一个 +N% 的数字作为投资理由,而是定位你组织在这条 realism 曲线上的位置:

  • 你的开发者是 Upwork 风格的 freelancer? 大概率不是——如果是,你用不着做 AI 落地决策,他们自己会用。
  • 你的任务里有多少是 greenfield 新模块 vs brownfield 存量改造? greenfield 占比高(创业公司、新产品线)更接近 Peng 的 +55%;brownfield 占比高(成熟公司核心系统)更接近 METR 的 -19%。
  • 你的开发者在要改的那块代码上经验多深? 刚入职 3 个月的新人在熟悉代码库前接近 +55% 曲线;5 年老兵改自己写的代码接近 -19% 曲线。
  • 你用的工具是补全型(Copilot inline)还是 agentic(Claude Code / Cursor Agent)? 2022 Copilot 测的是补全,2025 METR 测的是 agentic;两者的 failure mode 不一样。

如果你能回答这四个问题,你公司的 AI 提效预期就落在这条曲线上的一个可定位区间。可能是 +15%、也可能是 -5%——都在三个 RCT 的 CI 范围内。

不要用”各家报了 50%+“做决策。那个数字是 lab 条件下的,“你公司”不在那个条件下。

常见误读与纠正

常见误读纠正
”Peng 的 +55.8% 证明 Copilot 整体加速开发 55%“证明的是 “Upwork freelancer 在 greenfield HTTP server 单一任务上、完成者的均值加速 55.8%“。四个限定条件缺一不可
”Peng 和 METR 结论矛盾”不矛盾。两者测的是不同 setup 下的不同 subset。都正确,只是对应的现实场景不同
”Microsoft 的 +26% 是 Peng 55% 的降级”更准确的说法是:+26% 是加入 ‘real production 任务 + 多公司样本’ 后的回归均值,不是 Peng 的 “打折”。两个是独立实验,实验设置不同
”lab RCT 没有意义”有意义——lab 控制条件好、机制清晰。但不能用 lab 数字预测 field 效果。企业决策要看 field RCT(Cui 2024、METR、Brynjolfsson 31161)而非 lab RCT
”35/95 completion rate 说明实验有问题”不完全——HTTP server 作为 Upwork 任务本身就有 dropout。问题是 “完成者均值 + dropout 不均”可能带来 survivor bias,论文对此分析有限
”+55.8% 和 CI 21-89 说明 Copilot 至少加速 21%“是的,但这个 CI 只对 Peng 的具体 setup 有效。换成企业场景,置信区间平移到哪里要重新做实验,不能继承

参考来源