Peng, Kalliamvakou, Cihon, Demirer,The Impact of AI on Developer Productivity: Evidence from GitHub Copilot(arXiv 2302.06590,2023-02-13;作者均 Microsoft Research)。企业 AI 落地圈最被广泛引用的”Copilot +55.8%“就来自这篇。但这个数字和 METR 2025 的 -19% 中间差 74pp,而且 Peng 自己的 Microsoft 后续研究(Cui et al. 2024,Management Science 2026 accepted)把它降到了 +26.08%。三组数字连起来形成一条清晰的”任务 realism 越高、AI 提效越低”的递减曲线。
Peng 2023 的实验设置:所有变量都偏向最大化”看起来的提效”
Peng 这个实验在方法学上几乎每一个选择都朝”让 Copilot 看起来最亮眼”的方向走:
| 实验维度 | Peng 2023 的选择 | 为什么这偏向高提效 |
|---|---|---|
| 参与者 | 95 位 Upwork freelancer | Upwork 开发者不是真实企业开发者——他们习惯接 greenfield 快速任务、没有历史代码库负担、没有线上事故压力 |
| 任务类型 | 单一 HTTP server in JavaScript | greenfield(从零写)而非 brownfield(改存量)。CRUD 风格,正是 Dell’Acqua Jagged Frontier 定义的 “inside the frontier” 区域 |
| 代码库 | 没有历史代码,没有线上系统 | 没有”要和存量系统融合""保证上线后稳定”这些蒋林泉说的”65% 吃时间的难部分” |
| 时间窗 | 一次性短时限 | 长周期任务(设计、沟通、review、测试)全部切掉,只留编码那 20% |
| 培训 | 1 分钟 Copilot intro 视频 | 刚好够学会用,不够学会”什么时候不信 Copilot”。Dell’Acqua 发现 overview 培训反而让 correctness 下降,这里是另一半的证据 |
| 任务难度 | 标准化 HTTP server,有测试套件自动判对错 | 有 oracle 即时反馈,Copilot 错了测试会挂,用户立刻知道 |
| 数据取舍 | 只统计完成者(35/95) | 这是最大的一个 flag——60 人没完成的数据未进入分子,survivor bias 直接砍掉可能的负面结果 |
在这种 setup 下测出 +55.8%(95% CI: 21%-89%, p=0.0017) 是扎实的实验结果,但不是可以外推到企业场景的提效预期。
35/95 的 completion rate:survivor bias 可能很重
看完上面那张表最刺眼的数字是 95 名开发者只有 35 名完成了任务。Peng 的表格给出:
- Copilot 组完成时间均值:71.17 分钟
- Control 组完成时间均值:160.89 分钟
- 两组的 completion rate:没有显著差异
“completion rate 没显著差异”这句很重要——Copilot 没让更多人完成,只是让完成者更快。但问题是60 个没完成的人在哪里?
两种可能:
- 他们在 Copilot 组和 control 组均匀分布(各 30 人左右),那”没完成”就是任务本身难度问题,与 AI 无关——55.8% 加速依然成立。
- 他们在 Copilot 组和 control 组的时间分布不同——比如 Copilot 组没完成的是”卡在 AI 幻觉里”的人、control 组没完成的是”懒得写”的人。如果这个 heterogeneity 存在,完成者均值的差 55.8% 就有 survivor bias 污染。
论文没公开 dropout 的 time 分布(因为没完成就没有完成时间)。但按 Dell’Acqua 2023 的 “falling asleep at the wheel” 发现,AI 组存在一类”看起来在进步、实际走偏了”的用户——这种用户在时限内更可能 dropout。如果这种 dropout 模式存在,+55.8% 可能被稍微夸大。
这不是在反对 Peng 实验——它在自己的范围内严谨。只是任何 lab RCT 的 completion rate 低于 50% 时,均值统计都要戴这副眼镜。
三组数字排成递减曲线
真正让 Peng 这篇值得单独读的是把它和两个后续研究并排看:
参与者 任务 realism 时期 Copilot 提效
Peng 2023 (lab) 95 freelance greenfield task 2022 +55.8% (CI 21-89)
Cui 2024 (field) 4867 开发者 real production 2023-24 +26.08%
METR 2025 (field) 16 senior 自己贡献的大仓库 2025 H1 -19% (CI -39 to -2)
从左到右,realism 单调增加,提效单调下降。三个研究同样是”Copilot 为主的 AI 编码”,差的变量主要是:
- 任务的 greenfield 程度:从零写 HTTP server → 真实 PR 任务 → 熟悉大仓库里的集成任务
- 开发者的经验:Upwork 泛 freelancer → 三家公司的开发者组合 → 资深 OSS 贡献者(平均 5 年 1500 commits)
- 代码库复杂度:无历史 → 真实企业代码 → 1M+ 行的开源仓库
- 时间尺度:1 小时 → 持续数月 → 数月真实贡献
- 工具版本:Copilot 2022 beta → Copilot 2023-24 → Cursor + Claude 3.5 Sonnet 2025
把这条曲线画出来,“AI 编码提效是 +X%” 这类单一数字彻底失效。它永远依赖具体 setup 的四个变量。
手算一下 Peng 和 METR 的 CI 到底差多远(注意单位要统一——Peng 的 55.8% 是”快了多少”,METR 的 19% slowdown 等价于 speedup = -19%):
python3 <<'PY'
# 把三组研究的 speedup estimate 和 CI 统一到同一坐标系 (正数 = 快了多少)
studies = [
("Peng 2023 (lab)", 55.8, 21, 89),
("Cui 2024 (field)", 26.08, None, None), # CI 未在搜索结果给出
("METR 2025 (field)", -19, -39, -2),
]
print(f"{'研究':<22}{'speedup center':<17}{'CI'}")
for name, c, lo, hi in studies:
ci = f"[{lo:+d}%, {hi:+d}%]" if lo is not None else "(未报告)"
print(f"{name:<22}{c:+6.1f}% {ci}")
# Peng vs METR 的 CI 距离
peng_lo, metr_hi = 21, -2
gap = peng_lo - metr_hi
print(f"\nPeng CI 下界 ({peng_lo:+d}%) vs METR CI 上界 ({metr_hi:+d}%)")
print(f"间隔: {gap} pp —— 两个 CI 不重叠, 两个真值几乎肯定不同")
print("解读: 这不是 '一个对一个错', 是 '两个实验测的是不同场景, 其真值客观不同'")
PY
实际输出:
研究 speedup center CI
Peng 2023 (lab) +55.8% [+21%, +89%]
Cui 2024 (field) +26.1% (未报告)
METR 2025 (field) -19.0% [-39%, -2%]
Peng CI 下界 (+21%) vs METR CI 上界 (-2%)
间隔: 23 pp —— 两个 CI 不重叠, 两个真值几乎肯定不同
解读: 这不是 '一个对一个错', 是 '两个实验测的是不同场景, 其真值客观不同'
CI 不重叠这件事比 center 的 74 pp 差距更硬——它意味着两组实验测的是不同真值,不是”两次测量的 noise”。换到企业场景,预期落在 [21%, -2%] 这 23 pp 之外,看具体场景和 Peng 还是 METR 的 setup 更接近。
对企业的推论:你公司在这条曲线的哪里
企业读者要做的事,不是选一个 +N% 的数字作为投资理由,而是定位你组织在这条 realism 曲线上的位置:
- 你的开发者是 Upwork 风格的 freelancer? 大概率不是——如果是,你用不着做 AI 落地决策,他们自己会用。
- 你的任务里有多少是 greenfield 新模块 vs brownfield 存量改造? greenfield 占比高(创业公司、新产品线)更接近 Peng 的 +55%;brownfield 占比高(成熟公司核心系统)更接近 METR 的 -19%。
- 你的开发者在要改的那块代码上经验多深? 刚入职 3 个月的新人在熟悉代码库前接近 +55% 曲线;5 年老兵改自己写的代码接近 -19% 曲线。
- 你用的工具是补全型(Copilot inline)还是 agentic(Claude Code / Cursor Agent)? 2022 Copilot 测的是补全,2025 METR 测的是 agentic;两者的 failure mode 不一样。
如果你能回答这四个问题,你公司的 AI 提效预期就落在这条曲线上的一个可定位区间。可能是 +15%、也可能是 -5%——都在三个 RCT 的 CI 范围内。
不要用”各家报了 50%+“做决策。那个数字是 lab 条件下的,“你公司”不在那个条件下。
常见误读与纠正
| 常见误读 | 纠正 |
|---|---|
| ”Peng 的 +55.8% 证明 Copilot 整体加速开发 55%“ | 证明的是 “Upwork freelancer 在 greenfield HTTP server 单一任务上、完成者的均值加速 55.8%“。四个限定条件缺一不可 |
| ”Peng 和 METR 结论矛盾” | 不矛盾。两者测的是不同 setup 下的不同 subset。都正确,只是对应的现实场景不同 |
| ”Microsoft 的 +26% 是 Peng 55% 的降级” | 更准确的说法是:+26% 是加入 ‘real production 任务 + 多公司样本’ 后的回归均值,不是 Peng 的 “打折”。两个是独立实验,实验设置不同 |
| ”lab RCT 没有意义” | 有意义——lab 控制条件好、机制清晰。但不能用 lab 数字预测 field 效果。企业决策要看 field RCT(Cui 2024、METR、Brynjolfsson 31161)而非 lab RCT |
| ”35/95 completion rate 说明实验有问题” | 不完全——HTTP server 作为 Upwork 任务本身就有 dropout。问题是 “完成者均值 + dropout 不均”可能带来 survivor bias,论文对此分析有限 |
| ”+55.8% 和 CI 21-89 说明 Copilot 至少加速 21%“ | 是的,但这个 CI 只对 Peng 的具体 setup 有效。换成企业场景,置信区间平移到哪里要重新做实验,不能继承 |
参考来源
- Peng, Kalliamvakou, Cihon, Demirer, The Impact of AI on Developer Productivity: Evidence from GitHub Copilot(arXiv 2302.06590,2023-02)
- Cui, Demirer, Jaffe, Musolff, Peng, Salz, “The Productivity Effects of Generative AI: Evidence from a Field Experiment with GitHub Copilot”(Management Science, 2026 accepted;MIT MIT GenAI 工作论文版 mit-genai.pubpub.org/pub/v5iixksv)
- METR 2025 开发者 RCT: 原 paper · 2026 update
- Dell’Acqua et al., Navigating the Jagged Technological Frontier(HBS 24-013)
- 本博客续读:METR CI 重叠 · Jagged Frontier 深读 · Brynjolfsson 31161 新手占比 · J-Curve · 蒋林泉四副透镜