METR(Model Evaluation and Threat Research)2025-07 发表的 《Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity》(Becker, Rush, Barnes, Rein)在企业 AI 落地圈被广泛引用——“开发者自估加速 20%、实测减速 19%“。但很多传播漏掉了 2026-02 METR 自己发的 uplift update:同一批开发者子集反转到 -18% speedup,新招开发者 -4%。两组数字看起来像从负面结论翻盘到正面,我手算了一下两次 CI 的重叠,发现这个”反转”在统计上远不如听起来那么硬。
METR 2025:为什么这个 RCT 算得上干净
先说原实验为什么值得认真对待。企业 AI 落地圈报的数字大多没有对照组——拿着”用了 AI 之后 commit 数 +30%“就说提效 30%,不说没用 AI 的一组是什么样。METR 做了真正的 RCT:
- 16 位资深 OSS 开发者,各自在自己平时贡献的仓库上做任务(平均 22k+ stars、1M+ 行代码、开发者本人平均 5 年 1500 commits 的参与度)
- 246 个真实任务,开发者按条件被随机分配到 “允许用 AI” 或 “禁止用 AI”
- 允许条件下,开发者用自己平时用的工具(主要是 Cursor + Claude 3.5 Sonnet 那个时段的旗舰模型)
- 测的是真实任务完成时间,不是自我报告
- 支付 $150/h,期望和真实工作激励贴近
- 数据采集时间 2025-02 到 2025-06
实验设计里有三件事特别值得圈:
- 做的是开发者熟悉的仓库。企业 AI 工具的典型使用场景就是”懂自己代码库的人用 AI 加速”,不是”用 AI 摸索陌生代码库”。
- 开发者本人就是”骨干”。METR 没用新手——新手本来提效空间就大、测不出 AI 的边际贡献。资深者是 harder test。
- 自估加速和实测加速同时报。开发者实验前预期 AI 提速 24%,实验后仍然估算提速 20%,但实测慢了 19%。这个 differential 比”慢 19%“本身更重要——它说明开发者对自己的生产力无自我感知。
headline 数字:slowdown = +19%, CI = [+2%, +39%]。CI 下界 +2% 说明”AI 让我更慢”这个结论在统计上刚过门槛,不是铁证。但 95% CI 不包含 0,是边际显著的 slowdown。
2026-02 update:METR 自己说 “我们这个测法 unreliable”
2026-02 METR 发了一篇更新,核心数字如下:
- 原子集返场(10 位原 16 人中仍参与的):speedup -18%,CI = [-38%, +9%]
- 新招开发者(47 位):speedup -4%,CI = [-15%, +9%]
- 总样本:57 位、143 个 repos、800+ 任务
传播的说法是”AI 工具进步了,2026 开始真正加速开发者”。但 METR 在同一篇 post 里诚实说明了四个 selection confound,这是企业读者容易跳过的部分:
| Selection confound | 原文/我的解读 |
|---|---|
| 1. Pay 从 50/h | ”愿意为 150 那批的分布大概率不同——前者可能更早期、更闲、更想试工具,不是同一群人 |
| 2. 30-50% 开发者 opt out 任务 | METR 原文:“developers admitted avoiding submission of tasks they preferred completing with AI”——他们选择性地不上报自己想在 AI 条件下做的任务。这把 AI-friendly 任务筛掉了,剩下的任务不代表真实工作 |
| 3. Agentic 并发让时间不可测 | 多 agent 并行时,开发者”打开 PR 等 Claude Code 跑、同时切到别的任务”——完成时间的定义模糊了。METR 原文:“developers reported difficulty tracking time spent when using agentic tools while multitasking” |
| 4. 1 位开发者在 disallowed 条件下完成 0 任务 | 这个开发者的数据完全不可用;但如果这种”宁可不做也不许用 AI”的态度扩散,disallowed 条件的样本就系统性偏差 |
METR 自己原文:“our data is only very weak evidence for the size of this increase.” 以及 “The true speedup could be much higher among the developers and tasks which are selected out.”
手算:两条 CI 重叠在 7pp,所谓”反转”远比听起来软
传播层面把 +19% slowdown 和 -18% speedup 并排报道,读者第一反应是”从负 19 到负 18,净反转 37pp”。但两条 CI 画在数轴上是另一幅图:
-38 -18 -4 0 +2 +19 +39
|---------*---------| | |-----*-----|
Update 原子集 Study 1
|---*-----|
Update 新招
手算验证:
python3 <<'PY'
s1 = {"name": "2025 原始 (16 dev)", "center": 19, "lo": 2, "hi": 39}
u1 = {"name": "2026 原子集 (10 dev)", "center": -18, "lo": -38, "hi": 9}
u2 = {"name": "2026 新招 (47 dev)", "center": -4, "lo": -15, "hi": 9}
for s in (s1, u1, u2):
print(f"{s['name']:<26} center {s['center']:>+4} CI [{s['lo']:>+4}, {s['hi']:>+4}]")
lo = max(s1['lo'], u1['lo']); hi = min(s1['hi'], u1['hi'])
print(f"\n原始 vs update原子集 CI 重叠: [{lo:+d}, {hi:+d}] (宽 {hi-lo} pp)")
lo = max(s1['lo'], u2['lo']); hi = min(s1['hi'], u2['hi'])
print(f"原始 vs update新招 CI 重叠: [{lo:+d}, {hi:+d}] (宽 {hi-lo} pp)")
PY
实际输出:
2025 原始 (16 dev) center +19 CI [ +2, +39]
2026 原子集 (10 dev) center -18 CI [ -38, +9]
2026 新招 (47 dev) center -4 CI [ -15, +9]
原始 vs update原子集 CI 重叠: [+2, +9] (宽 7 pp)
原始 vs update新招 CI 重叠: [+2, +9] (宽 7 pp)
两次 CI 都重叠在 [+2%, +9%]——都与”真值在约 5% slowdown 附近”相容。所谓 180° 反转在点估计上是真的(+19 → -18 差 37pp),但在置信区间上根本不显著。
这不是在反对 METR。METR 在原文里非常谨慎,只说”based on conversations with participants, we believe it is likely that developers are more sped up from AI tools now”——用 “likely”、“based on conversations”,不用 “measured”。但在企业 AI 圈的二次传播里,“-19%” 变成了 “+18%“,中间 CI 的重叠被压扁掉了。
真正变的是 RCT 本身,不是 AI
把 METR 两次实验并排看,真正不同的不是 AI 的能力,而是静态 RCT 能不能继续测这件事:
- 当工具从”IDE 自动补全”演化到”agentic pair”(Claude Code / Codex / Cursor Agent),时间 作为 outcome 变量开始失效——开发者同时开 3 个 agent 的”完成时间”没有明确定义。
- 当支付 incentive 减半,参与池自选性质变了,群体同质性 保证不成立。
- 当开发者可以”opt out 任务”,任务 representativeness 也丢了。
- 当”骨干不愿为非 AI 条件工作”,disallowed arm 本身就污染了。
静态 RCT 的三大假设(时间可测、群体同质、任务代表)在 agentic 工具时代同时松动。METR 自己在 blog 结尾列了六条替代方法,包括”更短的高强度实验、GitHub commit 观察、固定任务、开发者级而非任务级随机化”——这些都是在承认静态 RCT 已经 degrade,需要新方法。
企业读者如果把 METR 两个数字读成 “AI 2025 没用、2026 有用了”,就彻底漏掉了这个 meta-level 发现:我们测 AI 提效的 benchmark 本身在随着工具一起变化。这和 LLM benchmark saturation 是同一类现象在 developer productivity 侧的投影。
对企业 AI 落地的启示:为什么 7% 和 55% 的数字能同时成立
上一篇 读蒋林泉 AI Native 复盘 时提到,各家报的 AI 提效数字从 3-5%(METR) 到 55%(Peng et al. GitHub Copilot 实验室) 差了十倍以上。METR 两次实验从 -19 到 -18 的反转,把一个新维度加进来:同一组实验、同一个团队、不同时间、也能差 37pp。
这让”AI 提效 N%“这类数字彻底没法作为跨场景的通用参数用。它们都是 “在某个时间、某个工具版本、某个任务分布、某个开发者群体” 的局部读数。企业自己的决策应该回到两件事:
- 在自己的真实任务上测(蒋林泉的 7% 乘法账本就是这种内部测法)
- 接受测不准,做可逆的小步投入,不要基于 “+N%” 这种外部数字做不可逆的组织变革(减编制、换组织架构)
METR 的 2026 update 不是在告诉你 “AI 变快了”,是在告诉你 “我们原来那套测法已经不能继续信任”——这个 meta 信号比任何点估计都值钱。
常见误读与纠正
| 常见误读 | 纠正 |
|---|---|
| ”METR 2025 证明了 AI 让开发者慢” | METR 证明了:在 2025 年初、Cursor + 当时模型、16 位资深 OSS 开发者、246 真实任务 的具体设置下,实测时间多 19%、开发者仍自估快 20%。设置换一个变量,结论可能换方向 |
| ”METR 2026 update 反转了 2025 的结论” | 从点估计是反转(+19 → -18),从 CI 不显著(两次都与真值 +5% slowdown 相容)。METR 自己只说 “likely sped up”,不说 “proven" |
| "2025 的 slowdown 是因为开发者还不会用 AI” | METR 明确在原文否认了:按 AI 经验、Cursor 小时数、学习曲线分组都看不到显著差异 |
| ”AI 提效可以用一个 N% 来概括” | 不行。METR -19% / Copilot +55% / BCG +25% / 蒋林泉 3-5% / 自估 +20% — 这些都是具体场景的局部读数,不互换 |
| ”METR update 说明 agentic 工具更强了” | 这是 METR 的一个 hypothesis,但无法从他们的 update 数据证明——selection bias 大到 METR 自己都说 “unreliable”。想证明 agentic 更强,需要新的 benchmark,不是原来的 benchmark 新跑一次 |
参考来源
工程实践与仓库:
- METR 原始 paper PDF: Measuring the Impact of Early-2025 AI on Experienced OS Developer Productivity(Becker, Rush, Barnes, Rein, 2025-07)
- METR blog post: 主帖 · 2026-02 update
- 本博客续读:读蒋林泉 AI Native 复盘的四副透镜
arXiv 与对照研究:
- Peng, Kalliamvakou, Cihon, Demirer, The Impact of AI on Developer Productivity: Evidence from GitHub Copilot(arXiv 2302.06590,2023-02;lab RCT 报 +55.8%,是 METR 反例的另一极)
- Dell’Acqua et al., Navigating the Jagged Technological Frontier(HBS WP 24-013,758 位 BCG 咨询师 GPT-4 RCT)