2026 年 11 月中,OpenAI 的经济研究团队发布了《Science at the Frontier: How scientists use ChatGPT》。头条数字是:“科学家估计,使用 AI 的 1 小时工作,换成没有 AI 要花 1.9 小时”。媒体标题”ChatGPT cuts research time in half” 用的就是这个 1.9 倍。
把这个数字和 METR 2025 年 7 月的 Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity 并排看会发现一件事。METR 是一个随机对照试验(RCT)——16 位有经验的开源开发者在 246 个任务上被随机分配可不可以用 AI,实测发现用 AI 组反而慢了 19%;更有意思的是同一批开发者自己估计 AI 让他们快了 20%(METR 原文把这两个数字的差总结为 40 个百分点的 estimation bias)。
一个说”自报告时间缩短到 1/1.9(约 47%)“,一个说”实测时间增加 19%、自报告时间缩短 20%“——OpenAI 的 1.9× 是科学家做的时间比值估计,METR 的 −19% / +20% 是开发者真实任务时间的增减百分点。方向相反。差的不是模型能力(两份研究前后相差不到一年半),差的是测量方法。
这篇想把 OpenAI 这项研究的方法论拆清楚(它不是 RCT,是自报告 survey + 自动分类器),顺带用 METR 这个唯一已公开的 AI 生产力 RCT 当对照,手算一下”选错口径”的实际商业代价。
OpenAI 的 1.9× 怎么来的
先把这项研究的数字结构说清——因为新闻标题”快 1.9 倍”太粗了,它掩盖了三个关键的方法论细节。
研究期间 2026-08-20 到 09-22(约一个月的消息数据),参与者是报名 ChatGPT for Academic Researchers summer pilot 的 1,819 位科学家。OpenAI 的研究团队没有读原始对话内容(隐私考量);他们用自动分类器把 580,186 条科研相关消息分成若干类(literature review、data analysis、ideation 等),只统计类别频次。所以1,819 和 580,186 这两个大数字只告诉你”用得多、用途广”,不告诉你”更快”。
“快 1.9 倍”来自另一个完全独立的问卷。时间是 2026-09-30 到 10-07,收到 270 份有效回答、251 位同意数据使用、其中 224 份包含书面回答;OpenAI 报告的 1.9× 分母是 251 位(给出数字估计的样本)。问卷的核心问题是:
想象你刚完成的这项工作,如果没有 AI 可用,要达到同样质量,你估计要花多少小时?
拿回答除以”实际花费小时”,中位比值大约 1.9。OpenAI 自己在报告里明确说:
Productivity is self-reported, and these findings do not establish causal effects.
两点要落实:(1) 1,819 不是 251 的样本。1.9× 只来自 251 人的自估问卷,不是从 1,819 人的使用日志里测出来的。新闻里”1,819 位科学家快了一倍”是把两个数字拼在一起的说法,不是研究本身的 claim。
(2) 1.9× 是 counterfactual estimate,不是 measured comparison。参与者没有同时跑一次”有 AI”和”无 AI”的任务;他们是在完成后,想象没有 AI 的情况下要多久,给出一个比值。这不是 counterfactual 实验,是 counterfactual 想象。
对这个数字至少有三个独立的 bias 能同时推高它:
- 自选样本:报名 ChatGPT pilot 的科学家倾向于认为 AI 有用(否则不会花力气申请)。这会让他们对”AI 好处”的估计系统性偏高。OpenAI 自己承认 “sample comes from people who joined an AI-access pilot, not a random cross-section”。
- recall bias:人对”自己做过的事花了多久”记忆有限,对”没做过的 counterfactual” 更难估。普遍倾向是夸大当前方法的新奇性(见 Kahneman 的 availability heuristic 文献)。
- justification bias:如果你花时间学了一个工具、申请了一个 pilot、告诉同事你在用 AI,事后给它打低分会觉得自己浪费了精力——人的自我一致性倾向会把回答往高拉。
这三个 bias 不是我编的,它们在心理学和劳动经济学里有长期的经验证据(见 Prelec 2004 A Bayesian truth serum for subjective data,Science 上专门讨论自报告偏差及其校正方法)。OpenAI 没有在方法里设置任何校正这些 bias 的机制(比如 blind 对照、第三方 observer 时间记录、相同任务的双条件对比)——这不是研究的瑕疵,是这类 survey 研究的固有限制。它可以告诉你”科学家觉得 AI 有用”,不能告诉你”AI 让科研快了多少”。
METR 的 −19% 怎么来的
METR 2025 年 7 月的研究是目前唯一一项专门测 AI 生产力的开源 RCT。
研究设计:16 位资深开源开发者(熟悉自己要改的 repo),在 246 个真实的 pull request 级任务上,每个任务被随机分配到 “AI-allowed”(可以用 Cursor Pro + Claude 3.5/3.7 Sonnet)或 “AI-forbidden”(手打)。完成时间由第三方记录,不是自报告。
实测结果:AI-allowed 组的任务完成时间比 AI-forbidden 组长 19%(95% CI 不覆盖零)。
同一批开发者的自估计:他们认为 AI 让自己快了 20%。
METR 把 bias 量化得很清楚:参与者对 AI 时间效应的估计偏差约 40 个百分点(−19% 实测与 +20% 自估之间的方向差近 39pp,METR 原文为简洁取整为 40pp)。
关于”为什么会慢”,METR 的分析是:这些开发者改的是他们熟悉的代码库,AI 对隐含约束不了解,产出的代码要花时间审 + 修,修的时间超过了手打节省的时间。56% 的参与者之前没用过 Cursor(虽然 94% 用过 chat LLM),这也是短期学习成本。
METR 2026-02 发了一个 follow-up:57 位开发者、800+ 任务、143 个 repo 重跑。结果是”AI 的效应现在横跨 zero”(CI 从 -38% 到 +9%),他们自己宣布不再信任自己的工具,并给 2025 原始结果加了一个警示:原结果”不再反映 2026 年早期 AI 对开源开发者生产力的影响”。原文还有一句:“based on conversations with study participants, we believe developers are now more sped up from AI tools in early 2026 compared to the early 2025 estimates”——仍然是 self-report 口径,但他们诚实地说了这是口径升级。
同期 METR 2026-05 的 Measuring the Self-Reported Impact of Early-2026 AI on Technical Worker Productivity(survey 而非 RCT)里,349 位 technical workers 的中位自报告 speedup 是 3×——而 RCT 测不出来显著加速。自报告 vs RCT 的 gap 在 2026 年并没有消失,只是大家都习惯了这个 gap,不再觉得奇怪。
一笔简单的账:选错口径的工时代价
两个数字选哪个会影响实际决策(比如企业要不要给员工全员配 ChatGPT Plus)。手算一下。
假设一个 10 人技术团队,每周 400 工时:
python3 <<'EOF'
team, hpw = 10, 40
openai_savings = (1.9 - 1) / 1.9 # 自报告 1.9x: 节省 47.4%
metr_cost = -0.19 # RCT: 多耗 19%
saved = team * hpw * openai_savings
cost = team * hpw * metr_cost
gap = saved - cost
print(f"OpenAI 1.9x 口径: 净节省 {saved:+.1f} 小时/周 ({saved/hpw:.1f} 人周)")
print(f"METR -19% 口径 : 净多耗 {cost:+.1f} 小时/周 ({cost/hpw:.2f} 人周)")
print(f"两者差距 : {gap:.1f} 小时/周 ({gap/(team*hpw)*100:.1f}% 工时)")
EOF
输出:
OpenAI 1.9x 口径: 净节省 +189.5 小时/周 (4.7 人周)
METR -19% 口径 : 净多耗 -76.0 小时/周 (-1.90 人周)
两者差距 : 265.5 小时/周 (66.4% 工时)
同一个 10 人团队,一周 400 工时下,按 OpenAI 口径是”多出 4.7 个人周干别的”,按 METR 口径是”少了 1.9 个人周”——两种报告给出的决策方向相反,两种口径的差额加起来等于 6.6 人周(这是两个相反方向的差额求和,不是”一周损失 66.4% 工时”的意思;正确读法是”选 A 还是选 B 的决策分歧覆盖了全团队 66.4% 的工时”)。这个差距足以让一个季度 ROI 计算从正变负。
注意两件事。第一,OpenAI 测的是自然科学家,METR 测的是开源开发者;这不是同人群同任务的直接比较。但 METR 2025 已经在自己的样本里同时跑了 RCT 和 self-report,内部对比下就有 39pp 的方向翻转——换到其他人群,gap 的具体大小未知,但”自报告显著乐观于实测”这个方向是跨人群稳定的 self-report bias 文献结论(见 Prelec 2004 以及劳动经济学的 recall-bias 综述)。第二,METR 2026-02 承认 2025 结果过时,所以 “−19%” 不能当”2026 年 AI 让开发者慢 19%“的 claim;但它仍是”自报告和 RCT 相差 39pp”这个方法论结论的硬证据,而方法论结论不随模型升级过期。
把 OpenAI 的 1.9× 翻译成能用的话
保守地说,OpenAI 这项研究能支持的 claim 是:
- 1,819 位 pilot 科学家中约有相当比例把 ChatGPT 用在科研工作流的多个环节上(这个来自自动分类器,可信)。
- 251 位自愿填问卷的 pilot 参与者估计,他们觉得AI 让自己同等质量工作所需时间缩短为原来的 1/1.9(这个来自自报告,口径上是”用户感知”)。
它不能支持的 claim:
- “ChatGPT 让科学家效率翻倍”(这是把感知当测量)。
- “1,819 位科学家快了 1.9 倍”(1.9 不是从 1,819 的使用数据里测的)。
- “AI 加速了科学发现”(OpenAI 自己只说 98% 的受访者 期望 AI 加速,没说已经加速了)。
- “决定要不要为团队采购 ChatGPT 的收益由这篇研究支持”(它测的不是实际 ROI 的任何 component)。
这 1.9× 这类数字什么时候可以当真
- 当样本包含随机对照、而不是自选 pilot 参与者。随机分配能挡住 self-selection bias。
- 当完成时间由第三方记录,而不是事后自报告。消除 recall bias 和 justification bias。
- 当研究者不是工具销售方。OpenAI 是 ChatGPT 的厂家,METR 是独立非营利组织——这不是说厂家研究一定不可信,是说看厂家研究要降一档权重。
- 当有 pre-registered 的分析方案和失败样本会被公布。自选报告意味着你看到的结果是厂家觉得”值得报告”的子集。
- 当讨论的任务和你的任务在”隐含约束密度”上接近。METR 的开发者改熟悉 repo 时是慢的,但 METR 自己在 2026-02 的 update 里也承认,不熟悉的 repo、小任务、高度结构化的 output(如一次性 script、文档生成)大概率是加速的——只是公开 RCT 没覆盖到。
OpenAI 这篇研究五条里不满足前四条。作为”科学家用 ChatGPT 做什么”的 descriptive 文献,它有用;作为”ChatGPT 加速了多少科研”的因果 claim,它的证据力度约等于一张用户满意度问卷。
参考来源
原始研究
- OpenAI Economic Research:Science at the Frontier: How scientists use ChatGPT,2026-11-16。作者 Chris Liao、Carl Shan、Aaron Chatterji。
- Becker、Rush、Barnes、Rein(METR):Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity,2025-07-10。
- METR:We are Changing our Developer Productivity Experiment Design,2026-02-24。2025 原实验的方法论复盘。
- METR:Measuring the Self-Reported Impact of Early-2026 AI on Technical Worker Productivity,2026-05。349 位 technical workers 自报告 3× speedup。
Self-report bias 方法论
- Prelec:A Bayesian Truth Serum for Subjective Data,Science 2004。讨论主观自报告数据的系统 bias 与校正方法。
站内相关
- 《支付决策模型训练复盘》:从本地实测角度讨论”声称的收益和测量限度”。
- 《LLM 评测的十一种方法:参考值到底从哪来》:参考值错位问题的系统梳理。
- 《d1.2-ultra 升级的 78% 来自一个评测》:榜单的”第一名”同样来自特定测法。