Brynjolfsson, Li, Raymond,Generative AI at Work,NBER WP 31161(2023-04 初版 / 2023-11 revised / 2025 发表于 Quarterly Journal of Economics Vol. 140(2))。研究对象是一家匿名公司的 5,179 位 customer service 员工在 AI 对话助手 staggered rollout 下的 productivity。整体数字是 +14% issues resolved per hour,但拆开新手/老手后差距巨大——这是一篇被广泛引用但常被压扁的研究。
核心数字:+14% 的分子里几乎只有新手
Brynjolfsson 等的实验设计是自然实验 + staggered rollout,不是 RCT。但因为公司是分批次给员工上 AI 工具(约 5-6 个月铺完),每批次时点不同,相当于用”先用的员工 vs 还没用的员工”做准 RCT。样本大(5179 人),时间段长(约 12 个月),处理效应估计稳健。
核心数字:
- 整体:issues resolved per hour +14%
- Novice / 低技能员工:+34%
- Experienced / 高技能员工:几乎 0(minimal impact)
- Customer sentiment:显著提升
- 员工 retention:显著提升(新手留得更久)
AI 工具的具体 vendor 和模型未披露,但功能是”对话助手”——给员工实时推荐应对话术、总结客户上下文、提示下一步。
倒推:这家公司的新手占多少
Brynjolfsson 等没明确说这家公司的员工老手/新手比例是多少。但有了整体 +14%、novice +34%、experienced ~0%,可以反过来解出新手占比:
python3 <<'PY'
# 已知: overall = p * novice + (1-p) * expert
# 14% = p * 34% + (1-p) * 0% => p = 14/34
overall = 0.14
novice_gain = 0.34
expert_gain = 0.00
p_novice = (overall - expert_gain) / (novice_gain - expert_gain)
print(f"推算: 新手 (低技能) 员工占比 ≈ {p_novice:.1%}")
print(f"反推验证: {p_novice:.3f} * {novice_gain:.2f} + {1-p_novice:.3f} * {expert_gain:.2f} = {p_novice*novice_gain + (1-p_novice)*expert_gain:.3f}")
print("\n如果换到其他员工组合的公司, AI 预期整体收益:")
print(f"{'新手占比':<12}{'预期整体 lift':<15}{'说明'}")
for p in (0.1, 0.2, 0.3, 0.41, 0.5, 0.7, 0.9):
lift = p * novice_gain + (1-p) * expert_gain
tag = "(此 BPO)" if abs(p - p_novice) < 0.015 else ""
print(f"{p:<12.0%}{lift:<15.1%}{tag}")
PY
实际输出:
推算: 新手 (低技能) 员工占比 ≈ 41.2%
反推验证: 0.412 * 0.34 + 0.588 * 0.00 = 0.140
如果换到其他员工组合的公司, AI 预期整体收益:
新手占比 预期整体 lift 说明
10% 3.4%
20% 6.8%
30% 10.2%
41% 13.9% (此 BPO)
50% 17.0%
70% 23.8%
90% 30.6%
这家公司新手占约 41%——对 call center / BPO 行业是合理的(流失率高、新人多、“把老兵刚刚培养起来就走了”是行业常态)。
关键是这条换算曲线对企业决策的直接作用:如果你公司是资深工程师团队(老手占 90%),你期望的 AI 整体 lift 约 3.4%,和业界报的 METR 3-5% 几乎完全一致。如果你是做 BPO/call center 外包(老手占 10%),你的期望 lift 可以到 30% 以上。
“+14% 这个总数” 本身没有迁移价值——它是一个具体员工组合下的读数,直接搬过来给别的公司用意义不大。真正可迁移的是 “+34% 新手 / +0% 老手” 这组底层参数,以及你公司员工画像。
AI 作为”老手隐性经验 → 新手”的管道
Brynjolfsson 原文对为什么是新手受益给了明确机制:“the AI model disseminates the best practices of more able workers and helps newer workers move down the experience curve.”
翻译:AI 工具学到的是老手的回话 pattern(因为训练数据来自资历长的员工实际解决过的工单),然后在新手遇到同类问题时实时推荐这些 pattern。相当于把老手的隐性经验显式化成”推荐话术”,分发给新手。
这个机制对决策的三个推论:
- 对老手:AI 几乎没什么可教——他们本来就会这些 pattern,AI 的推荐和他们自己想到的差不多。
- 对新手:AI 把 “上手曲线” 压扁——原本要 6 个月学会的回话 pattern,现在上岗 1 个月就能用。
- 对公司:隐性知识的沉淀变成了产品——以前公司是靠”老人带新人”传递经验,现在这件事可以被 AI 自动化(而且不会像老人那样辞职)。
第三点其实比 +14% 生产力更值钱。Retention 提升不是副作用,是新手不再在”还不会做”的挫折期辞职——因为 AI 兜底让他们一开始就能做出合格的输出。这个效应在知识密集但容易流失的岗位(client-facing、operations、junior engineer)都成立。
对蒋林泉”骨干被 AI 产出 DDoS”的回填
上一篇 蒋林泉透镜 提到他观察到的一个现象:“用了 AI 之后,骨干反而成了更大的瓶颈,像被 DDoS 了一样。”
Brynjolfsson 这篇正好是这个现象的经济学版验证:
- 新手产出倍增(+34% 任务解决率、retention 提升)
- 老手自己的任务提效 ~0
- 但新手每多解决一单,不等于没有后续成本——高质量的回应里有细节要核验,异常情况要升级给老手,复杂纠纷要骨干介入。老手花在”review 新手的 AI 辅助输出”上的时间,蒋林泉没量化但观察到了;Brynjolfsson 没直接测但也没否认。
一个 projection 推论:AI 把新手的产量推高了 34%,却同时把老手的”审查负荷”也推高了类似量级——因为老手要审的事从”自己的任务”变成”自己的任务 + 一倍以上的新手输出”。整体 +14% 是新手直接产出 / 老手时间**都被计入分子的综合效果,但老手的”质量守门”那部分成本藏在数字背面。
这就解释了为什么蒋林泉文章里的 Live Demo / API 契约 / 测试左移 / SDD 都在做一件事:把”要靠骨干审查”的部分,前置化或自动化。Dell’Acqua 的 “falling asleep at the wheel” 是在说”审查不做会出事”;蒋林泉是在说”审查永远要做,但要换一种做法”。这两个视角合起来,Brynjolfsson 的 +14% 就从一个”AI 带来产量”的数字,变成一个”新手产量增量 - 老手审查成本”的净值——至于净值到底多少,Brynjolfsson 没算,蒋林泉在自己团队内部大概算过(他们做到 2-3× 吞吐)。
速查卡:按你公司的员工组合估算 AI 预期收益
| 你公司的典型画像 | 老手占比(估) | 预期整体 AI lift(乘 0.34) | 是否值得推 |
|---|---|---|---|
| 资深工程师团队、SRE、安全团队 | 90% | ~3.4% | 边际;要和 Dell’Acqua 的 -19pp outside 风险并列权衡 |
| 普通产品研发、咨询团队 | 70% | ~10% | 值得试,但不要期待业界 PR 稿那些 50%+ 的数字 |
| 外包、BPO、call center、junior 密集 | 30-50% | 17-23% | 核心受益群体,与 Brynjolfsson 报的 +14% 组同数量级 |
| 全是新手(新开业务线、刚招的实习生群) | 10% | 30%+ | 最高 ROI 的部署场景,同时也最需要质量门禁防”低质量规模化” |
| 全是专家(研究院、咨询合伙人层) | ~0% | ~0% | 不要期待生产力提升;要期待的是让专家时间从重复劳动里释放(另一套 metric) |
这张表的用途不是精确预测——每家公司的”老手""新手”定义不同、任务组合不同、AI 工具不同。真正的用途是让你在听业界 “+N% 生产力提升” 时,问一句 “N 对应的员工画像是什么”。这个问题每次都有答案,但没人会主动说。
读完能做的事:打开你公司的员工目录,按”入职时长” 或 “P6 以下 / 以上” 这类粗分,估一个新手占比。乘 0.34。得到的数字就是”如果我公司是 Brynjolfsson 那个 call center 的替代版”下的预期 AI lift。比外部报告里的任何数字都更贴近你的真实期望。
参考来源
- Brynjolfsson, Li, Raymond, Generative AI at Work(NBER WP 31161,2023-04 / revised 2023-11 / 发表于 QJE 2025)
- 本博客续读:Dell’Acqua Jagged Frontier 深读 · METR CI 重叠分析 · 蒋林泉 AI Native 透镜