Dell'Acqua BCG 758 人 GPT-4 RCT:frontier 内 +40%、外 -19pp,而给用户 overview 反而让错得更多

Dell'Acqua 等 2023 年在 BCG 做的 758 位咨询师 GPT-4 RCT 是企业 AI 落地最硬的早期证据:GPT-4 能力边界内("frontier within")—— +12.2% 任务完成、+25% 速度、+40% 质量;边界外("frontier beyond")—— -19 pp 正确率。还有一个被广泛忽略的二级发现:GPT-4+prompt engineering overview 组,correctness 反而比 GPT-4-only 组更差——给用户更多 AI 培训让他们更容易 "falling asleep at the wheel"(原文术语)。这篇把三个条件的数字摆开,拆 jagged frontier 这个概念,并讨论它对蒋林泉 "AI 擅长 35% 代码/帮不了 65%" 的实验对应。

原文:Dell’Acqua, McFowland, Mollick, Lifshitz-Assaf, Kellogg, Rajendran, Krayer, Candelon, Lakhani,Navigating the Jagged Technological Frontier,Harvard Business School Working Paper 24-013,2023-09。一句话:BCG 758 位咨询师、GPT-4 2023 夏版、两类任务(frontier 内外)、三种条件(无 AI / GPT-4 / GPT-4+overview),是企业 AI 落地圈早期最被认真做过对照的 RCT。METR 2025 开发者 RCT 是这篇在编程侧的续篇——同样的”场景定胜负”主题。

Dell’Acqua 等这篇在传播层面最常被引用的数字是”+40% 质量”和”-19pp 正确率”,加上”Jagged Frontier”这个概念本身。但这篇真正让我停下来的是二级发现:给用户发一份 prompt engineering overview 作培训,他们的 correctness 反而比不培训组更差。这个数字企业读者最该记住,但传播里几乎看不到。

实验设置:三条件 × 两类任务,比常规 RCT 多一个轴

多数 AI 提效 RCT 只有两组(用 / 不用)。Dell’Acqua 加了第三组:

  • Control:无 AI
  • GPT-4 only:给 GPT-4 访问权,无额外培训
  • GPT-4 + overview:给 GPT-4 访问权 + 一份 prompt engineering 介绍材料

三条件 × 两类任务(inside / beyond the frontier)构成 2×3 design。参与者是 758 位 BCG 咨询师(约占他们 individual-contributor 工作量的 7%),哈佛、耶鲁、牛津一类的学历。任务由资深 MD 设计,并由 11 位 MD 确认任务对招聘和晋升决策有效。

两类任务的差异:

  • Inside the frontier:对应 GPT-4 在当时模型能力范围内可以胜任的——创意生成、文本处理、结构化分析。这类任务占据”商业咨询中 AI 看起来很强”的那部分。
  • Beyond the frontier:对应 GPT-4 看起来能回答但实际容易出错的——涉及最新事实、复杂推理、需要做权衡的开放问题。这类任务看起来比 inside 任务更简单,但在 GPT-4 当时能力下更危险。

关键:任务对 AI 的难易不等同于对人类的难易——这是整篇文章的论点骨架。企业读者的直觉”难题交给 AI、简单题自己做”几乎必然失效。

核心数字:三条件对比

传播层说的是 inside 和 beyond 的对比。原文表格给的是三条件 × 两任务的完整矩阵。核心数字:

任务类型条件完成任务数质量正确率(outside only)
Inside the frontierControl (无 AI)基线基线—
GPT-4 only+12.2% 更多任务完成+40% 质量—
GPT-4 + overview类似 GPT-4 only类似或略好—
Beyond the frontierControl (无 AI)基线—基线正确率
GPT-4 only类似或略多—-19 pp 正确率
GPT-4 + overview——比 GPT-4 only 更差

Inside 那行是”AI 全面加分”——不只是快,还更好。这是”AI 让 BCG 咨询师工作的 7% 变强了”的直接量化。

Outside 那行是 Falling Asleep at the Wheel 现象:咨询师拿到 AI 输出后停止审查,照单全收。GPT-4 在 beyond 任务上流畅地给出错答案——这是 LLM 最常被批评的失败模式。-19 pp 是相对 Control 组,意味着用 AI 反而比不用 AI 错得更多。

真正值得记住的二级发现:培训组 correctness 更差

现在是我想单独拎出来的那个数字。按直觉,给用户一份 prompt engineering overview 应该提升他们用 AI 的效果——至少不该让他们更差。Dell’Acqua 原文的发现是:在 beyond-frontier 任务上,GPT-4+overview 组的 correctness 比 GPT-4-only 更低。

作者给的解释是 “更熟悉工具反而加剧 over-reliance”——培训让咨询师更相信 AI 的输出,审查变少,错误吞下去的更多。

这个结论对企业决策的实际意义比”+40% 质量”更大:

  • “培训员工怎么用 AI”是企业 2024-2026 的标配投入,几乎所有 Fortune 500 公司都在搞 AI literacy / prompt engineering 内训。
  • 这个 overview 组的 -X pp 正确率下降(原文给的是统计显著但未给精确点估)直接挑战这个方向。
  • 真正起作用的可能不是”教怎么用”,而是”教什么时候不该用”——frontier 边界识别。但这正是最难训练的技能,因为边界本身是锯齿状的(jagged),很难一次性讲清楚。

企业 AI 落地圈很少提这个点,因为它破坏”AI 培训是投资”的默认叙事。但 Dell’Acqua 实验里实打实存在,757 人 preregistered RCT,可信度相当高。

Jagged Frontier 到底是什么

“Jagged frontier” 这个词在传播里用得很响,但它的精确含义是什么值得说清:

  • 不是连续曲线:AI 的能力不随任务难度(对人类的难度)线性变化。一个你觉得难的任务 AI 可能很强,一个你觉得简单的任务 AI 可能全错。
  • 锯齿状:边界上下跳动得剧烈,没有稳定的”AI 擅长 N 分难度以下”这种规律。
  • 难以提前预测:试之前你不知道这个任务落在 frontier 哪边;试之后 AI 表现好 ≠ 答案正确(因为 LLM 会流畅地错)。
  • 随模型更新而改变:GPT-5 的 frontier 和 GPT-4 的不同,而且不是简单外扩——有些 GPT-4 不行的 GPT-5 行了,但也会出现 GPT-4 对的 GPT-5 错了的情况(模型迁移 regression)。

所以”用 AI 的生产力 = 一个 N% 提升”这种单一数字根本无法成立。真实情况是:生产力 = 任务分布 × 当前 frontier 的锯齿形 × 用户识别边界的能力。三个变量都不稳定。

Dell’Acqua 这篇的贡献不是具体那几个数字,而是给了一个描述 AI 能力分布的词汇——让”frontier within / beyond” 成为企业讨论 AI 落地时的通用参照。

手算:你的任务组合里 inside 比例要多少才划算

Jagged Frontier 的实际意义是什么?手算一个最朴素的净收益模型:假设用户的任务组合中有 p 比例落在 frontier 内(+40% 质量收益),(1-p) 落在 frontier 外(-19pp 正确率损失)。什么样的 p 能让净收益为正?

python3 <<'PY'
# Dell'Acqua 的两档收益 / 风险(inside quality +40%, outside correctness -19pp)
inside_gain = 0.40   # 质量相对提升 40%
outside_drop = 0.19  # 正确率绝对下降 19pp

baseline = 0.50  # 假设基线有 50% 任务达到 "acceptable" 标准

print(f"{'inside 占比':<12}{'inside 好结果率':<17}{'outside 好结果率':<17}{'净好结果率':<12}{'相对基线':<10}")
for p in (0.1, 0.3, 0.5, 0.7, 0.9):
    inside_good = baseline * (1 + inside_gain)
    outside_good = baseline - outside_drop
    net = p * inside_good + (1 - p) * outside_good
    lift = (net - baseline) / baseline * 100
    print(f"{p:<12.0%}{inside_good:<17.3f}{outside_good:<17.3f}{net:<12.3f}{lift:+9.1f}%")

# 解方程求盈亏平衡: baseline = p * (baseline*(1+g)) + (1-p) * (baseline - d)
# 对 baseline=0.5, g=0.40, d=0.19:
#   0.5 = 0.7p + 0.31(1-p)  =>  0.5 = 0.31 + 0.39p  =>  p = 0.487
crit = (baseline - (baseline - outside_drop)) / (baseline * (1 + inside_gain) - (baseline - outside_drop))
print(f"\n盈亏平衡点: inside 占比 = {crit:.1%}")
PY

实际输出:

inside 占比  inside 好结果率   outside 好结果率  净好结果率    相对基线
10%         0.700            0.310            0.349       -30.2%
30%         0.700            0.310            0.427       -14.6%
50%         0.700            0.310            0.505       +1.0%
70%         0.700            0.310            0.583       +16.6%
90%         0.700            0.310            0.661       +32.2%

盈亏平衡点: inside 占比 = 48.7%

数字很直接:你的任务组合里 inside the frontier 的比例要达到约 49%,才能保证用 AI 的净收益为正。如果有一半以上任务落在 frontier 外,而用户又”falling asleep”,用 AI 的整体效果比不用 AI 更差。

这个盈亏平衡点和一般印象差距很大。企业 AI 落地圈的默认假设是”AI 多少都会提效一点,差别只是多少”——但这个手算说,任务组合不对的情况下,AI 的净效果是负的,而且负得不轻。p = 30% 时净效果 -14.6%,p = 10% 时 -30.2%。

这也解释了为什么 METR 的 -19% slowdown 并不反常——资深 OSS 开发者在自己贡献的大仓库里做任务,有相当大比例落在 “存量核心代码 + 复杂集成” 这种 frontier 外的区域。

对蒋林泉 “7% 擅长、65% 帮不上” 的回填

上两篇(蒋林泉透镜 和 METR CI 重叠)讨论过企业内部数字和学术 RCT 的对应。蒋林泉说”AI 擅长的那 35% 代码量只吃 35% 编码时间”,剩下 65% 是存量核心代码 + 非功能性代码,AI 帮助有限。

这其实就是 Jagged Frontier 在编程任务上的切片:

  • Frontier within(CRUD、UI、前端模板、测试胶水)—— AI 的 +40% 质量 / +25% 速度区域
  • Frontier beyond(存量核心代码、历史兼容、非功能性约束)—— AI 的 -19pp 正确率风险区域

蒋林泉给编码任务做了比例分配(20% 时间在 AI frontier 内,65% 时间在 frontier 外),Dell’Acqua 给咨询任务做了 inside/outside 对照。两种视角交叉验证了同一个事实:AI 的提效是非均匀的,总和取决于你的任务分布在 frontier 两侧的比例。

换个说法:AI 的能力地图不是国界线,是群岛

把 AI 的能力想象成一张地图。朴素模型是国界线——线以内 AI 能干、线以外 AI 不能干、线是连续的。你学会识别这条线就能用好 AI。

Dell’Acqua 的实验说:这张地图不是国界线,是散落的群岛。线 AI 能干的任务不在一个连续的大陆上,而是分成很多小岛,每个岛之间有海——落海(frontier 外)AI 就开始胡说,但它说得流畅自信,用户不一定察觉。

  • +40% 质量是在岛上用 AI 的收益
  • -19pp 正确率是把 AI 带到海里的代价
  • overview 培训让 overview 组更差,是因为培训让他们更相信 AI 认得海陆,但 AI 自己不认得——边界只有用户能画

工具的 overview 教的是怎么开船,但不教怎么看海。开船技术越熟练,用户越容易在以为自己在岛上的时候、实际已经在海里。

企业的 AI 培训应该教的是怎么画自己领域的群岛地图——哪些具体任务试过是岛(几次成功、几次失败)、哪些是海。这种知识只能在自己业务的真实任务上实测积累,没法从外部课程里学。蒋林泉的”业务同学亲手用通用智能体编排 MCP”、METR 让开发者在自己贡献的仓库上做任务,都是这种”画自己群岛”的工程。

边界卡:Dell’Acqua 结论的失效情形

什么时候这篇的结论不能直接搬为什么
模型升级后(GPT-4 → GPT-5 / Claude 3.5 → 4.5 / Qwen 3)Frontier 位置会变,而且不是简单外扩——新模型可能在某些老模型会的任务上 regression
任务类型是 code 而非 consultingDell’Acqua 测的是写文本/做分析,和代码任务的 frontier 形状不同(代码任务有 compile-time 校验,frontier 边界更硬)
用户群体比 BCG 咨询师经验更弱”falling asleep” 现象可能对不太敢挑战 AI 的新手更严重,-19pp 可能变成 -30pp 或更差
任务可以自动验证(有单元测试、有 ground truth)自动验证相当于每道题后有一次校正,“stayed asleep” 的错误会被 catch,-19pp 大幅收敛
培训内容是边界识别而不是 prompt engineering这篇否的是”教怎么用 AI”的培训,没否”教什么时候不该用 AI”的培训;后者没人做过实验

读这篇时最大的坑是把”GPT-4 那年 BCG 咨询师的数字”直接 translate 到”今天我公司员工用 Claude 的预期”。两边几乎所有变量都变了——唯一还成立的大概只有”frontier 是锯齿状”这个 meta-结论。

参考来源

工程实践:

相关文献: