全部专题

Reading path

大模型论文精读

沿论文原文拆解模型结构、训练方法、评测与工程权衡,不追热点标题,追可复用的理解框架。

194 篇文章

Archive

专题归档

第 1 / 8 页

Brynjolfsson 5179 人 call center RCT:+14% 整体是幌子,决定公司拿多少的是新手占比

Brynjolfsson、Li、Raymond 2023(NBER 31161,2025 发表于 QJE)在一家匿名公司的 5179 位 customer service 员工中做了 AI 对话助手的 staggered rollout:整体 +14% issues resolved per hour,但拆开看 novice/低技能员工 +34%、experienced/高技能员工几乎无变化。倒推一下这个公司的员工组合: 34%·p + 0%·(1−p) = 14% → p ≈ 41.2%。意思是你家企业的 AI 预期收益直接由新手占比决定,不是由 AI 工具本身决定。老员工占 90% 的公司期望只能拿到 +3.4%。这篇把倒推做成一张查表,顺手讨论 "AI 是把老手隐性经验传给新手的管道" 这个机制,以及它对蒋林泉"骨干被 AI 产出 DDoS"叙事的对应。

Brynjolfsson Productivity J-Curve:为什么 7% AI 工具收益和 2-3× 企业吞吐能同时为真

Brynjolfsson、Rock、Syverson 2018 年 NBER 25148 (AEJ:Macro 2021) 提出 Productivity J-Curve: 通用目的技术(GPT)引入时需大量 "intangible capital" 投入——组织流程重设计、人员 reskilling、业务模式 co-invention——这些投入在国民账户里不被计量, 导致早期 TFP 被系统性低估, 后期被高估, 整体曲线呈 J 形。论文给的数字: 调整 intangible capital 后的 TFP 2004 年比官方报的高 11.3 pp, 2017 年高 15.9 pp. 这篇被广泛引用支持 "AI 现在没用是因为还在 J-Curve 低谷" 的叙事, 但读完会发现论文本身没预测 AI 的 timeline, 低谷时长是一个开放问题。我用这个框架回填蒋林泉 "编码 7% 上限 vs 实际 2-3× 吞吐" 的 10× 差距 —— 中间差的正是 intangible capital 投入落地。

Dell'Acqua BCG 758 人 GPT-4 RCT:frontier 内 +40%、外 -19pp,而给用户 overview 反而让错得更多

Dell'Acqua 等 2023 年在 BCG 做的 758 位咨询师 GPT-4 RCT 是企业 AI 落地最硬的早期证据:GPT-4 能力边界内("frontier within")—— +12.2% 任务完成、+25% 速度、+40% 质量;边界外("frontier beyond")—— -19 pp 正确率。还有一个被广泛忽略的二级发现:GPT-4+prompt engineering overview 组,correctness 反而比 GPT-4-only 组更差——给用户更多 AI 培训让他们更容易 "falling asleep at the wheel"(原文术语)。这篇把三个条件的数字摆开,拆 jagged frontier 这个概念,并讨论它对蒋林泉 "AI 擅长 35% 代码/帮不了 65%" 的实验对应。

METR 从 -19% 慢到 +18% 快的"反转"读来惊人,两条 CI 重叠在 7pp——真正失效的是 RCT 本身

METR 2025 年报告资深开源开发者在 AI 辅助下完成任务慢 19%(CI +2% 到 +39%);2026-02 update 说原子集反转到快 18%(CI -38% 到 +9%)。读起来像 180° 反转,手算两条 CI 重叠在 [+2%, +9%] 共 7pp——两次结果都与"真值在 0 附近"相容。真正发生的不是 AI 变快了,是四种 selection bias 让静态 RCT 对快速演化的工具测不出信号:pay 从 $150/h 降到 $50/h、30-50% 开发者 opt out "想用 AI 做的任务"、agentic 并发让时间不可测、一个开发者在 disallowed 条件下完成 0 任务。企业读者把这两个数字并排看作"AI 变快了"几乎必然误读;METR 自己在 blog 里也诚实承认 "new results unreliable"。

Peng Copilot +55.8%、Microsoft 4867 人 +26%、METR -19%:三条数字连成一条"任务 realism 越高提效越低"的曲线

Peng 等 2023 (arXiv 2302.06590) 的 +55.8% Copilot 加速被广泛引用, 但读完方法论: 95 位 Upwork freelancer, 单一 HTTP server task, 1 分钟 Copilot intro, 实验期 2022-05 到 2022-06. 更要命的是完成率: 95 人只有 35 人完成, 55.8% 是"完成者组"的均值, 60 人 dropout 的数据不在分子里. Microsoft 2024 follow-up (Cui et al., Management Science 2026) 在 Microsoft/Accenture 等三家真实企业中测 4867 名真实开发者, 降到 +26.08%. METR 2025 资深 OSS 开发者在自己仓库上做真实任务, 变成 -19%. 三组数字连成一条清晰的递减曲线: 从"实验室 + synthetic task + 筛选 completer"到"真实企业 + 熟悉代码库 + 资深者", AI 提效从 +55.8% 一路降到 -19%, 落差 74pp. 这篇把三组实验设置摆到同一张表, 顺手讨论 35/95 完成率的 survivor bias.

VABAR 深读:从裸 Claude Code 到人写图这 66 分涨幅,harness 和 composition 几乎一人一半

VABAR(arXiv 2611.06881)把裸 Claude Opus 5、同模型装进 GaP harness、以及人写执行图三栏放进同一张表。我把 12 个 task–difficulty 条件逐个加起来重算:Claude Code 0.3% → GaP Autonomous 30.7% → GaP Human 66.6%,harness 加 30.45 分、人写图再加 35.88 分,几乎对半开。这是论文自己没点出来的那笔账——第一次有 benchmark 把 Lilian Weng 的 "harness 决定能力" 和 "composition 抽不掉" 分开量了。

93 个自进化 Agent 的主结果里,只有 8 个能证明「那条更新真的跑过」

Harness Self-Evolution(arXiv:2610.18813)把一份 93 条的证据审计放进了公开仓库。我把 TSV 拖下来自己复算了一遍:没有一条主结果同时满足四条标准,最薄的是 activation——「被接受的那条更新,在打分的那几次运行里到底起没起作用」,只有 8 条给得出证据。然后我用同一把尺子量了自己的博客 harness,得分 0/4。

ASPIRE 深读:NVIDIA 教机器人的那套技能库,交付物是一个 CLAUDE.md

NVIDIA GEAR 的 ASPIRE 用 Claude Code 写机器人程序,把调试经验攒成技能库,长程任务零样本从 4% 提到 31%。但论文标题盖住了它自己的消融结论:拿走技能库不是最痛的,拿走执行轨迹才是(14%→62%)。这篇顺着「技能该存成什么」这条线,把 Voyager 到 ASPIRE 的表示切换拆开,并拿我自己的两个知识库跑了一遍论文的 Limitation 4——我的一条 skill 确实过期了。