全部专题

Reading path

Agent 工程

记录 agent loop、工具调用、上下文工程、MCP、检索和长任务控制,把抽象能力落到工程边界。

200 篇文章

Archive

专题归档

第 1 / 9 页

Brynjolfsson 5179 人 call center RCT:+14% 整体是幌子,决定公司拿多少的是新手占比

Brynjolfsson、Li、Raymond 2023(NBER 31161,2025 发表于 QJE)在一家匿名公司的 5179 位 customer service 员工中做了 AI 对话助手的 staggered rollout:整体 +14% issues resolved per hour,但拆开看 novice/低技能员工 +34%、experienced/高技能员工几乎无变化。倒推一下这个公司的员工组合: 34%·p + 0%·(1−p) = 14% → p ≈ 41.2%。意思是你家企业的 AI 预期收益直接由新手占比决定,不是由 AI 工具本身决定。老员工占 90% 的公司期望只能拿到 +3.4%。这篇把倒推做成一张查表,顺手讨论 "AI 是把老手隐性经验传给新手的管道" 这个机制,以及它对蒋林泉"骨干被 AI 产出 DDoS"叙事的对应。

Brynjolfsson Productivity J-Curve:为什么 7% AI 工具收益和 2-3× 企业吞吐能同时为真

Brynjolfsson、Rock、Syverson 2018 年 NBER 25148 (AEJ:Macro 2021) 提出 Productivity J-Curve: 通用目的技术(GPT)引入时需大量 "intangible capital" 投入——组织流程重设计、人员 reskilling、业务模式 co-invention——这些投入在国民账户里不被计量, 导致早期 TFP 被系统性低估, 后期被高估, 整体曲线呈 J 形。论文给的数字: 调整 intangible capital 后的 TFP 2004 年比官方报的高 11.3 pp, 2017 年高 15.9 pp. 这篇被广泛引用支持 "AI 现在没用是因为还在 J-Curve 低谷" 的叙事, 但读完会发现论文本身没预测 AI 的 timeline, 低谷时长是一个开放问题。我用这个框架回填蒋林泉 "编码 7% 上限 vs 实际 2-3× 吞吐" 的 10× 差距 —— 中间差的正是 intangible capital 投入落地。

Dell'Acqua BCG 758 人 GPT-4 RCT:frontier 内 +40%、外 -19pp,而给用户 overview 反而让错得更多

Dell'Acqua 等 2023 年在 BCG 做的 758 位咨询师 GPT-4 RCT 是企业 AI 落地最硬的早期证据:GPT-4 能力边界内("frontier within")—— +12.2% 任务完成、+25% 速度、+40% 质量;边界外("frontier beyond")—— -19 pp 正确率。还有一个被广泛忽略的二级发现:GPT-4+prompt engineering overview 组,correctness 反而比 GPT-4-only 组更差——给用户更多 AI 培训让他们更容易 "falling asleep at the wheel"(原文术语)。这篇把三个条件的数字摆开,拆 jagged frontier 这个概念,并讨论它对蒋林泉 "AI 擅长 35% 代码/帮不了 65%" 的实验对应。

读蒋林泉 AI Native 复盘的四副透镜:它自己给的 7% 和 2-3× 中间藏着一个 10× 没拆

阿里云 CIO 蒋林泉那篇 AI Native 三年复盘,在企业 AI 落地复盘文章里属于诚实度难得的——手算了 7% 理论上限、六类岗位归并到 PDFE+ABE、给出了 1000× 和 28 类数字员工这种具体数字。但读它仍然需要几副透镜:7% 是编码-only 上限,和他自称的 2-3× 吞吐之间差一个数量级,剩下那 10× 他 6 段都动过,但没把"组织重组"和"AI 工具"分开归因;1000× API 增长和 2000 HC 折算的口径不透明;"技能通胀品味通缩"作为 slogan 响亮但缺可证伪条件。四副透镜摆出来,附一张读企业 AI 复盘的 due diligence 速查卡。

本机 4B 实测 harness-vs-bare:救回那 5 分的是一行 system prompt,不是 self-consistency

上一篇 VABAR 的 46 分 harness gap 是 physical 侧的整体贡献;这一篇把它在小模型小任务上拆开。本机 llama.cpp 跑 Qwen3-4B-Instruct-2507-Q4,80 道 JSON 提取对照 bare vs harness:L1 两栏 100% 打平(ceiling),L2 bare 95% / harness 100%。救回那 5 分的 2 道题都是"敬称 drop"(Mr. Yamada → Yamada),harness 三次采样 100% 同票 self-consistency 贡献 0 分,retry 分支从未触发——收益全部来自 system prompt 的 schema 规范。为了 5 分 harness 多花 3.9× 时间,大部分开销买的是 no-op。

METR 从 -19% 慢到 +18% 快的"反转"读来惊人,两条 CI 重叠在 7pp——真正失效的是 RCT 本身

METR 2025 年报告资深开源开发者在 AI 辅助下完成任务慢 19%(CI +2% 到 +39%);2026-02 update 说原子集反转到快 18%(CI -38% 到 +9%)。读起来像 180° 反转,手算两条 CI 重叠在 [+2%, +9%] 共 7pp——两次结果都与"真值在 0 附近"相容。真正发生的不是 AI 变快了,是四种 selection bias 让静态 RCT 对快速演化的工具测不出信号:pay 从 $150/h 降到 $50/h、30-50% 开发者 opt out "想用 AI 做的任务"、agentic 并发让时间不可测、一个开发者在 disallowed 条件下完成 0 任务。企业读者把这两个数字并排看作"AI 变快了"几乎必然误读;METR 自己在 blog 里也诚实承认 "new results unreliable"。

审自己的 blog agent:单次 4.7 行规则换 1 行产出,摊销到 419 篇反过来是 1.9%

把本仓库当 primary data:publish-blog skill 1150 行 + taxonomy 97 行 + validator 618 行,每次写一篇博客加载约 1247 行规则,产出平均 264 行,比例 4.7 : 1。但 2094 行 harness 服务 419 篇 / 110490 行产出,摊销后是 1.9% / 98.1%。顺手拆开 arXiv 2609.00006 说的 Claude Code 1.6/98.4 和 VABAR 的 46/54——两个数字落在同一数量级纯属巧合,根本不是同一种量。

Peng Copilot +55.8%、Microsoft 4867 人 +26%、METR -19%:三条数字连成一条"任务 realism 越高提效越低"的曲线

Peng 等 2023 (arXiv 2302.06590) 的 +55.8% Copilot 加速被广泛引用, 但读完方法论: 95 位 Upwork freelancer, 单一 HTTP server task, 1 分钟 Copilot intro, 实验期 2022-05 到 2022-06. 更要命的是完成率: 95 人只有 35 人完成, 55.8% 是"完成者组"的均值, 60 人 dropout 的数据不在分子里. Microsoft 2024 follow-up (Cui et al., Management Science 2026) 在 Microsoft/Accenture 等三家真实企业中测 4867 名真实开发者, 降到 +26.08%. METR 2025 资深 OSS 开发者在自己仓库上做真实任务, 变成 -19%. 三组数字连成一条清晰的递减曲线: 从"实验室 + synthetic task + 筛选 completer"到"真实企业 + 熟悉代码库 + 资深者", AI 提效从 +55.8% 一路降到 -19%, 落差 74pp. 这篇把三组实验设置摆到同一张表, 顺手讨论 35/95 完成率的 survivor bias.

VABAR 深读:从裸 Claude Code 到人写图这 66 分涨幅,harness 和 composition 几乎一人一半

VABAR(arXiv 2611.06881)把裸 Claude Opus 5、同模型装进 GaP harness、以及人写执行图三栏放进同一张表。我把 12 个 task–difficulty 条件逐个加起来重算:Claude Code 0.3% → GaP Autonomous 30.7% → GaP Human 66.6%,harness 加 30.45 分、人写图再加 35.88 分,几乎对半开。这是论文自己没点出来的那笔账——第一次有 benchmark 把 Lilian Weng 的 "harness 决定能力" 和 "composition 抽不掉" 分开量了。