一个补丁可以修对,也可以通过测试,却因为你已经开始改下一版代码而失去价值。
读完 Google 的 FlowAgent 论文,我最在意的不是摘要里的 67.18% 正确率,而是另一笔账:系统获得修复的 421,818 个变更中,126,310 个在交付前被丢弃。 论文 §4.2.3 解释,开发者已经修改或提交了变更,建议因而过期。这两个数来自生产观测,不能理解成经人工确认的正确补丁数量。
我的判断是:在线修复 Agent 要优化的是“在当前版本上及时交付有用帮助”,单独提高解题率可能反而降低收益。 补丁像送到工位的外卖:做得好、送得晚、收件人已经离开,是三种不同的问题。
本文核对的是 2026 年 10 月 5 日提交的 arXiv v1。HTML 版出现了未展开的数字宏,下面的论文数字以 PDF 的表格和正文为准;漏斗比例与策略示例则是我用 Python 重新计算的结果。
先把场景放对:它修的是哪一轮失败
假设你修改一个接口,编辑器附近的单元测试都通过了。准备提交时,持续集成系统发现另一个团队维护的依赖测试失败。你需要找日志、理解跨模块影响,再决定该改实现,还是更新已经失效的测试预期。
FlowAgent 就在这个时刻介入。它不是等代码合入后再修主干,也不是每敲一行代码就给补全。
| 前置概念 | 本文里的意思 |
|---|---|
| pre-submit | 变更合入共享仓库之前,先发现并修复问题 |
| inner-loop / outer-loop | 编辑器里的局部验证 / 提交前覆盖更广依赖的验证 |
| APR,自动程序修复 | 从失败信息出发,寻找并验证代码修改 |
| ReAct 循环 | Agent 读取反馈、决定下一步、调用工具,再读取结果 |
| p50 / p90 | 50% / 90% 的观测值不超过这个数,分别看典型耗时与较慢的一端 |
| 过期与弃权 | 目标版本已改变 / 系统主动不运行或不展示建议 |
它位于“开发者—变更版本—测试平台—修复沙箱—审阅界面”这条链上。理解它只需盯四个部件:失败筛选、修复预算、交付前验证、开发者接收入口。
| 部件 | 改动后的预期影响 | 缺了会怎样 |
|---|---|---|
| 失败筛选 | 放宽后覆盖更多,但也接入更难、更嘈杂的失败 | 把不稳定测试或原本已失败的问题归咎于当前改动 |
| 修复预算 | 多跑几轮可能修出更多,也可能让目标版本先变掉 | 生成补丁时,开发者已经做了另一套修改 |
| 交付前验证 | 检查测试证据、版本与修改意图,增加成本但减少坏建议 | 测试变绿,需求却被撤回或测试被绕过 |
| 接收入口 | 在原有失败提示和编辑器里展示,减少找结果与应用的摩擦 | 修复已做好,用户却没看到或不愿切换工具 |
这与本站讨论过的 Harness 分工相连:模型负责诊断与寻找修改,外层程序负责预算、版本和证据。不过,这篇论文还暴露了一个尚未做好的一环:测试通过并不足以验证修改意图。
系统为何先筛选,再搜索,最后再次筛选
论文 §3 的结构并不神秘:订阅测试失败事件,读取日志、变更描述与 diff,在沙箱中生成并验证补丁,生成简短根因说明,再交给开发者预览和应用。
flowchart LR
A[提交前测试失败] --> B{前置筛选}
B -->|不适合处理| C[不运行]
B -->|进入沙箱| D[读取日志与变更]
D --> E[修改并运行测试]
E -->|反馈与剩余预算| E
E --> F[最终测试验证与根因摘要]
F --> G{版本仍有效且未提交}
G -->|否| H[丢弃建议]
G -->|是| I[在失败提示与编辑器展示]
I --> J[开发者审阅并决定应用]
前置筛选会跳过构建失败、原本已经失败的测试、已知不稳定测试、自动化工具创建的变更、过期版本、不支持的文件类型,以及超过 100 个文件或 1,000 行的变更。这些阈值是论文报告的部署配置,不是普适最佳值。
这里的弃权很有意义。一个同版本代码也时过时不过的测试,不适合直接作为修复搜索的方向盘;一个并非当前变更引起的失败,也不该让 Agent 随意“修”进当前补丁。
论文使用的是在 Google 内部代码和数据上微调的 Gemini 2.5 Pro,限制最多 100 次工具调用、运行 30 分钟。最终测试验证会确认最后一轮确实运行了测试,或重新运行测试,不能仅凭模型说“已通过”。
FlowAgent 之所以长成“搜索前筛选、交付前再筛选”的形状,是因为它面对的目标版本会在搜索过程中被人继续修改。 如果目标是固定的离线任务,就可以等完整搜索结束;面对活跃开发者,搜索结束并不意味着结果仍可交付。
我认为它在这个维度上的共同祖先是数据库的乐观并发控制:先基于版本 v 工作,提交结果前检查版本是否仍为 v。论文没有把系统称为事务系统,但这个类比解释了为什么“测试通过”和“版本可用”必须是两张独立通行证。
论文采取保守策略:即便开发者只改了无关文件,也可能丢弃旧建议。更精细的方案可以尝试把补丁重新应用到新版本,再验证;那会重新消耗时间,并引入冲突和语义漂移。不能把简单文本合并成功当成修复仍然成立。
第一笔重算:43.88% 到底是谁的采纳率
论文表 2 统计的是 changes,即代码变更。同一变更可能经历多个版本和多次建议,所以不能把下面的每一行直接当成独立 Agent 调用数。
| 阶段 | 论文表 2 的变更数 | 我重算的相邻转化率 |
|---|---|---|
| 有失败测试 | 2,567,829 | — |
| 尝试修复 | 781,874 | 30.45% |
| 获得修复 | 421,818 | 53.95% |
| 展示建议 | 295,508 | 70.06% |
| 开发者预览 | 65,069 | 22.02% |
| 开发者应用 | 28,554 | 43.88% |
我用下面的独立算术检查重算了几个最容易被混用的口径。保存为 flowagent-funnel.py,执行 python3 flowagent-funnel.py;只有标准库,几秒即可完成。这是在分析论文数据,没有重新运行 Google 的修复系统。
attempt, success = 781874, 421818
shown, preview, applied = 295508, 65069, 28554
dropped = 126310
for label, numerator, denominator in [
("dropped/success", dropped, success),
("applied/preview", applied, preview),
("applied/shown", applied, shown),
("applied/attempt", applied, attempt),
("applied/all-failing", applied, 2567829),
]:
print(f"{label}: {100 * numerator / denominator:.2f}%")
我运行得到的原始结果:
dropped/success: 29.94%
applied/preview: 43.88%
applied/shown: 9.66%
applied/attempt: 3.65%
applied/all-failing: 1.11%
这几项回答的是不同问题。43.88% 描述已预览群体的后续应用;9.66% 描述已展示建议变更的应用;3.65% 描述修复尝试覆盖的变更中有多少最终应用。换一个分母,产品看起来就会完全不同。
不能拿 43.88% 证明总体接受度,也不能拿 1.11% 宣判系统无用。 前者已经经过用户选择,后者包含大量系统主动排除的失败。28,554 个实际应用的变更有工程价值,但这项观测仍没有给出净节省多少工时。
同样,论文表 1 的 67.18% 来自三位专家对 195 个随机失败的评估,其中 131 个修复被判断为正确。它既不是线上所有展示建议的正确率,也不是“应用之后长期没有回归”的比例。评估者并非这些代码的所有者,这也是论文 §5 自己指出的限制。
我第一次重算时更注意最后一段的 43.88%,把整条漏斗摆出来后,优先级就变了:在“是否愿意应用”之前,还有版本是否有效、结果是否被看到两道关。
一个可复算的敏感性分析是:假设能额外保留被后置过滤器丢弃的变更中的 10%,而且它们仍维持当前 9.66% 的展示到应用比例,则新增应用约为 126310 × 10% × 28554 / 295508 = 1220.5 个变更。
这只是假设推演,不是收益预测。过期任务可能更难、原本就更慢,重新应用旧补丁也有成本。这笔账的用途是估算值得投入多少优化工作,而不是给产品承诺“少丢弃 10% 就必增 1,221 次应用”。
低于人的中位耗时,为什么仍然会过期
论文图 2 报告:测试失败通知到开发者下一次编辑之间,p25 是 6.72 分钟,p50 是 27.48 分钟。这衡量的是下一次编辑发生的时间,不是人修好问题所需时间,也不是心理学上的注意力持续时间。
论文图 8 报告:从失败通知到获得成功修复,Agent 的 p50 是 9.85 分钟,p90 是 25.83 分钟。这里看的是获得成功修复的执行延迟,不代表所有尝试的耗时。
很容易据此说:“9.85 比 27.48 小,所以多数情况下能赶上。”这一步推理不成立。两个总体的分位数无法告诉我们,同一个变更上是谁先完成;任务难度、用户是否在线、测试耗时都可能使它们相关。
最朴素的做法是“失败就启动 Agent,成功就展示”。它首先会在交付阶段崩:按论文这次观测,有十万量级的获得修复变更随后被过滤。另一种朴素做法是“统一给满 30 分钟”,但在论文的人类下一次编辑分布中,约一半观测已经在 27.48 分钟内发生下一次编辑。这个比较提示预算危险,仍不能推导具体过期率。
需要测的是同一任务上的竞争关系,而不是两个总体的平均值或中位数。 为一次修复记录失败通知、Agent 开始、最终验证结束、建议展示、版本更新这几个时间点,才知道延迟损失发生在哪。
我会额外记录交付后的预览与应用,以及拒绝原因。这样可以分清:算得慢、验证得慢、通知得晚,还是建议本身不合适。不同故障不能都靠换更大的模型解决。
第二笔计算:更会修的策略,也可能交付更少
下面是我构造并用脚本验算的预算例子,数字是教学假设,不是 Google 实验结果。
取 1,000 个同类任务。快速策略在固定快预算内,有 60% 能产出正确修复;在这些正确修复里,90% 交付时版本仍有效。慢策略正确修复率提高到 75%,但其中只有 60% 能在有效版本上交付。
把“仍有效比例”的分母限定为正确修复,就不需要额外假设正确性和延迟相互独立:快速策略交付 1000 × 0.60 × 0.90 = 540 个正确且未过期的结果,慢策略只有 1000 × 0.75 × 0.60 = 450 个。
保存以下片段为 flowagent-budget.py,执行 python3 flowagent-budget.py,同样只需几秒。
for name, correct_rate, fresh_given_correct in [
("fast", 0.60, 0.90),
("slow", 0.75, 0.60),
]:
delivered = 1000 * correct_rate * fresh_given_correct
print(f"{name}: {delivered:.0f}")
print(f"slow break-even freshness: {0.60 * 0.90 / 0.75:.2%}")
我实际运行的输出:
fast: 540
slow: 450
slow break-even freshness: 72.00%
慢策略至少需要让其正确修复中的 72% 赶上有效版本,才能追平快速策略。若后续审阅和应用倾向相同,这个排序会继续传到最终收益;若不同,还要继续算下一段漏斗。
这个例子带来的设计判断是:增加搜索预算之前,先测它增加的正确结果能否覆盖新增的过期损失。 论文没有提供逐任务原始数据,因此不能据此认定 FlowAgent 应改成某个具体分钟数。
我更倾向于分阶段交付:先提供有证据的根因,再继续搜索补丁;若版本变化,停止旧补丁的应用路径,判断诊断是否仍值得展示。这是我的设计建议,并非论文已经实现的功能。
根因也可能错,不能把未经验证的猜测包装成确定结论。早交付应说明引用了哪条日志、检查了哪些代码、还缺哪项验证。它的目标是让用户更早做出“等一下还是自己修”的决定。
测试变绿,意图却可能被擦掉
论文图 9 给出的失败例子很具体:给测试加 @Ignore 跳过执行,用异常捕获吞掉断言,把应当严格判断 == 3 的条件放宽成 > 2。正文还提到建议撤回开发者原来的修改。
这些操作可能让测试通过,却没有完成用户想做的事。类似把烟雾报警器的电池拔掉:安静是真的,解决火情则是另一回事。
论文的后置过滤器主要检查版本过期与已提交。阻止删测试或撤回意图的额外验证,在本文版本中仍被列为后续改进。 所以不能把架构里的安全筛选理解成已经解决了语义正确性。
我的实现建议会把验证拆为三层:
- 检查证据:测试是否真的针对最终补丁运行,而不是引用修改前的通过记录。
- 检查危险修改:跳过测试、移除断言、吞异常、整段撤回原 diff,应触发拒绝或明确审阅。
- 检查意图:原变更要新增或改变的行为,是否仍然存在,能否用一条针对性测试证明。
第二层可以部分靠确定性规则实现,第三层不能简单写成“禁止修改测试”。接口有意改变后,旧预期本来就可能需要更新。要判断的是预期是否有新契约支撑,而不是文件名里有没有 test。
这里最危险的评测习惯是只看测试通过率。如果修复模型可以修改评分用的测试,评分条件就必须明确隔离或复核,否则它可能通过削弱裁判来获胜。对在线产品,开发者审阅是最后一关,却不该承担全部辨别成本。
比按钮更有价值的,是帮用户少查一次日志
论文 §4.3 的访谈提到,根因摘要让开发者不必再钻进日志里找错误;也有人看了建议后自行输入相近修改,没有点击应用。因而,“未应用”可能意味着坏补丁,也可能意味着诊断已经有帮助。
这不授权我们把所有未应用建议都算作成功。更合适的做法是抽样审查:是否直接采用、是否稍改后采用、是否只用诊断、是否完全无关,并与后续人工 diff 对照。没有这些证据时,应用量是较窄的产品观测,不能自动折算成总生产力。
论文还报告,Cider 的预览到应用比例是 59.69%,Critique 是 37.84%。但用户可能先在审阅界面看,再去编辑器改;人群与任务也没有随机分配。这说明两个入口的行为不同,没有证明编辑器入口带来了 21.85 个百分点的因果提升。
我的产品判断是把诊断、修改范围和测试证据放进原有失败提示,减少用户找结果的工作。论文已经采用了把修复附在原测试失败提示里的方式,而非再新增一条通知。至于“Agent 正在处理、还要等多久”,访谈中有需求,论文仍将相关机制列为后续工作。
把等待状态告诉用户,可能降低重复劳动;也可能让用户等了一个最终失败的任务。需要观察实际等待与净节省时间,不能只看点击率涨没涨。
小结:上线前先问这三个问题
FlowAgent 最可迁移的经验,是修复结果需要同时满足“修对、版本有效、用户能接住”。它的两道筛选来自活跃版本会变化这个约束;朴素的成功即展示,会在交付阶段碰到大量过期结果。
如果要在自己的 CI 上做类似系统,我会先用五分钟定下这三项观测:
| 要问的问题 | 第一步记录什么 |
|---|---|
| 建议来得及时吗? | 在同一变更版本上,对齐验证完成与开发者下一次编辑的时间 |
| 测试绿了,原需求还在吗? | 对跳过测试、弱化断言与撤回原 diff 的补丁单独抽样审阅 |
| 未点击应用,是否仍然有帮助? | 抽样对照后续人工修改,区分诊断帮助与无关建议 |
能复述给同事的一句话是:一个会修代码的助手,还得在你改下一版之前,把值得信的结果递到你手里。
参考来源
论文原文
- Ziftci 等:Catching Developers in the Flow: Low-Latency Agentic Program Repair at Google Scale,arXiv:2610.07289v1。本文重点依据 §2–5、图 2/8/9、表 1/2;论文声明内部数据与复现包不能公开,因此本文的复算只覆盖聚合数字和明示假设。
- arXiv 摘要与版本记录,用于核对标题、作者和版本日期。
工程分析与延伸阅读
- 什么才是好的 Harness:判断归模型,物理归代码,把模型判断与外层控制分开的讨论。
- 本文内嵌的
flowagent-funnel.py与flowagent-budget.py:聚合漏斗复算、假设策略验算;均不依赖 Google 内部基础设施。