谁把这件事搞砸了:多 Agent 失败归因的 31% 天花板

深读 BLADE(2610.18780v1):从论文报的小数位反推出五个子集的真实规模(58/126/811/152/81,三处交叉验证全部吻合),把等权平均换成按轨迹加权,+5.6 分变成 +3.4 分;并指出它两次"并列最优"都是和表里最笨的基线并列。

一个 Agent 跑出了正确结果,下一个 Agent 读错了它,第三个把错的结论写进了最终答案。

日志完整保留了这三步。但”日志能追溯”和”知道谁该负责”是两件事——这正是 BLADE 要解决的问题,也是它量出的一个我没想到的数字:在唯一一个”自然发生的失败”子集上,八种归因方法里最好的只有 31.0%。

BLADE: Auditing Information Use for Failure Attribution in LLM Multi-Agent Systems(2610.18780v1,康涅狄格大学,2026-10-13,代码在 GitHub)做的事:不只追踪信息从哪来,还要审查接收方有没有用对。

我核完全文的核心判断:这篇方法本身是扎实的,消融做得比我最近读的大多数论文都干净;但它选的那个平均方式,恰好把”注入的错误”和”自然的错误”之间的巨大差距抹平了。 把分母还原回来之后,头条的 +5.6 分变成 +3.4 分,而真正该被引用的是那个 31%。

下面分三段:它的机制(我认为站得住)、我还原分母后的重算(口径问题)、以及它做对而别人常漏的三处实验设计。全部脚本在仓库 notes/blade-audit/。

名词速查

术语一句话解释
失败归因(failure attribution)给定一条失败的执行日志,指出”哪个 Agent 的哪一步”该为失败负责
决定性错误步(decisive error step)如果把这一步改对、后续重跑,整个任务就会成功的那一步;有多个时取最早的
Who&When / Who&When Pro两个失败归因基准。前者是自然发生的失败,后者是人为注入的失败
交接(handoff)一对”来源事件 → 接收决策”。BLADE 把它当成收集责任证据的最小单位
blame graph在依赖图上再记一层”这条信息被怎么用了”:新引入错误 / 沿用旧错误 / 修好了
breach审计标签之一:接收方可能新引入了错误(未经核实就采信、误读、改错)
可推翻的诊断(defeasible diagnosis)局部审计结论只当证据,最终判断可以推翻它;每一步都还留在候选里
等权平均 / 加权平均(macro / micro)前者让每个子集算一票,后者按子集里的轨迹条数加权
Jev论文用的判断模型(TypeSafe,jev-1.13.0):不写自由文本,只在预设选项上返回概率

一、它解决的真问题:追溯不等于定责

论文图 1 的例子我很喜欢,因为它一句话说清了整个领域的痛处:

一段代码正确算出”相距最远的美国总统出生地是 Braintree 和 Honolulu”。下一个 Agent 把结果读成了”Honolulu 和 Quincy”,这个错答案被原样带进了最终输出。

错误不在源头,而在”源头被怎么理解”。 依赖图能告诉你第 7 步依赖第 5 步,但不能告诉你第 7 步是忠实转述了一个错的来源、还是误读了一个对的来源——而这两种情况的责任人完全不同。

这个区分有个很老的祖先:契约式 blame 归属(Findler & Felleisen, 2002)。模块 A 调用模块 B 出了错,到底是 A 传了不合约的参数,还是 B 没兑现承诺?论文把”接口契约”换成了”语义契约”:接收方应当保持来源的原意、不把不确定的信息当成既定事实、并且遵守任务的要求。再往上还能追到程序切片(Weiser, 1981)和基于模型的诊断(Reiter, 1987)。论文自己把这几个祖先都点名了,这在今天的 AI 论文里不多见。

二、三步流水线:依赖挑位置,审计给证据,全局下判断

把算法 1 压成伪代码(对应论文 3.2–3.4 节,省略了提示词细节):

# 伪代码:BLADE 主干,对应论文 Algorithm 1
# 输入:任务 q、失败轨迹 tau=(e_1..e_T)、阈值 theta=0.3、每事件最多 K=2 个来源

# (1) 依赖重建:对每个事件问四类关系,模型在"哪个更早的事件"上给概率
for t in range(2, T + 1):
    for r in ["depends_on", "repeats", "contradicts", "repairs"]:
        p[u][t][r] = jev_probability(earlier_event=u, question=r, state=tau)
edges = {(u, t, r, p) for ... if p >= 0.3}           # 只留概率 >= 0.3 的边

# (2) 挑交接去审计:只看 depends_on 概率最高的 K=2 个来源,不额外调模型
handoffs = {(u, t) for t in events for u in top_k(p[.][t]["depends_on"], k=2)}
requirements = split_task_into_spans(q)               # 任务被切成"要求片段"
for (u, t) in handoffs:
    label[u][t] = jev_audit(u, t, requirements)       # 9 个标签,分 kept/breach/inherited 三组
findings = {(u, t, label) for (u, t) in handoffs
            if is_agent_decision(t) and label != "kept"}   # 只保留"进入 Agent 决策"的非 kept 发现

# (3) 可推翻的全局诊断:带着证据重问一次"哪一步是决定性错误"
#     候选集仍是全部 T 步 —— 没有审计发现的步骤也能被选中
t_hat = argmax_t jev_probability(step=t, given=(q, tau, blame_graph))
return t_hat, actor_of(t_hat)

这里有两个设计我认为是对的,而且可以直接搬:

  1. 用依赖关系决定”去查哪里”,而不是决定”谁有罪”。 第 2 步挑出来的交接只是审计对象;第 3 步的候选集仍然是全部步骤。选择看哪里,不等于限制判谁。
  2. 局部结论可被全局推翻。 一个交接被判定 breach,不代表它就是决定性错误——它可能后来被修好了,也可能对结果无影响。论文把这一层叫 defeasible(可推翻),对应真值维护系统(Doyle, 1979)的老思路。

站内多轮 Agent 信用分配那篇讲的是”奖励给谁”,这篇讲的是”责任归谁”——同一个难题的两端。

三、我还原了五个子集的分母

论文说在”1,228 条失败轨迹、五个子集”上评测,但没给每个子集各有多少条。而表 1 报了 8 个方法 × 5 个子集 × 2 个指标 = 80 个一位小数的百分比,这些小数位足够把分母反推出来:对每个候选分母 n,检查是否存在整数计数 c 使 round(100*c/n, 1) 正好等于报出来的值。

# notes/blade-audit/recover_subset_sizes.py
def count_for(v, n):               # 报出的百分比 v 在分母 n 下对应的整数计数
    for c in range(n + 1):
        if abs(round(100 * c / n, 1) - v) < 1e-9:
            return c
    return None

结果(取每列所有报出值都能整除的最小分母):

子集架构 / 失败类型还原出的条数占 1,228 的比例等权平均给它的权重
HCMagentic-One / 自然发生584.7%20%
AGCaptainAgent / 自然发生12610.3%20%
Magentic-OnePro / 人为注入81166.0%20%
DyLANPro 辩论式 / 注入15212.4%20%
MetaGPTPro 流水线式 / 注入816.6%20%

三处交叉验证全部吻合,所以我对这组数字相当有把握:

  • 五个加起来 58 + 126 + 811 + 152 + 81 = 1,228,与正文一致。
  • 附录 A.2 顺口提到”995 条 Who&When 与 Magentic-One 运行”——58 + 126 + 811 = 995,一致。
  • 附录 A.1 顺口提到”811 条运行中有 636 条”泄露了注入位置——Magentic-One 的分母正是 811,一致。

(小注:只看小数位时,Magentic-One 的最小候选是 771,811 是次小候选;是附录 A.1 那句话把它钉死在 811,然后两个总数才同时对上。这一步我是靠论文自己的旁证定的,不是纯数字推出来的。)

于是问题清楚了:等权平均让一个 58 条的子集和一个 811 条的子集一样重。 HC 拿到了它数据占比的 4.2 倍,Magentic-One 只拿到 0.30 倍。

四、换成按轨迹加权:+5.6 变成 +3.4

我用还原出的分母把每格百分比换回整数命中数,重算了”按轨迹加权”(micro)的步骤准确率:

方法等权平均(论文口径)按轨迹加权(我重算)命中数 / 1228
BLADE57.6%71.7%881
All-at-once51.9%68.3%839
TrajDebug51.2%68.2%838
TRIAGE48.3%67.4%828
Step-by-step48.5%64.7%795
ErrorProbe41.4%61.6%756
Binary search47.7%60.9%748
FALAT39.7%57.2%703

三件事:

  1. BLADE 在两种口径下都是第一。 这点要先说清楚——我不是在推翻结论,是在重新标定它的大小。
  2. 对 All-at-once 的优势从 +5.6 分收缩到 +3.4 分,对 TrajDebug 从 +6.4 收缩到 +3.5。缩水约四成。
  3. 中段排名会洗牌:TRIAGE 从第 5 升到第 4,Binary search 从第 6 掉到第 7。也就是说,“哪个基线是第二好”这件事取决于你怎么平均。

(口径说明:论文附录 C.2 给的 bootstrap 区间 [2.8, 8.6] 估的是等权平均这个量,我算的 +3.4 是另一个量——按轨迹加权——两者不是同一个估计对象,我的数字不构成对那个区间的修正。等权平均本身也有合理理由:它衡量的是”跨架构的平均表现”,不是”在这批数据上的平均表现”。我的意见是,引用 +5.6 的人应该知道另一个口径下是 +3.4。)

五、被平均抹掉的那个数:自然失败 31%,注入失败 80.9%

这才是我认为这篇论文最该被记住的东西。按子集看”八种方法里最好的那个”:

子集失败来源最好的步骤准确率等于说,决定性错误步认错的比例
HC(58 条)人工构造的自然失败31.0%69%
AG(126 条)算法生成的自然失败54.0%46%
DyLAN(152 条)注入56.6%43%
MetaGPT(81 条)注入65.4%35%
Magentic-One(811 条)注入80.9%19%

占全部数据 66% 的那个子集是注入失败,而且是最容易的一个(80.9%);最难的 HC 只占 4.7%。 等权平均把 31% 和 80.9% 揉成 57.6%,读者看到的是一个”及格偏上”的印象。

附录 C.1 的另一组数给出了机制层面的同一结论——一个 breach 标签到底有多大证据力:

基准P(这步是决定性错误 | 有 breach 发现)P(… | 没有发现)提升
Magentic-One(注入)59.5%9.8%6.1 倍
Who&When(自然)11.9%5.2%2.3 倍

同一个审计信号,在注入失败上命中率 59.5%,在自然失败上只有 11.9%。我的判断是:注入的错误有一个干净的”引入点”,因为它就是被人为塞进某一步的;自然失败往往没有这样一个点——错误是逐渐跑偏的,或者分摊在好几步上。“决定性错误步”这个标注范式本身,在自然失败上可能就更难定义。

这不是 BLADE 的锅,是整个领域的现状。但它解释了为什么我认为今天不该把失败归因接成自动修复:在真实失败上,你会收到三个归因里有两个是错的。

六、两次”并列最优”,都是和表里最笨的基线并列

论文说 BLADE”在每个子集上都取得最优或并列最优,三次独胜、两次并列”。我好奇是跟谁并列,就查了一下——两次都是 Binary search:

子集BLADE并列者并列者用了什么
HC31.0%Binary search 31.0%反复二分候选区间,不用依赖图、不用审计、不用要求片段
DyLAN56.6%Binary search 56.6%同上

Binary search 的等权平均只有 47.7%(八个里排第六),却在 BLADE 没能独胜的那两个子集上追平了整条 blame graph 流水线。

我的解读:这五个子集测的不是同一种能力。 Binary search 的错误画像和其它方法明显不同——它在最大也最容易的 Magentic-One 上只有 68.7%(比 BLADE 低 12 分),却在最难的 HC 上并列第一。一个纯结构化、完全不看语义的策略能在最难的子集上打平,更像是在说”HC 上大家都在瞎猜,而二分法的瞎猜方式恰好不差”,而不是在说”二分法理解了失败”。

七、Agent 那一列,不是一把尺子

还有一处口径问题,藏在附录 B.2 一句话里:

All-at-once predicts agent and step; other methods use the selected step’s recorded actor.

也就是说,8 个方法里有 7 个的”Agent 准确率”是从步骤预测派生出来的(选中哪一步,就报那一步的执行者)。只有 All-at-once 是独立预测 Agent 的。

派生意味着一个硬约束:步骤对 ⟹ Agent 必对,所以 Agent 准确率不可能低于步骤准确率。我把 40 对数字逐一查了一遍,全表只有一处违反:

方法子集AgentStep
All-at-onceMetaGPT46.9%54.3%Agent 比 Step 低 7.4 分

这不是算错——它恰好证实了附录那句话:All-at-once 可以一边选中正确的步骤、一边报出错误的 Agent。但后果是,表 1 的 Agent 列里,有一行和另外七行测的不是同一件事。摘要里”Agent 准确率超出最强基线 2.8 分”(对 TrajDebug)是派生对派生,这个比较没问题;但把 All-at-once 的 Agent 数字拿来横比就不太合适。

顺带一提,在 MetaGPT 子集上,七个派生方法的 Agent 准确率全部等于它们的步骤准确率。这说明在这个流水线架构里,“认对 Agent”和”认对步骤”是同一件事——这一列在这个子集上不携带任何额外信息。

八、它做对而别人常漏的三件事

批评完口径,该说这篇论文扎实的地方。这三处实验设计我认为比它的方法更值得学:

  1. 打乱证据的对照组。 表 2 里有一行”shuffled evidence”:把依赖边和审计发现随机重新分配给别的事件对。如果一个方法的收益来自”模型看到一堆结构化文本就更认真”,这一行的分数不会掉。实测它在 Magentic-One 上掉到 76.7%、DyLAN 掉到 52.0%,都低于完全不给证据的 78.7% 和 52.6%。给错证据比不给更糟——这正是一个有效证据机制该有的样子。
  2. 把”更多”和”更好”分开测。 穷举审计所有事件对是 O(T²);BLADE 只审 K=2 个来源,约 O(T)。论文报告它只审了穷举的 13–23%,却在四个子集中的三个上打平或更好。我从这个比例反推了一下轨迹长度:穷举是 T(T−1)/2 对,选择性是 2(T−1) 对,比值约 4/T,所以 13–23% 对应 T ≈ 17–31 个事件——和 K=2 的设定自洽,也就是说典型轨迹里穷举要审 140–460 个交接,BLADE 只审 33–60 个。审得更少反而不差,这是全文最反直觉的一条。
  3. 自报标签体系的冗余。 附录 C.3 说,在 Magentic-One 上”只保留 breach 发现”的配置和完整配置打平(都是 80.9%)。九个标签、三个分组里,真正起作用的只有 breach 那一组——“沿用旧错误""修好了”这些标签对最终归因没有贡献。愿意把自己的设计冗余写进附录,比多涨一个点更有价值。

九、根本约束与崩点

一句可反驳的根本约束:BLADE 之所以长成”概率阈值挑选 + 选择性审计 + 可推翻诊断”这个形状,是因为它的判断单元必须是”在固定选项上输出概率”,而不是”写一段自由文本”。

如果这个约束不存在——判断模型只能返回散文——那么:p ≥ θ = 0.3 这个筛选没法做,“取 depends-on 概率最高的两个来源”没法排序,“同一上下文下的独立问题批量提交”也失去意义。整个选择性审计机制会退化成”把日志丢给模型问一句哪步错了”,也就是 All-at-once 本身。

崩点在两个方向:

  • 往上(不做选择):穷举审计在 T ≈ 31 的轨迹上要 458 次交接判断而不是 60 次,七倍多的调用,而准确率在三个子集上还更差。不是贵一点,是又贵又差。
  • 往下(不做审计):表 2 的”dependencies only”一行给出了答案——只给依赖边,相对不给证据是 +3.5 / +1.6 / −0.3 / +1.3 分,其中 Magentic-One 还是负的。光追溯信息流,收益接近于零。

这两个崩点合起来,正好是论文标题那句话的实证:追溯信息(dependencies)不够,审查信息怎么被用(auditing use)才是增量来源。

边界卡:这篇的结论什么时候不成立

这是我认为最容易被用错的地方,列三种失效情形:

情形为什么不成立可以怎么办
你的失败是自然跑偏的,不是某一步塞进来的论文的收益主要在注入失败上(811 条里 80.9%),自然失败的最好成绩是 31.0%,而且 breach 标签的证据力从 6.1 倍掉到 2.3 倍把归因结果当成”缩小排查范围”的提示,不要当判决;先人工复核三条,再决定信不信
你要的是”修哪里”而不是”谁的锅”决定性错误步的定义是”改对它任务就成功”,这是反事实判断,论文没有验证这个反事实,只是和标注对齐先用它定位,再用重跑验证修复是否真的让任务成功——参考AI 修复的有效期
你的日志里压根没记下关键观察所有方法都只读日志。证据缺失时,模型不会说”记录不全”,它会从剩下的内容里挑一个最像的步骤先审计日志完整性(工具原始返回有没有被摘要掉),再做归因

还有一处我没法核的软处:论文的判断模型 Jev(TypeSafe,jev-1.13.0)我无法一手核实其能力与定价,而全部八个策略都是在这一个接口上重新实现的。所以这张表证明的是”在 Jev 的概率接口下 BLADE 排第一”,没有证明”换成普通聊天模型后这个排名不变”。论文报的 1,228 条总推理成本约 1.9 美元(约 0.0016 美元/条)也完全依赖这个未知定价——按每条 1 万到 3.2 万输入 token 倒推,隐含单价在 0.05–0.16 美元/百万 token 之间,这个量级只在很便宜的专用模型上成立。

下一步:十分钟能做的第一件事

打开你手上最近一条失败的多 Agent 日志,只做一件事:找出最终错误答案的那个值,然后沿着日志往回倒,看它第一次以错误形式出现在哪一步。 再看那一步的上一步——它的输入当时是对的吗?

  • 输入已经是错的 → 你找到的是传播点,真正的引入点还在更前面。
  • 输入是对的,输出错了 → 这一步就是引入点,而这正是 BLADE 所谓的 breach。

做完这一遍(十分钟左右,不需要任何 API 费用),你会得到一个比论文任何数字都重要的判断:在你自己的系统里,失败到底有没有一个”引入点”。 有,这套方法对你可能管用;没有——错误是一路慢慢漂移的——那 31% 那一栏就是你该预期的上限。

我自己想接着做的实验:把这套审计拿同一条日志跑两遍,一遍给完整工具返回,一遍只给摘要后的返回,看归因结论会不会跟着变。如果会变,那”归因准确率”里有一部分其实是在测日志完整性,而不是在测归因能力。

参考来源

论文

  • arXiv 摘要页:2610.18780v1。作者(University of Connecticut)、版本与分类(cs.AI,2026-10-13)通过 arXiv API 回查核实。
  • HTML 全文与附录。本文核对的表 1 / 表 2 / 表 3、算法 1、以及附录 A(泄露字段与长轨迹处理)、B.2(基线实现)、C.1–C.3(breach 定位、配对 bootstrap、机制检查)。
  • 代码仓库 GXG-CS/BLADE。论文给出的地址,我没有审计代码。
  • 被它继承的老想法:程序切片(Weiser, 1981)、数据溯源(Buneman et al., 2001)、契约式 blame 归属(Findler & Felleisen, 2002)、基于模型的诊断(Reiter, 1987)、真值维护(Doyle, 1979)——均由论文自己引用。

我的重算脚本(仓库 notes/blade-audit/)

  • recover_subset_sizes.py:从一位小数反推五个子集的分母(58/126/811/152/81),三处交叉验证,以及等权 / 按轨迹加权两种口径的重算。
  • table_checks.py:Agent ≥ Step 的派生约束检查(全表唯一一处违反)、两次并列的对手、从 13–23% 反推轨迹长度、breach 证据力对比、成本倒推。

站内延伸