一个 Agent 跑出了正确结果,下一个 Agent 读错了它,第三个把错的结论写进了最终答案。
日志完整保留了这三步。但”日志能追溯”和”知道谁该负责”是两件事——这正是 BLADE 要解决的问题,也是它量出的一个我没想到的数字:在唯一一个”自然发生的失败”子集上,八种归因方法里最好的只有 31.0%。
BLADE: Auditing Information Use for Failure Attribution in LLM Multi-Agent Systems(2610.18780v1,康涅狄格大学,2026-10-13,代码在 GitHub)做的事:不只追踪信息从哪来,还要审查接收方有没有用对。
我核完全文的核心判断:这篇方法本身是扎实的,消融做得比我最近读的大多数论文都干净;但它选的那个平均方式,恰好把”注入的错误”和”自然的错误”之间的巨大差距抹平了。 把分母还原回来之后,头条的 +5.6 分变成 +3.4 分,而真正该被引用的是那个 31%。
下面分三段:它的机制(我认为站得住)、我还原分母后的重算(口径问题)、以及它做对而别人常漏的三处实验设计。全部脚本在仓库 notes/blade-audit/。
名词速查
| 术语 | 一句话解释 |
|---|---|
| 失败归因(failure attribution) | 给定一条失败的执行日志,指出”哪个 Agent 的哪一步”该为失败负责 |
| 决定性错误步(decisive error step) | 如果把这一步改对、后续重跑,整个任务就会成功的那一步;有多个时取最早的 |
| Who&When / Who&When Pro | 两个失败归因基准。前者是自然发生的失败,后者是人为注入的失败 |
| 交接(handoff) | 一对”来源事件 → 接收决策”。BLADE 把它当成收集责任证据的最小单位 |
| blame graph | 在依赖图上再记一层”这条信息被怎么用了”:新引入错误 / 沿用旧错误 / 修好了 |
| breach | 审计标签之一:接收方可能新引入了错误(未经核实就采信、误读、改错) |
| 可推翻的诊断(defeasible diagnosis) | 局部审计结论只当证据,最终判断可以推翻它;每一步都还留在候选里 |
| 等权平均 / 加权平均(macro / micro) | 前者让每个子集算一票,后者按子集里的轨迹条数加权 |
| Jev | 论文用的判断模型(TypeSafe,jev-1.13.0):不写自由文本,只在预设选项上返回概率 |
一、它解决的真问题:追溯不等于定责
论文图 1 的例子我很喜欢,因为它一句话说清了整个领域的痛处:
一段代码正确算出”相距最远的美国总统出生地是 Braintree 和 Honolulu”。下一个 Agent 把结果读成了”Honolulu 和 Quincy”,这个错答案被原样带进了最终输出。
错误不在源头,而在”源头被怎么理解”。 依赖图能告诉你第 7 步依赖第 5 步,但不能告诉你第 7 步是忠实转述了一个错的来源、还是误读了一个对的来源——而这两种情况的责任人完全不同。
这个区分有个很老的祖先:契约式 blame 归属(Findler & Felleisen, 2002)。模块 A 调用模块 B 出了错,到底是 A 传了不合约的参数,还是 B 没兑现承诺?论文把”接口契约”换成了”语义契约”:接收方应当保持来源的原意、不把不确定的信息当成既定事实、并且遵守任务的要求。再往上还能追到程序切片(Weiser, 1981)和基于模型的诊断(Reiter, 1987)。论文自己把这几个祖先都点名了,这在今天的 AI 论文里不多见。
二、三步流水线:依赖挑位置,审计给证据,全局下判断
把算法 1 压成伪代码(对应论文 3.2–3.4 节,省略了提示词细节):
# 伪代码:BLADE 主干,对应论文 Algorithm 1
# 输入:任务 q、失败轨迹 tau=(e_1..e_T)、阈值 theta=0.3、每事件最多 K=2 个来源
# (1) 依赖重建:对每个事件问四类关系,模型在"哪个更早的事件"上给概率
for t in range(2, T + 1):
for r in ["depends_on", "repeats", "contradicts", "repairs"]:
p[u][t][r] = jev_probability(earlier_event=u, question=r, state=tau)
edges = {(u, t, r, p) for ... if p >= 0.3} # 只留概率 >= 0.3 的边
# (2) 挑交接去审计:只看 depends_on 概率最高的 K=2 个来源,不额外调模型
handoffs = {(u, t) for t in events for u in top_k(p[.][t]["depends_on"], k=2)}
requirements = split_task_into_spans(q) # 任务被切成"要求片段"
for (u, t) in handoffs:
label[u][t] = jev_audit(u, t, requirements) # 9 个标签,分 kept/breach/inherited 三组
findings = {(u, t, label) for (u, t) in handoffs
if is_agent_decision(t) and label != "kept"} # 只保留"进入 Agent 决策"的非 kept 发现
# (3) 可推翻的全局诊断:带着证据重问一次"哪一步是决定性错误"
# 候选集仍是全部 T 步 —— 没有审计发现的步骤也能被选中
t_hat = argmax_t jev_probability(step=t, given=(q, tau, blame_graph))
return t_hat, actor_of(t_hat)
这里有两个设计我认为是对的,而且可以直接搬:
- 用依赖关系决定”去查哪里”,而不是决定”谁有罪”。 第 2 步挑出来的交接只是审计对象;第 3 步的候选集仍然是全部步骤。选择看哪里,不等于限制判谁。
- 局部结论可被全局推翻。 一个交接被判定 breach,不代表它就是决定性错误——它可能后来被修好了,也可能对结果无影响。论文把这一层叫 defeasible(可推翻),对应真值维护系统(Doyle, 1979)的老思路。
站内多轮 Agent 信用分配那篇讲的是”奖励给谁”,这篇讲的是”责任归谁”——同一个难题的两端。
三、我还原了五个子集的分母
论文说在”1,228 条失败轨迹、五个子集”上评测,但没给每个子集各有多少条。而表 1 报了 8 个方法 × 5 个子集 × 2 个指标 = 80 个一位小数的百分比,这些小数位足够把分母反推出来:对每个候选分母 n,检查是否存在整数计数 c 使 round(100*c/n, 1) 正好等于报出来的值。
# notes/blade-audit/recover_subset_sizes.py
def count_for(v, n): # 报出的百分比 v 在分母 n 下对应的整数计数
for c in range(n + 1):
if abs(round(100 * c / n, 1) - v) < 1e-9:
return c
return None
结果(取每列所有报出值都能整除的最小分母):
| 子集 | 架构 / 失败类型 | 还原出的条数 | 占 1,228 的比例 | 等权平均给它的权重 |
|---|---|---|---|---|
| HC | Magentic-One / 自然发生 | 58 | 4.7% | 20% |
| AG | CaptainAgent / 自然发生 | 126 | 10.3% | 20% |
| Magentic-One | Pro / 人为注入 | 811 | 66.0% | 20% |
| DyLAN | Pro 辩论式 / 注入 | 152 | 12.4% | 20% |
| MetaGPT | Pro 流水线式 / 注入 | 81 | 6.6% | 20% |
三处交叉验证全部吻合,所以我对这组数字相当有把握:
- 五个加起来 58 + 126 + 811 + 152 + 81 = 1,228,与正文一致。
- 附录 A.2 顺口提到”995 条 Who&When 与 Magentic-One 运行”——58 + 126 + 811 = 995,一致。
- 附录 A.1 顺口提到”811 条运行中有 636 条”泄露了注入位置——Magentic-One 的分母正是 811,一致。
(小注:只看小数位时,Magentic-One 的最小候选是 771,811 是次小候选;是附录 A.1 那句话把它钉死在 811,然后两个总数才同时对上。这一步我是靠论文自己的旁证定的,不是纯数字推出来的。)
于是问题清楚了:等权平均让一个 58 条的子集和一个 811 条的子集一样重。 HC 拿到了它数据占比的 4.2 倍,Magentic-One 只拿到 0.30 倍。
四、换成按轨迹加权:+5.6 变成 +3.4
我用还原出的分母把每格百分比换回整数命中数,重算了”按轨迹加权”(micro)的步骤准确率:
| 方法 | 等权平均(论文口径) | 按轨迹加权(我重算) | 命中数 / 1228 |
|---|---|---|---|
| BLADE | 57.6% | 71.7% | 881 |
| All-at-once | 51.9% | 68.3% | 839 |
| TrajDebug | 51.2% | 68.2% | 838 |
| TRIAGE | 48.3% | 67.4% | 828 |
| Step-by-step | 48.5% | 64.7% | 795 |
| ErrorProbe | 41.4% | 61.6% | 756 |
| Binary search | 47.7% | 60.9% | 748 |
| FALAT | 39.7% | 57.2% | 703 |
三件事:
- BLADE 在两种口径下都是第一。 这点要先说清楚——我不是在推翻结论,是在重新标定它的大小。
- 对 All-at-once 的优势从 +5.6 分收缩到 +3.4 分,对 TrajDebug 从 +6.4 收缩到 +3.5。缩水约四成。
- 中段排名会洗牌:TRIAGE 从第 5 升到第 4,Binary search 从第 6 掉到第 7。也就是说,“哪个基线是第二好”这件事取决于你怎么平均。
(口径说明:论文附录 C.2 给的 bootstrap 区间 [2.8, 8.6] 估的是等权平均这个量,我算的 +3.4 是另一个量——按轨迹加权——两者不是同一个估计对象,我的数字不构成对那个区间的修正。等权平均本身也有合理理由:它衡量的是”跨架构的平均表现”,不是”在这批数据上的平均表现”。我的意见是,引用 +5.6 的人应该知道另一个口径下是 +3.4。)
五、被平均抹掉的那个数:自然失败 31%,注入失败 80.9%
这才是我认为这篇论文最该被记住的东西。按子集看”八种方法里最好的那个”:
| 子集 | 失败来源 | 最好的步骤准确率 | 等于说,决定性错误步认错的比例 |
|---|---|---|---|
| HC(58 条) | 人工构造的自然失败 | 31.0% | 69% |
| AG(126 条) | 算法生成的自然失败 | 54.0% | 46% |
| DyLAN(152 条) | 注入 | 56.6% | 43% |
| MetaGPT(81 条) | 注入 | 65.4% | 35% |
| Magentic-One(811 条) | 注入 | 80.9% | 19% |
占全部数据 66% 的那个子集是注入失败,而且是最容易的一个(80.9%);最难的 HC 只占 4.7%。 等权平均把 31% 和 80.9% 揉成 57.6%,读者看到的是一个”及格偏上”的印象。
附录 C.1 的另一组数给出了机制层面的同一结论——一个 breach 标签到底有多大证据力:
| 基准 | P(这步是决定性错误 | 有 breach 发现) | P(… | 没有发现) | 提升 |
|---|---|---|---|
| Magentic-One(注入) | 59.5% | 9.8% | 6.1 倍 |
| Who&When(自然) | 11.9% | 5.2% | 2.3 倍 |
同一个审计信号,在注入失败上命中率 59.5%,在自然失败上只有 11.9%。我的判断是:注入的错误有一个干净的”引入点”,因为它就是被人为塞进某一步的;自然失败往往没有这样一个点——错误是逐渐跑偏的,或者分摊在好几步上。“决定性错误步”这个标注范式本身,在自然失败上可能就更难定义。
这不是 BLADE 的锅,是整个领域的现状。但它解释了为什么我认为今天不该把失败归因接成自动修复:在真实失败上,你会收到三个归因里有两个是错的。
六、两次”并列最优”,都是和表里最笨的基线并列
论文说 BLADE”在每个子集上都取得最优或并列最优,三次独胜、两次并列”。我好奇是跟谁并列,就查了一下——两次都是 Binary search:
| 子集 | BLADE | 并列者 | 并列者用了什么 |
|---|---|---|---|
| HC | 31.0% | Binary search 31.0% | 反复二分候选区间,不用依赖图、不用审计、不用要求片段 |
| DyLAN | 56.6% | Binary search 56.6% | 同上 |
Binary search 的等权平均只有 47.7%(八个里排第六),却在 BLADE 没能独胜的那两个子集上追平了整条 blame graph 流水线。
我的解读:这五个子集测的不是同一种能力。 Binary search 的错误画像和其它方法明显不同——它在最大也最容易的 Magentic-One 上只有 68.7%(比 BLADE 低 12 分),却在最难的 HC 上并列第一。一个纯结构化、完全不看语义的策略能在最难的子集上打平,更像是在说”HC 上大家都在瞎猜,而二分法的瞎猜方式恰好不差”,而不是在说”二分法理解了失败”。
七、Agent 那一列,不是一把尺子
还有一处口径问题,藏在附录 B.2 一句话里:
All-at-once predicts agent and step; other methods use the selected step’s recorded actor.
也就是说,8 个方法里有 7 个的”Agent 准确率”是从步骤预测派生出来的(选中哪一步,就报那一步的执行者)。只有 All-at-once 是独立预测 Agent 的。
派生意味着一个硬约束:步骤对 ⟹ Agent 必对,所以 Agent 准确率不可能低于步骤准确率。我把 40 对数字逐一查了一遍,全表只有一处违反:
| 方法 | 子集 | Agent | Step | |
|---|---|---|---|---|
| All-at-once | MetaGPT | 46.9% | 54.3% | Agent 比 Step 低 7.4 分 |
这不是算错——它恰好证实了附录那句话:All-at-once 可以一边选中正确的步骤、一边报出错误的 Agent。但后果是,表 1 的 Agent 列里,有一行和另外七行测的不是同一件事。摘要里”Agent 准确率超出最强基线 2.8 分”(对 TrajDebug)是派生对派生,这个比较没问题;但把 All-at-once 的 Agent 数字拿来横比就不太合适。
顺带一提,在 MetaGPT 子集上,七个派生方法的 Agent 准确率全部等于它们的步骤准确率。这说明在这个流水线架构里,“认对 Agent”和”认对步骤”是同一件事——这一列在这个子集上不携带任何额外信息。
八、它做对而别人常漏的三件事
批评完口径,该说这篇论文扎实的地方。这三处实验设计我认为比它的方法更值得学:
- 打乱证据的对照组。 表 2 里有一行”shuffled evidence”:把依赖边和审计发现随机重新分配给别的事件对。如果一个方法的收益来自”模型看到一堆结构化文本就更认真”,这一行的分数不会掉。实测它在 Magentic-One 上掉到 76.7%、DyLAN 掉到 52.0%,都低于完全不给证据的 78.7% 和 52.6%。给错证据比不给更糟——这正是一个有效证据机制该有的样子。
- 把”更多”和”更好”分开测。 穷举审计所有事件对是 O(T²);BLADE 只审 K=2 个来源,约 O(T)。论文报告它只审了穷举的 13–23%,却在四个子集中的三个上打平或更好。我从这个比例反推了一下轨迹长度:穷举是 T(T−1)/2 对,选择性是 2(T−1) 对,比值约 4/T,所以 13–23% 对应 T ≈ 17–31 个事件——和 K=2 的设定自洽,也就是说典型轨迹里穷举要审 140–460 个交接,BLADE 只审 33–60 个。审得更少反而不差,这是全文最反直觉的一条。
- 自报标签体系的冗余。 附录 C.3 说,在 Magentic-One 上”只保留 breach 发现”的配置和完整配置打平(都是 80.9%)。九个标签、三个分组里,真正起作用的只有 breach 那一组——“沿用旧错误""修好了”这些标签对最终归因没有贡献。愿意把自己的设计冗余写进附录,比多涨一个点更有价值。
九、根本约束与崩点
一句可反驳的根本约束:BLADE 之所以长成”概率阈值挑选 + 选择性审计 + 可推翻诊断”这个形状,是因为它的判断单元必须是”在固定选项上输出概率”,而不是”写一段自由文本”。
如果这个约束不存在——判断模型只能返回散文——那么:p ≥ θ = 0.3 这个筛选没法做,“取 depends-on 概率最高的两个来源”没法排序,“同一上下文下的独立问题批量提交”也失去意义。整个选择性审计机制会退化成”把日志丢给模型问一句哪步错了”,也就是 All-at-once 本身。
崩点在两个方向:
- 往上(不做选择):穷举审计在 T ≈ 31 的轨迹上要 458 次交接判断而不是 60 次,七倍多的调用,而准确率在三个子集上还更差。不是贵一点,是又贵又差。
- 往下(不做审计):表 2 的”dependencies only”一行给出了答案——只给依赖边,相对不给证据是 +3.5 / +1.6 / −0.3 / +1.3 分,其中 Magentic-One 还是负的。光追溯信息流,收益接近于零。
这两个崩点合起来,正好是论文标题那句话的实证:追溯信息(dependencies)不够,审查信息怎么被用(auditing use)才是增量来源。
边界卡:这篇的结论什么时候不成立
这是我认为最容易被用错的地方,列三种失效情形:
| 情形 | 为什么不成立 | 可以怎么办 |
|---|---|---|
| 你的失败是自然跑偏的,不是某一步塞进来的 | 论文的收益主要在注入失败上(811 条里 80.9%),自然失败的最好成绩是 31.0%,而且 breach 标签的证据力从 6.1 倍掉到 2.3 倍 | 把归因结果当成”缩小排查范围”的提示,不要当判决;先人工复核三条,再决定信不信 |
| 你要的是”修哪里”而不是”谁的锅” | 决定性错误步的定义是”改对它任务就成功”,这是反事实判断,论文没有验证这个反事实,只是和标注对齐 | 先用它定位,再用重跑验证修复是否真的让任务成功——参考AI 修复的有效期 |
| 你的日志里压根没记下关键观察 | 所有方法都只读日志。证据缺失时,模型不会说”记录不全”,它会从剩下的内容里挑一个最像的步骤 | 先审计日志完整性(工具原始返回有没有被摘要掉),再做归因 |
还有一处我没法核的软处:论文的判断模型 Jev(TypeSafe,jev-1.13.0)我无法一手核实其能力与定价,而全部八个策略都是在这一个接口上重新实现的。所以这张表证明的是”在 Jev 的概率接口下 BLADE 排第一”,没有证明”换成普通聊天模型后这个排名不变”。论文报的 1,228 条总推理成本约 1.9 美元(约 0.0016 美元/条)也完全依赖这个未知定价——按每条 1 万到 3.2 万输入 token 倒推,隐含单价在 0.05–0.16 美元/百万 token 之间,这个量级只在很便宜的专用模型上成立。
下一步:十分钟能做的第一件事
打开你手上最近一条失败的多 Agent 日志,只做一件事:找出最终错误答案的那个值,然后沿着日志往回倒,看它第一次以错误形式出现在哪一步。 再看那一步的上一步——它的输入当时是对的吗?
- 输入已经是错的 → 你找到的是传播点,真正的引入点还在更前面。
- 输入是对的,输出错了 → 这一步就是引入点,而这正是 BLADE 所谓的 breach。
做完这一遍(十分钟左右,不需要任何 API 费用),你会得到一个比论文任何数字都重要的判断:在你自己的系统里,失败到底有没有一个”引入点”。 有,这套方法对你可能管用;没有——错误是一路慢慢漂移的——那 31% 那一栏就是你该预期的上限。
我自己想接着做的实验:把这套审计拿同一条日志跑两遍,一遍给完整工具返回,一遍只给摘要后的返回,看归因结论会不会跟着变。如果会变,那”归因准确率”里有一部分其实是在测日志完整性,而不是在测归因能力。
参考来源
论文
- arXiv 摘要页:2610.18780v1。作者(University of Connecticut)、版本与分类(cs.AI,2026-10-13)通过 arXiv API 回查核实。
- HTML 全文与附录。本文核对的表 1 / 表 2 / 表 3、算法 1、以及附录 A(泄露字段与长轨迹处理)、B.2(基线实现)、C.1–C.3(breach 定位、配对 bootstrap、机制检查)。
- 代码仓库 GXG-CS/BLADE。论文给出的地址,我没有审计代码。
- 被它继承的老想法:程序切片(Weiser, 1981)、数据溯源(Buneman et al., 2001)、契约式 blame 归属(Findler & Felleisen, 2002)、基于模型的诊断(Reiter, 1987)、真值维护(Doyle, 1979)——均由论文自己引用。
我的重算脚本(仓库 notes/blade-audit/)
recover_subset_sizes.py:从一位小数反推五个子集的分母(58/126/811/152/81),三处交叉验证,以及等权 / 按轨迹加权两种口径的重算。table_checks.py:Agent ≥ Step 的派生约束检查(全表唯一一处违反)、两次并列的对手、从 13–23% 反推轨迹长度、breach 证据力对比、成本倒推。
站内延伸
- 多轮 Agent 信用分配:奖励「给谁」是二阶问题。“责任归谁”的训练侧镜像问题。
- Google FlowAgent 深读:AI 修复的有效期。定位之后,修复是否真的成立。
- Agent 写码、Agent 测码:独立验证真空。为什么归因不能自己给自己判分。
- BFCL v3 深读:评测口径从「对答案」换成「diff 状态」。口径决定你看到什么的另一个例子。
- 同日另一篇:ChunkAct 的 57.5% 比 +5.0 分重要。同样是从论文小数位反推样本量,那篇的结论比这篇严重得多。