同一个「关掉这个注意力头」,TransformerLens 说答案没了,nnsight 说答案更稳了:八个可解释性工具本机实测

在 Qwen2.5-0.5B 上实测八个可解释性工具。撞到两个文档没写的坑:TransformerLens 默认折叠 V bias,让 zero-ablation 结论和原模型相反;LLM Transparency Tool 在新版 TL 下所有 GQA 模型都起不来。

把 Qwen2.5-0.5B 第 23 层的 1 号注意力头关掉,模型还会不会答「Paris」?我用四种方式问了同一个问题(none 列是不做任何改动的基线):

p(' Paris') after zeroing layer 23 attention at the last position
                                           none      H1     all
TL from_pretrained (default)              0.302   0.004   0.010
TL default but fold_value_biases=False    0.302   0.369   0.315
TL from_pretrained_no_processing          0.302   0.369   0.315
nnsight (plain HF)                        0.302   0.369   0.315

第一行说这个头是答案的命脉,关掉它 Paris 的概率从 0.302 掉到 0.004;后三行说关掉它 Paris 反而更可能了(0.369)。模型、prompt、操作都一样,第一行和第二行只差 TransformerLens 加载权重时默认做的一步「整理」:fold_value_biases。后面会讲这步整理是什么、为什么它让 zero-ablation 换了含义。

这篇的起点很朴素。我先手写了一个脚本,把本机 GGUF 模型一次推理的激活全部抓出来画成网页(46 个 token、24 层,导出了 14 MB 的数据),画完才想到问:这种事有没有成熟工具?于是把常见的八个装在一台 M5 Pro 笔记本上,全部用 CPU 跑。PyTorch 侧的模型一律是 Qwen/Qwen2.5-0.5B-Instruct,llama.cpp 侧是同一个模型的 Q4_K_M GGUF;有两节因为 Qwen 没有现成的预训练资产换成了 GPT-2,会在那里说明。下面是每个工具能回答什么问题、我跑出来的真实输出,以及装和用的时候撞上的坑。

八个工具,都是在同一条总线上下断点

读懂后文要先有一个画面。Transformer 的每一层不会把上一层的表示换掉,它只往一个共享向量上加东西。Qwen2.5-0.5B 里这个向量是 896 维,每个 token 一份,叫残差流(residual stream):embedding 写进去第一笔,之后 24 层的 attention 和 MLP 各自读它、算一点、再加回去,最后一层的结果乘上词表矩阵(lm_head,也叫 unembed)变成 15 万个候选词的打分(logits),softmax 之后是概率。

所以可解释性工具的工作方式和调试器很像:在这条总线的某个位置下断点(hook,一个在前向计算经过时被调用的回调函数),然后对那一刻的值做点什么。八个工具做的事可以归成五种:

动作回答的问题本文用的工具
读第 L 层、第 t 个 token 的中间值是多少TransformerLens run_with_cache、nnsight .save()、llama.cpp llama-eval-callback;BertViz 和 CircuitsVis 专门把注意力矩阵画成图
改把这个值换掉或清零,输出变不变TransformerLens run_with_hooks、nnsight 赋值
翻译中间层「如果现在就停,会说什么」logit lens、tuned-lens
分解这个 896 维向量里同时混着哪些概念SAELens(稀疏自编码器)+ Neuronpedia
归因输出是被哪几个输入词推出来的Inseq、LLM Transparency Tool

这些工具能做成这么通用的形状,前提是残差连接:每层都读写同一个空间。假如没有残差、每一层都把表示彻底换到一个新坐标系里,「把中间层直接乘 lm_head」就读不出任何东西,logit lens 根本不会存在;「把第 L 层第 t 个位置的值换掉」也不会这么干净地定位到信息在哪。「改」这一类沿用的是神经科学里损伤研究的思路:切掉一块,看行为变不变。

环境说明一次:transformer-lens 2.18.0、nnsight 0.8.2、sae-lens 6.5.3、tuned-lens 0.2.0、inseq 0.7.1、torch 2.15.0,llama.cpp 是 Homebrew 的 build 9630。下文的数字都是在这台机器上跑出来的,正文贴的是每个实验的核心几行代码。

「France」在第 17 到 21 层被搬到答案的位置

第一个问题:模型读到 The capital of France is 时,「法国」这个信息是在哪一层、从哪个位置流到最后一个 token 去的?最后一个位置( is)负责预测下一个词,它必须在某处拿到 France。

工具是 TransformerLens 的 activation patching。做法是准备两句话:干净的 The capital of France is 和污染的 The capital of Italy is,先记下干净那句每一层的残差,再跑污染那句,只把某一层、某一个位置的残差换回干净版本,看答案能恢复多少。恢复程度用 logit(Paris) − logit(Rome) 衡量(logit 是 softmax 前的原始打分,两者相减消掉了无关的整体偏移):干净句是 7.28,污染句是 −3.22,换回之后如果回到 7.28 就记 100%。

核心就是一个 hook:

def hook(act, hook, p=p):
    act[:, p] = clean_cache[hook.name][:, p]   # 只换一个位置
    return act
lg = model.run_with_hooks(corrupt, fwd_hooks=[(f"blocks.{layer}.hook_resid_pre", hook)])

hook_resid_pre 是第 layer 层读入之前的残差。逐层跑一遍,分别换 France 那个位置和最后一个位置:

          @' France'(pos 3)          @last token
  L 0: 100.0% ████████████████████    0.0%
  L17:  99.8% ███████████████████    -0.2%
  L18:  94.3% ██████████████████     18.4% ███
  L19:  93.7% ██████████████████     18.3% ███
  L20:  94.1% ██████████████████     18.6% ███
  L21:  83.5% ████████████████       31.5% ██████
  L22:   0.8%                       100.1% ████████████████████
  L23:   0.9%                        99.6% ███████████████████

(L1 到 L16 省略,两列都几乎不变。)读法要注意差一:L18 这一行是第 18 层读入的残差,也就是第 17 层的输出。所以一直到第 17 层算完之前,「France」都只待在它自己的位置上;第 17 层搬走了一小部分(最后位置那列从 0 跳到 18%),第 20 层又搬一些(18.6% → 31.5%),第 21 层把剩下的搬完(到 100%)。搬运只能发生在 attention 里,因为只有 attention 能在 token 之间传信息,MLP 只在各自的位置上算。这种做法来自 ROME 论文的 causal tracing(Meng et al., arXiv:2202.05262)。

用 nnsight 关掉那几层的 attention,p(Paris) 从 0.30 掉到 0.07

patching 说的是「信息在哪」,ablation(把某个组件的输出清零)问的是「这个组件是不是必需的」。nnsight(Fiotto-Kaufman et al., arXiv:2407.14561)的写法很直接:在 trace 上下文里,对原生 HuggingFace 模型的任意模块输出赋值。

with model.trace(prompt):
    model.model.layers[i].self_attn.output[0][:, -1] = 0   # 关掉第 i 层 attention 在最后位置的输出
    logits = model.lm_head.output.save()
baseline p(' Paris') = 0.302
  L16: p(' Paris') = 0.306
  L17: p(' Paris') = 0.072
  L18: p(' Paris') = 0.225
  L20: p(' Paris') = 0.137
  L21: p(' Paris') = 0.097
  L22: p(' Paris') = 0.356
  L23: p(' Paris') = 0.315

第 17、20、21 层的 attention 关掉后答案明显受损,第 22、23 层关掉反而略升,和上一节 patching 推出来的搬运层(17、20、21)是同一组。

这里我先翻了一次车。第一次跑出来 baseline 是 0.268,和 TransformerLens 的 0.302 对不上。打印 model.dtype 才发现 nnsight 加载出来的是 bf16,和 Qwen2.5 config 里写的 torch_dtype 一致(我推测它沿用了 config,没去读它的加载代码);TransformerLens 那边我传的是 fp32。加上 dtype=torch.float32 后两边都是 0.302。

TransformerLens 默认把 V 的 bias 折进了 b_O,zero-ablation 的含义跟着变了

回到开头那张表。我在 TransformerLens 里逐个关掉第 16 到 23 层的每个头(把 hook_z 在最后位置清零;hook_z 是每个头 attention 加权之后、乘输出矩阵 W_O 之前的值),最致命的一个是 L23H1:p(Paris) 从 0.302 掉到 0.004。可上一节用 nnsight 关掉第 23 层整层 attention,p(Paris) 是 0.315,几乎没变。一个头比整层还致命,说不通。

再看这个头本身。它 98% 的注意力放在最后一个 token 自己身上,它对 Paris 这个词的直接 logit 贡献(把它的输出直接乘 lm_head 读出来)是 −2.14,也就是说它在压低 Paris。一个压低答案的头,关掉之后答案却没了,也说不通。

原因在 from_pretrained 的默认参数里。TransformerLens 2.18.0 的 HookedTransformer.py:1133 有 fold_value_biases: bool = True,对应的实现在 HookedTransformer.py:1873,docstring 讲得很清楚:注意力权重加起来等于 1,所以每个头的 V bias 对输出的贡献是常数,干脆把整层所有头的 V bias 乘上 W_O 合并成一个输出 bias b_O。这样做不改变最终输出(两种加载下不做改动的 p(Paris) 都是 0.302),但 hook_z、hook_v 里读到的中间值已经不含 V bias 了。

问题出在「改」。V bias 折走以后,hook_z 里只剩每个头的内容部分,常数部分进了 b_O。把 hook_z 清零,等于删掉了内容、却留下了那个常数向量,第 23 层的 b_O 范数是 22.66。原生模型里,attention 的输出永远是「内容 + 常数」一起出现的;TransformerLens 默认设置下的 zero-ablation 造出了一个原模型永远不会出现的状态:只有常数,没有内容。模型在这个状态下崩了,崩的原因是输入离开了它见过的分布,跟 L23H1 有没有用无关。

from_pretrained 默认还会做别的整理(折叠 norm、中心化权重等),所以我加了一组对照:其它默认全保留,只传 fold_value_biases=False。关掉 H1 得到 0.369,整层清零 0.315,和 from_pretrained_no_processing(什么都不整理)完全相同,也和 nnsight 在原生模型上清零 o_proj 输入对应切片(第 64 到 127 维,每个头 64 维)的结果相同。三条路径给出同一个数,变量也隔离到了这一个参数,我才确信这是 TransformerLens 设置造成的,不是模型的性质。

docstring 解释了为什么折,没提折完之后 ablation 的结论会变。我的建议是:用 TransformerLens 做 ablation 时,要么用 from_pretrained_no_processing,要么改在 hook_attn_out(整层 attention 输出,折叠前后一致)上操作,要么改用 mean-ablation(换成平均值而不是 0)。核心代码就是给 hook_z 挂一个把 z[:, -1, 1] 置零的 hook,分别用三种加载方式各跑一次。

logit lens 在 0.5B 模型上前 21 层读不出答案,tuned-lens 想修的是这个

logit lens 的想法是:既然每层都在同一个残差流里写,那就把第 L 层的残差直接接上最后的 norm 和 lm_head,看它「此刻想说什么」。TransformerLens 一行就能做:

resid, labels = cache.accumulated_resid(apply_ln=True, return_labels=True)
lens = model.unembed(resid[:, 0, -1])

在 Qwen2.5-0.5B 上的结果很难看:

       0_pre: ' is'        p(Paris)=0.000
      12_pre: '\';";\n'    p(Paris)=0.000
      18_pre: ' ____'      p(Paris)=0.000
      21_pre: ' __'        p(Paris)=0.001
  final_post: ' Paris'     p(Paris)=0.302

直到第 21 层读出来的都是标点和下划线,Paris 只在最后一层出现。可 patching 已经证明第 17 层就开始往最后位置搬信息了。tuned-lens 论文(Belrose et al., arXiv:2303.08112)对这种现象的解释是:中间层的残差和最后一层的残差,各个方向的含义和尺度并不一致,lm_head 只是为最后一层训练的,直接拿去乘中间层,读到的是错位的结果。

tuned-lens 给每一层训练一个仿射变换,先把中间层的残差「翻译」到最后一层的坐标约定,再乘 lm_head。官方只给部分模型发布了训练好的翻译器(GPT-2 系列、EleutherAI 的模型、OPT、部分 Llama 和 Vicuna),没有 Qwen2.5,所以我在 GPT-2 上量了一下两者离最终输出有多远。量法是 KL 散度(两个概率分布差多少,0 表示完全相同),在一段 38 个 token 的英文上取平均:

layer   KL(logit lens)   KL(tuned lens)
  L 0      44.12             5.35
  L 3       5.45             2.46
  L 6       4.30             1.77
  L 9       2.64             0.73
  L11       1.10             0.22

每一层 tuned-lens 都更接近最终输出,第 11 层差了 5 倍。(GPT-2 上 logit lens 本身也没有 Qwen 那么差,第 11 层 KL 只有 1.10;tuned-lens 在 Qwen 上能修多少,我没法验证。)我也撞到一个反例:The Eiffel Tower is located in the city of 这句,GPT-2 最终答 Paris,tuned-lens 在第 11 层读出来的却是 New,logit lens 反而读出了 Paris。所以看单句时我两个都会看。

GPT-2 第 8 层,每个 token 只亮 54 个特征(共 24576 个)

残差流里的 896 维(GPT-2 是 768 维)不是 896 个概念。一个维度会同时参与很多概念,一个概念也散在很多维度上。稀疏自编码器(SAE,Cunningham et al., arXiv:2309.08600)把这个向量重新表示成几万个「特征」的加权和,并强迫每次只有极少数特征非零,训练出来的特征往往能对应到人能读懂的概念。

Qwen2.5-0.5B 没有公开的预训练 SAE,所以这一节用 GPT-2 small 和 SAELens 里现成的 gpt2-small-res-jb:

SAE: d_in=768 -> d_sae=24576 features
avg active features per token: 54.0 / 24576
' Paris'   top features: #974(45.0), #7533(9.8), #7329(9.7), ...
look one up: https://www.neuronpedia.org/gpt2-small/8-res-jb/974
loss clean=2.401  with SAE spliced in=2.601

两万四千多个特征里每个 token 平均只亮 54 个,这就是稀疏。最后一行是 SAE 的代价:把第 8 层的残差替换成 SAE 的重建值,语言模型 loss 从 2.401 升到 2.601,说明 SAE 丢掉了一部分模型真正在用的信息。SAE 给出的解释,只覆盖它能重建的那一部分。

特征编号本身没有意义,要去 Neuronpedia 查:它为每个特征列出最能激活它的真实文本片段,这一步是在网页上完成的,本地只负责算出编号。

归因工具给「capital」的功劳比「France」还大

Inseq(Sarti et al., arXiv:2302.13942)回答「输出的每个词是被哪些输入词推出来的」。我用的是 saliency(输出概率对每个输入词 embedding 的梯度大小),生成 6 个 token、连加载模型整个脚本 31 秒。更标准的 integrated_gradients 要对每个输出词做几十次前后向,跑了近 14 分钟还没结束(进程 CPU 占用一直是 100%,只吃满了一个核),我中途停掉了。

            ĠParis    .     ĠIt   Ġwas
     The     0.23   0.17   0.18  0.13
Ġcapital     0.31   0.23   0.2   0.19
     Ġof     0.14   0.15   0.11  0.1
 ĠFrance     0.2    0.22   0.2   0.17
     Ġis     0.12   0.09   0.09  0.07

生成 Paris 这一列,功劳最大的是 capital(0.31), France 只有 0.20。这和 patching 的结论看上去冲突:patching 显示答案对 France 那个位置完全依赖。我的理解是两者问的问题不同,梯度量的是「这个词的 embedding 往任意方向轻轻动一下,输出变多少」,patching 量的是「把 France 换成 Italy,答案变不变」。前者是局部敏感度,后者是一次具体替换的因果效应。所以要回答「哪个词决定了答案」,我会信 patching。

BertViz(Vig, arXiv:1906.05714)和 CircuitsVis 是纯看图的工具:把每层每个头的注意力矩阵画成可点击的网页。它们适合快速扫一眼哪些头在看哪里,比如 L21H6 有 73% 的注意力放在 France 上,是一个「搬运头」的候选。但前面 L23H1 的例子已经说明,注意力看哪里,和关掉这个头之后答案变不变,是两回事。

LLM Transparency Tool:配置里列着 Llama-3,新版 TransformerLens 下所有 GQA 模型都起不来

Meta 的 LLM Transparency Tool(论文 arXiv:2404.07004,信息流图的算法来自 Ferrando & Voita, arXiv:2403.00824)是这几个里最接近「开箱即看」的:一个 Streamlit 网页,输入一句话,画出信息从哪个 token、经过哪些层的哪些头流到答案的图。它的后端就是 TransformerLens,自带的 config/local.json 里列着 Meta-Llama-3-8B、Mistral-7B 等模型。

我从仓库 HEAD(f1340f0,2024-12-03)装起来,选 Qwen2.5-0.5B 就报错:

AssertionError: Can't use attn_in with GroupedQueryAttention, please use split_qkv_input instead

GQA(grouped-query attention)是多个 query 头共用一组 K/V 头的做法,Qwen2.5-0.5B 是 14 个 query 头配 2 个 KV 头,Llama-3、Mistral 也都是 GQA。报错的调用在 llm_transparency_tool/models/tlens_model.py:129:tlens_model.set_use_attn_in(False)。它只是关掉一个本来就默认关闭的功能,但 TransformerLens 2.15 和 2.18 的 set_use_attn_in 开头就有 assert self.cfg.n_key_value_heads is None(2.18.0 在 HookedTransformer.py:2031),不管参数是 True 还是 False,GQA 模型一律拒绝。我翻了 2.9.0 的源码,那个版本还没有这个 assert。

这就卡住了:TransformerLens 2.9 能让这行调用通过,但 2.9 不认识 Qwen2.5(官方支持列表里最新是 Qwen2);升到新版认识了 Qwen2.5,GQA 模型又全部起不来。我的修法是给这一行加个判断,GQA 模型就跳过:

if tlens_model.cfg.n_key_value_heads is None:  # TL refuses this call for GQA models (already off by default)
    tlens_model.set_use_attn_in(False)

另外还要把 typeguard 固定在 2.13.3(新版 typeguard 会把 jaxtyping 的形状注解 "batch pos" 当 Python 表达式解析,直接 SyntaxError),把 pyarrow 固定在 21.0.0(新版要求 numpy 2,而 TransformerLens 在 Python 3.12 上要求 numpy<2)。改完后在 The capital of France is 上建出的完整贡献图有 438 个节点、1296 条边,阈值 0.04 下通往最后一个 token 的子图有 178 条边。

llama.cpp 的 eval-callback:唯一看得到真实 Q4 计算的工具

上面所有工具都跑在 PyTorch 上,用的是 fp32 权重。可我平时真正跑的是 llama.cpp 加载的 4-bit 量化 GGUF(Q4_K_M),这两者算出来的中间值差多少,PyTorch 那边的工具看不到。llama.cpp 自带一个 llama-eval-callback,在 ggml 计算图每个节点算完时打印它(ggml 计算图在这篇里拆过):

llama-eval-callback -m qwen2.5-0.5b-instruct-q4_k_m.gguf \
    -p "The capital of France is" -n 1 -t 4 > out_eval_callback.txt 2>&1
grep -c common_debug_cb_eval out_eval_callback.txt   # 822

一次 5 个 token 的前向打印了 822 个张量,其中 169 个是矩阵乘(MUL_MAT)。每个张量只打印首尾各 3 个数和总和:

common_debug_cb_eval: l_out-23 = (f32) ADD(ffn_out-23{896, 1, 1, 1}, ffn_inp-23{896, 1, 1, 1}}) = {896, 1, 1, 1}
            [     -0.3789,      -2.7585,       1.2306,    ...,      -3.0284,      -0.0126,      -1.4639  ],
    sum = -10.318571

l_out-N 是第 N 层输出的残差。我把每层的总和和 fp32 模型对了一遍(脚本 06_llamacpp_vs_fp32.py):

layer   Σ fp32        Σ llama.cpp Q4
  L 1       44.317       42.604
  L 2      914.358      895.271
  L 3     2046.724     2033.989
  L20     2314.918     2331.171
  L21      457.048      540.070
  L23       -6.562      -10.319

两边趋势一致:多数层的总和只差 1% 到 4%,第 21 层差到 18%(L23 的总和接近 0,算比例没有意义)。最显眼的是第 2 层总和从 44 跳到 914、第 21 层又从 2315 落回 457,两边都有。我在 fp32 模型里逐 token 查了一下,这个跳变全部来自第 0 个 token 的第 62 维:第 2 层输出时它是 698,第 3 层到第 20 层稳定在 1570 左右,第 21 层输出时降到 47,第 3 层输出时第 0 个 token 的残差范数是 1566,第 1 个 token 只有 11。这是两篇论文描述过的现象:attention sink(Xiao et al., arXiv:2309.17453),模型把第一个 token 当成「没地方看时就看这里」的地方;以及 massive activations(Sun et al., arXiv:2402.17762),这类 token 身上会长出个别数值极大的维度。论文讲的是现象,Qwen2.5-0.5B 上具体是第 62 维、从第 2 层出现到第 21 层消失,是我这次量出来的。我原本猜第 21 层拆掉这个巨大值和同一层把 France 搬到答案位置有关系,但查了注意力:最后一个位置在第 21、22 层对第 0 个 token 的注意力仍然是 0.66 和 0.59,sink 在注意力上没有消失。这两件事是否相关,我目前没有证据。

(L23 那行只有 1 个 token:llama.cpp 在最后一层只保留需要出 logits 的那个位置,fp32 那边我也只取了最后一个 token 来比。)

八个工具各自回答哪个问题

你想知道先用注意
信息在哪一层、哪个位置TransformerLens activation patching两句话要 token 数一致,只换一个词
某个头或某层是不是必需的nnsight 清零,或 TL from_pretrained_no_processingTL 默认加载下 zero-ablate hook_z 会留下折进去的 bias
中间层在「想」什么logit lens;有预训练翻译器的模型用 tuned-lens小模型的 logit lens 前大半层基本是噪声
一个激活里混着哪些概念SAELens + Neuronpedia先看 SAE 拼回去之后 loss 涨了多少
哪个输入词推出了这个输出Inseq(CPU 上先用 saliency)梯度是局部敏感度,不等于因果
信息流的整张图LLM Transparency ToolGQA 模型要改一行,见上文
量化后真实计算偏了多少llama-eval-callback每个张量只打印 6 个数和总和

八个工具里,TransformerLens 要升到 2.16 以上才认识 Qwen2.5,Inseq 因此要单独一个环境,LLM Transparency Tool 要改一行代码再固定三个依赖版本;SAELens 和 tuned-lens 能装,但没有 Qwen2.5 的预训练资产,只能换 GPT-2 演示。

还没想清的一件事

llama-eval-callback 只打印每个张量的 6 个数和总和,所以上面那张 Q4 对比表只能说趋势,说不了误差到底集中在哪些维度。我下一步想写一个自己的 ggml 回调,把每层 l_out 完整 dump 成文件,和 fp32 逐维对比。我想验证一件事:量化误差会不会集中在第 0 个 token 第 62 维那种巨大值上?如果是,那 Q4 模型的 attention sink 和原模型就不完全是同一个 sink。

参考来源

工程实践

arXiv 论文

  • Meng et al., Locating and Editing Factual Associations in GPT, arXiv:2202.05262(causal tracing / activation patching)
  • Belrose et al., Eliciting Latent Predictions from Transformers with the Tuned Lens, arXiv:2303.08112
  • Cunningham et al., Sparse Autoencoders Find Highly Interpretable Features in Language Models, arXiv:2309.08600
  • Fiotto-Kaufman et al., NNsight and NDIF: Democratizing Access to Open-Weight Foundation Model Internals, arXiv:2407.14561
  • Sarti et al., Inseq: An Interpretability Toolkit for Sequence Generation Models, arXiv:2302.13942
  • Tufanov et al., LM Transparency Tool: Interactive Tool for Analyzing Transformer Language Models, arXiv:2404.07004
  • Ferrando & Voita, Information Flow Routes: Automatically Interpreting Language Models at Scale, arXiv:2403.00824
  • Xiao et al., Efficient Streaming Language Models with Attention Sinks, arXiv:2309.17453
  • Sun et al., Massive Activations in Large Language Models, arXiv:2402.17762
  • Vig, A Multiscale Visualization of Attention in the Transformer Model, arXiv:1906.05714