检索指标一族:从 recall@10 到 NDCG,一次算清楚

Precision/Recall/F1/MRR/AP/NDCG 不是一张需要背的清单。它们是同一个约束——用户不会无限翻页——推出来的:先把检索结果当集合看,再当排序看。

我在做 RAG 评测的时候,PRD 里写着”recall@10 要到 0.85”,但没人说清为什么是 10、为什么是 recall 而不是 precision、以及上线后该盯哪个数。这篇把这一族指标用一个统一例子从头算一遍,顺便说清它们为什么长这样。

心智模型:这一族指标到底在回答什么

先不背公式。检索系统每次回答一个 query,做两件事:

  1. 从百万文档里捞出候选(召回)——回答”该找的找回来没有”。
  2. 把候选排个序(排序/rerank)——回答”找回来的东西排在用户看得到的地方没有”。

这两件事对应两套指标,不要混用:

阶段视角代表指标坏掉会怎样
召回集合(不看顺序)Precision@k、Recall@k、F1@k漏了原文,LLM 再强也会幻觉
排序位置(看第几位)MRR、AP/mAP、NDCG@k相关文档排在第 10 位,用户翻不到就走了

一句话根本约束:这一族指标之所以长成这样,是因为用户不会无限翻页——第 1 条和第 10 条的点击率差一个数量级。所以光问”召回来没有”不够,还得问”排在多靠前”。

反过来看崩点:

  • 只看 Recall@10:一个系统把 4 篇相关文档全排在第 7–10 位,Recall@10 = 1.0,但用户实际只看到第 3 条就走了。
  • 只看 MRR:一个系统把 1 篇最相关的放第 1 位,后面 9 条全是垃圾,MRR = 1.0,但用户要的另外 3 篇全丢了。

所以工程上永远是召回指标 + 排序指标成对看,没有单一指标能打包票。

名词速查

术语一句话解释
ground truth(相关全集)这个 query 下”真正相关”的文档集合,评测前人工标注好,记为 |G|
Top-k系统返回的前 k 条结果
命中位置某篇相关文档在 Top-k 里排第几(1-indexed)
TP / FP / FN混淆矩阵:命中的相关数 / 无关但返回了 / 相关但没返回
召回 vs 排序召回=找回来(集合),排序=排前面(位置)
mAP所有 query 的 AP 先算单个再平均

走一遍:一个例子算完全部指标

固定这个例子,后面所有公式都往它身上套:

  • ground truth 相关全集 G = {A, B, C, D},|G| = 4
  • 系统返回 Top10 = [B, X, A, Y, C, Z, W, U, V, T]
  • 命中位置(1-indexed):B 在第 1,A 在第 3,C 在第 5;D 没被召回
排名:   1   2   3   4   5   6   7   8   9   10
文档:   B   X   A   Y   C   Z   W   U   V   T
相关:  ✗?  ✓   ✗   ✓   ✗   ✗   ✗   ✗   ✗   ✗
       相关 无关 相关 无关 相关 ...

1. Precision@k 与 Recall@k(集合视角)

最朴素的两个,直接从混淆矩阵来:

P@k=Top-k 里命中的相关数k,R@k=Top-k 里命中的相关数∣G∣P@k = \frac{\text{Top-}k \text{ 里命中的相关数}}{k}, \qquad R@k = \frac{\text{Top-}k \text{ 里命中的相关数}}{\lvert G \rvert}

套例子:

kTop-k 里命中P@kR@kF1@k
11(B)1.0000.2500.400
32(B, A)0.6670.5000.571
53(B, A, C)0.6000.7500.667
103(B, A, C)0.3000.7500.429

两个容易踩的点:

  • Recall@10 的分母是 |G|=4,不是 10。漏掉 D,所以封顶就是 3/4 = 0.75,哪怕后面再补 100 条无关文档也不会变。
  • F1@k 在 k 大的时候会塌:k=10 时 P 被无关文档稀释到 0.3,F1 反而比 k=5 低。工程上很少单独报 F1@k,一般只报 P@k 和 R@k 两条线。

2. MRR:第一个命中排第几(排序视角·极简版)

MRR 只关心第一个相关文档的位置,其他全忽略:

RR=1第一个命中的位置,MRR=1∣Q∣∑qRRq\text{RR} = \frac{1}{\text{第一个命中的位置}}, \qquad \text{MRR} = \frac{1}{\lvert Q \rvert}\sum_{q} \text{RR}_q

套例子:第一个命中是 B 在第 1,RR = 1/1 = 1.0。如果 B 排到第 3,RR 就变成 1/3 ≈ 0.33。

适用场景:每个 query 只有一个标准答案的场景——比如”这个报错对应哪篇文档”、factoid 问答。多答案场景(我们这个例子有 4 篇相关)MRR 会失真,因为它完全不在乎 A、C、D 排在哪。

3. AP / mAP:每个命中位置的精度都看一眼

AP 把”每个命中位置上的 P@pos”都收集起来,再除以 |G|:

AP@10=1∣G∣∑位置 p 命中P@p\text{AP@10} = \frac{1}{\lvert G \rvert}\sum_{\text{位置 } p \text{ 命中}} P@p

套例子,命中位置是 1、3、5:

AP@10=P@1+P@3+P@54=1.0+0.667+0.64=0.567\text{AP@10} = \frac{P@1 + P@3 + P@5}{4} = \frac{1.0 + 0.667 + 0.6}{4} = 0.567

注意分母是 |G|=4(不是命中数 3)——这是对漏召回的惩罚。漏掉的 D 相当于在 AP 里贡献了一个 0。mAP 就是把所有 query 的 AP 平均。

4. NDCG@k:位置越靠后,贡献衰减得越慢

NDCG 引入了一个对数衰减权重:排第 1 位的相关文档权重是 1,排第 2 位是 1/log2(3) ≈ 0.63,排第 3 位是 0.5……

DCG@k=∑i=1krelilog⁡2(i+1),NDCG@k=DCG@kIDCG@k\text{DCG@k} = \sum_{i=1}^{k} \frac{\text{rel}_i}{\log_2(i+1)}, \qquad \text{NDCG@k} = \frac{\text{DCG@k}}{\text{IDCG@k}}

其中 rel_i 是第 i 位的相关度(二元 0/1,或分级 0–3),IDCG 是”理想排序”下的 DCG(把所有相关文档放最前面)。

套例子,实际 DCG@10:

DCG@10=1log⁡22+1log⁡24+1log⁡26=1+0.5+0.387=1.887\text{DCG@10} = \frac{1}{\log_2 2} + \frac{1}{\log_2 4} + \frac{1}{\log_2 6} = 1 + 0.5 + 0.387 = 1.887

这里有个工程上真实踩过的坑:IDCG 怎么算,口径不止一种(我用脚本验过两种,数字列在下面):

IDCG 口径算法IDCG@10NDCG@10
A. 只在召回结果内重排把 Top10 里的 3 个相关挪到最前2.1310.885
B. TREC 标准:用 |G| 全集把全部 4 个相关挪到最前(D 补进来)2.5620.737

差了 0.15。口径 A 衡量的是”rerank 好不好”(召回内容已定,只看排序质量),口径 B 衡量的是”端到端好不好”(漏召回会被惩罚)。换库之前先确认它默认用哪种,否则跨工具对比数字会差一大截。

上面这堆数字,脚本怎么算

上面表格里的所有数都是我跑了一遍下面这段脚本得到的(不是手算估的),你可以直接拿去复现:

import math
relevant = {"A", "B", "C", "D"}
ranking  = ["B","X","A","Y","C","Z","W","U","V","T"]

def p_at(k): return sum(d in relevant for d in ranking[:k]) / k
def r_at(k): return sum(d in relevant for d in ranking[:k]) / len(relevant)

hits = [i+1 for i,d in enumerate(ranking) if d in relevant]
ap   = sum(p_at(p) for p in hits) / len(relevant)
rr   = 1 / hits[0]

def dcg(rels): return sum(r/math.log2(i+2) for i,r in enumerate(rels))
rels = [d in relevant for d in ranking]
ndcg_a = dcg(rels) / dcg(sorted(rels, reverse=True))
ideal_b = [1]*len(relevant) + [0]*(len(ranking)-len(relevant))
ndcg_b = dcg(rels) / dcg(ideal_b)

print(f"P@5={p_at(5):.3f} R@5={r_at(5):.3f} AP={ap:.3f} RR={rr:.3f}")
print(f"NDCG(口径A)={ndcg_a:.3f}  NDCG(口径B)={ndcg_b:.3f}")

输出:

P@5=0.600 R@5=0.750 AP=0.567 RR=1.000
NDCG(口径A)=0.885  NDCG(口径B)=0.737

怎么选:一张速查卡

你的场景主要看辅助看不建议单独看
RAG 召回阶段(向量检索器)Recall@10 / Recall@20Precision@kMRR、NDCG(召回阶段排序还没意义)
RAG rerank 阶段NDCG@5 / NDCG@10(口径 A)MRRRecall(rerank 不增召回)
问答 / 搜索(单答案)MRRNDCG@1Recall@k
通用检索系统对比mAPNDCG@10单看 F1@k
上线后 A/B 实验业务指标(采纳率、无答案率)离线 Recall/NDCG 只做护栏任何单一离线指标

一个反直觉的判断(我的观点,不是论文结论):RAG 场景下 Recall@k 比 NDCG 更重要。因为 LLM 读 context 时对顺序没那么敏感——它能从 10 段里挑出相关的那 3 段;但如果那 3 段根本没被召回,LLM 再强也只能编。所以召回阶段先把 Recall@10 顶上去,再用 rerank 优化 NDCG,顺序不要反。

一句话收口

把检索指标想象成超市购物:Recall 是”仓库里有没有你要的货”(不管摆哪),Precision 是”你拿起的前几件里有多少是你要的”,MRR 是”导购第一次推荐就说中了没有”,NDCG 是”不仅第一次说中,还看后面推荐的东西挨得近不近”。它们不是竞品,是同一个购物体验的不同侧面——召得全、排得前、用户不用翻。

下次看到 PRD 里写”recall@10 ≥ 0.85”,多问一句:分母是 ground truth 全集吗?配套的排序指标看哪个?口径是 TREC 还是召回内重排?这三个问题答上来,这个指标才算真的被用起来了。

参考