我在做 RAG 评测的时候,PRD 里写着”recall@10 要到 0.85”,但没人说清为什么是 10、为什么是 recall 而不是 precision、以及上线后该盯哪个数。这篇把这一族指标用一个统一例子从头算一遍,顺便说清它们为什么长这样。
心智模型:这一族指标到底在回答什么
先不背公式。检索系统每次回答一个 query,做两件事:
- 从百万文档里捞出候选(召回)——回答”该找的找回来没有”。
- 把候选排个序(排序/rerank)——回答”找回来的东西排在用户看得到的地方没有”。
这两件事对应两套指标,不要混用:
| 阶段 | 视角 | 代表指标 | 坏掉会怎样 |
|---|---|---|---|
| 召回 | 集合(不看顺序) | Precision@k、Recall@k、F1@k | 漏了原文,LLM 再强也会幻觉 |
| 排序 | 位置(看第几位) | MRR、AP/mAP、NDCG@k | 相关文档排在第 10 位,用户翻不到就走了 |
一句话根本约束:这一族指标之所以长成这样,是因为用户不会无限翻页——第 1 条和第 10 条的点击率差一个数量级。所以光问”召回来没有”不够,还得问”排在多靠前”。
反过来看崩点:
- 只看 Recall@10:一个系统把 4 篇相关文档全排在第 7–10 位,Recall@10 = 1.0,但用户实际只看到第 3 条就走了。
- 只看 MRR:一个系统把 1 篇最相关的放第 1 位,后面 9 条全是垃圾,MRR = 1.0,但用户要的另外 3 篇全丢了。
所以工程上永远是召回指标 + 排序指标成对看,没有单一指标能打包票。
名词速查
| 术语 | 一句话解释 |
|---|---|
| ground truth(相关全集) | 这个 query 下”真正相关”的文档集合,评测前人工标注好,记为 |G| |
| Top-k | 系统返回的前 k 条结果 |
| 命中位置 | 某篇相关文档在 Top-k 里排第几(1-indexed) |
| TP / FP / FN | 混淆矩阵:命中的相关数 / 无关但返回了 / 相关但没返回 |
| 召回 vs 排序 | 召回=找回来(集合),排序=排前面(位置) |
| mAP | 所有 query 的 AP 先算单个再平均 |
走一遍:一个例子算完全部指标
固定这个例子,后面所有公式都往它身上套:
- ground truth 相关全集 G = {A, B, C, D},|G| = 4
- 系统返回 Top10 =
[B, X, A, Y, C, Z, W, U, V, T] - 命中位置(1-indexed):B 在第 1,A 在第 3,C 在第 5;D 没被召回
排名: 1 2 3 4 5 6 7 8 9 10
文档: B X A Y C Z W U V T
相关: ✗? ✓ ✗ ✓ ✗ ✗ ✗ ✗ ✗ ✗
相关 无关 相关 无关 相关 ...
1. Precision@k 与 Recall@k(集合视角)
最朴素的两个,直接从混淆矩阵来:
套例子:
| k | Top-k 里命中 | P@k | R@k | F1@k |
|---|---|---|---|---|
| 1 | 1(B) | 1.000 | 0.250 | 0.400 |
| 3 | 2(B, A) | 0.667 | 0.500 | 0.571 |
| 5 | 3(B, A, C) | 0.600 | 0.750 | 0.667 |
| 10 | 3(B, A, C) | 0.300 | 0.750 | 0.429 |
两个容易踩的点:
- Recall@10 的分母是 |G|=4,不是 10。漏掉 D,所以封顶就是 3/4 = 0.75,哪怕后面再补 100 条无关文档也不会变。
- F1@k 在 k 大的时候会塌:k=10 时 P 被无关文档稀释到 0.3,F1 反而比 k=5 低。工程上很少单独报 F1@k,一般只报 P@k 和 R@k 两条线。
2. MRR:第一个命中排第几(排序视角·极简版)
MRR 只关心第一个相关文档的位置,其他全忽略:
套例子:第一个命中是 B 在第 1,RR = 1/1 = 1.0。如果 B 排到第 3,RR 就变成 1/3 ≈ 0.33。
适用场景:每个 query 只有一个标准答案的场景——比如”这个报错对应哪篇文档”、factoid 问答。多答案场景(我们这个例子有 4 篇相关)MRR 会失真,因为它完全不在乎 A、C、D 排在哪。
3. AP / mAP:每个命中位置的精度都看一眼
AP 把”每个命中位置上的 P@pos”都收集起来,再除以 |G|:
套例子,命中位置是 1、3、5:
注意分母是 |G|=4(不是命中数 3)——这是对漏召回的惩罚。漏掉的 D 相当于在 AP 里贡献了一个 0。mAP 就是把所有 query 的 AP 平均。
4. NDCG@k:位置越靠后,贡献衰减得越慢
NDCG 引入了一个对数衰减权重:排第 1 位的相关文档权重是 1,排第 2 位是 1/log2(3) ≈ 0.63,排第 3 位是 0.5……
其中 rel_i 是第 i 位的相关度(二元 0/1,或分级 0–3),IDCG 是”理想排序”下的 DCG(把所有相关文档放最前面)。
套例子,实际 DCG@10:
这里有个工程上真实踩过的坑:IDCG 怎么算,口径不止一种(我用脚本验过两种,数字列在下面):
| IDCG 口径 | 算法 | IDCG@10 | NDCG@10 |
|---|---|---|---|
| A. 只在召回结果内重排 | 把 Top10 里的 3 个相关挪到最前 | 2.131 | 0.885 |
| B. TREC 标准:用 |G| 全集 | 把全部 4 个相关挪到最前(D 补进来) | 2.562 | 0.737 |
差了 0.15。口径 A 衡量的是”rerank 好不好”(召回内容已定,只看排序质量),口径 B 衡量的是”端到端好不好”(漏召回会被惩罚)。换库之前先确认它默认用哪种,否则跨工具对比数字会差一大截。
上面这堆数字,脚本怎么算
上面表格里的所有数都是我跑了一遍下面这段脚本得到的(不是手算估的),你可以直接拿去复现:
import math
relevant = {"A", "B", "C", "D"}
ranking = ["B","X","A","Y","C","Z","W","U","V","T"]
def p_at(k): return sum(d in relevant for d in ranking[:k]) / k
def r_at(k): return sum(d in relevant for d in ranking[:k]) / len(relevant)
hits = [i+1 for i,d in enumerate(ranking) if d in relevant]
ap = sum(p_at(p) for p in hits) / len(relevant)
rr = 1 / hits[0]
def dcg(rels): return sum(r/math.log2(i+2) for i,r in enumerate(rels))
rels = [d in relevant for d in ranking]
ndcg_a = dcg(rels) / dcg(sorted(rels, reverse=True))
ideal_b = [1]*len(relevant) + [0]*(len(ranking)-len(relevant))
ndcg_b = dcg(rels) / dcg(ideal_b)
print(f"P@5={p_at(5):.3f} R@5={r_at(5):.3f} AP={ap:.3f} RR={rr:.3f}")
print(f"NDCG(口径A)={ndcg_a:.3f} NDCG(口径B)={ndcg_b:.3f}")
输出:
P@5=0.600 R@5=0.750 AP=0.567 RR=1.000
NDCG(口径A)=0.885 NDCG(口径B)=0.737
怎么选:一张速查卡
| 你的场景 | 主要看 | 辅助看 | 不建议单独看 |
|---|---|---|---|
| RAG 召回阶段(向量检索器) | Recall@10 / Recall@20 | Precision@k | MRR、NDCG(召回阶段排序还没意义) |
| RAG rerank 阶段 | NDCG@5 / NDCG@10(口径 A) | MRR | Recall(rerank 不增召回) |
| 问答 / 搜索(单答案) | MRR | NDCG@1 | Recall@k |
| 通用检索系统对比 | mAP | NDCG@10 | 单看 F1@k |
| 上线后 A/B 实验 | 业务指标(采纳率、无答案率) | 离线 Recall/NDCG 只做护栏 | 任何单一离线指标 |
一个反直觉的判断(我的观点,不是论文结论):RAG 场景下 Recall@k 比 NDCG 更重要。因为 LLM 读 context 时对顺序没那么敏感——它能从 10 段里挑出相关的那 3 段;但如果那 3 段根本没被召回,LLM 再强也只能编。所以召回阶段先把 Recall@10 顶上去,再用 rerank 优化 NDCG,顺序不要反。
一句话收口
把检索指标想象成超市购物:Recall 是”仓库里有没有你要的货”(不管摆哪),Precision 是”你拿起的前几件里有多少是你要的”,MRR 是”导购第一次推荐就说中了没有”,NDCG 是”不仅第一次说中,还看后面推荐的东西挨得近不近”。它们不是竞品,是同一个购物体验的不同侧面——召得全、排得前、用户不用翻。
下次看到 PRD 里写”recall@10 ≥ 0.85”,多问一句:分母是 ground truth 全集吗?配套的排序指标看哪个?口径是 TREC 还是召回内重排?这三个问题答上来,这个指标才算真的被用起来了。
参考
- TREC 评测会议关于 NDCG 的原始定义(Jarvelin & Kekalainen, 2002)——工程上 IDCG 口径分歧的来源
- 站内相关:Agentic Search vs RAG Code Retrieval、Eval Score Statistics: Wilson 家族、LLM Eval Eleven Methods