打开 DeepEval 的文档侧边栏,你会看到一长串名词:End-to-End、Trajectory、Component、G-Eval、JevEval、DAG、Arena G-Eval、Agents、RAG、Multi-Turn、Voice、MCP、Safety、Classifiers、Prompt Optimization……像一张杂货清单。但读完 DeepEval 源码(v4.3.2,commit
d6cd78a)后,我的判断是:这不是 20 个功能,是一棵树——LLM 评测设计空间的完整枚举。 每个名词都落在「三模式 × 打分范式 × 场景族」的某个格子里。看懂这棵树,就等于看懂了整个 LLM 评测赛道为什么长这样。
这篇不讲文档用法(那是二手),我直接读源码,把每个名词背后的设计约束讲清楚,并用一组论文和手算验证给它们锚定位。数字档位:所有源码定位出自我浅克隆的 deepeval 主分支(v4.3.2),公式我按源码原样重实现并用脚本验算过;论文数值均标”论文报告,我未复现”。
名词速查
| 术语 | 一句话解释 |
|---|---|
| LLM-as-a-Judge | 雇一个模型当裁判,给另一个模型的输出打分 |
| 评测粒度 | 你评测的是”最终回答”还是”整个过程”,决定你能定位到哪一层 |
| 轨迹(Trajectory) | Agent 执行的全过程:规划、工具调用、多轮动作、中间跳转 |
| Component(组件) | 系统里一个可单独评测的部件(检索器、单步 LLM、生成器) |
| 封闭集(closed set) | 只能从几个固定选项里选一个答案,不能自由发挥 |
| Golden | 评测用的”黄金样本”:问题 + 期望行为/答案 |
| System One | 一类”快速直觉”模型:不做长推理,直接给是/否/选择 + 校准概率 |
| 校准概率 | 模型说”90% 把握”,实际 90 次里真有 90 次对的概率,才叫校准 |
| Faithfulness(忠实度) | 回答里的每个论断是否都被检索到的上下文支持(防幻觉) |
| Arena / pairwise | 把两个回答摆一起让裁判 PK,输出谁更好(对战模式) |
读懂这篇需要你先有的 5 件事,站内都有专文,不必现在补:
- 为什么评测会分这么多方法 —— 因为生成任务的标准答案不可枚举,见《11 种 LLM 评估方法》。
- 裁判模型怎么打分、有哪些偏差 —— 见《LLM-as-a-Judge 学习笔记》。
- G-Eval 内部的概率加权机制 —— 见今天的《G-Eval 源码深读》,本文不重讲。
- RAG 是什么 —— 检索一段上下文喂给模型再生成,就一句话。
- 测试金字塔 —— 单元 < 集成 < 端到端,越上层越黑盒越贵。
心智模型:评测粒度 × 判据来源,是两个正交自由度
先立一棵可迁移的树,后面所有名词都往它身上挂。
它解决什么问题? 一套系统(LLM 问答、RAG 问答、Agent 干活)改了一版,你怎么知道它变好了还是变坏了?答案藏在两个问题里:你测哪个粒度(整体还是过程),以及拿什么当判据(雇人看、写规则、训个分类器、还是对战)。
它在什么系统里? DeepEval 不是独立打分器,而是插在测试循环里:喂 LLMTestCase → 跑 metric → 出 score → 跟 threshold 比判过不过 → 结果进 CI 或 Confident AI 看板。
盯住哪几个活动部件(旋钮)?
| 旋钮 | 它控制什么 | 拧错了会怎样 |
|---|---|---|
| 评测粒度(三模式) | 端到端 / 轨迹 / 组件 | 粒度选粗 → 只知道”挂了”不知哪挂;选细 → 能定位但用例构建贵几倍 |
| 判据来源(打分范式) | 雇裁判 / 写规则 / 训分类器 / 对战 | 选错 → 要么贵且飘,要么僵且漏 |
| 参照物 | golden / expected / 无 | 没参照物就只能靠裁判先验(回链 11 种方法那篇) |
| 阈值与严格度 | threshold / strict_mode | 开 strict → 分数变 0/1 门禁,适合放 CI |
拧一个旋钮会发生什么? 把粒度从”端到端”拧到”组件”,你能从”这版整体分数降了”进步到”是检索烂了,不是生成烂了”,但要多维护一整套组件级用例;把判据从”雇裁判”拧到”写死的 DAG”,分数从飘变成确定,但判据一旦写死就失去了探索新错误的能力。
flowchart TB
subgraph MODES["三模式 · 评测粒度"]
E2E["端到端<br>只看终态"]
TRAJ["轨迹<br>看整条路径"]
COMP["组件<br>看单个部件"]
end
subgraph JUDGES["打分范式 · 判据来源"]
G["G-Eval · 雇带先验的裁判"]
J["JevEval · 训快速分类器"]
D["DAG · 写死分支+常量分"]
A["Arena · 两两对战 PK"]
Y["DIY · 自造判据"]
end
subgraph SCENES["场景族"]
S1["Agents · RAG · Multi-turn"]
S2["Voice · MCP · Safety · Images"]
end
E2E --> JUDGES
TRAJ --> JUDGES
COMP --> JUDGES
JUDGES --> SCENES
把它想成软件测试金字塔在 LLM 时代的重演:组件 ≈ 单元测试,轨迹 ≈ 集成/流程测试,端到端 ≈ E2E 黑盒。而”雇人 vs 写规则 vs 训模型 vs 对战”这四种判据,是测量领域的老常青张力——DeepEval 只是把这棵树长全了而已。
三模式:评测粒度决定你「能定位到哪一层」
这是整个框架的第一根轴。我读源码后把它压成一个表:
| 模式 | 回答的问题 | 对应测试金字塔 | 定位能力 |
|---|---|---|---|
| 端到端 End-to-End | 最终回答合格吗 | E2E 黑盒 | 只能知道”整体挂了” |
| 轨迹 Trajectory | 路径走得对吗(规划/工具/多轮/跳转) | 集成/流程测试 | 知道”第几步偏了” |
| 组件 Component | 哪个内部部件烂了 | 单元测试 | 知道”检索烂了/生成烂了” |
轨迹和组件模式是 DeepEval 相对”纯对话评测”的差异点,也最考验工程。轨迹评测的关键证据藏在 JevEval 里——这是我最意外的地方,见下一节。
打分范式(五类):每一个都是「拿什么当判据」的一种折中
这是第二根轴,也是侧边栏里那些 G-Eval / JevEval / DAG 名词的家。它们的差别不在”谁更先进”,而在代价、确定性和偏差怎么取舍。
| 打分范式 | 判据来源 | 确定性 | 主要代价 | 坏掉会怎样 |
|---|---|---|---|---|
| G-Eval | 雇带先验的裁判 | 低(非确定性) | 贵、吃裁判上限 | 分数抖动、带裁判偏差 |
| JevEval | 微调 System One 分类器 | 高(概率校准) | 判力上限锁死、只答封闭集 | 开放式判断答不了 |
| DAG | 写死分支 + 常量分 | 高(分数是常量) | 判据靠人写、僵 | 规则没覆盖就误判 |
| Arena G-Eval | 两个回答对战 PK | 中 | 一条用例喂两份 | 只能比相对,单条没意义 |
| DIY | 你自己实现 | 你说了算 | 全自建 | 全看你的实现 |
G-Eval —— 雇裁判,今天那篇深读已把它的概率加权机制讲透,这里只回链不重讲。它是”灵活但贵且飘”这一格的代表。
JevEval —— 我最意外的发现:它全程不走 LLM。 源码模块 docstring 原话写得很死(jev_eval.py:1-12):
“decisions are answered by TypeSafe AI’s System One model (Jev) with calibrated probabilities, never generated text. No LLM is involved at any point.”
也就是说,JevEval 不是又一个 LLM-as-judge——它是微调的 System One 快速分类器,只答是/否/选择,返回校准概率,连 reason 都是确定性文本拼出来的,不再调一次模型(jev_eval.py:200-203 的 _generate_reason 只是格式化)。这是”训一个快速分类器当判据”这派的工程化——速度更快、更便宜、更确定,代价是只能答封闭集、判力上限锁死。
还有个文档外的关键点:requires_trace 属性(jev_eval.py:91-93)。不传 evaluation_params 时,JevEval 的 state 直接换成 agent 的 trace(jev_eval.py:120-123),问题可以问”整个轨迹做得对不对”——所以它是三模式里轨迹评测的落点之一。它还只吃文本,多模态直接 raise(jev_eval.py:96-100)。
DAG —— 分数是写死的常量,不是模型再打的分。 这是”写死规则”这派,也是确定性的来源。源码里三处硬约束:
- 有环检测:构造 DAGMetric 时若检出环,直接
raise ValueError("Cycle detected in DAG graph.")(dag.py:44-50)。 - VerdictNode 只能二选一:“either a ‘score’ or a ‘child’, but not both”(
nodes.py:64-72)。给score就是用户写死的常量分(0–10)——这一步不调模型,所以结果确定;给child才会去跑一个子 metric(GEval 或其它)。 - 二元判定必须一真一假:
BinaryJudgementNode必须恰好 2 个孩子、一个 True 一个 False,否则报错(nodes.py:256-272)。
所以 DAG 的确定性本质是:分支判定仍调模型(是/否),但每档分数是常量——这就是今天那篇 G-Eval 深读里”DAG 分数写死”这句话的源码出处。它还能用 TaskNode 让 LLM 产出中间结果再逐级判定(nodes.py:145-225),所以能做组件级/轨迹级评测。
Arena G-Eval —— 对战模式(deepeval/metrics/arena_g_eval/),两个回答丢给裁判 PK 输出偏好。我未逐行读它,判断基于文档与目录结构(标”未细读源码”)。它适合提示词对比、模型排序,代价是一次要喂两份。
Conversational DAG / Conversational G-Eval —— 前面两样的多轮对话版(conversational_dag / conversational_g_eval),turn-aware,适合多轮客服/Agent 会话。
DIY —— 继承 BaseMetric 自己实现打分逻辑,树的最底层,什么都能装。
场景族:指标是通用的,场景是参数的
侧边栏下半截的 Agents / RAG / Multi-Turn / Voice / MCP / Safety / Non-LLM / Images,不是新范式,而是把上面的打分范式套到不同对象上。以 RAG 为例最能说明:deepeval/metrics/ 下有 faithfulness、contextual_precision、contextual_recall、answer_relevancy、hallucination 等,这正是 RAGAS 论文(arXiv 2309.15217,EACL 2024 demo)定义的”无参考 RAG 评测”三件套的落地——检索相关性(context precision/recall)+ 生成忠实度(faithfulness)+ 答案相关性(answer relevancy)。RAG 场景不是新范式,是给 RAG 管线预置的一组判据。
我拿 ContextualPrecisionMetric 的源码做了 C 类一手验证(按源码原样重实现,脚本验算通过)。核心公式在 contextual_precision.py:366-389 的 _calculate_score:
# 忠实复刻 contextual_precision.py:366-389 的 _calculate_score,仅去掉 class 外壳
def score(verdicts): # verdicts: 每个检索节点是否相关
n = len(verdicts); if n == 0: return 0
relevant = 0; acc = 0.0
for k, is_rel in enumerate(verdicts, start=1):
if is_rel:
relevant += 1
acc += (relevant / k) * 1 # 只在相关节点处累加 precision@k
return 0 if relevant == 0 else acc / relevant
我跑出来的(脚本输出,可复现):
例1 [Y,N,Y,N] 相关@位置1,3 → 0.8333
例2 [N,N,Y,Y] 相关@位置3,4 → 0.4167
例3 [N,N,N,N,Y] 相关@位置5 → 0.2
例4 全不相关 → 0
同一个”检索对了 2 个、总 4 个”的事实,相关节点排在前面得 0.83,排在后面只有 0.42。读源码前我以为 context precision 只是”检索相关的比例”,读完才懂它本质是在惩罚检索排序差:排在后面的相关节点,它的 precision@k 分母(k)已经被不相关的前缀撑大了。这也是《11 种方法》里”指标内部机械结构”的又一次实例化。脚本在文末”验证实验”节,可重跑。
分类器(Classifiers):不是打分,是「从封闭集里贴一个标签」
侧边栏的 Classifiers(Behavioral / Grounding / Security / Format 等)常被当成指标,其实不一样。源码基类写得很清楚(base_classifier.py:63-83):
“A classifier assigns exactly one label from a closed set to a test case.” 而且 “Classifiers have no strict mode.”
两个关键点,文档外我读出来的:
- 它是分类不是打分:从封闭标签集里选一个(如
refused/not_refused),返回label+reason。只有当测试用例声明了expected_labels时才产 pass/fail,否则success就是None(base_classifier.py:130-139)——这跟 metric 的 0–1 分数是两套东西。 - 标签边界就是判据:源码把
Label.description注释成”the boundary for the label, the same way G-Eval criteria are the boundary for a score”(base_classifier.py:21-23)。所以分类器的质量 = 你给每个标签写的边界描述的质量,跟 G-Eval 里 criteria 是同一个命门。
提示词优化(Prompt Optimization):用评测分数当目标函数做搜索
侧边栏最后一块,源码在 deepeval/optimizer/algorithms/,里面有四个真实的研究级算法:copro、gepa、miprov2、simba。MIPROv2 就是 DSPy 那个 prompt 优化器,源码里直接 import 了 optuna.samplers.TPESampler(miprov2.py:9-16)用贝叶斯搜索调 prompt;GEPA 是遗传算法;SIMBA 是重写式 proposer。这套的意义是把”评测”和”优化”接成闭环:评测分数当目标函数,搜索算法迭代 prompt,直到分数爬升——这是 DeepEval 相对纯评测库(Ragas 等)多出来的一层。
生态位:上游、下游、竞品各占一格
评测不是孤立模块,它是夹在被测系统和决策之间的一层。我把它画成一条链路:
flowchart LR
U["上游:被测对象<br>LLM / RAG / Agent + 数据<br>golden 集 + 线上 trace"] --> M["DeepEval 引擎<br>三模式 × 打分范式 × 场景"]
M --> V["观测平台<br>Langfuse / Phoenix<br>(喂轨迹给轨迹/组件评测)"]
M --> D["下游:Confident AI 看板<br>人工复核 + 回归监控"]
M --> C["CI/CD 门禁<br>评测失败阻断发布"]
D --> T["调优闭环<br>Prompt 优化 / 检索调参"]
T --> U
- 上游:被测的 LLM / RAG / Agent 应用,加上评测数据(golden 黄金样本、合成测试集、生产 trace 回放)。轨迹评测和组件评测尤其依赖可观测层(Langfuse、Arize Phoenix、OpenTelemetry)提供的 span/trace——没有干净的轨迹数据,
requires_trace那类评测就是空转。 - 下游:结果是给三类消费者——Confident AI(官方 SaaS 看板、人工标注、长期版本对比)、CI 门禁、以及调优闭环(prompt 优化、RAG 参数、失败 case 沉淀做微调)。
竞品按定位分两类(以下是我对它们生态位的评估,不是跑分):
| 工具 | 定位 | 强项 | 短板(我的判断) |
|---|---|---|---|
| DeepEval | 评测库(Confident AI) | 三模式全覆盖、judge 范式全、自带分类器+优化闭环 | 无自带 UI,强依赖自家生态 |
| Ragas | RAG 评测库 | RAG 指标最成熟 | Agent/轨迹弱 |
| Promptfoo | YAML/CLI 评测 + 安全红队 | prompt 对比、攻击测试;2026 年 3 月被 OpenAI 收购(已核实) | 偏安全/单测,三模式不全 |
| Inspect AI | 英国 AISI 评测框架 | 复杂 Agent/长任务/科研级 | 上手门槛高(站内上手篇) |
| Langfuse | 可观测平台 | tracing 为主,评测是附加 | 指标集不如 DeepEval 全 |
| LangSmith | LangChain 生态 | 评测+追踪一体,Agent 强 | 绑定 LangChain |
| Braintrust | 评测产品 | 人工+自动混合、团队协作 | 商业产品,开放度低 |
| TruLens / Arize Phoenix | 观测优先 | 生产侧持续监控 | 评测是配套能力 |
一句话差异化:DeepEval 是”评测模式最全”的开源库——别人往往在某一格很强(Ragas 的 RAG、Promptfoo 的安全、Inspect 的复杂 Agent),只有它把三模式 × 五类判据 × 场景族这棵树基本长全了。代价就是它不提供一个开箱即用的看板,报表那半截要交给 Confident AI 或自己对接。
论文支撑:判据来源这棵树的学术祖先
每个”打分范式”都不是 DeepEval 发明的,都能在论文里找到上一代实现,这正是”共同祖先”——读者从记名词变成多一个坐标:
- 雇裁判这派:G-Eval(arXiv 2303.16634,已深读)+ 裁判偏差与微调路线 JudgeLM(arXiv 2310.17631,ICLR 2025)。JudgeLM 把微调 LLM 当可扩展裁判,识别出 position / knowledge / format 三类偏差,用 swap augmentation、reference support/drop 缓解,并报告 JudgeLM-7B 用 8 块 A100 三分种判 5K 样本——这给 JevEval 的”训个快速分类器”路线提供了学术背书(数字论文报告,我未复现)。
- RAG 这派:RAGAS(arXiv 2309.15217),无参考 RAG 评测三件套,DeepEval 的 RAG 指标族直接继承它。
- 为什么需要轨迹/Agent 评测:AgentBench(arXiv 2308.03688)第一次把 LLM 当 agent 评测,8 个环境,报告商业闭源模型与开源模型在复杂环境上的显著差距——这解释了 DeepEval 为什么要单设轨迹模式。
- 判官本身也能是 agent:Agent-as-a-Judge(arXiv 2410.10934)用 agent 判 agent,对齐率报 92% vs LLM-as-judge 的 70%(论文报告,我未复现)——指向”裁判模型也可以有工具、有轨迹”的下一代。
- 反方视角:Time to Impeach LLM-as-a-Judge(arXiv 2506.10403)主张”程序化评测替代 judge”——这正是 DAG / 分类器 / 可执行验证这派的反叛宣言,也是《可执行评测》那条线的学术化表达。
边界:这棵树在什么情况下会失效
- 粒度是成本换来的:组件评测定位准,但要把每个部件单独喂用例、单独设判据,构建成本远高于端到端。小团队先端到端,别一上来就铺组件。
- 判据越多不越准:五类判据是不同确定性/代价的折中,不是”越高级越好”。能用可执行验证的(代码、SQL、确定的答案)就别雇裁判——这是《Oracle 梯度》说的,便宜验证永远先于贵验证。
- JevEval 只答封闭集:它是快和省的答案,不是万能的——开放式判断它接不住,还是要 G-Eval 这类雇裁判。
- 轨评测依赖干净的 trace:没有可观测层喂 span,轨迹/组件评测就是空转。评测能力追不上观测数据的话,先补观测。
- 我未覆盖的:Arena G-Eval、Voice、MCP 场景的源码我没逐行读,判断基于目录与文档(就地标注)。
收口:一句话根本约束 + 一张选型速查卡
DeepEval 之所以把评测长成「三模式 × 打分范式 × 场景族」这棵树,是因为「评测粒度」和「判据来源」是两个正交的自由度——粒度决定你能定位到哪一层,判据来源决定你拿什么当尺子;一个要通用的框架,只能把这两个维度的组合全部钉死,否则只在某一格子里好用。
反着验证这句话:如果评测粒度只有一种(只看终态),Agent 长任务那些”过程对了结果错了”的回归就永远抓不到;如果判据只能雇裁判,就没有 DAG 的确定性和 JevEval 的便宜。正是”两个正交自由度 + 判据代价不可兼得”这个约束,逼出了这整棵树。
选型速查卡(带得走的东西——下次有人问你该用哪个):
| 你的诉求 | 选哪个 |
|---|---|
| 只想知道”这版整体变好还是变坏” | 端到端 + G-Eval(最省事) |
| 要确定、可复现、可进 CI 门禁 | DAG 或 strict_mode(分数写死/二进制过不过) |
| 量大、求快、求便宜 | JevEval(System One 分类器) |
| 对比两个 prompt / 模型谁更好 | Arena G-Eval(两两 PK) |
| 想定位”检索烂了还是生成烂了” | 组件模式 + RAG 指标(context precision / faithfulness) |
| 长任务 Agent 的路径对不对 | 轨迹模式(JevEval requires_trace / DAG TaskNode) |
| 只要判”是否合规/安全/贴标签” | Classifiers(封闭集贴标签,不是打分) |
下一步(成本约 10 分钟):克隆 deepeval,grep -n "No LLM is involved" deepeval/metrics/jev_eval/jev_eval.py,再看一眼 ContextualPrecisionMetric._calculate_score——亲手摸一次源码,比读十遍文档更能记住”打分范式不是五种工具,是五种折中”。
参考来源
工程实践
arXiv 论文
- G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment (2303.16634)
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (2306.05685)
- JudgeLM: Fine-tuned Large Language Models are Scalable Judges (2310.17631)
- RAGAS: Automated Evaluation of Retrieval Augmented Generation (2309.15217)
- AgentBench: Evaluating LLMs as Agents (2308.03688)
- Agent-as-a-Judge: Evaluate Agents with Agents (2410.10934)
- Time to Impeach LLM-as-a-Judge (2506.10403)