DeepEval 评测坐标系:三模式 × 打分范式 × 场景族,LLM 评测这棵树是怎么长全的

读 DeepEval 源码把 LLM 评测拆成「三模式×打分范式×场景族」:JevEval 全程不走 LLM、DAG 分数写死、Contextual Precision 公式亲手验算。附 RAGAS/JudgeLM/Agent-as-a-Judge 论文支撑与竞品生态位。

打开 DeepEval 的文档侧边栏,你会看到一长串名词:End-to-End、Trajectory、Component、G-Eval、JevEval、DAG、Arena G-Eval、Agents、RAG、Multi-Turn、Voice、MCP、Safety、Classifiers、Prompt Optimization……像一张杂货清单。但读完 DeepEval 源码(v4.3.2,commit d6cd78a)后,我的判断是:这不是 20 个功能,是一棵树——LLM 评测设计空间的完整枚举。 每个名词都落在「三模式 × 打分范式 × 场景族」的某个格子里。看懂这棵树,就等于看懂了整个 LLM 评测赛道为什么长这样。

这篇不讲文档用法(那是二手),我直接读源码,把每个名词背后的设计约束讲清楚,并用一组论文和手算验证给它们锚定位。数字档位:所有源码定位出自我浅克隆的 deepeval 主分支(v4.3.2),公式我按源码原样重实现并用脚本验算过;论文数值均标”论文报告,我未复现”。

名词速查

术语一句话解释
LLM-as-a-Judge雇一个模型当裁判,给另一个模型的输出打分
评测粒度你评测的是”最终回答”还是”整个过程”,决定你能定位到哪一层
轨迹(Trajectory)Agent 执行的全过程:规划、工具调用、多轮动作、中间跳转
Component(组件)系统里一个可单独评测的部件(检索器、单步 LLM、生成器)
封闭集(closed set)只能从几个固定选项里选一个答案,不能自由发挥
Golden评测用的”黄金样本”:问题 + 期望行为/答案
System One一类”快速直觉”模型:不做长推理,直接给是/否/选择 + 校准概率
校准概率模型说”90% 把握”,实际 90 次里真有 90 次对的概率,才叫校准
Faithfulness(忠实度)回答里的每个论断是否都被检索到的上下文支持(防幻觉)
Arena / pairwise把两个回答摆一起让裁判 PK,输出谁更好(对战模式)

读懂这篇需要你先有的 5 件事,站内都有专文,不必现在补:

  • 为什么评测会分这么多方法 —— 因为生成任务的标准答案不可枚举,见《11 种 LLM 评估方法》。
  • 裁判模型怎么打分、有哪些偏差 —— 见《LLM-as-a-Judge 学习笔记》。
  • G-Eval 内部的概率加权机制 —— 见今天的《G-Eval 源码深读》,本文不重讲。
  • RAG 是什么 —— 检索一段上下文喂给模型再生成,就一句话。
  • 测试金字塔 —— 单元 < 集成 < 端到端,越上层越黑盒越贵。

心智模型:评测粒度 × 判据来源,是两个正交自由度

先立一棵可迁移的树,后面所有名词都往它身上挂。

它解决什么问题? 一套系统(LLM 问答、RAG 问答、Agent 干活)改了一版,你怎么知道它变好了还是变坏了?答案藏在两个问题里:你测哪个粒度(整体还是过程),以及拿什么当判据(雇人看、写规则、训个分类器、还是对战)。

它在什么系统里? DeepEval 不是独立打分器,而是插在测试循环里:喂 LLMTestCase → 跑 metric → 出 score → 跟 threshold 比判过不过 → 结果进 CI 或 Confident AI 看板。

盯住哪几个活动部件(旋钮)?

旋钮它控制什么拧错了会怎样
评测粒度(三模式)端到端 / 轨迹 / 组件粒度选粗 → 只知道”挂了”不知哪挂;选细 → 能定位但用例构建贵几倍
判据来源(打分范式)雇裁判 / 写规则 / 训分类器 / 对战选错 → 要么贵且飘,要么僵且漏
参照物golden / expected / 无没参照物就只能靠裁判先验(回链 11 种方法那篇)
阈值与严格度threshold / strict_mode开 strict → 分数变 0/1 门禁,适合放 CI

拧一个旋钮会发生什么? 把粒度从”端到端”拧到”组件”,你能从”这版整体分数降了”进步到”是检索烂了,不是生成烂了”,但要多维护一整套组件级用例;把判据从”雇裁判”拧到”写死的 DAG”,分数从飘变成确定,但判据一旦写死就失去了探索新错误的能力。

flowchart TB
    subgraph MODES["三模式 · 评测粒度"]
        E2E["端到端<br>只看终态"]
        TRAJ["轨迹<br>看整条路径"]
        COMP["组件<br>看单个部件"]
    end
    subgraph JUDGES["打分范式 · 判据来源"]
        G["G-Eval · 雇带先验的裁判"]
        J["JevEval · 训快速分类器"]
        D["DAG · 写死分支+常量分"]
        A["Arena · 两两对战 PK"]
        Y["DIY · 自造判据"]
    end
    subgraph SCENES["场景族"]
        S1["Agents · RAG · Multi-turn"]
        S2["Voice · MCP · Safety · Images"]
    end
    E2E --> JUDGES
    TRAJ --> JUDGES
    COMP --> JUDGES
    JUDGES --> SCENES

把它想成软件测试金字塔在 LLM 时代的重演:组件 ≈ 单元测试,轨迹 ≈ 集成/流程测试,端到端 ≈ E2E 黑盒。而”雇人 vs 写规则 vs 训模型 vs 对战”这四种判据,是测量领域的老常青张力——DeepEval 只是把这棵树长全了而已。

三模式:评测粒度决定你「能定位到哪一层」

这是整个框架的第一根轴。我读源码后把它压成一个表:

模式回答的问题对应测试金字塔定位能力
端到端 End-to-End最终回答合格吗E2E 黑盒只能知道”整体挂了”
轨迹 Trajectory路径走得对吗(规划/工具/多轮/跳转)集成/流程测试知道”第几步偏了”
组件 Component哪个内部部件烂了单元测试知道”检索烂了/生成烂了”

轨迹和组件模式是 DeepEval 相对”纯对话评测”的差异点,也最考验工程。轨迹评测的关键证据藏在 JevEval 里——这是我最意外的地方,见下一节。

打分范式(五类):每一个都是「拿什么当判据」的一种折中

这是第二根轴,也是侧边栏里那些 G-Eval / JevEval / DAG 名词的家。它们的差别不在”谁更先进”,而在代价、确定性和偏差怎么取舍。

打分范式判据来源确定性主要代价坏掉会怎样
G-Eval雇带先验的裁判低(非确定性)贵、吃裁判上限分数抖动、带裁判偏差
JevEval微调 System One 分类器高(概率校准)判力上限锁死、只答封闭集开放式判断答不了
DAG写死分支 + 常量分高(分数是常量)判据靠人写、僵规则没覆盖就误判
Arena G-Eval两个回答对战 PK中一条用例喂两份只能比相对,单条没意义
DIY你自己实现你说了算全自建全看你的实现

G-Eval —— 雇裁判,今天那篇深读已把它的概率加权机制讲透,这里只回链不重讲。它是”灵活但贵且飘”这一格的代表。

JevEval —— 我最意外的发现:它全程不走 LLM。 源码模块 docstring 原话写得很死(jev_eval.py:1-12):

“decisions are answered by TypeSafe AI’s System One model (Jev) with calibrated probabilities, never generated text. No LLM is involved at any point.”

也就是说,JevEval 不是又一个 LLM-as-judge——它是微调的 System One 快速分类器,只答是/否/选择,返回校准概率,连 reason 都是确定性文本拼出来的,不再调一次模型(jev_eval.py:200-203 的 _generate_reason 只是格式化)。这是”训一个快速分类器当判据”这派的工程化——速度更快、更便宜、更确定,代价是只能答封闭集、判力上限锁死。

还有个文档外的关键点:requires_trace 属性(jev_eval.py:91-93)。不传 evaluation_params 时,JevEval 的 state 直接换成 agent 的 trace(jev_eval.py:120-123),问题可以问”整个轨迹做得对不对”——所以它是三模式里轨迹评测的落点之一。它还只吃文本,多模态直接 raise(jev_eval.py:96-100)。

DAG —— 分数是写死的常量,不是模型再打的分。 这是”写死规则”这派,也是确定性的来源。源码里三处硬约束:

  1. 有环检测:构造 DAGMetric 时若检出环,直接 raise ValueError("Cycle detected in DAG graph.")(dag.py:44-50)。
  2. VerdictNode 只能二选一:“either a ‘score’ or a ‘child’, but not both”(nodes.py:64-72)。给 score 就是用户写死的常量分(0–10)——这一步不调模型,所以结果确定;给 child 才会去跑一个子 metric(GEval 或其它)。
  3. 二元判定必须一真一假:BinaryJudgementNode 必须恰好 2 个孩子、一个 True 一个 False,否则报错(nodes.py:256-272)。

所以 DAG 的确定性本质是:分支判定仍调模型(是/否),但每档分数是常量——这就是今天那篇 G-Eval 深读里”DAG 分数写死”这句话的源码出处。它还能用 TaskNode 让 LLM 产出中间结果再逐级判定(nodes.py:145-225),所以能做组件级/轨迹级评测。

Arena G-Eval —— 对战模式(deepeval/metrics/arena_g_eval/),两个回答丢给裁判 PK 输出偏好。我未逐行读它,判断基于文档与目录结构(标”未细读源码”)。它适合提示词对比、模型排序,代价是一次要喂两份。

Conversational DAG / Conversational G-Eval —— 前面两样的多轮对话版(conversational_dag / conversational_g_eval),turn-aware,适合多轮客服/Agent 会话。

DIY —— 继承 BaseMetric 自己实现打分逻辑,树的最底层,什么都能装。

场景族:指标是通用的,场景是参数的

侧边栏下半截的 Agents / RAG / Multi-Turn / Voice / MCP / Safety / Non-LLM / Images,不是新范式,而是把上面的打分范式套到不同对象上。以 RAG 为例最能说明:deepeval/metrics/ 下有 faithfulness、contextual_precision、contextual_recall、answer_relevancy、hallucination 等,这正是 RAGAS 论文(arXiv 2309.15217,EACL 2024 demo)定义的”无参考 RAG 评测”三件套的落地——检索相关性(context precision/recall)+ 生成忠实度(faithfulness)+ 答案相关性(answer relevancy)。RAG 场景不是新范式,是给 RAG 管线预置的一组判据。

我拿 ContextualPrecisionMetric 的源码做了 C 类一手验证(按源码原样重实现,脚本验算通过)。核心公式在 contextual_precision.py:366-389 的 _calculate_score:

# 忠实复刻 contextual_precision.py:366-389 的 _calculate_score,仅去掉 class 外壳
def score(verdicts):  # verdicts: 每个检索节点是否相关
    n = len(verdicts);  if n == 0: return 0
    relevant = 0;  acc = 0.0
    for k, is_rel in enumerate(verdicts, start=1):
        if is_rel:
            relevant += 1
            acc += (relevant / k) * 1        # 只在相关节点处累加 precision@k
    return 0 if relevant == 0 else acc / relevant

我跑出来的(脚本输出,可复现):

例1 [Y,N,Y,N] 相关@位置1,3 → 0.8333
例2 [N,N,Y,Y] 相关@位置3,4 → 0.4167
例3 [N,N,N,N,Y] 相关@位置5 → 0.2
例4 全不相关 → 0

同一个”检索对了 2 个、总 4 个”的事实,相关节点排在前面得 0.83,排在后面只有 0.42。读源码前我以为 context precision 只是”检索相关的比例”,读完才懂它本质是在惩罚检索排序差:排在后面的相关节点,它的 precision@k 分母(k)已经被不相关的前缀撑大了。这也是《11 种方法》里”指标内部机械结构”的又一次实例化。脚本在文末”验证实验”节,可重跑。

分类器(Classifiers):不是打分,是「从封闭集里贴一个标签」

侧边栏的 Classifiers(Behavioral / Grounding / Security / Format 等)常被当成指标,其实不一样。源码基类写得很清楚(base_classifier.py:63-83):

“A classifier assigns exactly one label from a closed set to a test case.” 而且 “Classifiers have no strict mode.”

两个关键点,文档外我读出来的:

  1. 它是分类不是打分:从封闭标签集里选一个(如 refused / not_refused),返回 label + reason。只有当测试用例声明了 expected_labels 时才产 pass/fail,否则 success 就是 None(base_classifier.py:130-139)——这跟 metric 的 0–1 分数是两套东西。
  2. 标签边界就是判据:源码把 Label.description 注释成”the boundary for the label, the same way G-Eval criteria are the boundary for a score”(base_classifier.py:21-23)。所以分类器的质量 = 你给每个标签写的边界描述的质量,跟 G-Eval 里 criteria 是同一个命门。

提示词优化(Prompt Optimization):用评测分数当目标函数做搜索

侧边栏最后一块,源码在 deepeval/optimizer/algorithms/,里面有四个真实的研究级算法:copro、gepa、miprov2、simba。MIPROv2 就是 DSPy 那个 prompt 优化器,源码里直接 import 了 optuna.samplers.TPESampler(miprov2.py:9-16)用贝叶斯搜索调 prompt;GEPA 是遗传算法;SIMBA 是重写式 proposer。这套的意义是把”评测”和”优化”接成闭环:评测分数当目标函数,搜索算法迭代 prompt,直到分数爬升——这是 DeepEval 相对纯评测库(Ragas 等)多出来的一层。

生态位:上游、下游、竞品各占一格

评测不是孤立模块,它是夹在被测系统和决策之间的一层。我把它画成一条链路:

flowchart LR
    U["上游:被测对象<br>LLM / RAG / Agent + 数据<br>golden 集 + 线上 trace"] --> M["DeepEval 引擎<br>三模式 × 打分范式 × 场景"]
    M --> V["观测平台<br>Langfuse / Phoenix<br>(喂轨迹给轨迹/组件评测)"]
    M --> D["下游:Confident AI 看板<br>人工复核 + 回归监控"]
    M --> C["CI/CD 门禁<br>评测失败阻断发布"]
    D --> T["调优闭环<br>Prompt 优化 / 检索调参"]
    T --> U
  • 上游:被测的 LLM / RAG / Agent 应用,加上评测数据(golden 黄金样本、合成测试集、生产 trace 回放)。轨迹评测和组件评测尤其依赖可观测层(Langfuse、Arize Phoenix、OpenTelemetry)提供的 span/trace——没有干净的轨迹数据,requires_trace 那类评测就是空转。
  • 下游:结果是给三类消费者——Confident AI(官方 SaaS 看板、人工标注、长期版本对比)、CI 门禁、以及调优闭环(prompt 优化、RAG 参数、失败 case 沉淀做微调)。

竞品按定位分两类(以下是我对它们生态位的评估,不是跑分):

工具定位强项短板(我的判断)
DeepEval评测库(Confident AI)三模式全覆盖、judge 范式全、自带分类器+优化闭环无自带 UI,强依赖自家生态
RagasRAG 评测库RAG 指标最成熟Agent/轨迹弱
PromptfooYAML/CLI 评测 + 安全红队prompt 对比、攻击测试;2026 年 3 月被 OpenAI 收购(已核实)偏安全/单测,三模式不全
Inspect AI英国 AISI 评测框架复杂 Agent/长任务/科研级上手门槛高(站内上手篇)
Langfuse可观测平台tracing 为主,评测是附加指标集不如 DeepEval 全
LangSmithLangChain 生态评测+追踪一体,Agent 强绑定 LangChain
Braintrust评测产品人工+自动混合、团队协作商业产品,开放度低
TruLens / Arize Phoenix观测优先生产侧持续监控评测是配套能力

一句话差异化:DeepEval 是”评测模式最全”的开源库——别人往往在某一格很强(Ragas 的 RAG、Promptfoo 的安全、Inspect 的复杂 Agent),只有它把三模式 × 五类判据 × 场景族这棵树基本长全了。代价就是它不提供一个开箱即用的看板,报表那半截要交给 Confident AI 或自己对接。

论文支撑:判据来源这棵树的学术祖先

每个”打分范式”都不是 DeepEval 发明的,都能在论文里找到上一代实现,这正是”共同祖先”——读者从记名词变成多一个坐标:

  • 雇裁判这派:G-Eval(arXiv 2303.16634,已深读)+ 裁判偏差与微调路线 JudgeLM(arXiv 2310.17631,ICLR 2025)。JudgeLM 把微调 LLM 当可扩展裁判,识别出 position / knowledge / format 三类偏差,用 swap augmentation、reference support/drop 缓解,并报告 JudgeLM-7B 用 8 块 A100 三分种判 5K 样本——这给 JevEval 的”训个快速分类器”路线提供了学术背书(数字论文报告,我未复现)。
  • RAG 这派:RAGAS(arXiv 2309.15217),无参考 RAG 评测三件套,DeepEval 的 RAG 指标族直接继承它。
  • 为什么需要轨迹/Agent 评测:AgentBench(arXiv 2308.03688)第一次把 LLM 当 agent 评测,8 个环境,报告商业闭源模型与开源模型在复杂环境上的显著差距——这解释了 DeepEval 为什么要单设轨迹模式。
  • 判官本身也能是 agent:Agent-as-a-Judge(arXiv 2410.10934)用 agent 判 agent,对齐率报 92% vs LLM-as-judge 的 70%(论文报告,我未复现)——指向”裁判模型也可以有工具、有轨迹”的下一代。
  • 反方视角:Time to Impeach LLM-as-a-Judge(arXiv 2506.10403)主张”程序化评测替代 judge”——这正是 DAG / 分类器 / 可执行验证这派的反叛宣言,也是《可执行评测》那条线的学术化表达。

边界:这棵树在什么情况下会失效

  1. 粒度是成本换来的:组件评测定位准,但要把每个部件单独喂用例、单独设判据,构建成本远高于端到端。小团队先端到端,别一上来就铺组件。
  2. 判据越多不越准:五类判据是不同确定性/代价的折中,不是”越高级越好”。能用可执行验证的(代码、SQL、确定的答案)就别雇裁判——这是《Oracle 梯度》说的,便宜验证永远先于贵验证。
  3. JevEval 只答封闭集:它是快和省的答案,不是万能的——开放式判断它接不住,还是要 G-Eval 这类雇裁判。
  4. 轨评测依赖干净的 trace:没有可观测层喂 span,轨迹/组件评测就是空转。评测能力追不上观测数据的话,先补观测。
  5. 我未覆盖的:Arena G-Eval、Voice、MCP 场景的源码我没逐行读,判断基于目录与文档(就地标注)。

收口:一句话根本约束 + 一张选型速查卡

DeepEval 之所以把评测长成「三模式 × 打分范式 × 场景族」这棵树,是因为「评测粒度」和「判据来源」是两个正交的自由度——粒度决定你能定位到哪一层,判据来源决定你拿什么当尺子;一个要通用的框架,只能把这两个维度的组合全部钉死,否则只在某一格子里好用。

反着验证这句话:如果评测粒度只有一种(只看终态),Agent 长任务那些”过程对了结果错了”的回归就永远抓不到;如果判据只能雇裁判,就没有 DAG 的确定性和 JevEval 的便宜。正是”两个正交自由度 + 判据代价不可兼得”这个约束,逼出了这整棵树。

选型速查卡(带得走的东西——下次有人问你该用哪个):

你的诉求选哪个
只想知道”这版整体变好还是变坏”端到端 + G-Eval(最省事)
要确定、可复现、可进 CI 门禁DAG 或 strict_mode(分数写死/二进制过不过)
量大、求快、求便宜JevEval(System One 分类器)
对比两个 prompt / 模型谁更好Arena G-Eval(两两 PK)
想定位”检索烂了还是生成烂了”组件模式 + RAG 指标(context precision / faithfulness)
长任务 Agent 的路径对不对轨迹模式(JevEval requires_trace / DAG TaskNode)
只要判”是否合规/安全/贴标签”Classifiers(封闭集贴标签,不是打分)

下一步(成本约 10 分钟):克隆 deepeval,grep -n "No LLM is involved" deepeval/metrics/jev_eval/jev_eval.py,再看一眼 ContextualPrecisionMetric._calculate_score——亲手摸一次源码,比读十遍文档更能记住”打分范式不是五种工具,是五种折中”。

参考来源

工程实践

arXiv 论文