看懂 LLM 工程路线图:下一步学什么,应该由失败决定

从 Avi Chawla 的八支柱路线图出发,用上下文预算、Agent 成功率和 70B 量化显存三笔可复算的账,解释为什么学习顺序应由失败原因决定,以及如何让评测贯穿整个工程过程。

一张路线图能告诉你有多少领域,却不能替你判断:眼前这个失败,究竟值得再改一次提示词,还是该换一种系统设计。

Avi Chawla 的图把 LLM 工程分成八个主题:提示词、RAG、微调、Agent、部署、优化、安全与评测及可观测性、上下文工程。我找到并读了对应的原文。它是一份有用的知识索引,原文也强调测试、状态管理和失败恢复。

但把这些主题画成八个同样大小的方框,会隐藏它们之间最重要的关系:有些改变模型看到的信息,有些改变模型本身,有些让它影响外部世界;评测则负责告诉你,这次改变有没有解决问题。

我认为更有效的学习顺序是:做一个可判成功的最小任务,找到它首先失败的地方,再学习能修复那种失败的技术。下面用三笔我实际运行脚本验算的账说明这个判断;这些是预算计算和假设条件下的推导,不是模型性能实测。

先把几个词说清楚

只要懂一般的软件开发,就能读这篇。需要补齐的六个概念放在这里:

概念最小例子与解释
Token模型处理文字的小单位;一段日志会占多少 token,取决于具体模型的切分方式
RAG,检索增强生成回答报销问题前先查公司的制度,再把查到的内容交给模型;检索与记忆的区别见旧文
上下文工程这一轮只保留当前制度、必要历史和关键工具结果,决定模型实际看见什么
微调用训练样本修改模型参数,例如让它更稳定地按业务规则分类
Agent模型调用工具、读取结果,再决定下一步;比如查订单后决定是否申请退款
评测 / 可观测性前者按明确规则判断是否做对;后者保存请求、证据、动作和耗时,帮助解释为什么

把整个应用想成一个处理业务请求的流程:先收集证据,交给模型判断,必要时执行动作,最后核对结果。四个需要盯住的部件是证据、判断、动作、验收。换证据会改变答案依据,换模型或训练会改变判断方式,加动作会增加能完成的任务,也增加失败路径。

flowchart LR
  A[业务请求] --> B[检索与上下文组装]
  B --> C[模型判断]
  C --> D[回答或工具动作]
  D --> E[检查答案与实际结果]
  E --> F[记录失败原因]
  F --> B
  F --> C
  F --> D

这张图是我的工程重排,不是原作者给出的学习次序。部署承载整个流程,优化处理它消耗的资源,安全约束证据读取和动作执行。

同样是“答错”,下一步可能完全不同

设想一个客服助手。用户问:“这笔订单现在能不能退款?”

模型引用旧制度,是证据出了问题;拿到了新制度却误解条件,是判断出了问题;回答可以退款却没有真的更新订单,是动作出了问题。三个失败都可能表现为一句错误回答,但修法不同。

观察到的失败先做一个区分实验实验支持后,再投入什么
回答依据过期或属于别的客户人工提供当前客户可见的最新材料,再问同一问题检索、权限过滤、版本与生效时间管理
正确证据进来了,却被冗长历史淹没只保留必要证据和指令,对比结果上下文选择、排序、压缩
证据充分、指令明确,仍反复犯同类错误在未参与改稿的样本上比较模型、提示词和示例模型选择;有稳定训练数据时再评估微调
回答正确,业务状态没变或变错检查工具参数、返回值和最终订单状态工具接口、执行流程、失败恢复
输出质量够用,但高峰期等待太久把排队、模型生成、工具访问的耗时分开记录部署容量和对应环节的优化

这些实验提供诊断线索,不能仅凭一次成功就宣布根因已确定。比如人工补材料后答对了,下一步还要检查究竟是检索漏了、权限挡了,还是组装时丢了。

LLM 应用之所以需要这种分层诊断,是因为同一种表面错误,可能由证据、判断或执行中的不同环节造成。 如果给定正确材料后所有问题都能稳定解决,就没有理由先上微调;如果任务只需生成一段摘要,就没有理由先设计自主执行循环。

这和传统工程的故障隔离是同一个老办法:找到最早出错的环节,避免用下游的复杂度补偿上游的坏输入。好的评测样本首先要支持这种区分,而不是只贡献一个总分。

第一笔账:上下文一直加,会先撞上什么

“把所有历史都带上”是最容易实现的策略。它的代价也能直接算。

设一个任务要调用模型八轮,第一轮输入 4,000 token;每完成一轮,新增 2,000 token 的工具结果,并在下一轮完整带回。这里的长度是人为设定的预算,不是对某段真实文本做切分测量。

调用轮次12345678
当轮输入 token4,0006,0008,00010,00012,00014,00016,00018,000

如果不施加预算限制,八轮累计输入将是 88,000 token。如果为输出和其他开销预留空间后,可用输入预算只有 12,000 token,第六轮就已经超预算了。任务甚至不必变成“超长任务”,朴素策略就会出问题。

如果每轮都能从外部记录里取回必要材料,把当轮工作上下文控制在 4,000 token,八轮累计就是 32,000 token。前一种策略提交的输入量是后一种的 2.75 倍。

这个对照有一个关键前提:4,000 token 足以保留任务所需的信息。它没有证明压缩后质量不变,也没有证明账单会按相同比例下降。缓存、实际计价和压缩调用都可能改变费用。

但它已经解释了为什么上下文工程贯穿 RAG 和 Agent:证据会不断产生,模型每次判断却只需要其中一部分。你得把完整档案和当前工作台分开。

读者可以直接运行下面的验算,只需要 Python 3,无需模型账号:

inputs = [4000 + 2000 * i for i in range(8)]
print(inputs)
print(sum(inputs), 4000 * 8, sum(inputs) / (4000 * 8))
print(next(i + 1 for i, size in enumerate(inputs) if size > 12000))

我运行得到的原始输出:

[4000, 6000, 8000, 10000, 12000, 14000, 16000, 18000]
88000 32000 2.75
6

容量之外还有信息使用的问题。Lost in the Middle 在其测试的问答与键值检索任务中发现,相关信息的位置会影响表现,中间位置往往更难利用。这是论文的观察,不应据此宣布所有今天的模型都有同一条曲线。

因此,“能塞进去”和“确实用得好”需要分别验证。更详细的运行时组装思路,可以接着读按场景看提示词与上下文工程。

第二笔账:每一步看起来可靠,整件事可能不可靠

Agent 的图通常画成“思考—调用工具—读取结果”的循环。图上很顺,现实里每多一步都要问:这一步增加的能力,能否抵偿新引入的失败机会?

做一个透明的假设:前面的步骤都成功时,下一步成功的概率始终是 98%;任务要求每一步成功,并且没有恢复机制。两步的整体成功率就是 0.98 × 0.98 = 0.9604。继续乘下去:

必须成功的步骤数假设下的整体成功率
590.39%
1081.71%
2066.76%

这里用的是“此前成功条件下的下一步概率”,没有声称真实步骤相互独立。真实系统的条件概率可能逐步下降,也可能因校验而提高;98% 只是帮助看清机制的设定。

要让二十步整体达到 90%,每一步的这个条件成功率需要达到约 99.47%。因此不能拿一次工具调用的高分,代替长任务的完成率。

还有另一个值得算的杠杆。假设能检测到所有失败,并且恢复路径能救回其中 80%,每步最终成功率就变成:

0.98 + 0.02 × 0.80 = 0.996

二十步的整体成功率随之变成 92.30%。同一个初始 98%,加上有效恢复,结果很不一样。这个数字建立在检测与恢复都满足假设的条件上;漏检、重复执行带来的副作用、恢复的额外耗时,均未计入。

这是我更愿意投入工具状态校验、可安全重试和失败退出的原因。尤其是退款这种动作,重试之前必须确认“上一笔有没有已经执行成功”,否则恢复本身会制造新错误。

下面这段代码验算整笔账。** 表示重复相乘;最后一行求的是二十步整体达到 90% 所需的每步概率。

for steps in (5, 10, 20):
    print(steps, f"{0.98 ** steps:.6f}")
effective = 0.98 + (1 - 0.98) * 0.80
print(f"recovered={effective ** 20:.6f}")
print(f"required={0.90 ** (1 / 20):.6f}")

我运行得到:

5 0.903921
10 0.817073
20 0.667608
recovered=0.922968
required=0.994746

这个观点也与 Anthropic 的 Building effective agents 相符:明确路径的任务可以采用预定义流程,开放任务才需要更多由模型决定的步骤,并通过环境反馈检查进展。增加自主性需要有实际收益,而不是仅仅把流程画成一个循环。

第三笔账:路线图里的数字,也要接受检查

读到原文优化部分时,我停了一下。它把 4-bit 量化带来的容量收益,进一步表述成 70B 模型能放进单张 24GB 显卡。

如果指的是把全部权重以每个参数 4-bit 放在显存里,这笔账对不上。 70B 是约 700 亿个参数;4-bit 表示每个参数用四个二进制位,八个位是一字节。因此仅权重的理想下限就是:

70,000,000,000 × 4 ÷ 8
= 35,000,000,000 字节
= 35.00 GB
≈ 32.60 GiB

GB 按十亿字节计,GiB 按 2 的 30 次方字节计。即使把“24GB 显卡”的容量按更宽裕的 24 GiB 来理解,也仍小于权重下限。

实际运行还需要量化的辅助信息、临时计算空间,以及保存已处理文本中间结果的 KV cache。所以“4-bit 比 16-bit 理论上节省四倍权重存储”和“指定模型可以完整装入指定设备”是两条不同的结论。

把部分权重留在内存、使用多张卡或采用其他压缩方式,可以改变运行方案;它们也改变了问题的前提,不能由“4-bit”三个字直接推出。

这笔计算同样可以复现:

size = 70_000_000_000 * 4 / 8
print(f"bytes={size:.0f} GB={size / 10**9:.2f} GiB={size / 2**30:.2f}")

我运行得到:

bytes=35000000000 GB=35.00 GiB=32.60

这也是我对路线图的使用态度:用它寻找问题属于哪个领域,具体数字回到假设、实现和实验里核对。一张图里的错误不抹掉它的索引价值,但收藏图也不等于完成了工程判断。

重新排列八个主题:先学会验收,再按瓶颈深入

如果准备做第一个 LLM 应用,我建议从一个很窄的任务开始,例如“依据当前报销制度回答问题并引用条款”。先让它只回答,再考虑是否需要执行申请动作。

最早要做的三件事是:明确什么算答对,建立一次调用的基线,保留失败时使用的证据。这已经同时涉及提示词、评测和最小可观测性;无需先部署一套庞大的平台。

之后的投入由失败分流:

图中的主题它改变什么做不好时会怎样
提示词工程任务说明、示例与输出要求同一需求被解释成不同任务
RAG本次可取得的外部证据引用缺失、旧材料或不适用材料
上下文工程证据进入模型的选择与组织关键材料被噪声掩盖,或预算耗尽
微调模型参数中形成的行为倾向学到训练样本的偏差,换样本就失效
Agent模型可采取的动作与步骤答得对却办不成,或失败后重复操作
部署运行容量、可用性和版本交付请求排队、不可用,难以回退
优化达成同一验收标准所耗的资源数字更好看,却损失任务质量
安全、评测与可观测性允许什么、怎样判对、怎样追因越权执行,或把表面成功当成完成

最后一行虽然在原图里是一个方框,实际上贯穿其他七行。安全规定可以读取谁的材料、可以执行哪些动作;评测验证改动是否有效;可观测性提供定位失败的线索。只记录了日志并不等于建立了验收标准。

优化的单位也应该落到完整任务上:一次退款到底有没有办成,耗费多少调用、时间和人工介入。若只看单次调用价格,就容易选择一个每次便宜、失败后却需要大量补救的方案。

当然,目标不同,学习路线会不同。研究模型训练的人可以直接深入微调;负责推理平台的人可以从部署和优化开始。这里建议的顺序面向的是“把模型接进业务、交付可用应用”的工程师。

小结:把收藏动作变成一个诊断动作

面对同一句“答错了”,先分清证据、判断和执行哪里最早出错;不能从表面错误直接决定加什么技术。

完整历史在这个预算例子里第六轮就超限,二十步无恢复流程在假设下只有 66.76% 成功率。设计的复杂度必须有可检查的收益。

可以带走的判断是:下一步学什么,由当前任务怎么失败来决定;学完有没有用,由同一批任务是否改善来决定。

现在花五分钟,不需要新账号或新框架:从手边已有的一次失败回答中,列出它使用的证据、作出的判断、采取的动作,以及你认定失败的理由。先找出缺哪一份记录,再决定路线图上该点开哪个方框。

参考来源

工程实践与讨论起点

论文