一张路线图能告诉你有多少领域,却不能替你判断:眼前这个失败,究竟值得再改一次提示词,还是该换一种系统设计。
Avi Chawla 的图把 LLM 工程分成八个主题:提示词、RAG、微调、Agent、部署、优化、安全与评测及可观测性、上下文工程。我找到并读了对应的原文。它是一份有用的知识索引,原文也强调测试、状态管理和失败恢复。
但把这些主题画成八个同样大小的方框,会隐藏它们之间最重要的关系:有些改变模型看到的信息,有些改变模型本身,有些让它影响外部世界;评测则负责告诉你,这次改变有没有解决问题。
我认为更有效的学习顺序是:做一个可判成功的最小任务,找到它首先失败的地方,再学习能修复那种失败的技术。下面用三笔我实际运行脚本验算的账说明这个判断;这些是预算计算和假设条件下的推导,不是模型性能实测。
先把几个词说清楚
只要懂一般的软件开发,就能读这篇。需要补齐的六个概念放在这里:
| 概念 | 最小例子与解释 |
|---|---|
| Token | 模型处理文字的小单位;一段日志会占多少 token,取决于具体模型的切分方式 |
| RAG,检索增强生成 | 回答报销问题前先查公司的制度,再把查到的内容交给模型;检索与记忆的区别见旧文 |
| 上下文工程 | 这一轮只保留当前制度、必要历史和关键工具结果,决定模型实际看见什么 |
| 微调 | 用训练样本修改模型参数,例如让它更稳定地按业务规则分类 |
| Agent | 模型调用工具、读取结果,再决定下一步;比如查订单后决定是否申请退款 |
| 评测 / 可观测性 | 前者按明确规则判断是否做对;后者保存请求、证据、动作和耗时,帮助解释为什么 |
把整个应用想成一个处理业务请求的流程:先收集证据,交给模型判断,必要时执行动作,最后核对结果。四个需要盯住的部件是证据、判断、动作、验收。换证据会改变答案依据,换模型或训练会改变判断方式,加动作会增加能完成的任务,也增加失败路径。
flowchart LR
A[业务请求] --> B[检索与上下文组装]
B --> C[模型判断]
C --> D[回答或工具动作]
D --> E[检查答案与实际结果]
E --> F[记录失败原因]
F --> B
F --> C
F --> D
这张图是我的工程重排,不是原作者给出的学习次序。部署承载整个流程,优化处理它消耗的资源,安全约束证据读取和动作执行。
同样是“答错”,下一步可能完全不同
设想一个客服助手。用户问:“这笔订单现在能不能退款?”
模型引用旧制度,是证据出了问题;拿到了新制度却误解条件,是判断出了问题;回答可以退款却没有真的更新订单,是动作出了问题。三个失败都可能表现为一句错误回答,但修法不同。
| 观察到的失败 | 先做一个区分实验 | 实验支持后,再投入什么 |
|---|---|---|
| 回答依据过期或属于别的客户 | 人工提供当前客户可见的最新材料,再问同一问题 | 检索、权限过滤、版本与生效时间管理 |
| 正确证据进来了,却被冗长历史淹没 | 只保留必要证据和指令,对比结果 | 上下文选择、排序、压缩 |
| 证据充分、指令明确,仍反复犯同类错误 | 在未参与改稿的样本上比较模型、提示词和示例 | 模型选择;有稳定训练数据时再评估微调 |
| 回答正确,业务状态没变或变错 | 检查工具参数、返回值和最终订单状态 | 工具接口、执行流程、失败恢复 |
| 输出质量够用,但高峰期等待太久 | 把排队、模型生成、工具访问的耗时分开记录 | 部署容量和对应环节的优化 |
这些实验提供诊断线索,不能仅凭一次成功就宣布根因已确定。比如人工补材料后答对了,下一步还要检查究竟是检索漏了、权限挡了,还是组装时丢了。
LLM 应用之所以需要这种分层诊断,是因为同一种表面错误,可能由证据、判断或执行中的不同环节造成。 如果给定正确材料后所有问题都能稳定解决,就没有理由先上微调;如果任务只需生成一段摘要,就没有理由先设计自主执行循环。
这和传统工程的故障隔离是同一个老办法:找到最早出错的环节,避免用下游的复杂度补偿上游的坏输入。好的评测样本首先要支持这种区分,而不是只贡献一个总分。
第一笔账:上下文一直加,会先撞上什么
“把所有历史都带上”是最容易实现的策略。它的代价也能直接算。
设一个任务要调用模型八轮,第一轮输入 4,000 token;每完成一轮,新增 2,000 token 的工具结果,并在下一轮完整带回。这里的长度是人为设定的预算,不是对某段真实文本做切分测量。
| 调用轮次 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
|---|---|---|---|---|---|---|---|---|
| 当轮输入 token | 4,000 | 6,000 | 8,000 | 10,000 | 12,000 | 14,000 | 16,000 | 18,000 |
如果不施加预算限制,八轮累计输入将是 88,000 token。如果为输出和其他开销预留空间后,可用输入预算只有 12,000 token,第六轮就已经超预算了。任务甚至不必变成“超长任务”,朴素策略就会出问题。
如果每轮都能从外部记录里取回必要材料,把当轮工作上下文控制在 4,000 token,八轮累计就是 32,000 token。前一种策略提交的输入量是后一种的 2.75 倍。
这个对照有一个关键前提:4,000 token 足以保留任务所需的信息。它没有证明压缩后质量不变,也没有证明账单会按相同比例下降。缓存、实际计价和压缩调用都可能改变费用。
但它已经解释了为什么上下文工程贯穿 RAG 和 Agent:证据会不断产生,模型每次判断却只需要其中一部分。你得把完整档案和当前工作台分开。
读者可以直接运行下面的验算,只需要 Python 3,无需模型账号:
inputs = [4000 + 2000 * i for i in range(8)]
print(inputs)
print(sum(inputs), 4000 * 8, sum(inputs) / (4000 * 8))
print(next(i + 1 for i, size in enumerate(inputs) if size > 12000))
我运行得到的原始输出:
[4000, 6000, 8000, 10000, 12000, 14000, 16000, 18000]
88000 32000 2.75
6
容量之外还有信息使用的问题。Lost in the Middle 在其测试的问答与键值检索任务中发现,相关信息的位置会影响表现,中间位置往往更难利用。这是论文的观察,不应据此宣布所有今天的模型都有同一条曲线。
因此,“能塞进去”和“确实用得好”需要分别验证。更详细的运行时组装思路,可以接着读按场景看提示词与上下文工程。
第二笔账:每一步看起来可靠,整件事可能不可靠
Agent 的图通常画成“思考—调用工具—读取结果”的循环。图上很顺,现实里每多一步都要问:这一步增加的能力,能否抵偿新引入的失败机会?
做一个透明的假设:前面的步骤都成功时,下一步成功的概率始终是 98%;任务要求每一步成功,并且没有恢复机制。两步的整体成功率就是 0.98 × 0.98 = 0.9604。继续乘下去:
| 必须成功的步骤数 | 假设下的整体成功率 |
|---|---|
| 5 | 90.39% |
| 10 | 81.71% |
| 20 | 66.76% |
这里用的是“此前成功条件下的下一步概率”,没有声称真实步骤相互独立。真实系统的条件概率可能逐步下降,也可能因校验而提高;98% 只是帮助看清机制的设定。
要让二十步整体达到 90%,每一步的这个条件成功率需要达到约 99.47%。因此不能拿一次工具调用的高分,代替长任务的完成率。
还有另一个值得算的杠杆。假设能检测到所有失败,并且恢复路径能救回其中 80%,每步最终成功率就变成:
0.98 + 0.02 × 0.80 = 0.996
二十步的整体成功率随之变成 92.30%。同一个初始 98%,加上有效恢复,结果很不一样。这个数字建立在检测与恢复都满足假设的条件上;漏检、重复执行带来的副作用、恢复的额外耗时,均未计入。
这是我更愿意投入工具状态校验、可安全重试和失败退出的原因。尤其是退款这种动作,重试之前必须确认“上一笔有没有已经执行成功”,否则恢复本身会制造新错误。
下面这段代码验算整笔账。** 表示重复相乘;最后一行求的是二十步整体达到 90% 所需的每步概率。
for steps in (5, 10, 20):
print(steps, f"{0.98 ** steps:.6f}")
effective = 0.98 + (1 - 0.98) * 0.80
print(f"recovered={effective ** 20:.6f}")
print(f"required={0.90 ** (1 / 20):.6f}")
我运行得到:
5 0.903921
10 0.817073
20 0.667608
recovered=0.922968
required=0.994746
这个观点也与 Anthropic 的 Building effective agents 相符:明确路径的任务可以采用预定义流程,开放任务才需要更多由模型决定的步骤,并通过环境反馈检查进展。增加自主性需要有实际收益,而不是仅仅把流程画成一个循环。
第三笔账:路线图里的数字,也要接受检查
读到原文优化部分时,我停了一下。它把 4-bit 量化带来的容量收益,进一步表述成 70B 模型能放进单张 24GB 显卡。
如果指的是把全部权重以每个参数 4-bit 放在显存里,这笔账对不上。 70B 是约 700 亿个参数;4-bit 表示每个参数用四个二进制位,八个位是一字节。因此仅权重的理想下限就是:
70,000,000,000 × 4 ÷ 8
= 35,000,000,000 字节
= 35.00 GB
≈ 32.60 GiB
GB 按十亿字节计,GiB 按 2 的 30 次方字节计。即使把“24GB 显卡”的容量按更宽裕的 24 GiB 来理解,也仍小于权重下限。
实际运行还需要量化的辅助信息、临时计算空间,以及保存已处理文本中间结果的 KV cache。所以“4-bit 比 16-bit 理论上节省四倍权重存储”和“指定模型可以完整装入指定设备”是两条不同的结论。
把部分权重留在内存、使用多张卡或采用其他压缩方式,可以改变运行方案;它们也改变了问题的前提,不能由“4-bit”三个字直接推出。
这笔计算同样可以复现:
size = 70_000_000_000 * 4 / 8
print(f"bytes={size:.0f} GB={size / 10**9:.2f} GiB={size / 2**30:.2f}")
我运行得到:
bytes=35000000000 GB=35.00 GiB=32.60
这也是我对路线图的使用态度:用它寻找问题属于哪个领域,具体数字回到假设、实现和实验里核对。一张图里的错误不抹掉它的索引价值,但收藏图也不等于完成了工程判断。
重新排列八个主题:先学会验收,再按瓶颈深入
如果准备做第一个 LLM 应用,我建议从一个很窄的任务开始,例如“依据当前报销制度回答问题并引用条款”。先让它只回答,再考虑是否需要执行申请动作。
最早要做的三件事是:明确什么算答对,建立一次调用的基线,保留失败时使用的证据。这已经同时涉及提示词、评测和最小可观测性;无需先部署一套庞大的平台。
之后的投入由失败分流:
| 图中的主题 | 它改变什么 | 做不好时会怎样 |
|---|---|---|
| 提示词工程 | 任务说明、示例与输出要求 | 同一需求被解释成不同任务 |
| RAG | 本次可取得的外部证据 | 引用缺失、旧材料或不适用材料 |
| 上下文工程 | 证据进入模型的选择与组织 | 关键材料被噪声掩盖,或预算耗尽 |
| 微调 | 模型参数中形成的行为倾向 | 学到训练样本的偏差,换样本就失效 |
| Agent | 模型可采取的动作与步骤 | 答得对却办不成,或失败后重复操作 |
| 部署 | 运行容量、可用性和版本交付 | 请求排队、不可用,难以回退 |
| 优化 | 达成同一验收标准所耗的资源 | 数字更好看,却损失任务质量 |
| 安全、评测与可观测性 | 允许什么、怎样判对、怎样追因 | 越权执行,或把表面成功当成完成 |
最后一行虽然在原图里是一个方框,实际上贯穿其他七行。安全规定可以读取谁的材料、可以执行哪些动作;评测验证改动是否有效;可观测性提供定位失败的线索。只记录了日志并不等于建立了验收标准。
优化的单位也应该落到完整任务上:一次退款到底有没有办成,耗费多少调用、时间和人工介入。若只看单次调用价格,就容易选择一个每次便宜、失败后却需要大量补救的方案。
当然,目标不同,学习路线会不同。研究模型训练的人可以直接深入微调;负责推理平台的人可以从部署和优化开始。这里建议的顺序面向的是“把模型接进业务、交付可用应用”的工程师。
小结:把收藏动作变成一个诊断动作
面对同一句“答错了”,先分清证据、判断和执行哪里最早出错;不能从表面错误直接决定加什么技术。
完整历史在这个预算例子里第六轮就超限,二十步无恢复流程在假设下只有 66.76% 成功率。设计的复杂度必须有可检查的收益。
可以带走的判断是:下一步学什么,由当前任务怎么失败来决定;学完有没有用,由同一批任务是否改善来决定。
现在花五分钟,不需要新账号或新框架:从手边已有的一次失败回答中,列出它使用的证据、作出的判断、采取的动作,以及你认定失败的理由。先找出缺哪一份记录,再决定路线图上该点开哪个方框。
参考来源
工程实践与讨论起点
- Avi Chawla:The 2026 LLM Engineering Roadmap:八个主题及资料索引;本文重排与预算推导是作者自己的分析。
- Anthropic:Building effective agents:预定义流程与自主 Agent 的区别,以及环境反馈与复杂度选择。
论文
- Lost in the Middle: How Language Models Use Long Contexts:长上下文的信息位置实验;本文没有复现论文中的模型测试。