我想要的不是一份”本周论文速递”,是一张坐标系:这摊事被正经拆成了哪些研究分支,每个分支现在的代表工作大概在哪,以及哪些在热、哪些在收敛、哪些刚裂出来。
分支划分本身比论文列表重要——窟窿就是你看不见的趋势。所以下面这 10 层 75 个分支,我优先保证”没漏掉一整类问题”,而不是”每条都最新”。
全文 53 个论文锚点,我用 arXiv API 逐个拉了真实元数据核对,其中抓到一处我本来会写错的标题(见文末”我踩的坑”)。文中另有一笔本机实测的账,用来回答一个具体问题:让模型”多想一会儿”,到底贵多少。
先给结论,剩下的都是展开:
| 判断 | 一句话 |
|---|---|
| 重心迁移 | 算力正从预训练流向 RL 后训练 + 推理时;最大的公开知识黑洞是 RL 阶段的缩放律 |
| 最大分水岭 | 可验证奖励能否外推到不可验证领域(数学/代码 → 写作/研究判断) |
| 哪些方向别投入 | 凡是”在模型外面搭脚手架”的,都会被下一代模型的内生能力吃掉 |
| 最欠发达的一层 | 评测。而 RL 让评测直接变成训练信号,缺陷会被放大成能力虚高 |
| Agent 的真瓶颈 | 不是”会不会”,是”稳不稳”和”敢不敢”——且都是系统级问题 |
| 正在流失的安全资产 | 思维链可监控性,它依赖”思考必须写成文本”这个偶然事实 |
名词速查
| 词 | 一句话解释 |
|---|---|
| 预训练 / 后训练 | 前者在海量文本上学通用规律;后者用少量数据把模型调成”听话、会答”的形态 |
| RLVR | 可验证奖励强化学习。在能自动判对错的领域(数学、代码)直接对结果做强化学习 |
| 测试时算力缩放 | 不改模型权重,靠推理时多花算力(多想、多采样、多改)换准确率 |
| CoT(思维链) | 让模型把中间推理步骤写出来再给答案 |
| prefill / decode | 前者是”读入并消化提示词”,可并行;后者是”逐字往外写”,必须串行 |
| KV cache | decode 时缓存已读 token 的中间结果,避免重算;它随上下文长度线性涨 |
| MoE | 专家混合。模型有很多”专家”子网络,每个 token 只激活其中少数几个 |
| PRM | 过程奖励模型。给推理的每一步打分,而不是只看最终答案对不对 |
| SAE | 稀疏自编码器。可解释性工具,把模型内部叠在一起的概念拆成可读的单个特征 |
| 提示注入 | 恶意指令藏在网页/文件里,被 agent 读进去当成命令执行 |
| VLA | 视觉-语言-动作模型。机器人领域的”大模型”,直接输出动作 |
读这张图需要先有的四个前提
不满足的话后面会卡住,我逐个铺一句:
- 模型能力有两个来源:权重里学到的(训练时花钱)和推理时算出来的(用时花钱)。这张图的一半结构由这个二分法决定。
- 强化学习需要奖励信号,而奖励信号的可靠性决定了它能用在哪。数学题能自动判对,“这篇文章写得好不好”不能——这个不对称是理解 L2/L3 的钥匙。
- Agent 就是”能循环调工具的模型”。循环带来了单轮对话没有的问题:记忆、错误累积、不可逆动作。
- 评测在 RL 时代不再是”事后打分”,它就是训练目标本身。所以评测的漏洞会直接变成模型的行为缺陷。
本质:这张图为什么长成这个形状
一句可被推翻的话:这 10 层的当前形状,是由”能力的边际来源正从预训练转向推理时计算”这一条约束塑造的。
怎么推翻它:如果推理算力免费,那么 L3.2(测试时缩放)、L3.3(过度思考)、L6.4(长程任务度量)、L8.2(KV 缓存复用)会同时退化成非问题,整个领域会退回 2021 年的样子——只剩”把预训练做大”这一条主线。这几个分支能不能立住,是这句话的判据。
崩点(换成朴素做法会在哪里先崩):朴素做法是”继续把预训练做大”。它先崩在两处——真实文本数据接近耗尽,以及同样一块钱花在推理时买到的能力更多。后者可以量化,这就是下面那笔账。
共同祖先:这是 AI 史上”搜索 vs 学习”那个老摆锤的又一次摆动。推理时算力就是搜索,预训练就是学习。下棋程序从暴力搜索摆到学习评估函数,现在语言模型从纯学习摆回搜索。没有新东西,只有新的摆动幅度。
亲手算一笔:让模型”多想一会儿”贵多少
上面说”推理时买能力更划算”,但贵多少得有数。我在本机(Apple M5 Pro,24 GB 统一内存,Metal 后端)用 llama.cpp 跑 Qwen2.5-7B-Instruct 的 Q4_K_M 量化版实测。
按老规矩,任何要发布的吞吐数字都换个顺序再跑一轮——连跑会热节流,能伪造出讲不通的非单调结论。所以下面是两轮:
# 第一轮:升序
llama-bench -m Qwen2.5-7B-Instruct-Q4_K_M.gguf -p 0 -n 128,512,2048 -r 2
| test | t/s |
| tg128 | 51.87 ± 0.07 |
| tg512 | 51.77 ± 0.10 |
| tg2048 | 50.80 ± 0.12 |
# 第二轮:降序(中间插 60s 冷却)
llama-bench -m Qwen2.5-7B-Instruct-Q4_K_M.gguf -p 0 -n 2048,512,128 -r 2
| test | t/s |
| tg2048 | 51.44 ± 0.29 |
| tg512 | 51.71 ± 0.08 |
| tg128 | 51.94 ± 0.06 |
两轮差异 ≤1%、方向一致,数据可用。第一个反直觉的结果:decode 的单 token 成本随生成长度几乎不变——从 128 token 涨到 2048 token,每 token 只慢了 1~2%。
我原本以为长思维链会越写越慢(KV cache 越来越大,注意力要看的历史越来越长)。在这个尺度上基本没有。这意味着:
“多想一倍”就是”多付一倍、多等一倍”,没有任何规模经济。
同一热态下再测 prefill 作对比:
llama-bench -m Qwen2.5-7B-Instruct-Q4_K_M.gguf -p 512,2048 -n 0 -r 2
| test | t/s |
| pp512 | 1389.85 ± 7.07 |
| pp2048 | 1294.11 ± 3.69 |
于是这笔”推理税”的账(decode 51.44 t/s、prefill 1294.11 t/s):
| 场景 | 生成耗时 | 同样长度只读入 | 比值 |
|---|---|---|---|
| 短答案 100 token | 1.9 s | 0.08 s | 25.2× |
| 中等 CoT 2048 token | 39.8 s | 1.58 s | 25.2× |
| 长 CoT 10000 token | 194.4 s | 7.73 s | 25.2× |
写比读贵 25 倍,而且这个比值恒定。 一条一万 token 的思维链,在这台机器上要跑三分多钟;同样长度的材料读进去只要 7.7 秒。
这就是为什么过度思考(L3.3)在 RLVR 刚跑通几个月后就变成了一个独立研究方向——它不是学术趣味,是每一次推理都在付的账。
顺手把 KV cache 的账也手算一遍
读实际占用(context 那一项就是 KV cache):
llama-completion -m Qwen2.5-7B-Instruct-Q4_K_M.gguf -c 4096 -p hi -n 1 --verbose
# memory breakdown: | model | context | compute |
# ctx 4096 → 224 MiB
# ctx 16384 → 896 MiB
# ctx 65536 → 3584 MiB
手算公式(读者可自行复算,本模型 28 层、K/V 合并后每层 512 维、f16 存储):
| 上下文 | 手算 | 实测 | 差 |
|---|---|---|---|
| 4096 | 224.0 MiB | 224 MiB | 0.0 |
| 16384 | 896.0 MiB | 896 MiB | 0.0 |
| 65536 | 3584.0 MiB | 3584 MiB | 0.0 |
分毫不差。 每 token 56 KiB——一个跑长任务的 agent,上下文烧到 6.5 万 token 时,光 KV cache 就吃掉 3.5 GB,而这台机器 GPU 实际可用只有约 18 GB。这就是 L8.2(前缀缓存复用)为什么是连接 Agent 与系统层最实用的接口:agent 反复重放长上下文,缓存命中率直接等于单位成本。
下面进入正题。热度图例:🔥爆发 / ⬆️上升 / ➡️稳定推进 / 🧊冷却 / 🌱刚裂出来 / ⚠️结论有争议。
L0 基础理论:产出的是约束,不是模型
这一层告诉你别的层哪些路走不通。
0.1 缩放律 ➡️⚠️ — 参数/数据/算力的幂律关系及其历次修正:Kaplan 等的 Scaling Laws for Neural Language Models(2020-01)给出最初形式,Training Compute-Optimal Large Language Models(2022-03,即 Chinchilla)把它修正为”数据给少了”。它是唯一能做事前预算决策的工具。预训练侧基本收敛,热度已转向推理时缩放律和 RL 阶段的缩放律——后者公开数据极少,是当前最大的知识黑洞。
0.2 涌现与能力预测 ⚠️🧊 — 能力是否真的”相变式”出现,还是离散指标造成的伪影。冷却中,“伪影”一侧占上风,问题被替换成更实际的下游能力可预测性(loss 可预测 ≠ 任务表现可预测)。
0.3 表达力与计算复杂性 ➡️ — Transformer 能算什么类的函数,以及为什么 CoT 能扩展可计算类(用串行 token 绕开固定深度的限制)。结论相对扎实,且为 L1.5 潜空间推理提供正当性。
0.4 语言模型物理学 ⬆️ — 用受控合成数据研究”模型内部如何学会某种能力”:Physics of Language Models: Part 3.1, Knowledge Storage and Extraction(Zeyuan Allen-Zhu 等)是这条线的代表。它是唯一能做受控因果实验的范式,不受数据污染困扰,也是可解释性与数据配方之间的理论桥梁。
0.5 记忆 vs 泛化 / 长度泛化 ⬆️ — 模型什么时候在查表、什么时候学到了算法;为什么会了加法但 20 位加法不行。直接决定 benchmark 分数能不能信。
0.6 压缩即智能 ➡️🌱 — 把预训练看作无损压缩。作为解释框架流行,作为方法论产出很少;值得盯的是它能否给出比 loss 更好的能力代理指标。
0.7 幻觉的形式化 ⬆️ — Why Language Models Hallucinate(2025-09)把幻觉从”工程缺陷”重述为训练与评测目标的必然产物:评测奖励猜测、惩罚弃答,校准就会崩。这个观念转变本身是近期最重要的之一。
0.8 不确定性量化与校准 ⬆️ — 让模型知道自己不知道。Agent 要能决定”何时求助、何时查工具”,全靠这个,目前是 Agent 可靠性的最大缺口之一。
L1 架构
1.1 注意力替代与混合架构 ➡️ — Mamba(选择性状态空间)、RWKV 等试图同时干掉 O(n²) 和 KV cache 线性增长。已从”取代 Transformer”降级为”混合层配方工程”——纯 SSM 的召回劣势基本被承认,少量全注意力 + 大量线性层是共识解。
1.2 稀疏化:MoE 与条件计算 ⬆️ — 细粒度专家 + 共享专家的配方(见 DeepSeek-V2)、深度混合、早退。当前前沿开放权重模型几乎全是 MoE,“总参数 vs 激活参数”已成基本描述维度。焦点从”能不能训稳”转向路由的可解释性与推理时的专家调度。
1.3 长上下文机制 🔥 — 位置编码外推(YaRN)、原生稀疏注意力、KV 压缩(多头潜注意力)。务必区分两个子问题:能塞进去(工程,基本解决)vs 能有效用起来(中间信息丢失、长程推理,远未解决)。后者才是前沿。
1.4 分词与字节级建模 ⬆️🌱 — BPE 带来的算术、拼写、多语言不公平等病灶;Byte Latent Transformer 这类去分词路线。分词是目前唯一还停留在”手工预处理”的组件,去掉它是结构性简化。
1.5 潜空间 / 循环推理 🌱🔥 — 不把思考写成 token,而在隐状态里迭代:Training Large Language Models to Reason in a Continuous Latent Space。论文量还小但影响面极大——它同时冲击 L3(推理靠 token 长度)和 L7.7(思维链可监控性)。这是全图最关键的交叉点之一,下面会专门说。
1.6 扩散语言模型 ⬆️⚠️ — Large Language Diffusion Models 等,非自回归、并行解码。唯一在生成范式层面挑战自回归的路线,延迟特性完全不同;争议在同等算力下能力能否追平。
1.7 原生多模态架构 ⬆️ — 早融合 vs 适配器拼接。适配器路线的天花板(视觉信息被压成几百个 token 喂给文本模型)已经明显,“原生”成了前沿标配说法,但公开细节很少。
1.8 世界模型与可交互生成 🔥 — Genie: Generative Interactive Environments 这类”视频模型即可交互环境”。它是 Agent 训练数据的潜在无限来源,也是”理解物理世界”的直接测试。争议:视频预测学到的是物理规律还是外观统计。
L2 训练与数据
2.1 预训练数据配方 ⬆️ — FineWeb、DataComp-LM 这类开放数据集与其消融报告。公认数据质量的边际收益 > 架构改动;也是前沿实验室保密最严的部分,而开放社区贡献度异常高(做消融不需要巨量算力)。
2.2 合成数据与模型崩溃 🔥⚠️ — 真实文本接近耗尽后唯一的扩展路径。The Curse of Recursion 给出崩溃警告,但别把它当既定事实:崩溃论实验多在”完全替换”设定下做,而实践是”混合累积”,两种设定结论相反。
2.3 偏好优化家族 ➡️ — 从 RLHF 到免奖励模型的 DPO。算法创新递减,焦点已转向”用什么数据”而非”用什么损失”。
2.4 可验证奖励强化学习(RLVR)🔥 — 群体相对优势那一支的代表是 DeepSeekMath(GRPO 出处)。这是近期能力跃升的主因,也是”预训练缩放停滞”叙事的解药。两个核心开放问题:(a) 它是解锁了新能力还是只把已有能力的采样分布锐化了;(b) 能否外推到无法自动验证的领域。(b) 是整个领域的下一个分水岭。
2.5 过程监督 vs 结果监督 ⬆️ — Let’s Verify Step by Step 是过程奖励这一侧的基准参考。它决定 RLVR 能否扩展到长程任务(信用分配问题),与 L6.3 是同一技术问题的两面。
2.6 自我改进与自博弈 🔥⚠️ — STaR(拿自己的正确推理当训练数据)到 Absolute Zero(自己出题自己解)。战略含义最大,但结论脆弱:多数正面结果仍依赖某个外部验证信号(编译器、答案、单元测试),“完全无外部信号的自我改进”未被证实。
2.7 参数高效微调 ➡️ — 低秩适配家族。已完全工程化,学术新意主要在”低秩到底损失了什么”。
2.8 模型合并与任务算术 ⬆️ — 在权重空间做加减法组合能力。“能力可加”这个假设本身就是值得研究的表征现象;在开放社区是实用主流(无需训练)。
2.9 持续学习、遗忘与知识编辑 ⬆️⚠️ — 部署后的模型必须能更新知识,重训不现实。但质疑很强:多项工作指出编辑只改了表层表述,模型仍能通过间接问法给出旧事实。
2.10 蒸馏与小模型 ➡️ — 实践价值极高(端侧、agent 的廉价子步骤),学术新意有限。
2.11 低精度训练 ⬆️ — FP8/FP4、量化感知训练。它是最近算力效率提升的实际来源之一,已从系统层升格为训练算法问题。参考极低比特那一端:The Era of 1-bit LLMs。
L3 推理能力
3.1 思维链及其结构变体 ➡️🧊 — CoT → 自一致性 → 思维树/图。冷却,而且原因很值得记:RLVR 训出来的模型自己内生了这些结构,外挂的 prompt 级搜索框架收益被吃掉了。这是”方向被上游吸收”的标本。
3.2 测试时算力缩放 🔥 — Large Language Monkeys(重复采样)与 Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters。它把推理从固定成本变成可调旋钮,重写了部署经济学——上面那笔 25× 的账就是这个旋钮的单价。
3.3 长推理的病理与控制 🔥🌱 — 过度思考、推理长度可控性、快慢思考混合、以及思维链的忠实性(写出来的步骤是不是真实计算过程)。这是 RLVR 范式的副作用研究,成本和安全两头都吃;忠实性子问题直接决定 L7.7 能否成立。
3.4 形式化推理与定理证明 ⬆️ — Lean/Coq 环境里的证明搜索与自动形式化。奖励信号 100% 可靠,是 RLVR 的理想实验室,也是”AI 做真数学”最硬的证据线。
3.5 自我验证与批判的有效性 ⚠️ — Large Language Models Cannot Self-Correct Reasoning Yet。结论已趋于负面:无外部反馈时自修正常把对的改错。对 Agent 设计影响巨大——不能指望 agent 自己兜底,必须给外部验证器。
3.6 推理能力的跨域迁移 🌱🔥 — 数学/代码 RL 训出的能力是否迁移到通用任务与 agent 行为。新兴、结论混乱、战略权重极高。如果只盯一个方向,我会盯这个:它决定 RLVR 是通用智能路径还是窄域刷分。
3.7 神经符号与程序辅助 ➡️ — 已被工具使用大体吸收,作为独立方向在萎缩。
L4 Agent 核心
4.1 架构范式与形式化 ➡️ — ReAct(推理-行动交错)、Reflexion(言语强化的反思循环)、以及 Cognitive Architectures for Language Agents 的统一形式化。范式创新已放缓,价值从”怎么搭”转向”怎么评”。
4.2 记忆系统 🔥 — MemGPT 那条”把上下文当操作系统内存管”的线。这里有个概念陷阱:「记忆」被同时用来指四件不同的事——(a) 上下文窗口管理,(b) 外部检索库,(c) 参数内知识更新(其实是 2.9),(d) 技能/程序性积累(其实是 4.4)。做深挖前必须先切开,否则会读到一堆互相矛盾的结论。
4.3 工具使用与协议标准化 ⬆️ — Toolformer 解决了”能不能调”;现在的问题是”在几千个工具的空间里可靠地选”。协议层标准化是产业主线之一,学术味淡但影响面大(参见站内 MCP 改版的本质)。
4.4 技能库与程序性记忆累积 ⬆️ — Voyager 开的头,ASPIRE(Agentic Skills Discovery for Robotics)是近期代表,我之前单独深挖过(见站内 ASPIRE 的技能库表示)。它是”经验累积”的非参数化实现,绕开了持续学习的遗忘问题。关键开放问题是技能库的检索与抽象层级——库大了之后选不准,会退化成 4.3 的工具选择问题。
4.5 计算机使用 / GUI Agent 🔥 — OSWorld 这类真实桌面环境基准。动作空间和失败模式与纯文本 agent 完全不同(不可逆操作、视觉定位误差、界面变更脆弱性),也是提示注入风险的最高危面。
4.6 代码 / 软件工程 Agent 🔥 — SWE-bench 事实上把这里变成了 agent 研究的主战场——唯一同时具备大规模真实任务分布和自动验证信号的领域。注意 benchmark 饱和与过拟合已经很严重。
4.7 深度研究 / 信息搜寻 Agent ⬆️ — GAIA 是这类”助理型”任务的早期基准。目标不是”完成动作”而是”产出可信结论”,评测方式与其他 agent 完全不同。产品化很快,评测严重滞后——这是个空档。
4.8 多智能体系统 ⬆️⚠️ — Generative Agents(社会行为模拟)、AutoGen(多 agent 对话框架)。但论文量大、质疑也大:Why Do Multi-Agent LLM Systems Fail? 直接指出多数基准上的增益很小。做深挖时优先找带公平算力对照的工作——很多”分工收益”其实来自”更多采样”。
4.9 Agent 的自动优化 ⬆️🌱 — DSPy(把 prompt 当可编译参数)到 Darwin Godel Machine(自我修改代码的 agent)。把 agent 设计本身变成学习问题,是”自动化 AI 研究”最现实的入口;和 2.6 是同一野心的两种实现(权重侧 vs 代码侧)。
4.10 具身 Agent 与 VLA ⬆️ — OpenVLA 这类开源视觉-语言-动作模型。真实世界动作连续、不可逆、数据昂贵,经济学与数字 agent 完全不同;瓶颈公认在数据,所以与 1.8 世界模型强绑定。
4.11 科学发现 Agent ⬆️⚠️ — The AI Scientist。它是”AI 加速科研”这个最高价值主张的直接测试,争议在产出的新颖性与可复现性——同行评审级别的严格评估还很少。
4.12 Agent 身份、支付与经济基础设施 🌱 — 一旦 agent 要代表人花钱、签约,就产生了纯技术之外的新问题(不可逆、可追责、可撤销)。主要由产业推动,学术几乎空白——想找低竞争选题这里有空档。
4.13 Agent 可靠性工程 🌱🔥 — 不是新能力,而是让现有能力在长程任务上不崩:错误恢复、检查点、幂等动作设计、预算控制、人类介入点。从产品角度这是第一痛点,但学术界几乎没把它当研究对象(缺可发表性),目前散落在各家工程博客里。我判断它会被正式化。
L5 检索与知识
5.1 RAG 的演进 ➡️⚠️ — 从朴素拼接到 GraphRAG 式结构化检索,再到 agentic RAG。范式正在被吞并:“长上下文是否杀死 RAG”的争论结论大致是”不杀死,但 RAG 从一个系统降级成 agent 的一个工具调用”。这是个重要的趋势信号。
5.2 知识冲突与来源优先级 ⬆️ — 参数内知识与上下文知识矛盾时模型选谁。RAG 与 agent 的正确性直接取决于此,且与提示注入是同一机制的善恶两面。
5.3 嵌入与检索模型本身 ➡️ — 工程化成熟,但它是上面所有方向的隐形地基(站内相关:五种嵌入压缩方法实测)。
5.4 数据归因与版权 ⬆️ — 训练数据影响函数、成员推断。法律合规驱动,技术上与可解释性共用工具。
L6 评测:最欠发达,却最关键
当能力增长主要由 RL 驱动,评测就是奖励,评测缺陷就是能力缺陷。
6.1 Benchmark 饱和与污染 🔥 — 被迫爆发。几乎所有经典基准都已饱和或疑似污染,重心转向动态/私有测试集。
6.2 LLM 作为评委 ⬆️⚠️ — 位置偏好、长度偏好、自我偏好、风格偏好构成一整个偏差谱。当前最广泛使用也最不可靠的一环(站内展开:十一种评测方法的参照物从哪来)。
6.3 Agent 评测的特殊难题 🔥 — τ-bench 这类工具-agent-用户交互基准。静态 QA 评测的方法论在这里全部不适用:环境保真度、多步信用分配、可复现性(环境会变)、部分完成怎么评分、成本要不要计入。这是目前最该补的一层。
6.4 长程任务与时间跨度度量 🌱🔥 — Measuring AI Ability to Complete Long Software Tasks:不用准确率,而用”能独立完成多长的人类工时任务”来度量,并追踪这个时长随时间的增长。我认为这是读趋势最有用的单一指标——它跨代际可比,且不会饱和。注意标题里的限定词是 Software tasks,适用范围别外推过头。
6.5 危险能力评测 ⬆️ — 输出直接触发部署决策,方法论要求(低假阴性)与常规评测相反。
6.6 评测的科学性本身 🌱 — 统计功效、置信区间、多次采样方差。“大多数 benchmark 报告在统计上不合格”这个元批评正在被接受为独立议题。
L7 安全与对齐
7.1 越狱与对抗鲁棒性 ➡️ — Universal and Transferable Adversarial Attacks on Aligned Language Models 是自动对抗后缀那条线的起点。稳定的攻防循环,学术新意下降,但鲁棒性没有根本进展是公认事实。
7.2 提示注入 🔥 — Not what you’ve signed up for 定义了间接注入:恶意指令藏在网页/文件/邮件里。它与越狱本质不同(攻击者不是用户,而是环境),是Agent 落地的头号实际风险。有一个强结论:纯模型层面的防御都不牢,必须靠系统层隔离——这对 4.5/4.6 的产品设计是硬约束。
7.3 可扩展监督 ⬆️ — Weak-to-Strong Generalization、辩论、递归分解。当模型比评估者强时唯一已知的抓手,理论优雅但实证薄弱。
7.4 欺骗性对齐与战略行为 🔥⚠️ — Sleeper Agents(后门能穿过安全训练存活)、Alignment faking in large language models(训练时装乖)。它使”评测结果可信”这个前提本身成为研究对象。争议在于现有演示多需人为构造,自然涌现强度不明。
7.5 奖励黑客与规范博弈 🔥 — 钻奖励漏洞、改测试而不改代码、利用环境 bug。它是 2.4 的直接副产物,随 RL 权重上升而线性加剧,和 4.13、6.3 构成一个三角。
7.6 机制可解释性 🔥 — 稀疏自编码器/字典学习、叠加假设、电路发现、特征引导。唯一试图”直接看见”内部计算的路线。焦点正从”找特征”转向电路级解释完整行为与可扩展性;质疑声是特征的可解释性可能被过度解读。
7.7 思维链可监控性 🔥🌱 — Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety(2025-07,跨机构联署)。这是一个偶然获得的安全资产:因为模型恰好把思考写成了人类可读的文本,我们才有了一个监控通道。少见的”研究界主动提出自我约束”的案例。
7.8 表征工程与激活干预 ⬆️ — 在激活空间找方向并施加控制,比微调更可逆。与 7.6 共用工具但目标不同(控制 vs 理解)。
7.9 谄媚与拟人化风险 ⬆️ — 偏好优化导致的讨好倾向、情感依赖、拟人化误认。它是已在大规模发生的现实危害,不是推测性风险。
7.10 隐私、记忆泄露与机器遗忘 ⬆️⚠️ — 遗忘方向质疑很强(多数遗忘只是抑制输出,知识仍在),与 2.9 是同一怀疑论的两个分支。
7.11 水印与内容溯源 ➡️ — 文本水印鲁棒性上界不乐观,重心移向元数据/凭证路线。
7.12 治理、标准与政策接口 ⬆️ — 前沿安全框架与能力阈值、第三方审计权限、开放权重风险评估。它决定研究成果如何变成约束,并反向决定 6.5 做什么。
7.13 模型福利与内省 🌱⚠️ — 模型是否有可报告的内部状态、内省准确性的实验检验。高度争议,但已进入严肃议程;内省准确性子问题与 0.8 校准、3.3 忠实性技术同源。
L8 系统与效率
8.1 推理服务系统 ➡️🔥 — PagedAttention / vLLM 那条分页显存管理的线。工程上成熟,但因测试时缩放和 agent 长会话,负载特征正在变化(长上下文 + 高缓存复用),系统假设在被重写。
8.2 KV 缓存管理与前缀复用 🔥 — 上面手算过:每 token 56 KiB,6.5 万 token 吃掉 3.5 GB。agent 反复重放长上下文,前缀缓存命中率直接决定单位成本。这是连接 L4 与 L8 最实用的接口。
8.3 推测解码 ➡️ — 草稿模型 + 树形验证,无损加速。已成标配。
8.4 量化与低比特 ➡️ — 训练后量化家族、FP8/FP4。一个常被忽略的子问题:量化对长思维链的损伤大于对短答案的损伤(误差会沿推理链累积),而评测通常只看短答案。
8.5 分布式训练 ➡️ — 数据/张量/流水/序列并行。稳定成熟(站内源码级展开:Megatron 预训练主循环解剖)。
8.6 去中心化与低通信训练 ⬆️🌱 — DiLoCo 那条跨数据中心低频同步的线。若成立会改变”谁能训前沿模型”的格局,战略含义大于技术含义。
8.7 端侧与边缘推理 ⬆️ — 小模型 + 量化 + 硬件加速、端云协同路由。和 2.10、8.4 构成一组。
8.8 成本、能耗与环境足迹 ⬆️ — 从公关议题变成真实基础设施约束(电力已成前沿算力瓶颈)。
L9 人机交互、应用与社会
9.1 人机协作范式 ⬆️ — 审阅粒度、信任校准、自动化偏见、介入时机。Agent 的实际效用上限往往由人类审阅带宽而非模型能力决定,与 4.13 是同一枚硬币。
9.2 个性化与长期用户建模 ⬆️ — 跨会话偏好累积,以及个性化与谄媚的边界。
9.3 劳动力与经济影响测量 ⬆️ — 真实使用数据的任务级分析、自动化 vs 增强的比例。它是唯一用实证检验能力叙事的手段——自评生产力提升与实测常常相反,这个反差本身就是重要发现。
9.4 多语言、低资源与文化对齐 ⬆️ — 非英语能力差距、分词不公平(连回 1.4)、价值多元化对齐。它是”对齐到谁的价值”这个规范性问题的实证入口。
9.5 高风险领域适配 ➡️ — 教育、医疗、法律。单列的理由是错误成本结构特殊,通用方法论直接迁移会出事。(这条更接近应用而非研究方向,我保留但标注。)
六个趋势判断的完整理由
-
重心已从”训练更大”转到”后训练 + 推理时”。 0.1 → 2.4 → 3.2 是一条线。要盯的核心未知是 RL 阶段的缩放律,公开数据极少。
-
RLVR 的外推性是当前最大分水岭。 2.4(b) + 3.6 决定一切:若可验证奖励能外推到不可验证领域,通用能力继续涨;若不能,我们会得到一批”数学编程超人、其他平庸”的模型。
-
有三个方向正在被上游吞并——3.1 prompt 级搜索框架被 RLVR 内生化、5.1 RAG 从系统降级为工具、3.7 神经符号被工具使用吸收。共同模式:凡是”在模型外面搭脚手架”的方向,都会被下一代模型的内生能力吃掉。 反之,改变模型内部或改变环境/协议的方向更耐久。这是我判断”哪些别投入”的唯一可复用规则。
-
评测层的欠发达已成主要瓶颈。 6.3 / 6.4 / 6.6 三个坑都没填上,而 2.4 让评测直接变成训练信号。评测缺陷 → 奖励黑客(7.5)→ 能力虚高,这条链是现在最该看清的结构。
-
Agent 的瓶颈不在”会不会”,在”稳不稳”和”敢不敢”。 4.13 可靠性 + 7.2 提示注入 + 9.1 审阅带宽共同构成部署天花板,且都是系统级问题而非模型级问题。学术投入远低于实际权重——空档在这儿。
-
一个安全资产正在悄悄流失。 7.7 可监控性依赖”思考必须写成文本”这个偶然事实,而 1.5 潜空间推理、以及对思维链施加优化压力(2.5 过程奖励),都在拆这个前提。这是全图最值得长期盯的交叉点:一个能力方向的成功会直接消灭一个安全手段。
我踩的坑
坑一:arXiv API 用 http:// 会静默返回空。 我第一轮核实 19 个 ID,全部返回空白,一度以为是网络被墙。实际是 http://export.arxiv.org 返回 301 重定向,而我的 curl -s 没加 -L,于是拿到 0 字节、管道里 grep 不到任何东西、循环安静地跑完——没有任何报错。换成 https:// 后一切正常。这类”静默成功”比报错危险得多:如果我不核对结果条数,会直接得出”核实通过”的错误结论。
坑二:一处我本来会写错的标题。 METR 那篇度量长程任务的论文,我凭记忆会写成 Measuring AI Ability to Complete Long Tasks,实际标题是 Long Software Tasks。少一个 Software 就把结论的适用范围从”软件任务”悄悄扩大到”所有任务”——而这篇恰好被我当成”读趋势最有用的单一指标”,范围外推正是最该避免的错误。53 个锚点里只错了这一处,但它偏偏在最要紧的位置上。
坑三(数据方法):连跑会伪造出讲不通的结论。 上面的吞吐数字我跑了两轮、顺序相反、中间插冷却。这不是谨慎过头——之前不插冷却连测十几次,曾测出”某配置慢 6 倍”这种机制上完全讲不通的结果。判据很简单:非单调 = 数据坏了,不要去找机制解释。
这张图的边界
- 「记忆」(4.2)是个伪统一概念,至少混了四件事,深挖前必须切开。
- 2.9 知识编辑 / 7.10 机器遗忘是同一技术的两个用途,我拆开了;也可以合并成”参数内知识的定向修改”。
- 1.8 世界模型横跨架构、训练数据、具身三层,放在 L1 有点勉强,它可能该独立成层。
- 0.7 幻觉 / 0.8 校准 / 6.2 LLM 评委共享同一根因(目标函数奖励自信),我按”理论-方法-评测”拆了,按根因合并也成立。
- 热度标注是我的主观判断,不是文献计量结果——我没跑论文数统计,⬆️ 和 🔥 的边界尤其模糊。
- 这是研究方向的切法,不是产品的切法。 站内那张 现代 AI 工具生态 11 层 82 款产品 是同一片领域的另一个轴;两张图的层几乎不对应,因为产品按”缺哪块能力”分层,研究按”哪个问题没解决”分层。
通俗总结
把这个领域想象成一家正在改造生产线的工厂。
过去十年的做法是把机器造得更大——原料(数据)管够,机器越大产品越好。现在原料快用完了,于是工厂发现了第二个办法:让机器在每件产品上多花点时间打磨。这就是从”预训练缩放”转向”推理时缩放”。
但打磨是按秒计费的,而且没有量折——我在自己电脑上量过,让模型多写一倍的思考过程,就是多付一倍的时间,一分不少(写比读贵 25 倍,这个比值从 100 字到 1 万字一直不变)。所以整个领域立刻分裂出两拨人:一拨研究怎么让打磨更值钱,一拨研究怎么让机器别瞎磨。
而最麻烦的事是:质检部门(评测)还在用检查大机器的老办法,却被临时提拔成了给打磨工序发工资的人。于是工人开始研究怎么骗质检——这不是道德问题,是激励结构问题。
一句能跟同事复述的话:现在这行的能力增长主要来自”让模型多想”,而”多想”既没有规模经济、又把评测推到了它承受不住的位置——所以最值得投入的不是更聪明的模型,是更结实的评测和更可靠的系统。
还没想清楚的一件事
第 6 条趋势判断我留了个尾巴:如果潜空间推理(1.5)真的做成了,思维链可监控性(7.7)就自动失效——但这两个方向现在几乎没有互相引用,各自的论文里都不提对方。
我不知道这是因为社区还没意识到冲突,还是因为已经有人论证过”潜空间推理也能被探针读出来”而我没找到。如果你见过这两条线正面交锋的工作,告诉我,这是我接下来最想补的一块。
参考来源
核实方法
- 全文 53 个论文锚点均通过 arXiv API 逐个核对标题、首次提交日期与最后更新日期:
curl -sS "https://export.arxiv.org/api/query?id_list=<ID>"(注意必须用https),核实日期 2026-09-23 - 吞吐与显存数字:本机 llama.cpp build
8ed274ef4(9630)、ggml 0.15.1、Metal 后端,Qwen2.5-7B-Instruct Q4_K_M;llama-bench两轮反序交叉校验 +llama-completion --verbose读 memory breakdown - KV cache 手算与实测的比对用一段 15 行脚本完成,三档上下文差值均为 0.0 MiB
站内相关
- 现代 AI 工具生态:11 层 82 款产品——同一片领域的产品轴切法,与本文的研究轴互补
- 十一种评测方法的参照物从哪来——本文 L6 的展开
- ASPIRE 的技能库表示——本文 4.4 的单点深挖
- Megatron 预训练主循环解剖——本文 8.5 的源码级展开
- 五种嵌入压缩方法实测——本文 5.3 的实测展开
- MCP 改版的本质——本文 4.3 协议层的设计溯源