Archive
把主 Agent 的一次推理循环摊开成一条流水线，逐站盘点正在被专向训练小模型接管的岗位：路由员（RouteLLM）、安检员（Llama Guard/ShieldGemma）、精简师（LLMLingua）、打字员（投机解码/EAGLE）、质检员（Math-Shepherd/Qwen PRM/Prometheus 2）、翻译员（Gorilla/xLAM）、指路员（UGround/OS-Atlas）、誊写员（Cursor fast apply，已被回收的岗位）。以 NVIDIA 的 SLM 立场论文为理论锚点，收束成一条岗位寿命定律：结构位 > 部署位 > 能力位——靠结构立足的岗位长存，靠能力差立足的岗位终将被主模型收回。
LiteLLM 首页说 "Put your full AI stack behind one key"——这句广告词里的 AI stack 到底指什么？本篇按一次请求的生命周期把网关解剖成六层：协议归一（沙漏模型的窄腰）、身份与预算（virtual key 的凭证间接层）、路由与回退（FrugalGPT 级联 + RouteLLM 偏好路由 + Tail at Scale 对冲）、缓存（GPTCache 语义缓存 vs Prompt Cache 的 KV 缓存分界）、可观测（AgentOps taxonomy + OTel GenAI 语义约定）、防护与治理（Llama Guard + NeMo Guardrails）。每层四段式：根本问题→源头论文→网关落地→收敛度。收束成一条元规律：元数据分界定律——决策输入只需请求级元数据的横切层被网关吸收，需要碰权重/logits/KV 的能力沉入推理引擎；一把 key 买到的只是上半栈。
从一条短视频出发的事实核查与论文深读：微软 FastContext（arXiv 2606.14066）确有其文——用 4B 小模型专管代码库探索，主代理省 26–60% token、难题解决率 +5.5 分——但它 6 月 12 日提交、6 月 30 日就以「产品 IP」为由撤稿删库。结合 CodeScout、SWE-grep、SWE-Pruner、Agentless、LocAgent，把「代码库探索该由谁来做」这个决策点的四条路线摆上桌：撤稿本身，就是这个方向商业价值最响亮的注脚。
从 RDMA、无损流控、SHARP 三个第一性设计讲清 InfiniBand 为什么统治了 AI 集群网络，再用 Llama 3、MegaScale、Alibaba HPN、TPU v4 四份一手资料看懂 2024 年以太网阵营的反杀和 Google 的第三条路，最后收束成一条元规律：网络架构是对流量画像的最优编码。
把 ChatGPT 发布至今的三年半压缩成一张可跳转的时间轴：四次范式接力（对齐→效率→推理→智能体）× 五条暗线（对齐方法、稀疏化、算力搬家、开源时差、接口标准化）。全部 17 个 arXiv ID 经 API 逐一核实，2025 下半年之后的产品日期逐条回查过来源，文末附一条可复现的核实命令。
把 2021–2025 年关于监督微调的十一篇关键论文串成一条线索：SFT 用的还是预训练那个交叉熵，它几乎教不会模型新知识——1000 条样本就能对齐（LIMA）、改变的主要是风格 token（URIAL）、硬灌新知识反而教出幻觉（EMNLP 2024）。SFT 的真正身份是解锁器：把预训练已有的能力接上开关。文末给出工程速查表和一个本地就能跑的验证实验。
决策地图系列第六篇：体系化地做 AI Gates 门禁。先给出第一性分解——门禁 = 判定器 × 执法点，判定器全是评测的蒸馏、执法点应设在不可逆性跃迁的边界上；再沿 AI 系统生命周期排出六道闸门（输入、输出、行动、合入、发布、熔断），每道闸配源头论文与技术代表：Llama Guard、Constitutional Classifiers、NeMo Guardrails、ToolEmu、Progent、Meta TestGen-LLM、promptfoo/Braintrust、Preparedness Framework/RSP、Circuit Breakers。附一张可复用的门禁设计表和四步落地路线。
决策地图系列第五篇：做 AI Eval 的团队怎么把评测策略下发给 LLM Router？把这条链路拆成六个决策点（信号源、学习目标、路由时机、成本旋钮、路由器验收、闭环与泛化），用「论文→产品」传导链判收敛：Chatbot Arena→RouteLLM→P2L 的 Berkeley 系、MSR Hybrid LLM→Azure Model Router 的微软系、eval 数据→定制路由器的 Not Diamond 系。得到一条新定律：路由器是评测器的在线蒸馏——评测信号有多保真、多便宜，路由就有多强、收敛多快。附四阶段落地路线图。
一个 1896 年的意大利经济学家，名字反复出现在 2022-2024 年的大模型论文里——但「帕累托」其实是两个不同的数学对象：重尾分布（80/20，告诉你杠杆藏在哪）和帕累托前沿（告诉你免费午餐吃完没有）。用八篇论文把两副面孔各自在 LLM 里的三次现身讲清楚：数据侧的 LIMA 与数据剪枝、注意力侧的 H2O、请求侧的路由前提；成本-质量前沿的 FrugalGPT/RouteLLM、算力分配的 Chinchilla、多目标对齐的 Rewarded Soups/Panacea。最后给一条可复用的心法：前沿的每一次外推，都始于发现一条新的重尾。
两个最根本的问题一次讲清：为什么"预测下一个词+梯度下降"这么笨的办法能学到知识（因为预测即压缩，压缩逼出规则）；知识以什么形态存在权重里（不存在任何"格子"里，而是存在高维空间的方向上——MLP 是键值查询台，容量约 2 bit/参数）。附一个亲手可跑的 30 行实验。
如果代码由 agent 写、测试也由 agent 生成，人退出验证环节会不会导致线上故障？本文用九个可核实的来源回答：会，但根因不是「人少了」，而是「独立验证信号少了」。写与测同源时，测试从独立证据退化为自我确认；对冲方案不是把人塞回原位，而是重构验证信号图——这个问题 1983 年就被预言过一次。
Agent 工程在 2026 年不缺方法，缺的是判断：哪些决策已经收敛（抄工业默认答案就行），哪些还没收敛（要自己读论文做实验）。本文把 Agent 工程拆成六个决策点，每个决策点给出源头论文、落地技术代表和收敛度判断，最后合成一张可以直接用的选型地图。
应用层的六个决策点全部站在 Infra 兑现的承诺上：token 流得出来、动作有地方跑、状态死不掉、身份说得清。本文用同一套「论文→产品」传导链方法，把 Agent Infra 拆成六个决策点逐个判收敛，并合成一条规律：离物理越近的层越收敛，离社会越近的层越不收敛。
决策地图系列第四篇：测试团队被 Agent 时代冲击两次——工具 agent 化、被测对象也 agent 化。把测试拆成六个决策点（测试生成、杀伤力度量、E2E agent 化、fuzzing 算力化、确定性模拟、agent evals），用同一套「论文→产品」传导链判收敛，得到一条新定律：一个测试环节被机器接管的速度，等于它的判定标准（oracle）能被形式化的程度。测试团队的转变，就是沿这条梯度上移。
结合 DeepSeek-V4 技术报告（arXiv:2606.19348）与它的论文谱系（MLA→NSA→DSA→CSA/HCA），把 V4-Flash 的"快"拆成一个公式：解码速度 ≈ 带宽 ÷ 每 token 要搬的字节数。所有架构创新都是在砍这个分母的五个因子——激活参数、KV 宽度、看多少条、存多少条、每个数占几位。
决策地图系列第三篇，钻到最底层：kernel、数值精度、并行策略、解码加速、稀疏架构、RL 训练系统。用同一套「论文→产品」传导链判收敛，并用一个反例修正上一篇的物理-社会梯度：计算层全是物理问题，却仍有不收敛的角落——因为收敛的真正前提不是"离物理近"，而是"上游接口已冻结"。
云基础设施默认计算是短时、无状态、可信、调用图静态的——Agent 把四个假设同时打破。本文结合 AIOS、Parrot、Autellix、部署综述（arXiv:2412.13437）等论文，把当前 Agent 部署方式整理成"五种宿主形态 + 两条横切层"的分层地图：进程内嵌入、沙箱化执行、托管运行时、Agent OS、端侧协同，以及 serving 调度层与 MCP/A2A 互联层，并给出选型决策表。
从 Usage Policy 到 Claude 宪法、Constitutional AI 训练、Constitutional Classifiers 运行时防御、RSP/ASL 升级协议，再到 Clio 遥测闭环——Anthropic 的内容安全不是一份禁止清单，而是把同一份自然语言规约"编译"到系统五个层次的纵深栈。这篇结合官方文档与四篇 arXiv 论文拆它的第一性原理：为什么规则要写给模型自己读、安全如何被标上价格（拒答率 + 推理开销）、以及"让 AI 监督 AI"这个赌注的收益与脆弱处。
某大模型平台的"进阶使用"页列了八个功能:续写模式、批量推理、视觉定位、上下文缓存、文件输入、云部署 MCP、3D 生成、GUI 任务处理。看起来是产品经理排的功能清单,其实是一张考古地图——每个卡片下面都埋着一条"论文→系统→产品"的谱系。本文把八个功能归并成三条:给稀缺资源定价(KV Cache 经济学)、把世界变成 token(表示的进出口)、闭合反馈环(从会说到会做),每条配已核实的 arXiv 论文链,结尾给一套看任何 API 新功能都能用的三问。
上一篇 R1 解剖文的实现层陪读。R1 的全部"神秘"只由两个循环构成:推理时的采样循环和训练时的 GRPO 循环。这篇把每个抽象名词兑换成具体的东西:chat template 的真实字符串、温度 0.6 改的是哪个数组、一条 32k 思考链的 2.3GB 显存账单、奖励函数的十几行正则、G=4 的优势手算、KL 惩罚的两个数值——读完你能用纸笔把一次推理和一次训练更新走一遍。
结合 R1 论文(arXiv 与 Nature 版)、GRPO 原始论文和三篇可解释性研究,把 DeepSeek-R1 的内部推理过程拆成一条完整链路:推理时思维链的四段解剖(定义→开花→重构→定案),训练侧 R1-Zero 纯 RL 涌现与 R1 四阶段管线,以及激活空间里可加减的"回溯方向"与锚点句证据。
零基础向。不预设博弈论或强化学习背景,用三个零件拼出 MCTS:大数定律(不会评估就采样)、老虎机公式 UCB1(逐符号讲解 + 全程手算)、树上的四步循环(选择→扩展→模拟→回传)。然后看 AlphaGo 用神经网络换掉了哪两个零件,以及 LLM 时代 MCTS 为什么被 DeepSeek-R1 放弃、又被 rStar-Math 捡起。
reasoning_effort、budget_tokens、thinkingBudget——每家大模型 API 都有一个"思考深度"旋钮,但它到底控制内核的什么?结合表达力理论(CoT 扩展固定深度 Transformer 的计算类)、s1 预算强制、L1 长度条件 RL、gpt-oss 的一行提示词实现和激活空间的"思考速度"方向,把这个参数从外壳拆到内核:它不改权重不加层,只控制模型租借多少串行计算步数。
从 VB Transform 2026 的一句口号出发，用三篇论文拆解「Eval 取代 PRD」的真实含义：当产品规格从给人读的散文变成给机器跑的目标函数，Goodhart 定律开始起作用——真正的交付物不是 eval 套件，而是让 eval 与意图持续对齐的闭环。