博客

文章千古事，得失寸心知。

Archive

全部文章

LiteLLM 路由内幕：一行 routing_strategy 如何变成一次具体的模型调用

基于 LiteLLM v1.97.0 源码逐行解读模型路由的完整链路：策略字符串怎么被识别成选择器、选择器为什么同时是日志回调、候选部署要过哪十一道漏斗、五种策略各自怎么记账怎么打分、失败怎么触发冷却、重试为什么睡 0 秒——把 config 里那一行配置到一次真实模型调用之间的所有代码打开给你看。

AILLMAI Infra

读懂一张 30B 规格表：Muse Glimmer 把 24GB 显存写成了总纲

从 Latent Space 的 AINews 快讯出发，把 Meta Muse Glimmer 30B 的规格表逐行读成一张"消费级显卡预算"的账单：混合注意力 3:1 + GQA 把 128K 上下文的 KV cache 从 104GiB 砍到 1.7GiB（手算核对），三段式蒸馏、按精度损失定价的两档量化、块扩散草稿器 DFlash、为 agent 岗位特训的取舍——每一行背后站一篇可查证的论文。收束成一条元规律：前沿模型是能力定预算，本地模型是预算定架构。

AILLMAI Infra

把指标写成条款：解剖一份单机高可用 ADR 的八个可靠性决定

上一篇把 SLO/RTO/RPO 理成三族刻度，这一篇拿一份刚评审通过的真实 ADR（一个 LLM 网关+在线路由+评测平台的单机生产高可用基线）当标本，看抽象指标怎么被写成具体条款。逐条解剖八个决定，每条给出条款要点→背后概念→源头论文/实践→定价解读：故障域声明（承保范围先于保额，拒绝伪分布式集群=拒绝为范围外风险付保费）、SLO 分级与排除条款（数据面 99.9% 高于控制面 99.5%，与 AWS Builders 库"数据面可用性目标高于控制面"同构）、两档 RTO（自动 2 分钟/人工 15 分钟，43.2 分钟月预算亲手验算出 21 次 vs 2.88 次的自动化边界，理论根基 Crash-Only Software HotOS 2003）、RPO 向量（崩溃 RPO=0 靠持久卷、逻辑误删 RPO≤24h 靠逻辑备份——RPO 是按故障类型索引的向量不是标量）、静态稳定性（热路径进程内不可变快照+last-known-good，控制面故障不得中断数据面，AWS 双模行为反模式）、租约+fencing token+幂等（Leases SOSP 1989 + Kleppmann 2016，exactly-once 投递不存在）、canary 状态机（shadow→canary→active+指标门禁+自动回滚，SRE Workbook 第 16 章，active 是不可逆跃迁点）、恢复演练即发布门禁（Chaos Engineering IEEE Software 2016，未演练的备份等于没有备份）。元规律「指标向量化定律」：外行给系统一个可靠性数字，工程师给每类故障各一个数字——可靠性设计的成熟度=指标从标量分解为按故障类型索引的向量的程度；ADR 的本质是保险合同：故障域是承保范围，指标是保额，架构是保费，排除条款是让承诺可兑现的那部分。

AI InfraLLM论文深读

SLO、RTO、RPO 到底在量什么：一条故障时间轴串起可靠性指标全家

读 LLM serving 论文撞见 SLO attainment，翻云合同撞见 99.9%，过容灾评审被问 RTO/RPO——三套黑话其实是同一条故障时间轴上的三族刻度。本篇按权威出处（Google SRE 书第 4 章、SRE Workbook 第 5 章、NIST SP 800-34 Rev.1、AWS 容灾白皮书）把指标全家理成三层：承诺层（SLI→SLO→SLA→错误预算→燃烧率，几个 9 换算表亲手验算）、事故层（MTTD/MTTA/MTTR/MTBF/MTTF，含 MTTR 四义歧义警告）、灾难层（RPO 往回量数据、RTO 往前量停机、MTD=RTO+WRT，AWS 四档 DR 策略即公开价目表）；再给三族的咬合关系：可用性=MTBF/(MTBF+MTTR) 把事故层折算成承诺层，错误预算是承诺层发给事故层的月度零花钱，BIA 从业务侧倒推 MTD/RTO。LLM 工程挂靠：DistServe 的 goodput 把 SLO 从事后验收变成调度器输入（TTFT/TPOT 双 SLO），训练 checkpoint 间隔就是训练作业的 RPO。元规律「指标即定价」：可靠性指标不是测量工具是谈判工具——SLO 每加一个 9 预算缩十倍，RTO/RPO 每压一个数量级架构贵一档，所有刻度都是业务给不可靠性开出的价格标签。

AI InfraLLM

澄清正在长出界面：当 Agent 递给你一张网页

用 superpowers 工作流时，Claude Code 会起一个本地页面让你点选确认细节——这不是插件作者的小聪明。同一个动作正在四层同时发生：工具层（AskUserQuestion）、协议层（MCP elicitation → MCP Apps → AG-UI）、生成层（Google Generative UI）、研究层（五篇澄清策略 arXiv）。本文给出第一性解释（界面化打的是人的应答成本，不是 agent 的提问能力）、收敛度判断和三个预见，收束成一条「确认带宽定律」。

AgentLLMMCP

Agent 正在长成一朵云：从八个岗位地图到未来架构的压缩重演预测

姊妹篇：上一篇把主 Agent 推理循环拆成八个被专训小模型接管的岗位，这一篇把岗位表贴到云架构图上，发现 Agent 架构正在压缩重演云计算二十年的演化史。四层证据链逐层判收敛：组件层（BAIR 复合 AI 系统宣言→NVIDIA 异构编制）、内核层（AIOS 的 agent syscall、Parrot 的 Semantic Variable、Mooncake 的 P/D 分离）、运行时层（AWS AgentCore/Azure Foundry/Google Agent Engine 六个月内先后 GA，microVM 隔离 + serverless 计费）、协议层（MCP 管南北向、A2A 捐入 Linux 基金会管东西向）。给出三条置信度分级预测（控制面/数据面成为 Agent 默认词汇；模型从架构图中消失变成实例类型；评测成为 Agent 云的类型系统），并收束成一条元规律：抽象复用使演化压缩——后发领域直接借用先行领域付清过发明成本的抽象词汇表，把二十年走成三年。

AILLMAgent

主模型在思考，谁在打下手？——Agent 推理循环里被专训小模型接管的八个岗位

把主 Agent 的一次推理循环摊开成一条流水线，逐站盘点正在被专向训练小模型接管的岗位：路由员（RouteLLM）、安检员（Llama Guard/ShieldGemma）、精简师（LLMLingua）、打字员（投机解码/EAGLE）、质检员（Math-Shepherd/Qwen PRM/Prometheus 2）、翻译员（Gorilla/xLAM）、指路员（UGround/OS-Atlas）、誊写员（Cursor fast apply，已被回收的岗位）。以 NVIDIA 的 SLM 立场论文为理论锚点，收束成一条岗位寿命定律：结构位 > 部署位 > 能力位——靠结构立足的岗位长存，靠能力差立足的岗位终将被主模型收回。

AILLMAgent

一把 Key 背后：AI 网关到底替你收编了后端栈的哪几层

LiteLLM 首页说 "Put your full AI stack behind one key"——这句广告词里的 AI stack 到底指什么？本篇按一次请求的生命周期把网关解剖成六层：协议归一（沙漏模型的窄腰）、身份与预算（virtual key 的凭证间接层）、路由与回退（FrugalGPT 级联 + RouteLLM 偏好路由 + Tail at Scale 对冲）、缓存（GPTCache 语义缓存 vs Prompt Cache 的 KV 缓存分界）、可观测（AgentOps taxonomy + OTel GenAI 语义约定）、防护与治理（Llama Guard + NeMo Guardrails）。每层四段式：根本问题→源头论文→网关落地→收敛度。收束成一条元规律：元数据分界定律——决策输入只需请求级元数据的横切层被网关吸收，需要碰权重/logits/KV 的能力沉入推理引擎；一把 key 买到的只是上半栈。

AILLMAI Infra

评测平台产品化：接口清单、开源底座与前端模块——平台管自动化，用户管场景

评测路由系列第五篇：把评测系统从「自己搭给自己用」升级成「全公司业务团队自助使用的平台」。一条分界判据（换一个业务方要不要重做）切出平台与用户的责任边界；七组后端 API 端点清单（场景/评分器/运行/模型/报告/集成/标签与路由供给，每个端点标注它传递的是场景知识还是自动化）；LLM-as-judge 的五元组定义与平台强制的裁判三纪律（钉版本/换位/避自家，校准不达标即拦截）；开源底座对比（Langfuse MIT / Opik Apache-2.0 / Phoenix ELv2 + Inspect AI 执行引擎）；前端八模块含裁判校准中心；15 分钟自助用户旅程时序图与三阶段落地顺序。

AILLM评测

从空目录到第一份评测报告：用 Inspect AI 把评测系统真的搭出来（实操陪读篇）

评测路由系列的动手篇：30 分钟、七步、每步给完整代码和我本机跑出的真实输出——建 4 条金集 mini 版（字段对齐数据规格书）、用免 API key 的 mockllm 跑通管道、一行参数换真模型/接公司网关、写自定义规则评分器、双模型对比拿到 1.00 vs 0.00、从日志读出请求级标签、CI 门禁脚本。文末给「你刚搭的文件 ↔ 施工图模块」对照表和七问自检清单。全部代码在 inspect-ai 0.3.254 上亲手验证。

AILLM评测

数据规格书：把「网关产 Trace，Trace 产评测集，评测产标签」落到字段级

施工图篇的下一层细化：四段数据链每段一份可直接建表的规格——五块式 Trace schema（贴 OTel GenAI 属性名 + 路由决策扩展 + 三级采样）、评测集生产漏斗（八类挖掘信号、样本封闭化、审核状态机、版本化）、两种标签的生产口径（Wilson 区间 + 最小样本量 + 失效规则）、路由器偏好对的 SQL 导出与冷启动，以及贯穿全链的「字段三问」数据契约定律。

AILLM评测

从国内历练到硅谷 offer：LLM 工程师的可量化成长路径（细化到周，含身份链决策树）

把「技术人的硅谷梦」从愿望改写成一个工程问题：P(offer) = 信号质量 × 管道数量 × 面试转化率 × 身份可行性。本文把四个因子全部拆到可执行单元：技术信号链四阶段（基线审计→地基→信号复利→管道冲刺），每阶段带可量化退出条件；身份链五条路线（L-1/国际hub/H-1B/O-1A/留学）带核实过的数据（FY2026 H-1B 中签率 35.3%、FY2027 改工资加权、O-1A 无配额八判据）；每周 12 小时的操作系统、信息流追踪清单、8 周面试冲刺计划、领先/滞后指标仪表盘。姊妹篇《大模型行业工种全景图》负责选工种，本篇负责走到面试桌前。

AILLM

刷到的微软论文是真的吗？——FastContext：AI 写代码最贵的一步，和一篇只活了 18 天的论文

从一条短视频出发的事实核查与论文深读：微软 FastContext（arXiv 2606.14066）确有其文——用 4B 小模型专管代码库探索，主代理省 26–60% token、难题解决率 +5.5 分——但它 6 月 12 日提交、6 月 30 日就以「产品 IP」为由撤稿删库。结合 CodeScout、SWE-grep、SWE-Pruner、Agentless、LocAgent，把「代码库探索该由谁来做」这个决策点的四条路线摆上桌：撤稿本身，就是这个方向商业价值最响亮的注脚。

AILLM上下文工程

大模型行业工种全景图：十个岗位的能力矩阵、细化技能与透明学习路径——从公开 JD 反推

把 2026 年大模型行业公开招聘的工种摊开成一张可选择的技能树：按「造模型→跑模型→用模型→管模型」四条产线拆出十个工种，每个工种给出能力矩阵（维度×细化技能×代表技术×学习挂靠点）和一个 2–4 周的最小验证项目。数据来自 OpenAI/Anthropic 官方招聘页、国内猎聘/智联/校招 JD 与多份行业招聘报告，观点与矩阵是我的整理。目标：让每个工种的学习路径对你完全透明，选哪条分支、怎么 rollout，一张图定。

AILLM工程实践

从 JD 到施工图：公司级大模型路由与评测系统的完整落地方案

把米哈游「大模型路由与评测工程师」JD 的六条工作内容翻译成可施工的系统方案：十个模块的职责与接口、六层架构图、三张关键时序图（在线路由、策略灰度、评测闭环）、每个模块的开源选型与自研分界（LiteLLM/semantic-router/RouteLLM/Langfuse/Inspect AI/EvalScope/Promptfoo/GrowthBook），以及一条「先评测后路由」的施工顺序定律和四阶段路线图。决策地图系列「评测路由篇」的施工图姊妹篇。

AILLM评测

SFT 是解锁器，不是灌装机：从 FLAN 到 LIMO，重新认识监督微调

把 2021–2025 年关于监督微调的十一篇关键论文串成一条线索：SFT 用的还是预训练那个交叉熵，它几乎教不会模型新知识——1000 条样本就能对齐（LIMA）、改变的主要是风格 token（URIAL）、硬灌新知识反而教出幻觉（EMNLP 2024）。SFT 的真正身份是解锁器：把预训练已有的能力接上开关。文末给出工程速查表和一个本地就能跑的验证实验。

LLM模型训练论文深读