#AI Infra

场景控制包：把 Agent 经验从提示词推进到可执行契约

结合 AI Chains、PromptChainer、ReAct、RAG、Self-RAG、DSPy、AutoGen、MetaGPT、Reflexion、Voyager、AgentBench 和 SWE-agent，判断 AIHub 场景控制包有没有同类论文思想：没有找到完整同款，但能看到清晰的相邻研究脉络。

AI Agent AI Infra RAG 系统设计

Lambda 的一盘棋：不抢模型入口，去占 AI 工厂的控制面

基于 Lambda.ai 首页、产品页和公开新闻，拆解 Lambda 如何把 GPU 云、AI 工厂、NVIDIA 生态、数据中心伙伴和 hyperscaler 需求连成一套基础设施棋局。

AI Infra

LLM 与 Agent 源码品读地图：11 层、50+ 个值得逐行读的开源项目

把大模型与 Agent 开源栈拆成 11 层，每层回答"被什么稀缺资源塑形"，再给出代表项目与具体的"读什么"。从 micrograd 到 vLLM，从 LangGraph 到 OpenHands，一张可以按图索骥的源码阅读地图。

LLM Agent AI Infra 源码阅读

nanoGPT config 不是参数表：一张 LLM 训练配方地图

从 LLM 训练的大背景出发，系统讲解 nanoGPT config 目录里的训练、微调、评估配置，以及 batch、context、模型大小、AdamW、学习率、DDP、dtype 等参数如何在源码中生效。

AI AI Infra LLM Transformer 模型训练源码阅读学习笔记

从 65 个字符开始：nanoGPT 的 Shakespeare 字符级语言模型数据准备

用 nanoGPT 的 shakespeare_char prepare.py 串起字符到整数 id、train.bin/val.bin、meta.pkl、next-token 训练样本，以及它和 BPE/GPT-2 路线的差别。

AI AI Infra LLM 源码阅读学习笔记

Ego Lite 的关键不是会点网页，而是把浏览器变成 Agent 的共享运行时

从 ego-lite 的 README、官网文档和 ego-browser 源码看它的真正原理：浏览器保存登录态和任务空间，agent 只提交 JavaScript 片段，helper runtime 通过 globalThis.ego、CDP、Snapshot 和 Task Spaces 把网页变成可编程环境。

AI Agent AI Infra 源码阅读

主模型明明是 Fable 5，账单里为什么冒出 Haiku 4.5？

这不是投机解码。从 Claude Code 官方文档找到 Haiku 后台调用的直接证据，再借 RouteLLM、FrugalGPT 与 Leviathan/Chen 的投机采样论文，把"小模型替大模型干活"拆成应用层分派、服务层路由、解码层投机三层，并给出一条判别原则：看它会不会以自己的名义出现在你的账单里。

AI AI Infra LLM Serving

AI LLM AI Infra LLM Serving 论文深读

一文讲透大模型格式化输出：从预训练先验到约束解码的五层保障

为什么"请只输出 JSON"的哀求会失灵，而 response_format 一开就稳？沿训练到推理的完整链路拆解格式保障的五层机制：预训练给先验、后训练给服从、提示接口表达意图、约束解码给硬保证、系统校验兜底。结合 PICARD、Outlines、XGrammar、SGLang 与 Let Me Speak Freely 等论文，讲清 FSM 掩码的原理、tokenizer 错位难题、约束解码的分布扭曲代价，以及生产系统为什么五层全都要。

AI AI Infra LLM Serving 论文深读

Medusa 深读：解码慢不是算力问题，是搬运问题

从"解码是内存带宽瓶颈"这个第一性约束出发，拆解 Medusa 的多头架构、Typical Acceptance 与 Tree Attention；再沿 Stern 2018 → Speculative Decoding → SpecInfer → Medusa → Hydra / EAGLE / DFlash 的 arXiv 系谱，看清这场"并行宽度换串行步数"的交易，以及评估任何投机解码方案的四个问题。

2026年7月23日

评测不是打榜：怎样用真实 Session 找到最便宜够用的模型

系统讲解 LLM 评测和模型路由的工程原理：如何把真实 session 做成 eval case，用 rubric、LLM judge、校准集和成本表找出每类任务的最低可用模型。

AI LLM AI Infra 评测

2026年7月23日

RouteLLM 深度解读：把模型选择变成成本-质量路由问题

从工程视角拆解 RouteLLM：它如何用偏好数据学习强弱模型路由，matrix factorization router、阈值、CPT/APGR 指标分别是什么意思，以及怎样接到真实 session eval 系统里。

AI LLM AI Infra 评测论文深读

AI AI Infra vLLM LLM Serving 源码阅读

vLLM APC 六问：从 block hash 到 free/evict

沿 vLLM V1 源码拆解 Automatic Prefix Caching 的六个核心动作：block hash 构造、最长前缀命中、touch 挂 request、新 block 分配、free/evict 区别，以及哪些请求必须跳过 APC。

AI AI Infra vLLM LLM Serving 源码阅读

vLLM Automatic Prefix Caching 源码精读：KV cache 为什么能跨请求复用

从 Scheduler、KVCacheManager、BlockPool 和 block hash 链路读懂 vLLM APC：它怎样把前缀命中变成已计算 token 和可复用 KV blocks。

从 vLLM ChatCompletionRequest 看懂大模型请求参数

把 vLLM 的 ChatCompletionRequest 当成推理控制面地图，讲清 messages、chat template、token 预算、采样参数、结构化输出、工具调用、streaming 和服务调度分别作用在大模型推理的哪一层。

AI AI Infra vLLM LLM Serving 源码阅读工具调用

Streaming 不是逐字打印：从 vLLM 看大模型增量输出的状态机

从 OpenAI SSE 协议、LLM prefill/decode、vLLM chat_completion_stream_generator 和 Parser.parse_delta 四个层次，理解大模型 streaming 为什么不是简单 append 文本，而是增量状态机。

AI AI Infra vLLM LLM Serving 源码阅读工具调用