2026年7月22日vLLM APC 六问：从 block hash 到 free/evict沿 vLLM V1 源码拆解 Automatic Prefix Caching 的六个核心动作：block hash 构造、最长前缀命中、touch 挂 request、新 block 分配、free/evict 区别，以及哪些请求必须跳过 APC。AIAI InfravLLMLLM Serving源码阅读KV CachePagedAttention性能优化
2026年7月22日vLLM Automatic Prefix Caching 源码精读：KV cache 为什么能跨请求复用从 Scheduler、KVCacheManager、BlockPool 和 block hash 链路读懂 vLLM APC：它怎样把前缀命中变成已计算 token 和可复用 KV blocks。AIAI InfravLLMLLM Serving源码阅读KV CachePagedAttention性能优化
2026年7月22日从 vLLM ChatCompletionRequest 看懂大模型请求参数把 vLLM 的 ChatCompletionRequest 当成推理控制面地图，讲清 messages、chat template、token 预算、采样参数、结构化输出、工具调用、streaming 和服务调度分别作用在大模型推理的哪一层。AIAI InfravLLMLLM Serving源码阅读SamplingStructured OutputsTool Calling
2026年7月22日Streaming 不是逐字打印：从 vLLM 看大模型增量输出的状态机从 OpenAI SSE 协议、LLM prefill/decode、vLLM chat_completion_stream_generator 和 Parser.parse_delta 四个层次，理解大模型 streaming 为什么不是简单 append 文本，而是增量状态机。AIAI InfravLLMLLM Serving源码阅读OpenAI APIStreamingTool CallingKV Cache
2026年7月22日OpenAIServingChat 深度解读：vLLM 怎样把一次 Chat Completion 跑成 OpenAI 响应从 vLLM 的 OpenAIServingChat 源码看懂 /v1/chat/completions 的服务编排：chat template 渲染、SamplingParams 构造、EngineClient.generate、streaming SSE、tool/reasoning parser、usage、metrics 和 KV transfer cleanup。AIAI InfravLLMLLM Serving源码阅读OpenAI APITool CallingStreaming
2026年7月18日vLLM + verl 源码学习地图：推理引擎与 RL 后训练框架各怎么读基于 vLLM v0.25.1 和 verl v0.8.0 源码，给出两个仓库的目录地图、必读文件清单、三阶段阅读路线，以及两者在 rollout 权重同步处的交汇点。AIAI InfravLLMverlRLHFGRPO源码阅读LLM Serving
2026年7月18日KV cache 是内存管理,上下文管理是 GC 吗?——把 LLM 推理栈当操作系统读一遍一个常见直觉的精确化:KV cache 层确实对应操作系统内存管理——PagedAttention 就是把虚拟内存搬进显存,前缀缓存的 ref_cnt 就是字面意义的引用计数 GC;但语义层的上下文管理对应的不是 GC,而是页面置换加有损压缩。给出三问判据。AI InfraLLMvLLMKV Cache操作系统论文解读
2026年7月15日Dense Models 到底 Dense 在哪：为什么 vLLM 先把 MRv2 默认给普通 Transformer解释 dense model、MoE、router、expert、active parameters、hybrid model 和 MRV2，并分析为什么 vLLM 0.25.0 先让 dense models 默认走 Model Runner V2。AIAI InfravLLMLLM ServingMoETransformer推理引擎论文学习
2026年7月15日vLLM 0.25.0 解读：PagedAttention 退场，MRv2 接管从 PagedAttention 论文、MRv2 默认化、Transformers backend 提速和 TLI speculative decoding，看 vLLM 0.25.0 为什么是一次执行路径收口。AIAI InfravLLMLLM ServingPagedAttentionSpeculative Decoding论文学习
2026年7月15日vLLM 不是把外部模型包一层：它接管的是推理运行时解释 vLLM 使用 Qwen、Llama、Gemma 或 Transformers backend 时，谁加载权重、谁驱动 forward、谁分配 KV cache，以及为什么这不是调用外部模型自己的 generate。AIAI InfravLLMLLM ServingKV CacheTransformers源码阅读
2026年7月15日vLLM 是顶流，但不是终点：LLM 推理框架的五条路线从 vLLM、SGLang、TensorRT-LLM、TGI、llama.cpp 到 RTP-LLM，梳理当下 LLM inference serving 框架的主流路线、学习价值和选型边界。AIAI InfravLLMLLM ServingSGLangTensorRT-LLM推理引擎架构设计
2026年7月15日vLLM 的请求是怎么跑完的：从入口到 GPUModelRunner 的源码链路基于 vLLM v0.25.0 源码，串起 LLM.generate、AsyncLLM、LLMEngine、EngineCore、Scheduler、KVCacheManager、Executor、Worker、GPUModelRunner 和 OutputProcessor 的完整推理链路。AIAI InfravLLMLLM Serving源码阅读推理引擎KV Cache
2026年7月13日从 Attention 到 PagedAttention：用 llama.cpp 跑通 Qwen2.5-7B 后，我终于看懂了 LLM 推理主线用 BPE、Transformer、RoPE、GQA、FlashAttention、PagedAttention 等论文作纵轴，串起 Qwen2.5-7B 在 llama.cpp 上的 tokenizer、forward、KV cache、benchmark、PPL 和 sampling 实验。AIAI InfraLLMInferenceTransformerAttentionKV Cachellama.cppvLLMQwen