#LLM Serving

11 篇相关记录

2026年7月22日

vLLM APC 六问：从 block hash 到 free/evict

沿 vLLM V1 源码拆解 Automatic Prefix Caching 的六个核心动作：block hash 构造、最长前缀命中、touch 挂 request、新 block 分配、free/evict 区别，以及哪些请求必须跳过 APC。

2026年7月22日

vLLM Automatic Prefix Caching 源码精读：KV cache 为什么能跨请求复用

从 Scheduler、KVCacheManager、BlockPool 和 block hash 链路读懂 vLLM APC：它怎样把前缀命中变成已计算 token 和可复用 KV blocks。

AI AI Infra vLLM LLM Serving 源码阅读 KV Cache PagedAttention 性能优化

2026年7月22日

从 vLLM ChatCompletionRequest 看懂大模型请求参数

把 vLLM 的 ChatCompletionRequest 当成推理控制面地图，讲清 messages、chat template、token 预算、采样参数、结构化输出、工具调用、streaming 和服务调度分别作用在大模型推理的哪一层。

AI AI Infra vLLM LLM Serving 源码阅读 Sampling Structured Outputs Tool Calling

2026年7月22日

Streaming 不是逐字打印：从 vLLM 看大模型增量输出的状态机

从 OpenAI SSE 协议、LLM prefill/decode、vLLM chat_completion_stream_generator 和 Parser.parse_delta 四个层次，理解大模型 streaming 为什么不是简单 append 文本，而是增量状态机。

AI AI Infra vLLM LLM Serving 源码阅读 OpenAI API Streaming Tool Calling KV Cache

2026年7月22日

OpenAIServingChat 深度解读：vLLM 怎样把一次 Chat Completion 跑成 OpenAI 响应

从 vLLM 的 OpenAIServingChat 源码看懂 /v1/chat/completions 的服务编排：chat template 渲染、SamplingParams 构造、EngineClient.generate、streaming SSE、tool/reasoning parser、usage、metrics 和 KV transfer cleanup。

AI AI Infra vLLM LLM Serving 源码阅读 OpenAI API Tool Calling Streaming

2026年7月18日

vLLM + verl 源码学习地图：推理引擎与 RL 后训练框架各怎么读

基于 vLLM v0.25.1 和 verl v0.8.0 源码，给出两个仓库的目录地图、必读文件清单、三阶段阅读路线，以及两者在 rollout 权重同步处的交汇点。

AI AI Infra vLLM verl RLHF GRPO 源码阅读 LLM Serving

2026年7月15日

Dense Models 到底 Dense 在哪：为什么 vLLM 先把 MRv2 默认给普通 Transformer

解释 dense model、MoE、router、expert、active parameters、hybrid model 和 MRV2，并分析为什么 vLLM 0.25.0 先让 dense models 默认走 Model Runner V2。

AI AI Infra vLLM LLM Serving MoE Transformer 推理引擎论文学习

2026年7月15日

vLLM 0.25.0 解读：PagedAttention 退场，MRv2 接管

从 PagedAttention 论文、MRv2 默认化、Transformers backend 提速和 TLI speculative decoding，看 vLLM 0.25.0 为什么是一次执行路径收口。

AI AI Infra vLLM LLM Serving PagedAttention Speculative Decoding 论文学习

2026年7月15日

vLLM 不是把外部模型包一层：它接管的是推理运行时

解释 vLLM 使用 Qwen、Llama、Gemma 或 Transformers backend 时，谁加载权重、谁驱动 forward、谁分配 KV cache，以及为什么这不是调用外部模型自己的 generate。

AI AI Infra vLLM LLM Serving KV Cache Transformers 源码阅读

2026年7月15日

vLLM 是顶流，但不是终点：LLM 推理框架的五条路线

从 vLLM、SGLang、TensorRT-LLM、TGI、llama.cpp 到 RTP-LLM，梳理当下 LLM inference serving 框架的主流路线、学习价值和选型边界。

AI AI Infra vLLM LLM Serving SGLang TensorRT-LLM 推理引擎架构设计

2026年7月15日

vLLM 的请求是怎么跑完的：从入口到 GPUModelRunner 的源码链路

基于 vLLM v0.25.0 源码，串起 LLM.generate、AsyncLLM、LLMEngine、EngineCore、Scheduler、KVCacheManager、Executor、Worker、GPUModelRunner 和 OutputProcessor 的完整推理链路。

AI AI Infra vLLM LLM Serving 源码阅读推理引擎 KV Cache