#源码阅读

16 篇相关记录

2026年7月22日

vLLM APC 六问：从 block hash 到 free/evict

沿 vLLM V1 源码拆解 Automatic Prefix Caching 的六个核心动作：block hash 构造、最长前缀命中、touch 挂 request、新 block 分配、free/evict 区别，以及哪些请求必须跳过 APC。

2026年7月22日

vLLM Automatic Prefix Caching 源码精读：KV cache 为什么能跨请求复用

从 Scheduler、KVCacheManager、BlockPool 和 block hash 链路读懂 vLLM APC：它怎样把前缀命中变成已计算 token 和可复用 KV blocks。

AI AI Infra vLLM LLM Serving 源码阅读 KV Cache PagedAttention 性能优化

2026年7月22日

从 vLLM ChatCompletionRequest 看懂大模型请求参数

把 vLLM 的 ChatCompletionRequest 当成推理控制面地图，讲清 messages、chat template、token 预算、采样参数、结构化输出、工具调用、streaming 和服务调度分别作用在大模型推理的哪一层。

AI AI Infra vLLM LLM Serving 源码阅读 Sampling Structured Outputs Tool Calling

2026年7月22日

Streaming 不是逐字打印：从 vLLM 看大模型增量输出的状态机

从 OpenAI SSE 协议、LLM prefill/decode、vLLM chat_completion_stream_generator 和 Parser.parse_delta 四个层次，理解大模型 streaming 为什么不是简单 append 文本，而是增量状态机。

AI AI Infra vLLM LLM Serving 源码阅读 OpenAI API Streaming Tool Calling KV Cache

2026年7月22日

OpenAIServingChat 深度解读：vLLM 怎样把一次 Chat Completion 跑成 OpenAI 响应

从 vLLM 的 OpenAIServingChat 源码看懂 /v1/chat/completions 的服务编排：chat template 渲染、SamplingParams 构造、EngineClient.generate、streaming SSE、tool/reasoning parser、usage、metrics 和 KV transfer cleanup。

AI AI Infra vLLM LLM Serving 源码阅读 OpenAI API Tool Calling Streaming

2026年7月18日

vLLM + verl 源码学习地图：推理引擎与 RL 后训练框架各怎么读

基于 vLLM v0.25.1 和 verl v0.8.0 源码，给出两个仓库的目录地图、必读文件清单、三阶段阅读路线，以及两者在 rollout 权重同步处的交汇点。

AI AI Infra vLLM verl RLHF GRPO 源码阅读 LLM Serving

2026年7月15日

vLLM 不是把外部模型包一层：它接管的是推理运行时

解释 vLLM 使用 Qwen、Llama、Gemma 或 Transformers backend 时，谁加载权重、谁驱动 forward、谁分配 KV cache，以及为什么这不是调用外部模型自己的 generate。

AI AI Infra vLLM LLM Serving KV Cache Transformers 源码阅读

2026年7月15日

vLLM 的请求是怎么跑完的：从入口到 GPUModelRunner 的源码链路

基于 vLLM v0.25.0 源码，串起 LLM.generate、AsyncLLM、LLMEngine、EngineCore、Scheduler、KVCacheManager、Executor、Worker、GPUModelRunner 和 OutputProcessor 的完整推理链路。

AI AI Infra vLLM LLM Serving 源码阅读推理引擎 KV Cache

2026年7月13日

Graphify 源码深潜：从 AST 构图到 LLM 任务的上下文装配

从语法树构图、跨文件消歧和图遍历查询，到 Skill、AGENTS.md、CLI 与 MCP 接入，讲清 Graphify 如何在构图期与任务运行期分配 LLM 职责。

AI Agent LLM 代码知识图谱 MCP 源码阅读

2026年7月9日

从 FlashAttention 看懂算子融合：为什么融合、少读写了什么、又会错在哪里

用 FlashAttention 官方论文和 CUDA 源码拆解 attention fusion：从 QK、softmax、PV 的普通三段式，到 online softmax、HBM 读写减少、边界条件和 kernel 正确性风险。

learning-log AI Infra GPU CUDA FlashAttention 源码阅读

2026年7月8日

Out 投影到底在输出什么：把多头 attention 结果重新混回 hidden state

补齐 W1-Q4 attention 内部四步的最后一块：用混音台直觉、小数字矩阵乘和 Qwen2.5-7B 的真实 shape，讲清 attn_output.weight 与最终 output.weight 的区别。

AI AI Infra LLM Transformer Attention llama.cpp 源码阅读数学

2026年7月7日

Masked Softmax 到底在 mask 什么：把 QK 分数变成注意力权重

面向初学者拆解 masked softmax：先补 softmax 的 exp、求和、归一化，再讲 causal mask 如何把未来 token 权重变 0，最后对上 GQA 下的 Q/K/V shape 和 llama.cpp attention graph。

AI AI Infra LLM Transformer Attention Softmax llama.cpp 源码阅读数学

2026年7月7日

QKV 投影到底在投什么：从 3584 维 hidden 到 28 个 Query 头、4 个 KV 头

面向初学者拆解 Transformer 的 QKV 投影：从 Query/Key/Value 的角色，到矩阵乘、shape 推导、GQA、KV cache 和 llama.cpp 的 build_qkv 源码对应。

AI AI Infra LLM Transformer Attention llama.cpp 源码阅读数学

2026年7月7日

RoPE 为什么只是高中三角函数：把 Q/K 向量按位置旋转

面向初学者拆解 RoPE：先补 cos/sin 的横向和纵向直觉，再推导二维旋转公式、128 维 head 拆分、相对位置如何进入 QK 点积，并对上 llama.cpp 的 ggml_rope_ext。

AI AI Infra LLM Transformer Attention RoPE llama.cpp 源码阅读数学

2026年7月6日

一个 token 的诞生：从 llama.cpp 主循环看懂 Prefill 和 Decode

从 llama.cpp 的命令行入口、tokenize、生成 while 循环、llama_decode、batch、n_past 和 KV cache 串起一次 LLM 推理，解释 prefill 与 decode 的代码分叉和性能差异。

AI AI Infra LLM llama.cpp 推理引擎源码阅读

2026年7月6日

计算图不是在算，而是在排活：从伪代码到 ggml 看懂 llama.cpp 的 Qwen2 forward

用一段极简伪代码解释计算图，再拆开 ggml_tensor、ggml_cgraph 和 llama.cpp 的 Qwen2 graph builder，看懂一次 forward 如何从 logits 反向追出完整执行图。

AI AI Infra LLM llama.cpp ggml 推理引擎源码阅读