返回全部博客

#性能优化

2 篇相关记录

2026年7月22日

vLLM APC 六问：从 block hash 到 free/evict

沿 vLLM V1 源码拆解 Automatic Prefix Caching 的六个核心动作：block hash 构造、最长前缀命中、touch 挂 request、新 block 分配、free/evict 区别，以及哪些请求必须跳过 APC。

AI AI Infra vLLM LLM Serving 源码阅读 KV Cache PagedAttention 性能优化

2026年7月22日

vLLM Automatic Prefix Caching 源码精读：KV cache 为什么能跨请求复用

从 Scheduler、KVCacheManager、BlockPool 和 block hash 链路读懂 vLLM APC：它怎样把前缀命中变成已计算 token 和可复用 KV blocks。

AI AI Infra vLLM LLM Serving 源码阅读 KV Cache PagedAttention 性能优化