#AI Infra

116 篇相关记录 · 第 4 / 5 页

2026年7月20日

所谓点拨：不是贵人一句话，而是把自己送进高价值反馈场

从清华到 OpenAI、Meta Superintelligence Labs、Google DeepMind 等公开案例出发，拆解“点拨”的真实机制：识别热场、压缩路径、构建可验证筹码，并给出 AI 学习者的 90 天行动协议。

AI Agent AI Infra

2026年7月20日

为什么生成一个 token，要把权重从内存搬到计算单元旁边？

从矩阵乘法、GPU 内存层级和 Transformer decode 流程解释，为什么大模型推理不能直接用显存里的权重原地计算。

AI AI Infra LLM Transformer 学习笔记

2026年7月18日

vLLM + verl 源码学习地图：推理引擎与 RL 后训练框架各怎么读

基于 vLLM v0.25.1 和 verl v0.8.0 源码，给出两个仓库的目录地图、必读文件清单、三阶段阅读路线，以及两者在 rollout 权重同步处的交汇点。

AI AI Infra vLLM 源码阅读 LLM Serving

2026年7月18日

把注意力换成一块「会遗忘的内存」:源码级深读 Kimi K3 的心脏 KDA

Kimi K3 权重 7 月 27 日才放出,但它的核心 KDA 九个月前就完整开源了。从 arXiv 论文和 flash-linear-attention 的 kernel 源码出发,拆解这块 128×128 的矩阵内存如何撑起 2.8 万亿参数与 1M 上下文。

LLM AI Infra 论文深读

2026年7月18日

KV cache 是内存管理,上下文管理是 GC 吗?——把 LLM 推理栈当操作系统读一遍

一个常见直觉的精确化:KV cache 层确实对应操作系统内存管理——PagedAttention 就是把虚拟内存搬进显存,前缀缓存的 ref_cnt 就是字面意义的引用计数 GC;但语义层的上下文管理对应的不是 GC,而是页面置换加有损压缩。给出三问判据。

AI Infra LLM vLLM 论文深读

2026年7月16日

提示词之后：上下文工程如何接管 LLM 应用质量

从系统提示词、用户提示词、会话上下文、检索上下文、Token 窗口、幻觉抑制和提示词模板库出发，结合 arXiv 论文解释为什么 LLM 应用的核心工程对象正在从 prompt 变成 context。

AI LLM Prompt 工程上下文工程 RAG AI Infra

2026年7月15日

Dense Models 到底 Dense 在哪：为什么 vLLM 先把 MRv2 默认给普通 Transformer

解释 dense model、MoE、router、expert、active parameters、hybrid model 和 MRV2，并分析为什么 vLLM 0.25.0 先让 dense models 默认走 Model Runner V2。

AI AI Infra vLLM LLM Serving Transformer 学习笔记

2026年7月15日

vLLM 0.25.0 解读：PagedAttention 退场，MRv2 接管

从 PagedAttention 论文、MRv2 默认化、Transformers backend 提速和 TLI speculative decoding，看 vLLM 0.25.0 为什么是一次执行路径收口。

AI AI Infra vLLM LLM Serving 学习笔记

2026年7月15日

vLLM 不是把外部模型包一层：它接管的是推理运行时

解释 vLLM 使用 Qwen、Llama、Gemma 或 Transformers backend 时，谁加载权重、谁驱动 forward、谁分配 KV cache，以及为什么这不是调用外部模型自己的 generate。

AI AI Infra vLLM LLM Serving Transformer 源码阅读

2026年7月15日

vLLM 是顶流，但不是终点：LLM 推理框架的五条路线

从 vLLM、SGLang、TensorRT-LLM、TGI、llama.cpp 到 RTP-LLM，梳理当下 LLM inference serving 框架的主流路线、学习价值和选型边界。

AI AI Infra vLLM LLM Serving

2026年7月15日

vLLM 的请求是怎么跑完的：从入口到 GPUModelRunner 的源码链路

基于 vLLM v0.25.0 源码，串起 LLM.generate、AsyncLLM、LLMEngine、EngineCore、Scheduler、KVCacheManager、Executor、Worker、GPUModelRunner 和 OutputProcessor 的完整推理链路。

AI AI Infra vLLM LLM Serving 源码阅读

2026年7月15日

从提示词到工作制度：Superpowers Skill 的结构上下文哲学

结合 Superpowers 的 brainstorming、TDD、worktree、writing-skills 设计，以及 Agent Skills、Externalization、SkillsBench、Parametric Skills、HASP 等论文，解释为什么 skill 的本质不是更多 prompt，而是把 Agent 的工作上下文做成可触发、可验证、可复盘的结构。

AI LLM Agent 上下文工程 AI Infra

2026年7月14日