#Transformer

11 篇相关记录

初中数学读懂 Attention Is All You Need：从加权平均到 Transformer

按论文原始顺序拆解 Transformer 涉及的数学：向量、矩阵乘、QKV、scaled dot-product attention、multi-head、位置编码、残差、LayerNorm、FFN、softmax、loss、学习率和复杂度，让初中数学背景也能啃读原文。

一篇从零开始的 In-Context Learning 深度讲解：模型没有更新权重，却能根据 prompt 里的几个例子临时跟上任务。一个有力解释是，它在上下文里推断当前任务是什么。

从矩阵乘法、GPU 内存层级和 Transformer decode 流程解释，为什么大模型推理不能直接用显存里的权重原地计算。

解释 dense model、MoE、router、expert、active parameters、hybrid model 和 MRV2，并分析为什么 vLLM 0.25.0 先让 dense models 默认走 Model Runner V2。

用 BPE、Transformer、RoPE、GQA、FlashAttention、PagedAttention 等论文作纵轴，串起 Qwen2.5-7B 在 llama.cpp 上的 tokenizer、forward、KV cache、benchmark、PPL 和 sampling 实验。

用一个 X @ W 小例子讲清张量并行里的本地分片计算、Column Parallel、Row Parallel、all-gather、all-reduce、reduce-scatter，以及它们在 Transformer 里的位置。

从人话直觉、小数字张量形状和 Qwen2.5-7B 的真实参数出发，讲清 KV cache 公式、GQA 为什么省 7 倍，以及 100 并发为什么会变成 11.7GB。

补齐 W1-Q4 attention 内部四步的最后一块：用混音台直觉、小数字矩阵乘和 Qwen2.5-7B 的真实 shape，讲清 attn_output.weight 与最终 output.weight 的区别。

面向初学者拆解 masked softmax：先补 softmax 的 exp、求和、归一化，再讲 causal mask 如何把未来 token 权重变 0，最后对上 GQA 下的 Q/K/V shape 和 llama.cpp attention graph。

面向初学者拆解 Transformer 的 QKV 投影：从 Query/Key/Value 的角色，到矩阵乘、shape 推导、GQA、KV cache 和 llama.cpp 的 build_qkv 源码对应。

面向初学者拆解 RoPE：先补 cos/sin 的横向和纵向直觉，再推导二维旋转公式、128 维 head 拆分、相对位置如何进入 QK 点积，并对上 llama.cpp 的 ggml_rope_ext。