Decode 速度上限公式：为什么 4.677GB 模型、16.99 tok/s 反推约 79.5GB/s
用 Qwen2.5-7B llama-bench 的真实数据，讲清 decode 为什么常被内存带宽卡住、bandwidth / model_size 怎么估理论上限，以及 79.5GB/s 这个反推数字到底代表什么。
Archive
专题归档
第 3 / 3 页KV cache 那笔账：为什么 Qwen2.5-7B 在 2048 长度下大约是 117MB
从人话直觉、小数字张量形状和 Qwen2.5-7B 的真实参数出发，讲清 KV cache 公式、GQA 为什么省 7 倍，以及 100 并发为什么会变成 11.7GB。
Out 投影到底在输出什么：把多头 attention 结果重新混回 hidden state
补齐 W1-Q4 attention 内部四步的最后一块：用混音台直觉、小数字矩阵乘和 Qwen2.5-7B 的真实 shape，讲清 attn_output.weight 与最终 output.weight 的区别。
Masked Softmax 到底在 mask 什么：把 QK 分数变成注意力权重
面向初学者拆解 masked softmax：先补 softmax 的 exp、求和、归一化，再讲 causal mask 如何把未来 token 权重变 0，最后对上 GQA 下的 Q/K/V shape 和 llama.cpp attention graph。
QKV 投影到底在投什么：从 3584 维 hidden 到 28 个 Query 头、4 个 KV 头
面向初学者拆解 Transformer 的 QKV 投影：从 Query/Key/Value 的角色，到矩阵乘、shape 推导、GQA、KV cache 和 llama.cpp 的 build_qkv 源码对应。
RoPE 为什么只是高中三角函数：把 Q/K 向量按位置旋转
面向初学者拆解 RoPE：先补 cos/sin 的横向和纵向直觉，再推导二维旋转公式、128 维 head 拆分、相对位置如何进入 QK 点积，并对上 llama.cpp 的 ggml_rope_ext。
LoRA rank=16 数学直觉：不是更新 16 个维度，而是用 16 个方向生成完整增量
从矩阵秩、外积、低秩分解和瓶颈层出发，用通俗数学解释 LoRA 里的 rank=16 到底是什么意思，为什么它能影响所有输出维度，以及为什么常在 8/16/32/64 之间取值。
AI Infra 数学地基（细分版）：每个知识点拆到高中数学起步
给数学底子一般的人的 AI Infra 数学地图：8 个板块全部拆到高中数学层级，标注难度和前置依赖，每个概念配人话解释，并用真实实验数据代入验证。