2026年7月24日上下文学习像临时做贝叶斯:为什么大模型不改权重也能跟着例子走一篇从零开始的 In-Context Learning 深度讲解:模型没有更新权重,却能根据 prompt 里的几个例子临时跟上任务。一个有力解释是,它在上下文里推断当前任务是什么。LLMIn-Context Learning贝叶斯数学Transformer零基础
2026年7月24日小白也能听懂的奇异值分解:把矩阵拆成三件事用照片压缩、二维小例子和最少数学地基解释 SVD:U、Σ、Vᵀ 各自做什么,奇异值为什么代表重要程度,以及它和 PCA、推荐、LoRA、低秩压缩的关系。数学线性代数SVDAI零基础
2026年7月24日泰勒展开和大模型:小白也能懂的局部近似从函数、斜率、导数和二次近似开始,递归拆解泰勒展开是什么,再连接到梯度下降、损失函数、二阶优化、量化和大模型训练里的局部近似思想。数学泰勒展开大模型深度学习零基础
2026年7月22日经典数学函数图鉴:让每一条曲线都经得起坐标查验16 张可交互的经典函数图像:线性、二次、三次、反比例、根式、绝对值、指数、对数、三角、反三角、双曲、sigmoid、高斯、取整。用 function-plot 的区间算术精确绘制,滚轮缩放、悬停读坐标。附精确性质速查表和工具选型指南。数学可视化零基础
2026年7月22日零基础陪读 Scaling Laws:那篇深读读不动?你缺的其实只是一条直线Scaling Laws 深读的陪读篇。用正方形、身高预测、餐巾纸记账几个能手算的真问题,把幂律、log-log 直线、拟合、外推、C≈6ND 五件工具逐件装好,每件装完立刻回扣深读原文。读完再回去,0.73 vs 0.5 之争会变成一个很直观的故事。Scaling LawsLLM数学零基础
2026年7月18日零基础陪读 Big-O:那篇复杂度深读读不动?你缺的是六件初中数学工具上一篇 Big-O 深读的陪读篇。用折纸、猜数字、握手、排队照相六个能手算的真问题,把指数、对数、求和、阶乘、递推式、「阶」的眼镜逐件装好,每件工具讲完立刻回扣原文公式。读完这篇再回去,那些公式会自己开口说话。算法Big-O数学零基础
2026年7月18日短视频说"AI 一小时证明了 50 年数学悬案"——我把 OpenAI 那两份 PDF 读了,真实故事更精彩2026 年 7 月,"GPT-5.6 一小时证明循环双覆盖猜想"刷屏短视频。事实核查:事件为真,但"证明了"三个字说早了——现在的准确状态是"机器生成了一份证明,人类正在核验"。这篇先用能手画的小例子讲透这个 50 年悬案本身(圈、桥、snark),再逐页拆 OpenAI 发布的两份一手 PDF:3 页的证明走了哪四步,那份比证明更值得读的 2 页提示词里藏着哪些多代理工程设计。结尾是一张"视频说法 vs 核实结果"对照表,以及一个漂亮的对偶:费马大定理是人类已证、等机器核验;这次是机器生成、等人类核验。数学AI图论事实核查LLM
2026年7月18日零基础讲透欧拉公式:e^(iθ) = cos θ + i·sin θ 不是一个数,是"旋转"的名字费曼称它为"数学中最非凡的公式",但它第一眼看上去像语法错误——e 的虚数次方是什么鬼?这篇从复利、乘 -1、摩天轮三个能手算的真问题出发,把 e、i、cos/sin 三个符号包逐个拆开,再沿两条路线把公式拼回去:一条给直觉(增长掰成垂直方向就是绕圈),一条给验算(欧拉本人 1748 年的级数对账)。读完你带走一个可复用的模型:乘 e^(iθ) = 旋转 θ,它一路通到 LLM 的 RoPE 位置编码。数学零基础欧拉公式复数
2026年7月18日会加减乘除就够:十个问题,手算读懂 Kimi K3 心脏里的全部数学上一篇 KDA 深读里的公式劝退你了?这篇是零基础陪读:用一块 2×2 的迷你内存和十个问题,每一步都能用小学算术手算,算完你能逐个符号读懂 KDA 的核心公式。数学LLMAttention零基础论文解读
2026年7月18日种子公式全录(上):大众正典 22 条——从 1 + 1 = 2 到 Black-Scholes,每个符号都给准数学号称有上亿条公式,但真正的"种子"很少。这篇收录两份最权威的大众榜单的并集——Ian Stewart《改变世界的 17 个方程》与 Robert Crease《伟大的方程》(Physics World 读者投票)——去重后恰好 22 条。按六幕从简单到复杂排列:数与形、变化与力、波与场、热随机与信息、相对论与量子、混沌与市场。每条给出精确公式、逐符号解释和它为什么配称"种子"。数学种子公式收藏向物理
2026年7月18日种子公式全录(下):ZFC 九条公理与 Wiedijk 百定理全枚举——数学的 DNA 与考卷数学压缩到极限是多少条公式?答案被实测过:9 条 ZFC 公理,经过 12,151 条中间定理,撑起学界公认的 100 条名定理。本篇把两层全部枚举:ZFC 九条公理逐条给出严格的一阶逻辑写法(含公理模式、弱形式等所有记号细节),Wiedijk"形式化 100 定理"清单逐条给出精确陈述。100 条中 99 条已被计算机验证,唯一悬着的是费马大定理。数学种子公式收藏向数理逻辑
2026年7月13日采样不是玄学:从 logits 到 temperature、top-k、top-p用一次 llama-cli 采样实验讲清 logits、softmax、temperature、top-k 和 top-p 的真实作用。AIAI InfraLLMSamplingllama.cppQwen数学
2026年7月10日PPL 是什么:把模型困惑度理解成平均岔路数用 Qwen2.5-7B 的 llama-perplexity 实测结果,讲清 PPL、交叉熵和量化质量评估之间的关系。AIAI InfraLLMEvaluationPerplexityllama.cppQwen数学
2026年7月10日为什么交叉熵偏偏要用 log:从模型开发者脑回路理解 PPL从模型开发者会遇到的概率连乘、数值下溢和训练优化问题出发,还原 log、ln、exp、交叉熵与 PPL 之间的动机链条。AIAI InfraLLMEvaluationPerplexityCross Entropy数学
2026年7月9日Decode 速度上限公式:为什么 4.677GB 模型、16.99 tok/s 反推约 79.5GB/s用 Qwen2.5-7B llama-bench 的真实数据,讲清 decode 为什么常被内存带宽卡住、bandwidth / model_size 怎么估理论上限,以及 79.5GB/s 这个反推数字到底代表什么。AIAI InfraLLMInferenceBenchmarkllama.cppQwen数学
2026年7月9日KV cache 那笔账:为什么 Qwen2.5-7B 在 2048 长度下大约是 117MB从人话直觉、小数字张量形状和 Qwen2.5-7B 的真实参数出发,讲清 KV cache 公式、GQA 为什么省 7 倍,以及 100 并发为什么会变成 11.7GB。AIAI InfraLLMTransformerAttentionKV CacheQwenllama.cpp数学
2026年7月8日Out 投影到底在输出什么:把多头 attention 结果重新混回 hidden state补齐 W1-Q4 attention 内部四步的最后一块:用混音台直觉、小数字矩阵乘和 Qwen2.5-7B 的真实 shape,讲清 attn_output.weight 与最终 output.weight 的区别。AIAI InfraLLMTransformerAttentionllama.cpp源码阅读数学
2026年7月7日Masked Softmax 到底在 mask 什么:把 QK 分数变成注意力权重面向初学者拆解 masked softmax:先补 softmax 的 exp、求和、归一化,再讲 causal mask 如何把未来 token 权重变 0,最后对上 GQA 下的 Q/K/V shape 和 llama.cpp attention graph。AIAI InfraLLMTransformerAttentionSoftmaxllama.cpp源码阅读数学
2026年7月7日QKV 投影到底在投什么:从 3584 维 hidden 到 28 个 Query 头、4 个 KV 头面向初学者拆解 Transformer 的 QKV 投影:从 Query/Key/Value 的角色,到矩阵乘、shape 推导、GQA、KV cache 和 llama.cpp 的 build_qkv 源码对应。AIAI InfraLLMTransformerAttentionllama.cpp源码阅读数学
2026年7月7日RoPE 为什么只是高中三角函数:把 Q/K 向量按位置旋转面向初学者拆解 RoPE:先补 cos/sin 的横向和纵向直觉,再推导二维旋转公式、128 维 head 拆分、相对位置如何进入 QK 点积,并对上 llama.cpp 的 ggml_rope_ext。AIAI InfraLLMTransformerAttentionRoPEllama.cpp源码阅读数学
2026年7月6日LoRA rank=16 数学直觉:不是更新 16 个维度,而是用 16 个方向生成完整增量从矩阵秩、外积、低秩分解和瓶颈层出发,用通俗数学解释 LoRA 里的 rank=16 到底是什么意思,为什么它能影响所有输出维度,以及为什么常在 8/16/32/64 之间取值。AILLMAI Infra论文学习LoRAPEFT数学
2026年7月4日AI Infra 数学地基(细分版):每个知识点拆到高中数学起步给数学底子一般的人的 AI Infra 数学地图:8 个板块全部拆到高中数学层级,标注难度和前置依赖,每个概念配人话解释,并用真实实验数据代入验证。AIAI InfraLLM数学思维导图学习笔记