Reading path

AI 数学入门

从线性代数、概率统计、Attention、Grokking 到高维几何，把大模型需要的数学拆成可读路径。

60 篇文章

Start here

专题归档

第 1 / 3 页

2026/8/14

DeepSeek Harness 开源了什么：连 Agent Loop 都能拔的插件系统，和给它撑腰的一篇论文

DeepSeek 于 2026-08-13 以 MIT 协议开源 agent harness「dsh」。深读其架构（turn/step 事件模型、会话日志唯一事实源、能力接缝、profile 配置分层）与理论底座 Cordis 论文《A Programming Paradigm for Spatiotemporal Composability》：可撤销效应 + 反应式余效应 + 合流定理，把「热替换插件不炸」从工程纪律升格为数学性质。附与 SWE-agent、Claude Code、Prime Agent 的谱系对照。

AI LLM Agent

2026/8/13

Hello-Agents 720 页拆一条线：同一个循环，三次搬家

深度解读 Datawhale 开源书《Hello-Agents 从零开始构建智能体》（V1.0.3，720 页 16 章）：ReAct 循环先活在提示词里（第四章三大范式），再固化成框架代码（第七章 HelloAgents 自研框架的"万物皆为工具"），最后被 GRPO 训进模型权重（第十一章，Qwen3-0.6B 在 GSM8K 上 5%→40-50%→60-70%）——评估（第十二章）则是跨载体的账本。附全书地图、GRPO/PPO 对照、记忆评分公式与已核实的论文清单。

Agent LLM

2026/8/13

深入理解 AI Agent 拆一条线:上下文学习是检索,不是推理

深度解读李博杰《深入理解 AI Agent:设计原理与工程实践》(v1.1,307 页):一个公式(Agent = LLM + 上下文 + 工具)、一条机制假设(上下文学习≈检索而非推理),推出全书几乎所有反直觉工程结论——状态栏让弱模型准确率涨 40-54 个百分点、系统提示词里一个时间戳让 TTFT 从 0.5s 涨到 3-5s、状态栏没覆盖的维度准确率从 100% 塌到 7.6%、RLVP 用"不对称验证器"补 GRPO 的方差、多 Agent 唯一有效判据是"是否引入生成时不存在的新信息"。

Agent LLM 上下文工程

2026/8/12

SGLang 内幕：RadixAttention、超售调度与期货流水线的源码深读

基于 SGLang 主干源码 commit b20c375 逐模块解读核心实现：radix tree 怎么给 KV cache 记账、疾驰匹配为什么快 370 倍、调度器如何像航空公司一样超售显存、撤退机制怎么选牺牲者、零开销调度的"期货 token"如何让 CPU 和 GPU 不再互等、约束解码的位掩码怎么挤进流水线——把论文里的三大招式落到具体函数名上。

AI Infra LLM LLM Serving

2026/8/11

Wilson 下界和它的全家：评测分数的统计地基——分数不是数，是分布

评测报告里"5/5 全对"的 95% 置信下界只有 56.6%。以 Wilson 下界为入口，把评测分数背后的整套统计生词（置信区间、配对检验、多重比较、判分者一致性、pass@k 无偏估计、功效分析）钉成四道关卡和一张生词总表，让你以后见到这类词不再发怵。

AI LLM 评测

2026/8/8

高中数学就够了：把梯度下降手算篇的每一步拆到初高中知识点

《三个词的词表，十二个参数》的数学陪读篇。把原文用到的全部数学拆成七块积木——下标记号、乘加账单、e 和 ln、softmax、斜率、多旋钮下山、链式法则——每块只用初高中知识搭起来，配可按计算器复现的小例子，装完立刻回扣原文对应公式。结尾附逐符号拆解表和自检清单。

数学 LLM 零基础

2026/8/7

三个词的词表，十二个参数：把一次真实的梯度下降全程手算一遍

用能装进脑子的最小真实模型（3 词词表、12 个参数的 bigram 语言模型），把生产级训练的一整步走通：前向算损失、反向传播分账（从 p−y 起点到每个参数）、数值梯度检验、SGD 与 AdamW 各更新一步。每个数字都先用脚本验算过，结尾附 40 行可跑的验证脚本和自检清单。

LLM 数学零基础

2026/8/7

帕累托的两副面孔：LLM 工程里的 80/20 杠杆，和「无法白嫖」的取舍前沿

一个 1896 年的意大利经济学家，名字反复出现在 2022-2024 年的大模型论文里——但「帕累托」其实是两个不同的数学对象：重尾分布（80/20，告诉你杠杆藏在哪）和帕累托前沿（告诉你免费午餐吃完没有）。用八篇论文把两副面孔各自在 LLM 里的三次现身讲清楚：数据侧的 LIMA 与数据剪枝、注意力侧的 H2O、请求侧的路由前提；成本-质量前沿的 FrugalGPT/RouteLLM、算力分配的 Chinchilla、多目标对齐的 Rewarded Soups/Panacea。最后给一条可复用的心法：前沿的每一次外推，都始于发现一条新的重尾。

AI LLM 论文深读

2026/8/6

DeepSeek-V4-Flash 为什么这么快：三代论文对同一个分母的围剿

结合 DeepSeek-V4 技术报告（arXiv:2606.19348）与它的论文谱系（MLA→NSA→DSA→CSA/HCA），把 V4-Flash 的"快"拆成一个公式：解码速度 ≈ 带宽 ÷ 每 token 要搬的字节数。所有架构创新都是在砍这个分母的五个因子——激活参数、KV 宽度、看多少条、存多少条、每个数占几位。

LLM AI Infra 论文深读

2026/8/5

零基础读懂蒙特卡洛树搜索(MCTS):不会评估棋局的算法,怎么靠"随机乱下"称霸围棋

零基础向。不预设博弈论或强化学习背景,用三个零件拼出 MCTS:大数定律(不会评估就采样)、老虎机公式 UCB1(逐符号讲解 + 全程手算)、树上的四步循环(选择→扩展→模拟→回传)。然后看 AlphaGo 用神经网络换掉了哪两个零件,以及 LLM 时代 MCTS 为什么被 DeepSeek-R1 放弃、又被 rStar-Math 捡起。

2026/8/4

记忆的内化：Metis 把 Agent 记忆从提示词搬进前向计算

做出外挂记忆操作系统 MemOS 的 MemTensor 团队，自己发布了外挂路线的'反面'：Metis（arXiv:2607.26760），第一个把记忆做成原生能力的基础模型——记忆不再是数据库+检索+拼提示词，而是一块随对话演化的参数状态：写入靠前向计算，读取靠 memory attention，全程没有一次反向传播。本文沿论文的三轴对比（架构、优化、效率）拆它的设计，再用诚实的数字给它定位：原生记忆今天的处境，约等于 LRM 出现之前的推理。

Agent 记忆 LLM

2026/8/4

概率内核，确定性外壳：五个「可」的伪代码实践

承接《Agent 应用工程师的六层》的分水岭判断，把「可观测、可恢复、可验证、可治理、可持续进化」逐个拆成最小工程实现：每个「可」一段伪代码，共享同一个设计原则——状态放内核外面，决策穿过内核，副作用经过关卡。

Agent 工程实践评测

2026/8/2

上下文不是平的：位置与结构如何决定一条信息对输出的干预力

同一条信息放在上下文的开头、中间、结尾，对最强模型输出的影响力可以差出几十个百分点——而且这个"位置地形"会随上下文填充率动态变形：塞满一半之后，经典的 U 形曲线塌掉，只剩结尾优势。从注意力机制的三个根本约束出发，讲清位置偏差的成因、衰减的动态过程，以及"结构"为什么本质上是在地形上打人工锚点。

AI LLM 上下文工程

2026/8/2

投机解码的第二本账：长上下文把瓶颈从权重搬到了 KV Cache

从 SparseSpec-L（arXiv 2607.27735）的加速公式 S=(αk+1)/(kγ+1) 出发，算清投机解码的三变量账本：为什么 Eagle-3 这样的短上下文冠军在 60K 上下文会跌破 1×，为什么"效率反转"的判据是 α 与 γ 的赛跑，以及"可召回的淘汰"如何把 γ、α、k 三个变量同时做对。接续 Medusa 深读与 vLLM KV cache 系列。

AI AI Infra LLM Serving

2026/7/27

Medusa 深读：解码慢不是算力问题，是搬运问题

从"解码是内存带宽瓶颈"这个第一性约束出发，拆解 Medusa 的多头架构、Typical Acceptance 与 Tree Attention；再沿 Stern 2018 → Speculative Decoding → SpecInfer → Medusa → Hydra / EAGLE / DFlash 的 arXiv 系谱，看清这场"并行宽度换串行步数"的交易，以及评估任何投机解码方案的四个问题。

AI AI Infra LLM Serving

2026/7/25