初中数学读懂 Attention Is All You Need：从加权平均到 Transformer
按论文原始顺序拆解 Transformer 涉及的数学：向量、矩阵乘、QKV、scaled dot-product attention、multi-head、位置编码、残差、LayerNorm、FFN、softmax、loss、学习率和复杂度，让初中数学背景也能啃读原文。
Grokking：为什么模型先死记硬背，后来突然真懂了
用作业、考试、模运算和训练曲线递归拆解 Grokking：模型为什么会先过拟合，再延迟泛化，为什么看起来像相变，以及它和大模型涌现有什么关系。
同济高数第八版上册到模型学习：25道核心题
按同济高数第八版上册主线，围绕极限、导数、Taylor、积分和微分方程设计25道原创题，题题带详细答案，并说明它们如何服务模型学习。
Codex AI Digest 深读版 · 2026-07-24
Codex 真读真写 · 24 篇原文 / 9 个渠道 / 论文、趋势、技能、工具、行动。这是 Codex 深读版。今天先更新三个判断：第一，agent 训练正在从“做 benchmark”转向“把真实 harness 带进 RL”；第二，多模态模型开始从生成内容外溢到动作预测、机器人和浏览器端运行；第三，健康、企业…
上下文学习像临时做贝叶斯：为什么大模型不改权重也能跟着例子走
一篇从零开始的 In-Context Learning 深度讲解：模型没有更新权重，却能根据 prompt 里的几个例子临时跟上任务。一个有力解释是，它在上下文里推断当前任务是什么。
大模型里更有数学味的 16 个问题：从 Grokking 到权重空间
如果已经了解 embedding、attention、softmax、LoRA 和 SVD，这篇可以继续往下走：训练动力学、权重空间、内部因果、表示几何、对齐与部署里，还有哪些值得追的大模型数学问题。
泰勒展开和大模型：小白也能懂的局部近似
从函数、斜率、导数和二次近似开始，递归拆解泰勒展开是什么，再连接到梯度下降、损失函数、二阶优化、量化和大模型训练里的局部近似思想。
RouteLLM 深度解读：把模型选择变成成本-质量路由问题
从工程视角拆解 RouteLLM：它如何用偏好数据学习强弱模型路由，matrix factorization router、阈值、CPT/APGR 指标分别是什么意思，以及怎样接到真实 session eval 系统里。
穿透控制面：你写进 CLAUDE.md 的每一行，最后变成了模型内部的什么
上一篇找齐了 Agent 的控制面，这一篇把 X 光打进去：指令、示例、人格设定、测试反馈，穿过 tokenizer 之后分别控制了 Transformer 内部的哪个机制？结合 induction heads、task vectors、persona vectors 三条机制学证据链，得到一个统一答案——上下文控制的从来不是模型会什么，而是在一座冻结的能力库上做"寻址"：选择并组合已有的回路。
Lilian Weng 新文深读：Scaling Law 不是物理定律，是一次高杠杆的赌注
《Scaling Laws, Carefully》深度消化：为什么深度学习最著名的"定律"，两篇奠基论文能得出相反的结论（Kaplan 的 0.73 vs Chinchilla 的 0.5）；为什么 Chinchilla 自己也有一个求和写成平均的拟合 bug；以及当"数据无限"假设过期之后，scaling law 正在被改写成什么形状。
Loop 还是 Graph?这是个假问题——Agent 架构之争的真正变量,是控制流的真相放在哪里
Loop 派信模型,Graph 派信代码,吵的其实是同一个坐标轴上的两个点:下一步由谁决定。用调度器理论把二元对立拆成连续谱,再看 AFlow/GPTSwarm 给出的第三条路——结构本身也可以被搜索出来。
Codex AI Digest 深读版 · 2026-07-20
Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版。我先把今天 7 个渠道的 19 篇正文压成三个判断：一是开源大模型竞争已经从“能否追上”转到“谁能稳供给、稳工作流、稳生态”；二是 agent 提效的瓶颈正从写 prompt 转向写循环、设停机条件、少拥有代码；三是下一波高杠杆数据不只…
为什么生成一个 token，要把权重从内存搬到计算单元旁边？
从矩阵乘法、GPU 内存层级和 Transformer decode 流程解释，为什么大模型推理不能直接用显存里的权重原地计算。
PPO 的训练循环:每一个部件,都是同一对矛盾的产物
从 REINFORCE 的"数据用一次就作废"出发,一步步推出 PPO 训练循环的全部部件——重要性采样比率、clip、critic、GAE、多 epoch 复用——再落到 RLHF 的四模型循环。读完你能口述一次 PPO 迭代的每个阶段,以及每个阶段为什么非存在不可。
Codex AI Digest 深读版 · 2026-07-18
Codex 真读真写 · 深读判断 / 论文雷达 / 工具 / 行动。这是 Codex 深读版。今天最值得形成的判断不是“谁又发了一个更大的模型”，而是前沿竞争正在转向效率栈、数据生产栈和 agent 运行时三条系统能力：Kimi K3 把开源前沿继续往前推，Lila 把实验室当成数据中心来制造可验证训练数据，vLL…
把注意力换成一块「会遗忘的内存」:源码级深读 Kimi K3 的心脏 KDA
Kimi K3 权重 7 月 27 日才放出,但它的核心 KDA 九个月前就完整开源了。从 arXiv 论文和 flash-linear-attention 的 kernel 源码出发,拆解这块 128×128 的矩阵内存如何撑起 2.8 万亿参数与 1M 上下文。
会加减乘除就够:十个问题,手算读懂 Kimi K3 心脏里的全部数学
上一篇 KDA 深读里的公式劝退你了?这篇是零基础陪读:用一块 2×2 的迷你内存和十个问题,每一步都能用小学算术手算,算完你能逐个符号读懂 KDA 的核心公式。
KV cache 是内存管理,上下文管理是 GC 吗?——把 LLM 推理栈当操作系统读一遍
一个常见直觉的精确化:KV cache 层确实对应操作系统内存管理——PagedAttention 就是把虚拟内存搬进显存,前缀缓存的 ref_cnt 就是字面意义的引用计数 GC;但语义层的上下文管理对应的不是 GC,而是页面置换加有损压缩。给出三问判据。
Agent 的内存管理:Claude Code 与 Codex 如何决定"忘掉什么"
深度拆解 Claude Code / Codex 的上下文淘汰策略:分层压缩管道、compaction 幸存规则、KV cache 淘汰的同构问题,以及 arXiv 论文给出的反直觉证据——简单丢弃常常不输昂贵的摘要。
Claude Code 和 Codex 还在用 RAG 吗？——代码检索为什么回到了 grep
拆解 Claude Code / Codex 的代码检索机制：为什么两家都放弃了向量索引式 RAG，改用 agentic search（grep + 模型闭环）；Fetch 工具到底是干什么的；以及 arXiv 论文链条给出的证据与边界。
Codex AI Digest 深读版 · 2026-07-17
Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版。今天读完 24 条候选、拿到 23 条正文后，最值得提前建立判断的不是又一个模型 headline，而是三条更耐久的线索：开源 MoE 正在从“更便宜”转向“更强但更贵”；科研和工业都在把 memory、planning、data pi…
设计稿出码，七年走到哪了：从 pix2code 到 Design2Code 的深度精读
精读设计稿出码方向的两篇奠基论文——2017 年 pix2code（CNN+LSTM 学「截图→DSL」）与 2024 年斯坦福 Design2Code（多模态 LLM 直接出前端代码）。不只讲模型，重点拆解一个更隐蔽的问题：这个任务到底该怎么「评好坏」，以及为什么「元素召回」和「布局」始终是最难啃的骨头。
AI 时代的思考方式：真正的分水岭是「你把哪部分思考外包了」
结合 MIT 的 EEG 实验、Nature Human Behaviour 的人机协作元分析等一手论文，论证 AI 时代思考能力的分水岭不是「用不用 AI」，而是「卸载哪一层思考」——机械层可以外包，判断与综合层不能，否则你在借「认知债」。
从 Agent 供给工程到设计即交付：三份 AI 研发规范背后的生产线逻辑
结合论文与 KaiHub、Echo Builder、设计上下文、物料渲染等实现，解读 Skills & MCP、提示词与上下文工程、D2D 如何组成公司级 AI 研发生产线。
上下文窗口里的干预权重：为什么模型更听开头、最近和当前任务
基于长上下文与多轮对话论文，拆解上下文里哪些信息最能干预模型输出、哪些信息会被有效淘汰，以及如何安排系统提示、历史、摘要和当前任务。
提示词之后：上下文工程如何接管 LLM 应用质量
从系统提示词、用户提示词、会话上下文、检索上下文、Token 窗口、幻觉抑制和提示词模板库出发，结合 arXiv 论文解释为什么 LLM 应用的核心工程对象正在从 prompt 变成 context。
Codex AI Digest 深读版 · 2026-07-15
Codex 真读真写 · 今天先读/论文/趋势/技能/工具/行动。这是 Codex 深读版，不是关键词拼装。今天最值得记录的不是单条新闻，而是三条更耐久的工程信号正在收敛：AI 工程的重心从模型本体转向 harness、loop 和 eval；代理开始需要按任务复杂度控制执行范围，而不是默认全仓审计；设备侧与本地化代…
Dense Models 到底 Dense 在哪：为什么 vLLM 先把 MRv2 默认给普通 Transformer
解释 dense model、MoE、router、expert、active parameters、hybrid model 和 MRV2，并分析为什么 vLLM 0.25.0 先让 dense models 默认走 Model Runner V2。
vLLM 0.25.0 解读：PagedAttention 退场，MRv2 接管
从 PagedAttention 论文、MRv2 默认化、Transformers backend 提速和 TLI speculative decoding，看 vLLM 0.25.0 为什么是一次执行路径收口。
vLLM 不是把外部模型包一层：它接管的是推理运行时
解释 vLLM 使用 Qwen、Llama、Gemma 或 Transformers backend 时，谁加载权重、谁驱动 forward、谁分配 KV cache，以及为什么这不是调用外部模型自己的 generate。
从提示词到工作制度：Superpowers Skill 的结构上下文哲学
结合 Superpowers 的 brainstorming、TDD、worktree、writing-skills 设计，以及 Agent Skills、Externalization、SkillsBench、Parametric Skills、HASP 等论文，解释为什么 skill 的本质不是更多 prompt，而是把 Agent 的工作上下文做成可触发、可验证、可复盘的结构。
站在 AI 的山巅：一句话 + 12 条原理，读懂从符号主义到大模型的所有设计
与其把每篇论文当孤立的知识点去背，不如握住一副望远镜。这篇把整部 AI 史压成一句话，再展开成 12 条跨时代的顶级原理——每条都配一个从"老 AI"到今天的例子和一个透镜问题。读到发懵的论文，往这 12 条上一映射，雾气就散了。
Codex AI Digest 深读版 · 2026-07-14
Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版。今天先读完 25 条原文后，我认为最值得抓住的不是某一个模型 headline，而是四条线同时变清楚了：模型正在从“单点能力”变成“路由与预算系统”，评估正在从最终分数转向过程与偏差机制，记忆与技能正在被包装成可迁移资产，agent 安…
不教，只给激励：DeepSeek-R1 如何让大模型自己"长"出推理能力
深读发表于 Nature 的 DeepSeek-R1 论文——它证明了一件反直觉的事：复杂推理不必靠人类标注的思维链一步步教，而是用对了奖励，让模型在强化学习里自己长出来。从 GRPO、规则奖励、"aha moment"到四段式流水线与蒸馏，一条主线讲透当前推理模型这一代范式。
任务能力怎样写进 LLM 权重：从一次梯度更新到预训练与对齐
沿着一条训练信号的旅程，解释 loss、gradient、AdamW 怎样改变权重，并串起预训练、SFT、RLHF、DPO、LoRA 与上下文学习。
一组权重，为什么能学会许多任务：条件化计算、梯度冲突与多任务收敛
从一个根本无解的双标签训练集出发，解释任务条件、不同激活、梯度夹角、Pareto 折中，以及怎样让一个模型可靠地同时学会 A、B 和更多任务。
从 Attention 到 PagedAttention：用 llama.cpp 跑通 Qwen2.5-7B 后，我终于看懂了 LLM 推理主线
用 BPE、Transformer、RoPE、GQA、FlashAttention、PagedAttention 等论文作纵轴，串起 Qwen2.5-7B 在 llama.cpp 上的 tokenizer、forward、KV cache、benchmark、PPL 和 sampling 实验。
Agent 能力会被内化吗：外部系统、模型训练与研发护城河
深读 Externalization、Toolformer、TInR、RISE、Agent Skills 等论文：哪些 Agent 外部系统会被模型内化，哪些不会，未来研发竞争力会迁移到哪里。
Agent 长记忆不是向量库：从记忆流到内存管理
消化 Generative Agents、Reflexion、MemGPT、Mem0 和 A-Mem：为什么 Agent 长记忆不是简单存聊天记录，而是一套写入、整理、检索、更新和评估系统。
Agent 做长任务为什么会崩：从时间跨度到失败归因
消化 Voyager、METR long tasks、TheAgentCompany、SWE-Bench Pro、Odysseys、WildClawBench 和 HORIZON：长任务能力为什么不能只看成功率。
Codex AI Digest 深读版 · 2026-07-09
Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版。今天最值得调整的判断，不是又一个模型名次变化，而是 agent 已经开始同时侵入研发生产函数和基础设施设计：上游是 Fable 写 GPU kernel、AtCoder 竞赛表现、Remote Labor Index 这类能力信号，下游…
CUDA 张量并行之后，到底有哪几种计算
用一个 X @ W 小例子讲清张量并行里的本地分片计算、Column Parallel、Row Parallel、all-gather、all-reduce、reduce-scatter，以及它们在 Transformer 里的位置。
从 FlashAttention 看懂算子融合：为什么融合、少读写了什么、又会错在哪里
用 FlashAttention 官方论文和 CUDA 源码拆解 attention fusion：从 QK、softmax、PV 的普通三段式，到 online softmax、HBM 读写减少、边界条件和 kernel 正确性风险。
KV cache 那笔账：为什么 Qwen2.5-7B 在 2048 长度下大约是 117MB
从人话直觉、小数字张量形状和 Qwen2.5-7B 的真实参数出发，讲清 KV cache 公式、GQA 为什么省 7 倍，以及 100 并发为什么会变成 11.7GB。
AgentBench 学习笔记：评测 Agent，不能只看它怎么回答
消化 AgentBench 论文：为什么 LLM Agent 需要交互环境评测，AgentBench 如何用 8 类环境测试长期推理、决策和指令遵循，以及它对 Agent eval 的启发。
Codex AI Digest 深读版 · 2026-07-08
Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版：我先抓取 source pack，再逐篇阅读原文摘录，并用 `publish-to-lei-blog` 的“质量十大思维”做了一轮审稿。今天的主线是：AI 能力正在从“模型会不会”下沉到“harness、sandbox、数据系统、推理栈…
Evoflux 学习笔记：小模型不会稳定用工具时，先别急着微调
消化 Evoflux 论文：为什么紧凑模型在 MCP 风格工具调用里容易失败，Evoflux 如何把工具调用看成可执行工作流的推理时演化修复，以及它对 Agent 系统设计的启发。
HELM 学习笔记：模型评测不是跑榜，而是建立一张能力地图
消化 HELM 论文：为什么 LLM 评测不能只看单一排行榜，HELM 如何用场景、指标和透明产物重构模型评测，以及工程团队应该如何借鉴。
IFEval 学习笔记：别只问模型聪不聪明，先测它是否真的听话
消化 IFEval 论文：为什么指令遵循需要可验证评测，IFEval 如何用 25 类可检查约束构造约 500 条样本，以及它对 prompt 和模型发布门禁的启发。
LLM-as-a-Judge 学习笔记：让模型当裁判，到底靠不靠谱
消化 MT-Bench 与 Chatbot Arena 论文：为什么开放式回答难以自动评测，LLM-as-a-Judge 如何近似人类偏好，以及 position、verbosity、self-enhancement 等偏差该如何处理。
Out 投影到底在输出什么：把多头 attention 结果重新混回 hidden state
补齐 W1-Q4 attention 内部四步的最后一块：用混音台直觉、小数字矩阵乘和 Qwen2.5-7B 的真实 shape，讲清 attn_output.weight 与最终 output.weight 的区别。
PrologMCP 学习笔记：别让大模型硬想，把演绎推理交给符号系统
消化 PrologMCP 论文：为什么 LLM 在深层演绎推理上不稳定，PrologMCP 如何把 Prolog 标准化为 MCP 工具，以及“模型做翻译、求解器做推理”的系统分工。
SWE-bench 学习笔记：代码模型评测，终于从刷题走向真实修 Bug
消化 SWE-bench 论文：为什么传统代码生成评测不足以衡量软件工程能力，SWE-bench 如何用真实 GitHub issue、仓库上下文和测试执行构造可执行评测。
Codex AI Digest 深读版 · 2026-07-07
Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版。我先读了 9 个渠道的 23 篇原文包，今天最值得你投入注意力的不是又一个模型名，而是三条更硬的信号：验证正在成为 agent 能力的新缩放轴；弱模型上的 RL 成果开始有机会迁移到更强模型；内容站点已经开始把 agent 抓取当成独立…
Masked Softmax 到底在 mask 什么：把 QK 分数变成注意力权重
面向初学者拆解 masked softmax：先补 softmax 的 exp、求和、归一化，再讲 causal mask 如何把未来 token 权重变 0，最后对上 GQA 下的 Q/K/V shape 和 llama.cpp attention graph。
QKV 投影到底在投什么：从 3584 维 hidden 到 28 个 Query 头、4 个 KV 头
面向初学者拆解 Transformer 的 QKV 投影：从 Query/Key/Value 的角色，到矩阵乘、shape 推导、GQA、KV cache 和 llama.cpp 的 build_qkv 源码对应。
RoPE 为什么只是高中三角函数：把 Q/K 向量按位置旋转
面向初学者拆解 RoPE：先补 cos/sin 的横向和纵向直觉，再推导二维旋转公式、128 维 head 拆分、相对位置如何进入 QK 点积，并对上 llama.cpp 的 ggml_rope_ext。
Codex AI Digest 深读版 · 2026-07-06
Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版：我先抓取 source pack，再逐篇阅读原文摘录后重写判断。今天最值得放进脑子的主线是：agent 不再只是“会调用工具的模型”，而是在逼工程体系补上运行时、权限、验证、成本和产品界面这几块短板。
LoRA 机制学习笔记：为什么它能把函数和技能变成大模型的可插拔补丁
从矩阵乘法、Transformer 线性层、低秩增量和 adapter 加载机制出发，解释 LoRA 如何与大模型内核协作，以及为什么 Program-as-Weights 和 Parametric Skills 都选择把能力内化成 LoRA。
LoRA rank=16 数学直觉：不是更新 16 个维度，而是用 16 个方向生成完整增量
从矩阵秩、外积、低秩分解和瓶颈层出发，用通俗数学解释 LoRA 里的 rank=16 到底是什么意思，为什么它能影响所有输出维度，以及为什么常在 8/16/32/64 之间取值。
Parametric Skills 学习笔记：把 Agent 技能从上下文说明书编译成 LoRA 参数
深入拆解 Parametric Skills：为什么文本技能会在长上下文 Agent 中失效，如何用 hypernetwork 把 SKILL.md / 轨迹经验转成 LoRA adapter，以及它和 Program-as-Weights 的关系。
本地跑通一个真实 PEFT LoRA：从环境、代码到 base/adapter/merged 输出对比
完整记录一次生产常见 LoRA 推理链路：Apple Silicon 本地环境、uv 隔离环境、Transformers + PEFT 加载 Qwen2.5-0.5B 基座和 commit message LoRA adapter，比较 base、active adapter、merged model 的输出。
Program-as-Weights 学习笔记：把一次大模型调用编译成可复用的小权重程序
深入拆解 Program-as-Weights 论文：为什么要把模糊函数编译成权重、PAW 的编译器-解释器结构、Text-to-LoRA 实现、FuzzyBench 训练方式、实验结果、工程收益和局限。
Codex AI Digest 深读版 · 2026-07-04
Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版，不是关键词卡。今天先读 26 篇候选、24 篇正文后，我的主判断是：Agent 的竞争正在从“谁回答得更好”转向“谁能被当作软件运行”。这意味着评测要看预算曲线，安全要在线监控，隐私删除要能定位到参数，工具链要补齐技能、沙箱、可恢复执行…
Codex AI Digest 深读版 · 2026-07-03
Codex 真读真写 · 论文/趋势/技能/工具/行动。基于 aibrief 当日 25 条高信号内容生成。
Codex AI Digest 深读版 · 2026-07-02
Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版，不是关键词卡。今天先读 24 篇候选、23 篇正文后，我更看重四条主线：Agent 竞争从模型能力转向反馈回路；推理架构开始重写多线程协作方式；企业真正缺的是把 AI 嵌进交付链路的人与流程；安全执行环境、技能包与网关正在成为开发者基础…
Agent Skills 与 MCP 的研究前线：从能力包到执行边界
深读 2026 年 6 月底 arXiv 上 Skill/MCP 相关论文：Skill 如何获取、调用、参数化和治理，MCP 如何从连接协议走向安全执行层。
Codex AI Digest 深读版 · 2026-06-30
Codex 真读真写 · 论文/趋势/技能/工具/行动。基于 aibrief 当日 37 条高信号内容生成。
Codex AI Digest 深读版 · 2026-06-29
Codex 真读真写 · 论文/趋势/技能/工具/行动。基于 aibrief 当日 20 条高信号内容生成。