CE=-∑y log pGQAKV cacheW+ΔWAx=bbeam=4embedding Ed_headPagedAttentiontr(A)decodeE[log pθ]reward rθPPL=exp(CE)log pRoPEMoEsoftmax(QKᵀ/√d)VEOSBayesn_headsblock tablehₜbatch BVar(X)advantage AₜKL(p||q)FFNθ ← θ-η∇Largmin L(θ)softmaxBOScos θtop-klim x→∞zᵢseq TGELUγaₙMLP∇θ Lrouter logitsWq≥sin θtop-pcausal mask

博客

文章千古事，得失寸心知。

全部文章

2026年7月8日

BPE 不是一个汉字一个 Token：从 Qwen tokenizer 实验看懂 token 计费

用 Qwen2.5 tokenizer 的中文、英文、代码和 emoji 实测数据，讲清为什么 token 不是字符，以及为什么 LLM 按 token 而不是字符计费。

AI AI Infra LLM

2026年7月8日

PrologMCP 学习笔记：别让大模型硬想，把演绎推理交给符号系统

消化 PrologMCP 论文：为什么 LLM 在深层演绎推理上不稳定，PrologMCP 如何把 Prolog 标准化为 MCP 工具，以及“模型做翻译、求解器做推理”的系统分工。

AI LLM Agent

2026年7月8日

SWE-bench 学习笔记：代码模型评测，终于从刷题走向真实修 Bug

消化 SWE-bench 论文：为什么传统代码生成评测不足以衡量软件工程能力，SWE-bench 如何用真实 GitHub issue、仓库上下文和测试执行构造可执行评测。

AI LLM 评测

2026年7月7日

Codex AI Digest 深读版 · 2026-07-07

Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版。我先读了 9 个渠道的 23 篇原文包，今天最值得你投入注意力的不是又一个模型名，而是三条更硬的信号：验证正在成为 agent 能力的新缩放轴；弱模型上的 RL 成果开始有机会迁移到更强模型；内容站点已经开始把 agent 抓取当成独立…

learning-log AI Digest Codex

2026年7月7日

Masked Softmax 到底在 mask 什么：把 QK 分数变成注意力权重

面向初学者拆解 masked softmax：先补 softmax 的 exp、求和、归一化，再讲 causal mask 如何把未来 token 权重变 0，最后对上 GQA 下的 Q/K/V shape 和 llama.cpp attention graph。

AI AI Infra LLM

2026年7月7日

QKV 投影到底在投什么：从 3584 维 hidden 到 28 个 Query 头、4 个 KV 头

面向初学者拆解 Transformer 的 QKV 投影：从 Query/Key/Value 的角色，到矩阵乘、shape 推导、GQA、KV cache 和 llama.cpp 的 build_qkv 源码对应。

AI AI Infra LLM

2026年7月7日

RoPE 为什么只是高中三角函数：把 Q/K 向量按位置旋转

面向初学者拆解 RoPE：先补 cos/sin 的横向和纵向直觉，再推导二维旋转公式、128 维 head 拆分、相对位置如何进入 QK 点积，并对上 llama.cpp 的 ggml_rope_ext。

AI AI Infra LLM

2026年7月6日

AI Infra 工程师日常工作地图：以 OpenAI 岗位为镜，明自己的学习坐标

基于 OpenAI 公开 AI Infra 相关岗位描述，按训练、推理、数据、GPU 集群、可靠性、评测发布、Agent Infra、安全和开发效率拆解 AI Infra 工程师每天实际做什么，并映射到个人学习路线。

AI AI Infra LLM

2026年7月6日

Codex AI Digest 深读版 · 2026-07-06

Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版：我先抓取 source pack，再逐篇阅读原文摘录后重写判断。今天最值得放进脑子的主线是：agent 不再只是“会调用工具的模型”，而是在逼工程体系补上运行时、权限、验证、成本和产品界面这几块短板。

learning-log AI Digest Codex

2026年7月6日

一个 token 的诞生：从 llama.cpp 主循环看懂 Prefill 和 Decode

从 llama.cpp 的命令行入口、tokenize、生成 while 循环、llama_decode、batch、n_past 和 KV cache 串起一次 LLM 推理，解释 prefill 与 decode 的代码分叉和性能差异。

AI AI Infra LLM

2026年7月6日

LoRA 机制学习笔记：为什么它能把函数和技能变成大模型的可插拔补丁

从矩阵乘法、Transformer 线性层、低秩增量和 adapter 加载机制出发，解释 LoRA 如何与大模型内核协作，以及为什么 Program-as-Weights 和 Parametric Skills 都选择把能力内化成 LoRA。

AI LLM AI Infra

2026年7月6日

LoRA rank=16 数学直觉：不是更新 16 个维度，而是用 16 个方向生成完整增量

从矩阵秩、外积、低秩分解和瓶颈层出发，用通俗数学解释 LoRA 里的 rank=16 到底是什么意思，为什么它能影响所有输出维度，以及为什么常在 8/16/32/64 之间取值。

AI LLM AI Infra

2026年7月6日

计算图不是在算，而是在排活：从伪代码到 ggml 看懂 llama.cpp 的 Qwen2 forward

用一段极简伪代码解释计算图，再拆开 ggml_tensor、ggml_cgraph 和 llama.cpp 的 Qwen2 graph builder，看懂一次 forward 如何从 logits 反向追出完整执行图。

AI AI Infra LLM

2026年7月6日

Parametric Skills 学习笔记：把 Agent 技能从上下文说明书编译成 LoRA 参数

深入拆解 Parametric Skills：为什么文本技能会在长上下文 Agent 中失效，如何用 hypernetwork 把 SKILL.md / 轨迹经验转成 LoRA adapter，以及它和 Program-as-Weights 的关系。

AI LLM AI Infra

2026年7月6日

本地跑通一个真实 PEFT LoRA：从环境、代码到 base/adapter/merged 输出对比

完整记录一次生产常见 LoRA 推理链路：Apple Silicon 本地环境、uv 隔离环境、Transformers + PEFT 加载 Qwen2.5-0.5B 基座和 commit message LoRA adapter，比较 base、active adapter、merged model 的输出。

AI LLM AI Infra

2026年7月6日

Program-as-Weights 学习笔记：把一次大模型调用编译成可复用的小权重程序

深入拆解 Program-as-Weights 论文：为什么要把模糊函数编译成权重、PAW 的编译器-解释器结构、Text-to-LoRA 实现、FuzzyBench 训练方式、实验结果、工程收益和局限。

AI LLM AI Infra

$AI Infra 数学地基（细分版）：每个知识点拆到高中数学起步$

2026年7月4日

AI Infra 数学地基（细分版）：每个知识点拆到高中数学起步

给数学底子一般的人的 AI Infra 数学地图：8 个板块全部拆到高中数学层级，标注难度和前置依赖，每个概念配人话解释，并用真实实验数据代入验证。

AI AI Infra LLM

2026年7月4日

AI Infra 全景思维导图：一个 token 的一生要经过哪些系统

用一张思维导图梳理 AI Infrastructure 的 12 个板块：从硬件、算子编译、训练与推理引擎，到服务调度、量化、端侧和成本工程，并标注 90 天学习路线的覆盖位置。

AI AI Infra LLM

2026年7月4日

Codex AI Digest 深读版 · 2026-07-04

Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版，不是关键词卡。今天先读 26 篇候选、24 篇正文后，我的主判断是：Agent 的竞争正在从“谁回答得更好”转向“谁能被当作软件运行”。这意味着评测要看预算曲线，安全要在线监控，隐私删除要能定位到参数，工具链要补齐技能、沙箱、可恢复执行…

learning-log AI Digest Codex

2026年7月3日

Codex AI Digest 深读版 · 2026-07-03

Codex 真读真写 · 论文/趋势/技能/工具/行动。基于 aibrief 当日 25 条高信号内容生成。

learning-log AI Digest Codex

2026年7月3日

Qwen3 新手学习原理图

用一张可交互的 Canvas 学习图梳理 Qwen3 从模型概念、推理链路到部署、量化、微调和评测的完整路径。

AI LLM 学习笔记

2026年7月2日

Codex AI Digest 深读版 · 2026-07-02

Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版，不是关键词卡。今天先读 24 篇候选、23 篇正文后，我更看重四条主线：Agent 竞争从模型能力转向反馈回路；推理架构开始重写多线程协作方式；企业真正缺的是把 AI 嵌进交付链路的人与流程；安全执行环境、技能包与网关正在成为开发者基础…

learning-log AI Digest Codex

2026年6月30日

Agent Skills 与 MCP 的研究前线：从能力包到执行边界

深读 2026 年 6 月底 arXiv 上 Skill/MCP 相关论文：Skill 如何获取、调用、参数化和治理，MCP 如何从连接协议走向安全执行层。

learning-log AI Digest Agent

2026年6月30日

Codex AI Digest 深读版 · 2026-06-30

Codex 真读真写 · 论文/趋势/技能/工具/行动。基于 aibrief 当日 37 条高信号内容生成。

learning-log AI Digest Codex