2026年7月20日PPO 的训练循环:每一个部件,都是同一对矛盾的产物从 REINFORCE 的"数据用一次就作废"出发,一步步推出 PPO 训练循环的全部部件——重要性采样比率、clip、critic、GAE、多 epoch 复用——再落到 RLHF 的四模型循环。读完你能口述一次 PPO 迭代的每个阶段,以及每个阶段为什么非存在不可。LLM
2026年7月20日示范教不会的东西:为什么大模型需要强化学习零基础向。不讲任何算法、不用一个公式,只回答三个更早的问题:强化学习到底是什么?已经有预训练和微调了,为什么还需要它?它是怎么被搬到语言模型上的?读完你会拿到一张 RL 术语对照表——之后再读 RLHF、PPO、GRPO,那些词就不再是黑话。LLM
2026年7月18日短视频说"AI 一小时证明了 50 年数学悬案"——我把 OpenAI 那两份 PDF 读了,真实故事更精彩2026 年 7 月,"GPT-5.6 一小时证明循环双覆盖猜想"刷屏短视频。事实核查:事件为真,但"证明了"三个字说早了——现在的准确状态是"机器生成了一份证明,人类正在核验"。这篇先用能手画的小例子讲透这个 50 年悬案本身(圈、桥、snark),再逐页拆 OpenAI 发布的两份一手 PDF:3 页的证明走了哪四步,那份比证明更值得读的 2 页提示词里藏着哪些多代理工程设计。结尾是一张"视频说法 vs 核实结果"对照表,以及一个漂亮的对偶:费马大定理是人类已证、等机器核验;这次是机器生成、等人类核验。数学AILLM
2026年7月18日把注意力换成一块「会遗忘的内存」:源码级深读 Kimi K3 的心脏 KDAKimi K3 权重 7 月 27 日才放出,但它的核心 KDA 九个月前就完整开源了。从 arXiv 论文和 flash-linear-attention 的 kernel 源码出发,拆解这块 128×128 的矩阵内存如何撑起 2.8 万亿参数与 1M 上下文。LLMAI Infra论文深读
2026年7月18日会加减乘除就够:十个问题,手算读懂 Kimi K3 心脏里的全部数学上一篇 KDA 深读里的公式劝退你了?这篇是零基础陪读:用一块 2×2 的迷你内存和十个问题,每一步都能用小学算术手算,算完你能逐个符号读懂 KDA 的核心公式。数学LLM零基础论文深读
2026年7月18日KV cache 是内存管理,上下文管理是 GC 吗?——把 LLM 推理栈当操作系统读一遍一个常见直觉的精确化:KV cache 层确实对应操作系统内存管理——PagedAttention 就是把虚拟内存搬进显存,前缀缓存的 ref_cnt 就是字面意义的引用计数 GC;但语义层的上下文管理对应的不是 GC,而是页面置换加有损压缩。给出三问判据。AI InfraLLMvLLM论文深读
2026年7月17日Agent 的内存管理:Claude Code 与 Codex 如何决定"忘掉什么"深度拆解 Claude Code / Codex 的上下文淘汰策略:分层压缩管道、compaction 幸存规则、KV cache 淘汰的同构问题,以及 arXiv 论文给出的反直觉证据——简单丢弃常常不输昂贵的摘要。AILLM上下文工程Codex学习笔记
2026年7月17日Claude Code 和 Codex 还在用 RAG 吗?——代码检索为什么回到了 grep拆解 Claude Code / Codex 的代码检索机制:为什么两家都放弃了向量索引式 RAG,改用 agentic search(grep + 模型闭环);Fetch 工具到底是干什么的;以及 arXiv 论文链条给出的证据与边界。AILLMRAG搜索Codex学习笔记
2026年7月16日上下文窗口里的干预权重:为什么模型更听开头、最近和当前任务基于长上下文与多轮对话论文,拆解上下文里哪些信息最能干预模型输出、哪些信息会被有效淘汰,以及如何安排系统提示、历史、摘要和当前任务。learning-logLLMPrompt 工程Agent
2026年7月16日提示词之后:上下文工程如何接管 LLM 应用质量从系统提示词、用户提示词、会话上下文、检索上下文、Token 窗口、幻觉抑制和提示词模板库出发,结合 arXiv 论文解释为什么 LLM 应用的核心工程对象正在从 prompt 变成 context。AILLMPrompt 工程上下文工程RAGAI Infra
2026年7月15日AI 数学全景拆解:从研究前沿一路拆到小学算术,不跳步(完整节点版)把 AI 用到的全部数学,从最高层一层层往下拆,每个概念只连它真正的直接前置,中间绝不跳步,一直拆到小学的加减乘除。六大主干(线性代数/微积分/概率统计/优化/信息论/离散)各附主脊图与完整节点表,顶层覆盖 AI 各子领域用到的数学——并解释为什么"听不懂"几乎总是某个下层前置没补上,而不是你不行。AI 数学LLM
2026年7月15日从提示词到工作制度:Superpowers Skill 的结构上下文哲学结合 Superpowers 的 brainstorming、TDD、worktree、writing-skills 设计,以及 Agent Skills、Externalization、SkillsBench、Parametric Skills、HASP 等论文,解释为什么 skill 的本质不是更多 prompt,而是把 Agent 的工作上下文做成可触发、可验证、可复盘的结构。AILLMAgent上下文工程AI Infra
2026年7月14日站在 AI 的山巅:一句话 + 12 条原理,读懂从符号主义到大模型的所有设计与其把每篇论文当孤立的知识点去背,不如握住一副望远镜。这篇把整部 AI 史压成一句话,再展开成 12 条跨时代的顶级原理——每条都配一个从"老 AI"到今天的例子和一个透镜问题。读到发懵的论文,往这 12 条上一映射,雾气就散了。LLM
2026年7月14日把智能体当人用:Claude Agent SDK 的架构设计哲学不是功能罗列,而是深读 Claude Agent SDK 的设计思想——为什么"给智能体一台电脑"、agent loop 为什么是控制循环、上下文窗口如何成为一切设计的隐形主线、以及为什么可靠性工程发生在 harness 而不是模型里。AI InfraAgentLLM
2026年7月14日不教,只给激励:DeepSeek-R1 如何让大模型自己"长"出推理能力深读发表于 Nature 的 DeepSeek-R1 论文——它证明了一件反直觉的事:复杂推理不必靠人类标注的思维链一步步教,而是用对了奖励,让模型在强化学习里自己长出来。从 GRPO、规则奖励、"aha moment"到四段式流水线与蒸馏,一条主线讲透当前推理模型这一代范式。LLM
2026年7月14日任务能力怎样写进 LLM 权重:从一次梯度更新到预训练与对齐沿着一条训练信号的旅程,解释 loss、gradient、AdamW 怎样改变权重,并串起预训练、SFT、RLHF、DPO、LoRA 与上下文学习。AILLM模型训练学习笔记
2026年7月14日一组权重,为什么能学会许多任务:条件化计算、梯度冲突与多任务收敛从一个根本无解的双标签训练集出发,解释任务条件、不同激活、梯度夹角、Pareto 折中,以及怎样让一个模型可靠地同时学会 A、B 和更多任务。AILLM模型训练
2026年7月13日Graphify 源码深潜:从 AST 构图到 LLM 任务的上下文装配从语法树构图、跨文件消歧和图遍历查询,到 Skill、AGENTS.md、CLI 与 MCP 接入,讲清 Graphify 如何在构图期与任务运行期分配 LLM 职责。AIAgentLLMMCP源码阅读
2026年7月13日从 Attention 到 PagedAttention:用 llama.cpp 跑通 Qwen2.5-7B 后,我终于看懂了 LLM 推理主线用 BPE、Transformer、RoPE、GQA、FlashAttention、PagedAttention 等论文作纵轴,串起 Qwen2.5-7B 在 llama.cpp 上的 tokenizer、forward、KV cache、benchmark、PPL 和 sampling 实验。AIAI InfraLLMTransformerllama.cppvLLM
2026年7月13日Decode 为什么跑不到理论带宽:KV cache、activation、反量化和调度开销系统拆解 decode 实测速度低于理论带宽上限的原因:权重读取、KV cache、activation、反量化 metadata、kernel 调度和 cache miss。AIAI InfraLLM评测llama.cpp
2026年7月13日采样不是玄学:从 logits 到 temperature、top-k、top-p用一次 llama-cli 采样实验讲清 logits、softmax、temperature、top-k 和 top-p 的真实作用。AIAI InfraLLMllama.cpp数学
2026年7月10日Agent 能力会被内化吗:外部系统、模型训练与研发护城河深读 Externalization、Toolformer、TInR、RISE、Agent Skills 等论文:哪些 Agent 外部系统会被模型内化,哪些不会,未来研发竞争力会迁移到哪里。AILLMAgent工具调用学习笔记
2026年7月10日Agent 长记忆不是向量库:从记忆流到内存管理消化 Generative Agents、Reflexion、MemGPT、Mem0 和 A-Mem:为什么 Agent 长记忆不是简单存聊天记录,而是一套写入、整理、检索、更新和评估系统。AILLMAgent记忆学习笔记
2026年7月10日Agent 做长任务为什么会崩:从时间跨度到失败归因消化 Voyager、METR long tasks、TheAgentCompany、SWE-Bench Pro、Odysseys、WildClawBench 和 HORIZON:长任务能力为什么不能只看成功率。AILLMAgent评测学习笔记