2026年7月28日Agent 平台正在重新发明操作系统:美团 CatPaw 架构深读逐段拆解美团 CatPaw Managed Agents 的"脑手分离"架构,把每个组件映射回它的操作系统祖先:Session 恢复是进程切换,上下文压缩是虚拟内存,Sandbox Gateway 是调度器,模型路由网关是硬件抽象层。结合 ReAct、MemGPT、AIOS、Firecracker、CaMeL 等论文,解释为什么相同的资源约束必然长出相同的架构形状——以及这个类比在哪里失效。AIAgentLLM论文深读
2026年7月28日LLM 与 Agent 源码品读地图:11 层、50+ 个值得逐行读的开源项目把大模型与 Agent 开源栈拆成 11 层,每层回答"被什么稀缺资源塑形",再给出代表项目与具体的"读什么"。从 micrograd 到 vLLM,从 LangGraph 到 OpenHands,一张可以按图索骥的源码阅读地图。LLMAgentAI Infra源码阅读
2026年7月28日Scaling 没有死,它换了坐标轴:2026 年 LLM 研究与产品的五条主线推理模型、智能体、上下文工程、MoE 与稀疏注意力、扩散 LLM、世界模型……热门方向看似散乱,其实都在回答同一个问题:预训练的规模红利递减之后,去哪里找新的增长轴?这篇把它们收拢成五根杠杆——推理时算力、经验、上下文、单位成本、生成范式——并附上可核查的 arXiv 论文与开源产品索引。LLM
2026年7月28日nanoGPT config 不是参数表:一张 LLM 训练配方地图从 LLM 训练的大背景出发,系统讲解 nanoGPT config 目录里的训练、微调、评估配置,以及 batch、context、模型大小、AdamW、学习率、DDP、dtype 等参数如何在源码中生效。AIAI InfraLLMTransformer模型训练源码阅读学习笔记
2026年7月28日从 65 个字符开始:nanoGPT 的 Shakespeare 字符级语言模型数据准备用 nanoGPT 的 shakespeare_char prepare.py 串起字符到整数 id、train.bin/val.bin、meta.pkl、next-token 训练样本,以及它和 BPE/GPT-2 路线的差别。AIAI InfraLLM源码阅读学习笔记
2026年7月28日一个循环,六种填法:用伪代码把 LLM 后训练一次排黑把 SFT、奖励模型、RLHF-PPO、拒绝采样、DPO、KTO、GRPO 全部写成能逐行读懂的伪代码。你会发现它们是同一个训练循环的六种填法,区别只在三个槽位:回答谁生成、信号谁给、信号怎么变成梯度。文末给出全景对比表和三条真实流水线(InstructGPT、Llama 2、DeepSeek-R1)的组装方式。LLM
2026年7月28日读懂训练曲线:从一张 val/loss 图判断模型有没有真的变好用一张验证损失曲线拆解训练图的读法:先看坐标和指标方向,再看趋势、噪声、对照和决策,最后用 train loss、val loss、数据切分和优化过程串起因果链。AILLM学习笔记
2026年7月27日当写界面和看界面的都不再只是人:大模型时代前端的三条战线前端建立在"界面由人写、给人看"两个隐含假设上,大模型正在同时拆除它们。结合 Design2Code、Agentic Web、Generative UI 等十余篇论文,推演前端各领域与工程化的整改趋势。LLM论文深读
2026年7月27日别再问谁第一:大模型 Benchmark 榜单的正确打开方式梳理 2026 年仍值得看的大模型榜单和数据源:LMArena、HELM、LiveBench、Artificial Analysis、SEAL/HLE、SWE-bench、BFCL、OpenCompass 与 Hugging Face Open LLM Leaderboard,并给出一套按场景读榜的方法。AILLM评测
2026年7月27日涌现是真是幻?大模型"突然开窍"的本质——一场跨越四年的论文辩论为什么三位数加法这种能力会在模型变大时"突然出现"?沿着 Wei 2022 定名、Schaeffer 2023 质疑(海市蜃楼)、Du 2024 反转(损失阈值)、Michaud 量子模型、grokking 显微镜、Arora & Goyal 技能组合的论文接力,把涌现拆成一个可复用的心智模型:底层的进步几乎总是连续的,"涌现"是连续进步穿过非线性读出面时投下的阶跃阴影。AILLM论文深读
2026年7月27日最近的大模型论文,值得读的不是排行榜从 DeepSeek-R1、s1、LIMO、Qwen3、Gemini 2.5、Kimi K2、GLM-4.5 到 Kimi Linear 和 Conditional Memory,整理一条 2025-2026 年大模型论文的品读路线:能力、算力、验证器和 Agent 化如何连成一条主线。AILLMAgent
2026年7月27日一文讲透大模型格式化输出:从预训练先验到约束解码的五层保障为什么"请只输出 JSON"的哀求会失灵,而 response_format 一开就稳?沿训练到推理的完整链路拆解格式保障的五层机制:预训练给先验、后训练给服从、提示接口表达意图、约束解码给硬保证、系统校验兜底。结合 PICARD、Outlines、XGrammar、SGLang 与 Let Me Speak Freely 等论文,讲清 FSM 掩码的原理、tokenizer 错位难题、约束解码的分布扭曲代价,以及生产系统为什么五层全都要。AILLMAI InfraLLM Serving论文深读
2026年7月27日目标函数即命运:大模型为什么会长成被奖励的样子结合 next-token 预训练、RLHF、DPO、DeepSeek-R1、Goodhart 定律、reward hacking 和目标泛化失败,用通俗例子解释“目标函数即命运”:模型不会按我们的愿望成长,而会按可优化的信号成长。AILLM论文深读
2026年7月24日上下文学习像临时做贝叶斯:为什么大模型不改权重也能跟着例子走一篇从零开始的 In-Context Learning 深度讲解:模型没有更新权重,却能根据 prompt 里的几个例子临时跟上任务。一个有力解释是,它在上下文里推断当前任务是什么。LLM数学Transformer零基础
2026年7月24日大模型里更有数学味的 16 个问题:从 Grokking 到权重空间如果已经了解 embedding、attention、softmax、LoRA 和 SVD,这篇可以继续往下走:训练动力学、权重空间、内部因果、表示几何、对齐与部署里,还有哪些值得追的大模型数学问题。LLMAI 数学
2026年7月23日评测不是打榜:怎样用真实 Session 找到最便宜够用的模型系统讲解 LLM 评测和模型路由的工程原理:如何把真实 session 做成 eval case,用 rubric、LLM judge、校准集和成本表找出每类任务的最低可用模型。AILLMAI Infra评测
2026年7月23日RouteLLM 深度解读:把模型选择变成成本-质量路由问题从工程视角拆解 RouteLLM:它如何用偏好数据学习强弱模型路由,matrix factorization router、阈值、CPT/APGR 指标分别是什么意思,以及怎样接到真实 session eval 系统里。AILLMAI Infra评测论文深读
2026年7月22日一万亿个参数,没有一个是给你拧的:函数、大模型与 Claude Code 的控制面迁移史函数的控制面是参数:改参数,结果就变。大模型呢?它有上万亿个参数,但没有一个是旋钮——真正的控制面迁移到了数据、目标函数和上下文里。到了 Claude Code / Codex,控制面又搬回模型外面,变成一整个分层的驾驶舱。这篇讲清一条主线:计算史就是控制面的迁移史,每次迁移都在拿确定性换能力,然后人类立刻在新的一层重建确定性。LLMAgent
2026年7月22日穿透控制面:你写进 CLAUDE.md 的每一行,最后变成了模型内部的什么上一篇找齐了 Agent 的控制面,这一篇把 X 光打进去:指令、示例、人格设定、测试反馈,穿过 tokenizer 之后分别控制了 Transformer 内部的哪个机制?结合 induction heads、task vectors、persona vectors 三条机制学证据链,得到一个统一答案——上下文控制的从来不是模型会什么,而是在一座冻结的能力库上做"寻址":选择并组合已有的回路。LLMAgent
2026年7月22日Lilian Weng 新文深读:Scaling Law 不是物理定律,是一次高杠杆的赌注《Scaling Laws, Carefully》深度消化:为什么深度学习最著名的"定律",两篇奠基论文能得出相反的结论(Kaplan 的 0.73 vs Chinchilla 的 0.5);为什么 Chinchilla 自己也有一个求和写成平均的拟合 bug;以及当"数据无限"假设过期之后,scaling law 正在被改写成什么形状。LLM学习笔记
2026年7月22日零基础陪读 Scaling Laws:那篇深读读不动?你缺的其实只是一条直线Scaling Laws 深读的陪读篇。用正方形、身高预测、餐巾纸记账几个能手算的真问题,把幂律、log-log 直线、拟合、外推、C≈6ND 五件工具逐件装好,每件装完立刻回扣深读原文。读完再回去,0.73 vs 0.5 之争会变成一个很直观的故事。LLM数学零基础
2026年7月21日Loop 还是 Graph?这是个假问题——Agent 架构之争的真正变量,是控制流的真相放在哪里Loop 派信模型,Graph 派信代码,吵的其实是同一个坐标轴上的两个点:下一步由谁决定。用调度器理论把二元对立拆成连续谱,再看 AFlow/GPTSwarm 给出的第三条路——结构本身也可以被搜索出来。AILLMAgentAI Infra论文深读学习笔记
2026年7月20日Agent 工程七问:如何把一个随机内核,包装成能托付长任务的可靠系统状态记录、失败恢复、沙箱隔离、多轮评测、test-time compute 分配、上下文组织、速度/成本/成功率联合优化——七个问题共享同一个答案结构:把真相移到模型外面。AILLMAgentAI Infra上下文工程学习笔记
2026年7月20日为什么生成一个 token,要把权重从内存搬到计算单元旁边?从矩阵乘法、GPU 内存层级和 Transformer decode 流程解释,为什么大模型推理不能直接用显存里的权重原地计算。AIAI InfraLLMTransformer学习笔记