上下文不是平的:位置与结构如何决定一条信息对输出的干预力
同一条信息放在上下文的开头、中间、结尾,对最强模型输出的影响力可以差出几十个百分点——而且这个"位置地形"会随上下文填充率动态变形:塞满一半之后,经典的 U 形曲线塌掉,只剩结尾优势。从注意力机制的三个根本约束出发,讲清位置偏差的成因、衰减的动态过程,以及"结构"为什么本质上是在地形上打人工锚点。
Archive
同一条信息放在上下文的开头、中间、结尾,对最强模型输出的影响力可以差出几十个百分点——而且这个"位置地形"会随上下文填充率动态变形:塞满一半之后,经典的 U 形曲线塌掉,只剩结尾优势。从注意力机制的三个根本约束出发,讲清位置偏差的成因、衰减的动态过程,以及"结构"为什么本质上是在地形上打人工锚点。
MCP 2026-07-28 删掉了握手、会话和服务器反向请求,官方说这是"远程 MCP 发布以来最重要的一次改版"。但删掉的状态去哪了?结合 End-to-End Arguments(1981)、DARPA 设计哲学(1988)、Fielding 的 REST 论文(2000)逐字对照:这次改版的每一刀,四十年前的论文都写过理由——协议设计的根本问题从来不是"要不要状态",而是"状态住在哪、跟谁共命运"。
桌面应用要在本地跑长时 Agent 任务时,运行时放哪里?内嵌 Clean Runtime Kernel、独立 Local Runtime Daemon、还是前端主导派发?系统对比三条路径,拆解 Run Journal、Event Outbox、租约、启动恢复四个本地高可用机制,并论证一个反直觉的结论:先把内核做干净,进程边界就可以推迟——daemon 解决的是进程隔离,而你真正要的是生命周期解耦加可恢复性,这两样不需要独立进程也能拿到。
Codex 真读真写 · 方向/判断/技能/工具/行动。这是 Codex 深读版。今天最值得你更新判断的不是单条新闻,而是三条同时出现的系统信号:第一,推理成本还在快速下探,默认模型选择需要重做;第二,agent 的风险已经从“会不会胡说”转到“会不会跨边界行动”,权限、网络隔离和事后取证都要前移;第三,研究与评测开…
一个 Tauri 桌面应用把 codex exec 用作本地 AI 执行后端,每个任务都要冷启动整条链:Node harness、run-scoped CODEX_HOME、MCP server、进程级 hook、workspace 物化、依赖预热。慢的根因不是模型,而是三种天然生命周期不同的东西被焊死在同一个进程生命周期上。本文给出完整的成本解剖、两个容易被忽略的反模式(双重观测、per-run store 打败内容寻址缓存),以及从 batch executor 迁移到常驻 runtime 的架构路线——包括为什么"审计性应该来自事件日志而不是进程短命"。
以一份真实的 Claude Code 请求日志为标本,结合 Lost in the Middle、MemGPT、SWE-agent、Manus 与 Anthropic 的上下文工程实践,解剖一个 hello 背后数万 token 的信息环境设计。
基于本机 codex-cli 0.144.6 的 --help 实测,把 codex exec 全部参数整理成五个控制面:输入、执行者、行为配置、权限边界、输出与会话,并给出可直接复制的自动化配方。
用 scrapling 抓取并深读 Shiplight 的 AI 测试术语表:验证为什么取代编码成为新瓶颈,AI-augmented / AI-native / agentic / agent-native 四个词怎么分,"定位器是缓存"这个值得偷走的心智模型,以及怎么带着防伪眼镜读一份厂商定义的词汇表。
精读 AgentFold、IterResearch、AgentSwing、ContextBudget、Self-GC 五篇 2025.10–2026.07 的论文:为什么"记住一切"的 agent 反而答得更差?用 Pass@1 = η×ρ 这个分解式看懂 context rot 的本质,以及上下文管理如何从启发式规则一步步演化成垃圾回收、预算分配和运行时调度——操作系统内存管理史的完整重演。
search(query) -> results,看起来是 agent 工具箱里最简单的函数。结合 SWE-agent、SLIM(Lost in the Maze)、ParallelSearch、Search-R1、ZeroSearch 五篇论文,逐层解剖它的设计空间:返回什么、问什么、怎么学会用、搜索引擎本身要不要是真的——每一层都藏着能让性能翻倍或减半的决定。
Anthropic 为 Claude 5 代模型删掉了 Claude Code 超过 80% 的系统提示词,编码评测没有任何可测的下降。深读这篇官方博客:为什么"给模型写规则"是有保质期的负债,五个 Then vs Now 的转变背后是苦涩的教训在提示词层重演,以及怎么把这套经验用到你自己的 agent 上。
Codex 真读真写 · 从 source pack 重写判断。这是 Codex 深读版。今天最该更新的不是某个模型又涨了几分,而是三条主线已经开始合流:长程软件任务正在逼近可交付区间,Codex/ChatGPT Work 正把 agent 从写代码扩到知识工作,安全与治理正在从“模型会不会听话”转成“系统有没有证据…
一个只会预测下一个 token 的模型,凭什么会去调用计算器和搜索引擎?从 Toolformer 的自监督起源(一次调用能留下的唯一理由是降低未来 token 的 loss),到 RLVR 时代的工具滥用幻觉(无成本时任何 ΔP>0 都值得调用),再到 knowing-doing gap(知道该用和真的去用在残差流里是两个方向)——结合五篇论文回答:模型为什么会用工具、为什么会滥用、以及为什么"知道"不等于"做到"。
结合 AI Chains、PromptChainer、ReAct、RAG、Self-RAG、DSPy、AutoGen、MetaGPT、Reflexion、Voyager、AgentBench 和 SWE-agent,判断 AIHub 场景控制包有没有同类论文思想:没有找到完整同款,但能看到清晰的相邻研究脉络。
逐段拆解美团 CatPaw Managed Agents 的"脑手分离"架构,把每个组件映射回它的操作系统祖先:Session 恢复是进程切换,上下文压缩是虚拟内存,Sandbox Gateway 是调度器,模型路由网关是硬件抽象层。结合 ReAct、MemGPT、AIOS、Firecracker、CaMeL 等论文,解释为什么相同的资源约束必然长出相同的架构形状——以及这个类比在哪里失效。
从 MCP 入口、Tree-sitter 抽取、Hybrid LSP、graph buffer、SQLite/FTS5 和增量索引读懂 codebase-memory-mcp 的实现原理。
Codex 真读真写 · 先读方向,再读工具和行动。这是 Codex 深读版。今天最值得注意的不是某个单点榜单,而是 agent 时代的三个底层变化开始对齐:长时程任务正在有更像真实工作的 benchmark 和训练框架,open-weight 竞争从模型本身扩展到许可证与推理基础设施,企业落地则更清楚地走向“小模型…
把大模型与 Agent 开源栈拆成 11 层,每层回答"被什么稀缺资源塑形",再给出代表项目与具体的"读什么"。从 micrograd 到 vLLM,从 LangGraph 到 OpenHands,一张可以按图索骥的源码阅读地图。
推理模型、智能体、上下文工程、MoE 与稀疏注意力、扩散 LLM、世界模型……热门方向看似散乱,其实都在回答同一个问题:预训练的规模红利递减之后,去哪里找新的增长轴?这篇把它们收拢成五根杠杆——推理时算力、经验、上下文、单位成本、生成范式——并附上可核查的 arXiv 论文与开源产品索引。
从 grammar DSL、parse table 生成、C runtime、GLR stack、增量重解析和 query VM 读懂 tree-sitter 的实现原理。
从 ego-lite 的 README、官网文档和 ego-browser 源码看它的真正原理:浏览器保存登录态和任务空间,agent 只提交 JavaScript 片段,helper runtime 通过 globalThis.ego、CDP、Snapshot 和 Task Spaces 把网页变成可编程环境。
前端建立在"界面由人写、给人看"两个隐含假设上,大模型正在同时拆除它们。结合 Design2Code、Agentic Web、Generative UI 等十余篇论文,推演前端各领域与工程化的整改趋势。
从 DeepSeek-R1、s1、LIMO、Qwen3、Gemini 2.5、Kimi K2、GLM-4.5 到 Kimi Linear 和 Conditional Memory,整理一条 2025-2026 年大模型论文的品读路线:能力、算力、验证器和 Agent 化如何连成一条主线。
用一条“外部知识如何进入模型上下文”的主线,拆清向量数据库、RAG、Agent 知识库、Agent 记忆、Embedding、Retriever、Reranker、GraphRAG、BookRAG、A-RAG 等概念分别在系统里负责什么。