一个 Agent 里有多少其实是脚本:ChunkAct 的 57.5% 比 +5.0 分重要
深读 ChunkAct(2610.18874v1):从论文自己的两个数字手算出朴素做法在第 27 个原语撞上上下文墙,重算提示缓存下 4.4× 省到哪里,并用小数位反推主表的真实样本量——+5.0 分靠的是一个单元格里的两次失败。
Archive
深读 ChunkAct(2610.18874v1):从论文自己的两个数字手算出朴素做法在第 27 个原语撞上上下文墙,重算提示缓存下 4.4× 省到哪里,并用小数位反推主表的真实样本量——+5.0 分靠的是一个单元格里的两次失败。
不估字节数,真的执行。四组对照实验、687 次模型调用、两个模型,量出 Code Mode 省的是什么、省不动的是什么,以及我自己踩进去的三个实验设计坑。
一边压缩工具编排,一边折叠工具返回。用一次自跑的字节数实验讲清两个新词的机理、目的、组合方式和边界。
当大家都说「模型层叙事结束了」,到底是哪些约束让 Harness 架构非这么长不可?用 METR 的时间视距、Dual-LLM 隔离、sandbagging 检测与特权分离这条共同祖先,把四条表面独立的战线串成一张图。
Harness Self-Evolution(arXiv:2610.18813)把一份 93 条的证据审计放进了公开仓库。我把 TSV 拖下来自己复算了一遍:没有一条主结果同时满足四条标准,最薄的是 activation——「被接受的那条更新,在打分的那几次运行里到底起没起作用」,只有 8 条给得出证据。然后我用同一把尺子量了自己的博客 harness,得分 0/4。
从 InfoQ 访谈追到 Pi 1.0 官方记录与 Armin 原文,再用 12 组进程崩溃实验和一次数据过滤实验,拆清持久执行、Code Mode 与可靠验收的边界。
从 Linear、Jira、Productboard 到 Kiro、Intent、Devin、应用生成平台和国内研发工具,比较五条 AI-Native 路线。用证据过期实验和交付耗时算账,提炼需求、执行、验收与反馈应如何贯通。
不是「加一个 AI 工程师」,而是把八个工种按「离模型多近、离用户多远」排成一条梯度。本文沿同一套「业界/论文证据 → 产品传导链 → 收敛度」方法,把 AI 时代的研发组织拆成八个决策点逐个判断,并给一张可拿去对照自己团队的岗位表。
从 Avi Chawla 的八支柱路线图出发,用上下文预算、Agent 成功率和 70B 量化显存三笔可复算的账,解释为什么学习顺序应由失败原因决定,以及如何让评测贯穿整个工程过程。
从 Google FlowAgent 的生产漏斗出发,重算过期损失与采纳口径,解释低延迟修复为何需要版本校验、意图验证和工作流设计,并用可复算的预算例子讨论何时该停止搜索。
深读 MIT 与 NVIDIA 的多模态 Agent 安全论文:核算 68.7% 的口径,发现主表与配对计数的不一致,拆解假缩放、上下文稀释与重新注入实验,解释为何单轮拒绝能力不能直接迁移到工具循环。
NVIDIA GEAR 的 ASPIRE 用 Claude Code 写机器人程序,把调试经验攒成技能库,长程任务零样本从 4% 提到 31%。但论文标题盖住了它自己的消融结论:拿走技能库不是最痛的,拿走执行轨迹才是(14%→62%)。这篇顺着「技能该存成什么」这条线,把 Voyager 到 ASPIRE 的表示切换拆开,并拿我自己的两个知识库跑了一遍论文的 Limitation 4——我的一条 skill 确实过期了。
我实际走查 Shiplight 官网、67 个文档入口、公开 Agent Skill、npm 包与 Trust Center,拆开它的 MCP 浏览器、YAML 意图层、Playwright 执行层、Action Cache、自愈、CI 归因和云端商业飞轮,并给出一条不照抄产品表面的 clean-room 自研路线。
深读 Gavel 的 glance、verdict 与 product of experts:为什么技能路由既不该挤占任务上下文,也不该完全外包给检索器;并复算索引显存与路由成本。
按 Rathnakumar Udayakumar 的《Modern AI Ecosystem – Tools》一图,逐层拆解 11 个能力层里的 82 款产品;每条给一句话定位与官方链接。附本机跑过的 46 家 GitHub star 数、5 处 org 迁移与 4 处跨层重复的观察。
AFlow 的名字里挂着 MCTS,但真读源码,它不是一棵树;它是「LLM 当搜索算子 + 数值验收当奖励 + softmax 混合选父」的三件套。本文从根本约束、崩点、代码定位到手算 selection 概率,把这套结构拆到能自己复刻的分辨率。
把 9 篇「Agent 自进化」论文挂进一架四层可回滚阶梯:L1 Skill 文档(分钟级、git diff)、L2 Skill Bank(小时级、可 prune)、L3 Harness / 元进化(会话级、Pareto 归档)、L4 模型权重(不可逆)。每下一层,回滚成本 × 传导广度跳一个数量级,credit assignment 门槛也跳——L1 靠「≥2 条轨迹独立提议同一编辑」的投票几何就够(K=8 时假/真比 1:72),L4 必须靠 GiGPO 的 anchor state、LLM 语义自归因或 privileged teacher(OPSD)。附三笔 Python 手算:Trace2Skill 的投票几何、GiGPO 在不同状态空间下的 anchor 复用率、AgentEvolver 55% 步数节省背后的信号密度倍率。
GiGPO 把 GRPO 从"一整条轨迹一个 advantage"升级为"episode 组 + step 组 相加",在 ALFWorld/WebShop 上比 GRPO 高 12/9 个百分点。但它的核心机制既不是嵌套树,也不是嵌入相似度——就是 hash(str(observation))。这一切建立在一个物理假设上:多条 rollout 会撞到同一个中间状态。撞不到,方法退化。
上一篇从一次 finish_reason=length 翻车讲了静默失败。这篇把视野拉满:按评测管线把 LLM 评测的坑切成数据、生成、评分、统计、链路五层共 25 个,每个坑给症状、论文证据(带具体数字)和防线;末尾收三条跨层主线和一份评测前中后防坑清单。
Veral 跑 Kimi K2 多选评测翻车:reasoning 吃光 4096 token、content 为空、finish_reason=length,评分器抓不到答案。以这次为锚点,把 LLM 评测里的静默失败排成五层——生成层、评分层、统计层、数据层、链路层——每层给症状、根因、探测方法与 arXiv 出处。
Berkeley 那篇 BFCL v3 博客表面在讲 1000 条新多轮题目,底下真正换掉的是评测口径:从 AST 匹配一条正确轨迹,变成让代码跑进沙盒后比对对象属性。附源码定位、条数核对、四类多轮任务的判据分工,以及一处被注释掉的更严判据留下的证据。
结合 Hindsight、EviMem、RLM、MemSkill、AgeMem 与最新隐式记忆评测,拆解有效的记忆和知识获取路线,附版本冲突小实验、成本复算与落地顺序。
92% 的官方 MCP 服务器只是端点的薄壳,而写在散文里的参数约束会让 Agent 静默失败、41% 直接对用户说“没有数据”。本文给出一套封装方法:把状态、约束、判据从人脑和界面搬进 schema,按“可回滚的最小承诺单元”重切刀口,并说明新能力具体开在哪四处。
我按六轴坐标亲手造了 12 条电商售后样本和三代判据,让 5 个不理解业务的确定性作弊脚本去跑:第一版判据被拿到 9/12(75%),12 条样本全部被攻破,加固后降到 1/12。剩下那条是任务效度问题——题面漏了答案,改判据无解。附可复跑代码与判据体检清单。