摘要卖的是:成功率 +5.0 分,LLM 调用少 2.9 倍,输入 token 少 4.4 倍。
我把全文核完,认为最该被引用的数字在表 2 最后一行,摘要里一个字都没提:把 LLM 调用全部关掉、只跑编译好的例程,成功率还剩 57.5%。
ChunkAct: Action Chunking for Agentic Robotics(2610.18874v1,USC / UCF / Stony Brook,2026-10-13)做的事可以一句话说完:把 LLM Agent 每一步都要问一遍模型的那段固定流程,离线编译成一个函数,模型只在它失败时被叫回来。
我的核心判断:这篇论文的工程价值不在”分块”,而在它顺手量出了一个所有 Agent 作者都该在自己系统上量一遍的比例——24.2 次模型调用里,只有 5 次真的让机器人动了。 剩下 19 次在看和查。
下面分三部分:论文真正测出来的东西(我认为可信)、我自己重算的两笔账(缓存和崩点)、以及主表口径的一处取证(我认为 +5.0 撑不住)。全部脚本在仓库 notes/chunkact-audit/。
名词速查
| 术语 | 一句话解释 |
|---|---|
| agentic robotics | 把 LLM 放进机器人控制回路:模型不直接输出电机指令,而是调用”感知 / 移动 / 抓取”这些工具 |
| 原语(primitive) | 一个机器人技能,对模型来说就是一个可调用的函数,如”移动到某点""张开夹爪” |
| VLA | Vision-Language-Action 模型,端到端把图像+指令映射成电机指令;这里被当成一个专管”接触类”动作的原语 |
| action chunking | 机器人领域的老做法:一次推理预测一小段连续动作,而不是一步一问,用反应性换一致性和成本 |
| LIBERO-Pro / Plus | 两个桌面操作基准。Pro 改指令和初始位置,Plus 改相机、光照、背景等七个维度 |
| 带类型的退出码(typed exit) | 失败时不返回”失败了”,而返回”哪一阶段失败、为什么、现在的真实状态”,让调用方能据此决策 |
| 提示缓存(prompt caching) | 同一段前缀重复送进模型时按折扣计费的机制,见站内 APC 源码精读 |
一、它到底加了什么:一个函数,和 18 个退出码
先把论文的体量说清楚,省得被”first to introduce action chunking”的措辞唬住。
附录 B 的表 5 列出全部原语库,最后一行是 ChunkAct 的全部新增:approach,一个函数。感知、运动、VLA、记忆读写五类原语原封不动沿用自基线 Harness VLA。
附录 A 的表 4 列出这个函数的全部出口:18 个退出码,分 5 组。我按用途重排了一下:
| 组 | 几个 | 干什么 | 缺了会怎样 |
|---|---|---|---|
| Success | 3 | terminated / placed_subgoal / done_covered——其中两个其实是内部控制流,不是失败 | 模型分不清”这一段做完了”和”整个任务做完了” |
| Hand-off | 5 | 感知找不到目标、夹爪下面是别的物体、放下了但验证不了 | 模型只知道失败,不知道该重新指认还是该重做 |
| Manipulation | 7 | 抓了四次没抓住、抬起时滑落、搬运中滑落、下降时脱手…… | ”抓不住”和”抓住了但掉了”被混成一个错误,恢复策略只能靠猜 |
| Fixture | 2 | 抽屉把手没动、开关动作跑完但任务没终止 | 机构类任务的失败被当成抓取失败处理 |
| Scope | 2 | not_covered:这个子目标不在任何块的覆盖范围内,回退到原语 | 冻结的例程遇到没见过的情形会硬撞 |
所以”给 Agent 做动作分块”落到代码上,就是:把一段已经稳定的流程包成一个函数,再给它一张足够细的错误码表。 它最老的共同祖先不是 2023 年的 ACT,是子程序 + 异常处理——只不过这里的子程序是从经验里编译出来的。这和站内把过程知识编译进权重那一篇问的是同一个问题:“已经稳定下来的过程知识,该住在哪里?“那篇的答案是权重,这篇的答案是一个函数。
我认为这不是贬义。Agent 领域缺的恰恰是这种朴素工程——站内什么才是好的 Harness里那条”判断归模型、物理归代码”,这篇给了一个机器人侧的具体落法。
二、论文真正测出来的东西:24.2 次调用,只有 5 次让机器人动了
图 2 是全文我最服气的一张图:基线 Agent 的工具调用分布,动作原语 20.5%、记忆读取 31.7%、感知 44.3%(三者加起来 96.5%,剩下 3.5% 我按 finish 一类控制调用理解,论文没写)。
论文只给了百分比。乘上同篇表 2 的 24.2 次/集,绝对数更难看:
| 调用类型 | 占比(论文) | 次/集(我乘出来的) |
|---|---|---|
| 动作原语(真的动机器人) | 20.5% | 5.0 |
| 感知(看一眼) | 44.3% | 10.7 |
| 记忆读取(查一下过去怎么做) | 31.7% | 7.7 |
| 信息性调用小计 | 76.0% | 18.4 |
一次拿起放下,模型被叫起来 24 次,其中 19 次只是为了看和查。
而论文 3.1 节点破了关键的一句:信息性调用不是只付一次钱。按它的公式 (1),上下文是 c_{t+1} = c_t ⊕ (a_t, y_t),纯追加。一次感知返回的图在第 5 步进了上下文,第 6 到第 24 步每次都要重新付一遍输入费。
这就是全文的根本约束,而且可反驳:ChunkAct 之所以只能长成”离线编译 + 单次调用 + 带类型退出码”这个形状,是因为公式 (1) 的纯追加上下文让每条信息性返回被重复计费 T−s 次。 如果这个约束不存在——上下文无限长、重复部分不要钱、模型也不随长度变笨——那最优解就是回到一步一调用,因为那样反应性最好。分块纯粹是为了绕开这个约束付的代价。
三、我手算的崩点:朴素做法不是”贵一点”,是在第 27 个原语撞墙
论文把朴素做法的问题说成”成本高”。我用它自己的两个数字(24.2 次调用、2.2M 输入 token)反推了一下,发现问题比”贵”严重得多。
把公式 (2) 反解,假设初始上下文 2k token,每步追加的 (动作, 返回) 对是:
# notes/chunkact-audit/context_breakpoint.py
# N_in = T*c0 + d*T*(T-1)/2,代入 T=24.2, N_in=2.2M, c0=2000
d = (2.2e6 - 24.2*2000) / (24.2*23.2/2) # → 7665 token/步
这个 7.7k 对 c0 的假设很不敏感:c0 从 500 取到 20000,d 只在 7794 和 6113 之间动。所以”每多走一个原语,上下文就胖 7 千多 token”这个量级是稳的(图像占大头——感知调用返回的是图)。
顺着往下推最终上下文:
| 原语数 T | 最终上下文 | 全集输入 | 200k 窗口放得下吗 |
|---|---|---|---|
| 10 | 71k | 0.36M | 放得下 |
| 24(论文实测) | 178k | 2.16M | 勉强 |
| 27 | 201k | 2.74M | 撞墙 |
| 50 | 378k | 9.49M | 不行 |
| 100(论文自己的预算) | 761k | 38.1M | 不行 |
崩点清清楚楚:一步一调用的设计在第 27 个原语左右撞上 200k 上下文窗口,而论文给每集的调用预算是 100 次——那需要 761k 的最终上下文。也就是说,朴素做法在”一次拿起放下”(24.2 步)这个任务上已经贴着天花板,换成”先开抽屉再放进去”就不是贵一倍,是根本跑不完。
这比论文自己讲的成本故事有说服力。成本可以靠降价解决,窗口不行。
四、重算第二笔账:4.4× 里有多少是”没开缓存”
读到这里我起了疑心:公式 (1) 既然是纯追加,那每一次调用的前缀都和上一次完全一样——这正是提示缓存命中的充分条件。论文把”输入 token 增长是平方级”当成痛点来讲,但平方项恰恰是整张账单里最便宜的那部分。
我按”第 t 次调用的前缀 c_{t-1} 已被缓存、只有新增部分按全价计”建了个最小模型重算(脚本 table3_and_cache.py):
| 缓存折扣(命中部分按全价的百分比) | 重算后的输入省倍数 |
|---|---|
| 100%(不缓存,论文隐含口径) | 4.40× |
| 50%(OpenAI 自动缓存档) | 3.84× |
| 25% | 3.19× |
| 10%(显式缓存档) | 2.42× |
这里我得老实交代一次翻车。 我最初的判断是”开了缓存这 4.4× 要塌一半”,准备照着 2.4× 写。写之前回头确认了一次论文的 planner 是 GPT-5.6-sol 跑在 Codex 里——那一侧的自动缓存折扣是 50% 量级而不是 90%,重算只从 4.4× 掉到 3.8×。省倍数这个结论基本站得住,是我差点把账算过头。
真正被高估的是美元数。论文引言里那句”一集约 22 美元”用的是 2.2M × 10 美元/M 的全价口径(22 ÷ 2.2 = 10,内部自洽)。同样一集,按自动缓存重算:
- 全价:2.20M 计费当量 → $22
- 50% 折扣:1.19M → 约 $12
- 90% 折扣:0.38M → 约 $4
论文用来立论的那个 22 美元,大约是真实账单的两倍——它假设了一个默认就该开、而且很多 harness 默认已经开着的折扣不存在。(存疑:图像 token 是否同样享受自动缓存,我没核到一手文档,这一步我没有把握。)
五、口径取证:论文报的小数位泄露了样本量
这一节是我对这篇最硬的质疑,也是我认为摘要那个 +5.0 撑不住的理由。
论文 4.1 节写:每个”套件×扰动”组合含 10 个任务,每任务跑 10 个 seed,“每个组合聚合 800 episode”。10 × 10 = 100,不是 800;800 是 8 个组合的总数。先记下这处算术(这一点今天的雷达记录里也点到了)。
更要命的是,表 1 报出来的数字自己会说话。我注意到基线那一行的 8 个格子全是 10 的倍数:100 / 80 / 80 / 100 / 70 / 80 / 60 / 60。如果真的是 100 个 episode 的分母,8 个格子碰巧全落在 10 的倍数上,概率是 量级。
而 ChunkAct 那一行全是偶数(94 / 82 / 98 / 100 / 80 / 86 / 60 / 70),在 N=100 下的巧合概率是 ,在 N=50 下则是必然。
| 行 | 能整除出整数计数的最小分母 | 对应的实际协议 |
|---|---|---|
| Harness VLA(基线) | 10 | 每任务 1 个 seed |
| + ChunkAct(本文) | 50 | 每任务 5 个 seed |
| 论文声称 | 100 | 每任务 10 个 seed |
声称的协议和报出来的小数位对不上,而且基线和实验组很可能不是一个分母。 这是推断不是定论——我手上只有论文正文,没有日志。但同样的取证方法在表 3 上拿到了交叉验证:LIBERO-Plus 那七列全能被 2.5% 整除,推出分母 40,换算回计数是 31/30/35/38/33/35/33,合计 235/280 = 83.93%,与论文报的 83.9% 严丝合缝。方法在同一篇论文里自洽,我倾向于相信它在表 1 上的读数。
于是 +5.0 的显著性要重算(table1_denominators.py):
| 分母口径 | 两比例 z 检验 | p |
|---|---|---|
| 论文声称(双方各 800) | z = 2.56 | 0.010 |
| 小数位推出(基线 80 / 本文 400) | z = 1.09 | 0.277 |
| 双方各 80 | z = 0.81 | 0.417 |
而且还没算聚类——每格只有 10 个任务,同任务不同 seed 高度相关,有效样本量比 episode 数小得多,真实区间只会更宽。
最后一刀是逐格拆:
| 单元格 | 基线 | ChunkAct | 差 |
|---|---|---|---|
| Spat-T | 100.0 | 94.0 | −6.0 |
| Obj-T | 80.0 | 98.0 | +18.0 |
| Goal-T | 70.0 | 80.0 | +10.0 |
| L10-S | 60.0 | 70.0 | +10.0 |
| Goal-S | 80.0 | 86.0 | +6.0 |
| Spat-S | 80.0 | 82.0 | +2.0 |
| Obj-S / L10-T | 100.0 / 60.0 | 100.0 / 60.0 | 0 |
40 分的总增益里,18 分来自 Obj-T 一个格子。 如果基线在那一格是 10/10 而不是 8/10——也就是那两次失败没发生——整体差距从 +5.0 缩到 +2.5。换句话说,摘要的头条数字挂在一个单元格里的两次失败上。
对照之下,表 3 的零样本迁移(+11.0 分,七维里赢六维)证据强得多,虽然它只有 40 个 episode/维、单 seed。我认为这篇论文的卖点选错了:真正站得住的是 LIBERO-Plus 的迁移,不是 LIBERO-Pro 的 +5.0。
六、摘要跳过的那一行:关掉推理的 ChunkAct 全面压过开着推理的基线
表 2 有六行,摘要只用了前两行。把第四行(ChunkAct 关闭推理)和第一行(基线开高档推理)并排,才是真正该拿给工程负责人看的对比:
| 基线 + 高档推理 | ChunkAct + 不推理 | 差 | |
|---|---|---|---|
| 成功率 | 78.8% | 80.0% | +1.2 |
| 调用数 | 24.2 | 6.6 | 3.7× |
| 输入 token | 2.2M | 0.4M | 5.5× |
| 输出 token | 8.5k | 1.3k | 6.5× |
四个轴全赢。 成绩略高,而且不需要推理档。
再看最后一行的 57.5%——纯脚本驱动、零 LLM 调用。拿它当分母算:
- 编译好的例程独立拿到的成功:57.5 / 83.8 = 69%
- 加一个不推理的模型(只做失败恢复):+22.5 分
- 再把推理打开:只再加 3.8 分,代价是 2.85 倍输出 token
这才是这篇论文最有迁移价值的结论:在一个”Agent”里,近七成的成功其实是脚本挣来的;模型的价值几乎全部集中在失败恢复这一件事上;而”推理档”在例程编译好之后几乎不值钱。
七、论文声称”隔离”了记忆内化的收益——它没有
4.2 节有一句我不同意的话:“The two systems differ only in how memory is used… The gap therefore isolates the benefit of memory internalization.”
但 3.2 和 3.3 节讲得明明白白,ChunkAct 改了两件事:记忆从在线检索改成离线编译(针对问题❷),以及调用粒度从单原语改成整块(针对问题❶)。两个变量一起动,5.0 分(或者按上一节,2.5 分)既不能归给记忆内化,也不能归给分块。
缺的是一个 2×2:固定分块、只切换记忆读法;固定记忆读法、只切换调用粒度。这个消融不做,“隔离”就是措辞不严谨。
顺带一提,论文自己给的三组数据反而暗示粒度是主因:关掉推理后基线掉 22.8 分(78.8 → 56.0),ChunkAct 只掉 3.8 分(83.8 → 80.0)。这种抗退化更像是”决策点变少了”带来的,而不是”记忆换了个存法”。
八、什么时候不该冻结:这套做法的失效边界
分块买到便宜,卖掉的是反应性——这是机器人侧 action chunking 二十年的老权衡,论文也引了交错执行的修法(Black et al. 2026)。ChunkAct 只在失败时交还控制权,所以:
- 场景在块执行中途变了、但没触发任何一个退出码,块会一路跑完。18 个退出码就是全部的中断口,码表没覆盖的异常等于不存在。
not_covered是设计者自己的招供:冻结的例程一定会遇到没编译过的子目标,这时回退到原语,也就回退到那条会在第 27 步撞墙的老路。- 写外部系统的步骤不该进块。 机器人抓空了可以重抓,发出去的邮件不能。可逆性是分块的前提,不是细节——这条和站内断点续传里的幂等键是同一个问题。
还有一层我认为值得警惕:这个方向在逆着”苦涩的教训”走。它是把经验手工冻结成规则,而历史上这类做法反复被规模吃掉。我的看法是它这次能成立,是因为冻结的不是策略(接触动作仍交给 VLA),而是编排——而编排恰好是上下文窗口这个瓶颈的所在地。一旦窗口瓶颈被别的方式解掉,这套设计的理由也就跟着消失。
九、搬到软件 Agent 上:五分钟就能开始的第一步
打开你手上任意一条 Agent 轨迹日志,数一遍工具调用的类型分布。 算出”真正改变了外部状态的调用”占几成——这就是论文图 2 在机器人上做的事,在软件 Agent 上做一次不要钱,五分钟。如果这个比例也掉到 20% 附近,那你系统里被压缩的空间和论文一样大。
接着两件事按性价比排序:
- 把”只服务下一步工具调用”的返回值挡在上下文外面。 感知结果、目录列表、schema 查询——下一步用完就不再需要的东西,不该进模型上下文被重复计费。这和Code Mode 对照实验里实测的折叠返回是同一个动作,那篇也量出了它的风险:摘要里没有的细节,模型不会说”不知道”,会编一个。
- 把
return False换成一张错误码表。 照着表 4 的三要素写:哪一阶段失败、失败原因、以及调用方应该做什么。这是整篇论文最便宜也最通用的收获。
通俗总结:把它想成后厨的那张出餐卡
想象一家后厨,每做一道菜的每一步,服务员都要跑去问一次主厨:现在该下盐了吗?要不要翻面?
- 原来的做法:主厨每次都得听完”今天到现在发生的所有事”再回答。菜做到第 24 步,他要听的前情提要已经比菜谱还长——论文测出来的是,24 次询问里只有 5 次真的改变了锅里的东西,另外 19 次是在描述和确认。
- 这篇论文的做法:把”炒青菜”这种每次都一样的流程写成一张出餐卡贴在灶台上,学徒照卡做完,不再问。只有出岔子才喊主厨,而且喊的时候要说清”是油温不够还是菜太湿”,不能只喊一句”糊了”。
- 最值钱的发现:按卡做,十道菜里有七道根本不用惊动主厨。主厨的价值几乎全在”出岔子之后怎么补救”这一件事上——而让他”多想一会儿”(开高档推理),只多救回不到半道菜,却要多花三倍的思考时间。
- 我不信的那部分:论文说新做法比老做法多做成 5% 的菜。我按它自己报的小数位推算,老做法那一栏很可能只试了 10 道菜,新做法试了 50 道——两边用的不是同一把尺子,而且那 5% 里有一多半来自某一类菜里老做法失手的两次。
一句能复述给同事的话:在你的 Agent 里找出”每次都一样”的那段流程,把它写成一个函数,再给这个函数一张说得清”错在哪一步”的错误码表——照这篇论文的数,这一步能接住约七成的活,剩下的才值得叫模型。
下一步我自己想做的实验:在一条真实的软件 Agent 轨迹上跑那个 2×2 消融——固定粒度只改返回值折叠、固定返回值只改粒度——把论文混在一起的两个变量拆开。这个实验不需要机器人,一个有重复子流程的工具链加几十次调用就够。
参考来源
论文
- arXiv 摘要页:2610.18874v1。作者、版本与分类(cs.RO,2026-10-13)通过 arXiv API 回查核实。
- HTML 全文与附录。本文核对的表 1 / 表 2 / 表 3、图 2 的调用分布、公式 (1)(2),以及附录 A 的 18 个退出码与附录 B 的原语库。
- 相关源流:ACT(Zhao et al. 2023)提出动作分块,Voyager(Wang et al. 2023)的技能库是”把经验存成代码”的早期形态,两者都由本文引用。
我的重算脚本(仓库 notes/chunkact-audit/)
table1_denominators.py:表 1 的分母取证、逐格拆解、+5.0 的显著性重算。table3_and_cache.py:表 3 分母验证(235/280 与论文 83.9% 对齐)、提示缓存下的省倍数敏感性。context_breakpoint.py:从 (24.2 次, 2.2M token) 反解每步 7.7k 的上下文增量,推出 27 个原语的窗口崩点。
站内延伸
- 什么才是好的 Harness:判断归模型,物理归代码。本文”分块=把物理交给代码”的背景。
- Code Mode 真的有收益吗:687 次调用的对照实验。折叠返回的实测收益与风险。
- vLLM Automatic Prefix Caching 源码精读。前缀缓存为什么能在纯追加的上下文上命中。
- ASPIRE 深读:机器人技能库的交付物是一个 CLAUDE.md。被 ChunkAct 编译掉的那种”记忆”长什么样。
- Agent 的断点续传。为什么写外部系统的步骤不该被打包进块。