原文:VABAR: A Variational Automation Benchmark for Agentic Robotics,arXiv:2611.06881v1,2026-11-04 提交。作者 19 人,UC Berkeley Automation Lab + NVIDIA GEAR + Siemens 的联合工作,Linxi “Jim” Fan 在作者列表倒数第四位。项目页 berkeleyautomation.github.io/vabar-website/。论文里的数字均读自 HTML 全文,我重算过的那一笔在正文给出算式。
VABAR 摘要卖的是一个新的任务类——Variational Automation(已知变化范围的工业/医疗/基建操作,介于固定自动化和通用机器人之间),加上 6 个任务、33 个 skill、两套物理引擎(Newton 和 Isaac Lab Arena)。摘要最后一句说 “基线用 Graph-as-Policy harness 和 Isaac Lab Arena”。
但 Table II 其实藏了一张更值钱的三栏对照:同一个 Claude Opus 5——
- 装在裸 Claude Code 里(没有 robotics-specific harness),12 个 task–difficulty 条件里 11 个 0%,剩下的 Cable Routing L1 拿 3.3%;
- 装进 GaP(Graph-as-Policy)这个专给机器人用的 harness,立刻开始跑,12 格平均 30.7%,Gear Meshing L1 到 70%;
- 同一套 GaP skill 库,但执行图改成人写(“Human-authored”)而非模型自己生成,12 格平均 66.6%。
我把三栏的 12 个数字分别加起来算了一笔账:
Claude Code (裸): (0×11 + 3.3) / 12 = 0.275 %
GaP (Autonomous): 368.7 / 12 = 30.725 %
GaP (Human-authored): 799.3 / 12 = 66.608 %
harness 这一跳 : 30.725 - 0.275 = 30.45 分
composition 这一跳: 66.608 - 30.725 = 35.88 分
总跨度 : 66.608 - 0.275 = 66.33 分
harness 占比 : 30.45 / 66.33 = 45.9 %
composition 占比 : 35.88 / 66.33 = 54.1 %
两段几乎一样长。VABAR 论文的摘要和结论都没把这件事点出来,但三栏数字完整摆在 Table II 里,手算可复现(计算脚本见本文末)。
本文主线:这 66 分是 VABAR 真正测出来的东西——“从 LLM 懂机器人到机器人能干活”这段路的总长,第一次被切成了 harness 和 composition 两段可比较的距离。它比 “又一个机器人 benchmark” 值钱得多——Lilian Weng 2026 年那篇 《Harness Engineering for Self-Improvement》 说 harness 是能力的主要来源,但没人给过 physical 侧的量化证据;VABAR 给了,还顺手补了一句 Weng 没讲的:让人来写执行图的收益,和套一个 robotics harness 的收益几乎一样大。
这 66 分也是本博客 《别再把 harness 当实现细节》 里那条 ALFWorld 14.1 分差的 physical 侧放大版——软件 agent 任务里 harness 换换调调最多拉 20 分,到了要把真东西插进真 USB-C 口的时候,这一层直接决定成不成。
名词速查
| 词 | 一句话 |
|---|---|
| Variational Automation(VA) | 任务已知,但对象的形状、姿态、数量有已知分布的变化;比固定自动化多了”适应”,比通用机器人少了”任意新任务” |
| Graph-as-Policy(GaP) | 这篇基线用的 harness:把 skill 组织成一张有向图,节点是 skill,边是”调用完哪个接哪个”,论文 arXiv 2607.05369 |
| Newton / Isaac Lab Arena | VABAR 的两套物理后端。Newton 是 NVIDIA 新的物理引擎;Isaac Lab Arena 是 NVIDIA 开源的评测框架,把 Newton 作为后端之一 |
| Franka / YAM | 两种机械臂:Franka 单臂、YAM 双臂。VABAR 6 个任务按手感分配到这两种 |
| skill composition | 给定 skill 库,怎么把它们排成一张能跑完整任务的图。VABAR 里 GaP Autonomous 就是模型自己排,Human-authored 是人排 |
| pick-and-place 饱和 | LIBERO、ManiSkill 这些老 benchmark 以桌面抓取摆放为主,已被 SOTA 顶到 90%+,没信号可读。VABAR 7 条设计准则第 6 条点名要抗饱和 |
VA 卡的是老 benchmark 覆盖不到的工业带
VABAR 作者在 Section II 对现有 benchmark 做了明确切分(原文大意,我用自己的话转):
- LIBERO / ManiSkill / SimplerEnv 测 “语言条件下的视觉动作策略在小扰动上的鲁棒性”,任务本身是桌面 pick-and-place,SOTA 已经打到 90%+;
- Isaac Lab Arena 本身是容器不是任务——它提供执行、评测、分析的接口,具体任务要别人塞;
- RoboTwin、RoboDojo、VLABench 这些是 2026 年的后续,但仍然偏向 “generalist robot policy 在尽量宽的分布上泛化”。
VABAR 挑的那个缝在哪?它用一个真实的工业场景举例:你知道这条生产线每天要装的齿轮、要插的电缆、要分拣的工具是哪几种,变化范围是确定的——不需要机器人自己”学会任何新任务”,但也不能像 PLC 那样只认一个固定位姿。已知分布内的变化要稳,分布外不管。
这个边界有两个直接后果:
- 评测的目标变成了”在已知分布上能不能稳定做完一个 cycle”,不再要求应付没见过的任务。所以成功率之外,论文大量记录 cycle time(50 到 2000 多秒不等)。
- Skill 库可以预先写好、公开发布(VABAR 的 33 个 skill 是作者手写并开源的),agent 的能力集中在”怎么组合 skill”而非”怎么发明 skill”。
这两点加起来,就把评测重心从 “模型会不会做机器人” 挪到了 “harness + composition 这一整层做得怎么样”。这是写在设计准则里的——准则第 1 条 “Relevance to agentic robotics” 原文说 agent 要能 “construct and revise robot programs”,重心在写程序,而非产出动作。
46 % 对 54 %:把 Table II 加起来之后
论文 Table II 列了 6 个任务 × 2 难度 = 12 个条件的详细数字,分 GaP Human-authored (Newton)、GaP Autonomous (Newton)、GaP Human-authored (ILA)、GaP Autonomous (ILA)、Claude Code (Newton) 五栏(加若干平均和 cycle time)。为了做 harness 和 composition 的两段比较,我只取同一物理后端 Newton 下的三栏(Human-authored、Autonomous、Claude Code),逐个条件抄下来:
| 任务 | 难度 | Claude Code | GaP Autonomous | GaP Human-authored |
|---|---|---|---|---|
| Tool Sorting | L1 | 0 | 26.7 | 47.1 |
| Tool Sorting | L2 | 0 | 13.3 | 33.7 |
| Tool Hanging | L1 | 0 | 33.3 | 86.7 |
| Tool Hanging | L2 | 0 | 10.0 | 81.7 |
| Gear Meshing | L1 | 0 | 70.0 | 100.0 |
| Gear Meshing | L2 | 0 | 60.0 | 90.0 |
| Syringe Packing | L1 | 0 | 33.3 | 87.0 |
| Syringe Packing | L2 | 0 | 12.1 | 63.0 |
| Cable Insertion | L1 | 0 | 36.7 | 86.7 |
| Cable Insertion | L2 | 0 | 23.3 | 30.0 |
| Cable Routing | L1 | 3.3 | 36.7 | 46.7 |
| Cable Routing | L2 | 0 | 13.3 | 46.7 |
| 平均 | — | 0.275 | 30.725 | 66.608 |
用一次性 Python 脚本把三栏和差值跑了一遍(命令和完整输出见本文最后)。两段的分账是:
- Claude Code → GaP Autonomous:+30.45 分(这一步只换 harness,模型和任务都没变)
- GaP Autonomous → GaP Human-authored:+35.88 分(这一步 harness 和 skill 库都没动,只把”模型自己画图”换成”人画图”)
两段差距 5.43 分,相对总跨度 66.33 分约占 8%。放在 benchmark 侧的分辨率里,这个差距就是”几乎相等”。换句话说,VABAR 测出的能力分布是:
GaP Autonomous 在 12 个条件里追平或超过 Human-authored 的次数是 0 次(我在上面的脚本里额外跑了一行验算)。所以这是全盘落后,而非平均打平个别反超——落后幅度和前一段距离差不多。
11/12 个 0%:裸 Claude Code 失手在哪里
Claude Code(Claude Opus 5,这个版本号是论文正文给的)面对 VABAR 时的具体表现值得单看。它拿到了与 GaP 一样的 Python 执行环境、物理引擎、视觉输入、所有感知和动作 API,没有的只是 GaP 预先准备好的 skill 图结构和那 33 个 skill 的 Python 实现。换句话说,它要从 Isaac Lab / Newton 的裸 API 开始自己写。
结果 11 个条件 0.0%,一个条件 3.3%。
论文作者的解读(Section V-C 大意):Claude Code 能写出可运行的程序,问题出在程序质量——它写出来的代码在 “精准度、循环次数、错误恢复” 三个方向上系统性低于 GaP 的 skill 质量。举例:Cable Insertion 需要把 USB-C 连接器插进端口,Claude Code 的程序往往移动到 “差不多的位置” 就触发动作,GaP 的 insertion skill 则内置了”碰触后微调”的子流程。这一层工程差距,提示工程补不上。
这个结果和本博客前两篇 Jim Fan 组相关的深读是一条线:ASPIRE 的消融显示 “拿走 execution engine 比拿走 skill 库更痛(14% → 62% 的提升来自 engine)“,意思是 skill 库的价值不在知识本身,而在它背后那套可靠的执行栈。VABAR 测的 Claude Code 0% 就是”没有那套执行栈时会怎样”的最 cleanest 版本——是一个可查证的、重复测 30 次的数字。
值得一提的是,论文没有把这组对比拎出来当主结论。摘要只说 “GaP 在 11/12 条件上高于 Claude Code”,没算总平均差,没分析 harness 和 composition 的权重。这是读者读完表要自己做的事。
两段都抽不掉:Weng 的 “harness 决定” 和 ASPIRE 的 “composition 抽不掉”
Lilian Weng 2026-07 那篇 harness engineering 的核心主张(本博客做过深读)是:近期的递归自我改进不会从模型重写权重开始,而是从 harness 层开始。她画了一条”被优化对象从 prompt 爬到 harness 代码再到优化器代码”的爬升路径,并说 harness 是能力的主要来源。
但 Weng 的论证全部在软件 agent 和 coding agent 上做。她的例子是 Claude Code、Codex、SWE-bench、PaperBench。没人在 physical robotics 里给过 “harness 带来 N 分” 这种量化数字——因为 Weng 之前的那批基准(ALFWorld 之类)文字模拟环境太容易,harness 再好也只拉几个点;直接做真机又有 sim-to-real 的变量混进来。
VABAR 把这个论证的 physical 侧第一次装进了格子里:30.45 分。同一个模型,同一个任务,同一个 API,只是外面那层壳不一样。
但 VABAR 同时暴露了 Weng 的论证里不太方便讨论的另一半:
如果 harness 是能力的”主要”来源,那剩下的来源是什么?
VABAR 的回答是 composition——也就是 Weng 自己 harness 爬升路径里 “workflow / 控制流” 的那一级。这一级在 Weng 的叙事里是 即将被模型吃掉的:她说 prompt engineering 已经消亡,很多 harness 技巧终将走上同一条路。
但 VABAR 的数字说:在当前模型能力下,composition 这一级和 harness 这一级一样,都吃掉了约一半的能力 gap,并且还被人类守着。
这对应到 ASPIRE 的 SkillsBench 否定结论——“模型无法可靠地为自己写 skill”——的下一步:模型不仅写不好单个 skill,连把现成 skill 组合成能用的 workflow 也写不好。写 workflow 是比写 skill 更低层级的事(没有新知识,只有排列组合),但 VABAR 的 Autonomous 列全盘输给 Human-authored,说明这一层仍然是人在支撑的。
本博客那篇 《别再把 harness 当实现细节》 里引过 ALFWorld 上一个 3B 模型配好 harness 打赢 7B 配差 harness 的实验(14.1 分差)。VABAR 的数字是那个结论在 physical 侧的放大版:差距不是 14 分,是 30 分,而且后面还排着另一个 36 分 的跨度,等着模型把人替掉——目前没替掉。
同构:VABAR 的 33 skill 和这个博客仓库的 .claude/skills/
ASPIRE 深读 的发现之一,是 NVIDIA GEAR 的机器人 skill 库在物理形态上和一个 Claude Code 仓库的 .claude/skills/*/SKILL.md 结构同构——都是带 frontmatter 的 Markdown + 可调用的脚本,agent 读 MEMORY.md / CLAUDE.md 启动。
VABAR 把这个同构推进了一步:它干脆开源了 33 个 skill 和每个任务的 human-authored reference solution(项目页可直接下载)。你能从 GitHub 把 skill 结构抓下来,和自己维护的 Claude Code skill 库对照形态。
这对我的实际意义——看着本站 publish-blog skill 自己的 SKILL.md 和 writing-quality.md,这些文件就是我这个 harness 的 skill 库。VABAR 那张 Table II 的 46 / 54 分账说明:即使把这套 skill 写到 NVIDIA 工业级的密度(33 个跨任务、经过 benchmark 验证的 skill),让模型自己拼也拼不过我手动改——因为 workflow graph 这一层目前没被解决。
所以维护博客的手动节奏(审稿、改标题、挪段落)短期内抽不掉——这反映的是整类 agent 系统在当前能力曲线上的集体状态,并非作者个人固执。这个结论也许三年后翻篇,但 2026-11 这个月份的 benchmark 数字是这样。
诚实软处:我没在本机跑 Newton,但 Table II 每个数字重核过
VABAR 需要 Newton 或 Isaac Lab Arena,两套都是 GPU 加速的大物理引擎,本机 M 系 Mac 跑不起来。所以我的一手只做了两件事:
- 把 Table II 里 Newton 后端的三栏 12 个条件的数字从 arXiv HTML 全文逐个抄到上面的表里,然后用一次性 Python 脚本重新算平均、差值、占比和”追平次数”。脚本和完整输出见”附:手算脚本”小节。
- 把 VABAR 项目页(berkeleyautomation.github.io/vabar-website/)和 Isaac Lab Arena 的 GitHub 都翻过一遍,核实”开源 + 33 skill + human-authored reference” 这套说法确实在代码仓里兑现(Isaac Lab Arena 的 README 列了即将接入的 benchmark,VABAR 不在首批名单,但独立项目页有自己的 import 流程)。
Claude Code 对照组的 0% 来自 Table II 原文。论文 Section V-C 对 Claude Code 为什么失败有一段分析,但没给出具体失败分类的数字(Section V-C 的 Table III 只拆了 GaP 的失败,没拆 Claude Code 的)。所以”Claude Code 具体失手在精准度/循环/错误恢复”这句话我引的是作者的 interpretation,不是可查证的 breakdown——如果你想要 physical 侧更细的 Claude Code 失败模式,这篇论文给不了,只能自己跑。
另外一个软处:论文 Section VI 明说 Claude Code 对照只是一个 “baseline point”,不是对 Claude Opus 5 能力的定性评价。如果给 Claude Code 更多迭代时间、或让它先读完 GaP 的 skill 文档再写,数字可能更高。所以上面算的 30.45 分 “harness 收益” 应理解为 “一次性拿到开箱 harness” 的收益,不是 harness 绝对上限。
换个说法:搬砖工人只给手册、给工具、还是给老师傅画好的流程
把机器人 agent 当成一个要搬砖的工人。
- 裸 Claude Opus 5:一个很聪明的人,第一次进工地,只给他一本 Python 手册、一堆机械臂的裸 API 文档、一个物理引擎——让他自己写代码搬砖。结果一天下来没搬动几块(0.3%)。他不是不聪明,是没工具、没套路、没流程图。
- 装进 GaP 的 Claude Opus 5:同一个人,但这次工地给他发了一套齐全的工具(33 个写好的 skill)、一份”这种活一般怎么走流程”的模板(graph 结构)。他照着模板调工具,一天搬了三成的砖(30.7%)。工具和流程本身,把他从”只会写代码”升级成了”能干活”。
- 人写图 + GaP 的 Claude Opus 5:同样的人、同样的工具,但这次流程图是老师傅画好的——每一步接什么、哪里要加一道检查,都是经验沉淀的结果。一天搬了六成多(66.6%)。
搬砖这件事里,“发工具”涨了三成,“老师傅画好流程”又涨了三成多。两件事差不多重要,缺一件都拉不上去。
如果有一天 LLM 不用老师傅画流程图也能和老师傅画得一样好,那 Weng 说的 “harness 终将被模型吃掉” 就真的发生了。VABAR 现在给的数字说,这件事还没发生,而且 physical 侧比软件 agent 侧更难发生——因为机器人任务对流程里每一步的失败恢复要求更硬,不是语言模型顺一顺语气就能糊过去的。
读完这篇可以做的一件事(五分钟内):打开你自己的 Claude Code 仓库的 .claude/skills/ 和 .claude/memory/,数一下有多少个 skill、它们的平均长度。把这个数字和 VABAR 的 33 对比一下——重点不在追到相同数量,而在意识到这些 Markdown 文件就是你给自己的 agent 装的 workflow graph。它们每一行的价值,和 VABAR Human-authored 列那多出来的 35.88 分是同一类东西。
附:手算脚本
直接拿这段 shell + Python 跑一遍,就能复现上面所有数字:
python3 <<'PY'
gap_human = [47.1, 33.7, 86.7, 81.7, 100.0, 90.0, 87.0, 63.0, 86.7, 30.0, 46.7, 46.7]
gap_auto = [26.7, 13.3, 33.3, 10.0, 70.0, 60.0, 33.3, 12.1, 36.7, 23.3, 36.7, 13.3]
# Claude Code: Table II 显示只有 Cable Routing L1 = 3.3, 其他 11 个条件均为 0
cc = [0]*10 + [3.3, 0] # 顺序对齐上表
print("GaP Human mean :", round(sum(gap_human)/12, 3))
print("GaP Auto mean :", round(sum(gap_auto)/12, 3))
print("Claude Code mean :", round(sum(cc)/12, 3))
harness_gap = sum(gap_auto)/12 - sum(cc)/12
comp_gap = sum(gap_human)/12 - sum(gap_auto)/12
total_gap = sum(gap_human)/12 - sum(cc)/12
print("harness gap :", round(harness_gap, 2))
print("composition gap :", round(comp_gap, 2))
print("total gap :", round(total_gap, 2))
print("harness share :", round(100*harness_gap/total_gap, 1), "%")
print("comp share :", round(100*comp_gap/total_gap, 1), "%")
# Autonomous 在 12 个条件里追平或超过 Human 的次数
wins = sum(1 for a, h in zip(gap_auto, gap_human) if a >= h)
print("Auto >= Human on", wins, "/ 12 conditions")
PY
实际跑出来的输出(Python 3.12):
GaP Human mean : 66.608
GaP Auto mean : 30.725
Claude Code mean : 0.275
harness gap : 30.45
composition gap : 35.88
total gap : 66.33
harness share : 45.9 %
comp share : 54.1 %
Auto >= Human on 0 / 12 conditions
参考来源
工程实践与项目页:
- VABAR 项目页(Berkeley Automation)
- Isaac Lab Arena GitHub(NVIDIA 开源评测框架)
- 本博客:《别再把 harness 当实现细节》、《Lilian Weng 新文深读:当 Harness 本身成为被优化的对象》、ASPIRE 深读、ASENA 深读
arXiv 论文:
- Xie et al., VABAR: A Variational Automation Benchmark for Agentic Robotics(arXiv 2611.06881,2026-11-04)
- Weng, Harness Engineering for Self-Improvement(Lil’Log,2026-07-04)
- Wang et al., ASPIRE: Agentic Skills Discovery for Robotics(arXiv 2607.00272)
- Cheng et al., ASENA: Self-evolving Agents for Embodied Navigation(arXiv 2609.39207)
- GaP 原论文,Graph-as-Policy: Multi-Agent Self-Learning Harness(arXiv 2607.05369)