VABAR 深读:从裸 Claude Code 到人写图这 66 分涨幅,harness 和 composition 几乎一人一半

VABAR(arXiv 2611.06881)把裸 Claude Opus 5、同模型装进 GaP harness、以及人写执行图三栏放进同一张表。我把 12 个 task–difficulty 条件逐个加起来重算:Claude Code 0.3% → GaP Autonomous 30.7% → GaP Human 66.6%,harness 加 30.45 分、人写图再加 35.88 分,几乎对半开。这是论文自己没点出来的那笔账——第一次有 benchmark 把 Lilian Weng 的 "harness 决定能力" 和 "composition 抽不掉" 分开量了。

原文:VABAR: A Variational Automation Benchmark for Agentic Robotics,arXiv:2611.06881v1,2026-11-04 提交。作者 19 人,UC Berkeley Automation Lab + NVIDIA GEAR + Siemens 的联合工作,Linxi “Jim” Fan 在作者列表倒数第四位。项目页 berkeleyautomation.github.io/vabar-website/。论文里的数字均读自 HTML 全文,我重算过的那一笔在正文给出算式。

VABAR 摘要卖的是一个新的任务类——Variational Automation(已知变化范围的工业/医疗/基建操作,介于固定自动化和通用机器人之间),加上 6 个任务、33 个 skill、两套物理引擎(Newton 和 Isaac Lab Arena)。摘要最后一句说 “基线用 Graph-as-Policy harness 和 Isaac Lab Arena”。

但 Table II 其实藏了一张更值钱的三栏对照:同一个 Claude Opus 5——

  1. 装在裸 Claude Code 里(没有 robotics-specific harness),12 个 task–difficulty 条件里 11 个 0%,剩下的 Cable Routing L1 拿 3.3%;
  2. 装进 GaP(Graph-as-Policy)这个专给机器人用的 harness,立刻开始跑,12 格平均 30.7%,Gear Meshing L1 到 70%;
  3. 同一套 GaP skill 库,但执行图改成人写(“Human-authored”)而非模型自己生成,12 格平均 66.6%。

我把三栏的 12 个数字分别加起来算了一笔账:

Claude Code (裸):       (0×11 + 3.3) / 12  = 0.275 %
GaP (Autonomous):       368.7 / 12         = 30.725 %
GaP (Human-authored):   799.3 / 12         = 66.608 %

harness 这一跳   : 30.725 - 0.275  = 30.45 分
composition 这一跳: 66.608 - 30.725 = 35.88 分
总跨度           : 66.608 - 0.275  = 66.33 分

harness 占比     : 30.45 / 66.33 = 45.9 %
composition 占比 : 35.88 / 66.33 = 54.1 %

两段几乎一样长。VABAR 论文的摘要和结论都没把这件事点出来,但三栏数字完整摆在 Table II 里,手算可复现(计算脚本见本文末)。

本文主线:这 66 分是 VABAR 真正测出来的东西——“从 LLM 懂机器人到机器人能干活”这段路的总长,第一次被切成了 harness 和 composition 两段可比较的距离。它比 “又一个机器人 benchmark” 值钱得多——Lilian Weng 2026 年那篇 《Harness Engineering for Self-Improvement》 说 harness 是能力的主要来源,但没人给过 physical 侧的量化证据;VABAR 给了,还顺手补了一句 Weng 没讲的:让人来写执行图的收益,和套一个 robotics harness 的收益几乎一样大。

这 66 分也是本博客 《别再把 harness 当实现细节》 里那条 ALFWorld 14.1 分差的 physical 侧放大版——软件 agent 任务里 harness 换换调调最多拉 20 分,到了要把真东西插进真 USB-C 口的时候,这一层直接决定成不成。

名词速查

词一句话
Variational Automation(VA)任务已知,但对象的形状、姿态、数量有已知分布的变化;比固定自动化多了”适应”,比通用机器人少了”任意新任务”
Graph-as-Policy(GaP)这篇基线用的 harness:把 skill 组织成一张有向图,节点是 skill,边是”调用完哪个接哪个”,论文 arXiv 2607.05369
Newton / Isaac Lab ArenaVABAR 的两套物理后端。Newton 是 NVIDIA 新的物理引擎;Isaac Lab Arena 是 NVIDIA 开源的评测框架,把 Newton 作为后端之一
Franka / YAM两种机械臂:Franka 单臂、YAM 双臂。VABAR 6 个任务按手感分配到这两种
skill composition给定 skill 库,怎么把它们排成一张能跑完整任务的图。VABAR 里 GaP Autonomous 就是模型自己排,Human-authored 是人排
pick-and-place 饱和LIBERO、ManiSkill 这些老 benchmark 以桌面抓取摆放为主,已被 SOTA 顶到 90%+,没信号可读。VABAR 7 条设计准则第 6 条点名要抗饱和

VA 卡的是老 benchmark 覆盖不到的工业带

VABAR 作者在 Section II 对现有 benchmark 做了明确切分(原文大意,我用自己的话转):

  • LIBERO / ManiSkill / SimplerEnv 测 “语言条件下的视觉动作策略在小扰动上的鲁棒性”,任务本身是桌面 pick-and-place,SOTA 已经打到 90%+;
  • Isaac Lab Arena 本身是容器不是任务——它提供执行、评测、分析的接口,具体任务要别人塞;
  • RoboTwin、RoboDojo、VLABench 这些是 2026 年的后续,但仍然偏向 “generalist robot policy 在尽量宽的分布上泛化”。

VABAR 挑的那个缝在哪?它用一个真实的工业场景举例:你知道这条生产线每天要装的齿轮、要插的电缆、要分拣的工具是哪几种,变化范围是确定的——不需要机器人自己”学会任何新任务”,但也不能像 PLC 那样只认一个固定位姿。已知分布内的变化要稳,分布外不管。

这个边界有两个直接后果:

  1. 评测的目标变成了”在已知分布上能不能稳定做完一个 cycle”,不再要求应付没见过的任务。所以成功率之外,论文大量记录 cycle time(50 到 2000 多秒不等)。
  2. Skill 库可以预先写好、公开发布(VABAR 的 33 个 skill 是作者手写并开源的),agent 的能力集中在”怎么组合 skill”而非”怎么发明 skill”。

这两点加起来,就把评测重心从 “模型会不会做机器人” 挪到了 “harness + composition 这一整层做得怎么样”。这是写在设计准则里的——准则第 1 条 “Relevance to agentic robotics” 原文说 agent 要能 “construct and revise robot programs”,重心在写程序,而非产出动作。

46 % 对 54 %:把 Table II 加起来之后

论文 Table II 列了 6 个任务 × 2 难度 = 12 个条件的详细数字,分 GaP Human-authored (Newton)、GaP Autonomous (Newton)、GaP Human-authored (ILA)、GaP Autonomous (ILA)、Claude Code (Newton) 五栏(加若干平均和 cycle time)。为了做 harness 和 composition 的两段比较,我只取同一物理后端 Newton 下的三栏(Human-authored、Autonomous、Claude Code),逐个条件抄下来:

任务难度Claude CodeGaP AutonomousGaP Human-authored
Tool SortingL1026.747.1
Tool SortingL2013.333.7
Tool HangingL1033.386.7
Tool HangingL2010.081.7
Gear MeshingL1070.0100.0
Gear MeshingL2060.090.0
Syringe PackingL1033.387.0
Syringe PackingL2012.163.0
Cable InsertionL1036.786.7
Cable InsertionL2023.330.0
Cable RoutingL13.336.746.7
Cable RoutingL2013.346.7
平均—0.27530.72566.608

用一次性 Python 脚本把三栏和差值跑了一遍(命令和完整输出见本文最后)。两段的分账是:

  • Claude Code → GaP Autonomous:+30.45 分(这一步只换 harness,模型和任务都没变)
  • GaP Autonomous → GaP Human-authored:+35.88 分(这一步 harness 和 skill 库都没动,只把”模型自己画图”换成”人画图”)

两段差距 5.43 分,相对总跨度 66.33 分约占 8%。放在 benchmark 侧的分辨率里,这个差距就是”几乎相等”。换句话说,VABAR 测出的能力分布是:

裸模型  →  30.45    harness 到位  →  35.88    人写 workflow graph\text{裸模型} \;\xrightarrow{\;30.45\;}\; \text{harness 到位} \;\xrightarrow{\;35.88\;}\; \text{人写 workflow graph}

GaP Autonomous 在 12 个条件里追平或超过 Human-authored 的次数是 0 次(我在上面的脚本里额外跑了一行验算)。所以这是全盘落后,而非平均打平个别反超——落后幅度和前一段距离差不多。

11/12 个 0%:裸 Claude Code 失手在哪里

Claude Code(Claude Opus 5,这个版本号是论文正文给的)面对 VABAR 时的具体表现值得单看。它拿到了与 GaP 一样的 Python 执行环境、物理引擎、视觉输入、所有感知和动作 API,没有的只是 GaP 预先准备好的 skill 图结构和那 33 个 skill 的 Python 实现。换句话说,它要从 Isaac Lab / Newton 的裸 API 开始自己写。

结果 11 个条件 0.0%,一个条件 3.3%。

论文作者的解读(Section V-C 大意):Claude Code 能写出可运行的程序,问题出在程序质量——它写出来的代码在 “精准度、循环次数、错误恢复” 三个方向上系统性低于 GaP 的 skill 质量。举例:Cable Insertion 需要把 USB-C 连接器插进端口,Claude Code 的程序往往移动到 “差不多的位置” 就触发动作,GaP 的 insertion skill 则内置了”碰触后微调”的子流程。这一层工程差距,提示工程补不上。

这个结果和本博客前两篇 Jim Fan 组相关的深读是一条线:ASPIRE 的消融显示 “拿走 execution engine 比拿走 skill 库更痛(14% → 62% 的提升来自 engine)“,意思是 skill 库的价值不在知识本身,而在它背后那套可靠的执行栈。VABAR 测的 Claude Code 0% 就是”没有那套执行栈时会怎样”的最 cleanest 版本——是一个可查证的、重复测 30 次的数字。

值得一提的是,论文没有把这组对比拎出来当主结论。摘要只说 “GaP 在 11/12 条件上高于 Claude Code”,没算总平均差,没分析 harness 和 composition 的权重。这是读者读完表要自己做的事。

两段都抽不掉:Weng 的 “harness 决定” 和 ASPIRE 的 “composition 抽不掉”

Lilian Weng 2026-07 那篇 harness engineering 的核心主张(本博客做过深读)是:近期的递归自我改进不会从模型重写权重开始,而是从 harness 层开始。她画了一条”被优化对象从 prompt 爬到 harness 代码再到优化器代码”的爬升路径,并说 harness 是能力的主要来源。

但 Weng 的论证全部在软件 agent 和 coding agent 上做。她的例子是 Claude Code、Codex、SWE-bench、PaperBench。没人在 physical robotics 里给过 “harness 带来 N 分” 这种量化数字——因为 Weng 之前的那批基准(ALFWorld 之类)文字模拟环境太容易,harness 再好也只拉几个点;直接做真机又有 sim-to-real 的变量混进来。

VABAR 把这个论证的 physical 侧第一次装进了格子里:30.45 分。同一个模型,同一个任务,同一个 API,只是外面那层壳不一样。

但 VABAR 同时暴露了 Weng 的论证里不太方便讨论的另一半:

如果 harness 是能力的”主要”来源,那剩下的来源是什么?

VABAR 的回答是 composition——也就是 Weng 自己 harness 爬升路径里 “workflow / 控制流” 的那一级。这一级在 Weng 的叙事里是 即将被模型吃掉的:她说 prompt engineering 已经消亡,很多 harness 技巧终将走上同一条路。

但 VABAR 的数字说:在当前模型能力下,composition 这一级和 harness 这一级一样,都吃掉了约一半的能力 gap,并且还被人类守着。

这对应到 ASPIRE 的 SkillsBench 否定结论——“模型无法可靠地为自己写 skill”——的下一步:模型不仅写不好单个 skill,连把现成 skill 组合成能用的 workflow 也写不好。写 workflow 是比写 skill 更低层级的事(没有新知识,只有排列组合),但 VABAR 的 Autonomous 列全盘输给 Human-authored,说明这一层仍然是人在支撑的。

本博客那篇 《别再把 harness 当实现细节》 里引过 ALFWorld 上一个 3B 模型配好 harness 打赢 7B 配差 harness 的实验(14.1 分差)。VABAR 的数字是那个结论在 physical 侧的放大版:差距不是 14 分,是 30 分,而且后面还排着另一个 36 分 的跨度,等着模型把人替掉——目前没替掉。

同构:VABAR 的 33 skill 和这个博客仓库的 .claude/skills/

ASPIRE 深读 的发现之一,是 NVIDIA GEAR 的机器人 skill 库在物理形态上和一个 Claude Code 仓库的 .claude/skills/*/SKILL.md 结构同构——都是带 frontmatter 的 Markdown + 可调用的脚本,agent 读 MEMORY.md / CLAUDE.md 启动。

VABAR 把这个同构推进了一步:它干脆开源了 33 个 skill 和每个任务的 human-authored reference solution(项目页可直接下载)。你能从 GitHub 把 skill 结构抓下来,和自己维护的 Claude Code skill 库对照形态。

这对我的实际意义——看着本站 publish-blog skill 自己的 SKILL.md 和 writing-quality.md,这些文件就是我这个 harness 的 skill 库。VABAR 那张 Table II 的 46 / 54 分账说明:即使把这套 skill 写到 NVIDIA 工业级的密度(33 个跨任务、经过 benchmark 验证的 skill),让模型自己拼也拼不过我手动改——因为 workflow graph 这一层目前没被解决。

所以维护博客的手动节奏(审稿、改标题、挪段落)短期内抽不掉——这反映的是整类 agent 系统在当前能力曲线上的集体状态,并非作者个人固执。这个结论也许三年后翻篇,但 2026-11 这个月份的 benchmark 数字是这样。

诚实软处:我没在本机跑 Newton,但 Table II 每个数字重核过

VABAR 需要 Newton 或 Isaac Lab Arena,两套都是 GPU 加速的大物理引擎,本机 M 系 Mac 跑不起来。所以我的一手只做了两件事:

  1. 把 Table II 里 Newton 后端的三栏 12 个条件的数字从 arXiv HTML 全文逐个抄到上面的表里,然后用一次性 Python 脚本重新算平均、差值、占比和”追平次数”。脚本和完整输出见”附:手算脚本”小节。
  2. 把 VABAR 项目页(berkeleyautomation.github.io/vabar-website/)和 Isaac Lab Arena 的 GitHub 都翻过一遍,核实”开源 + 33 skill + human-authored reference” 这套说法确实在代码仓里兑现(Isaac Lab Arena 的 README 列了即将接入的 benchmark,VABAR 不在首批名单,但独立项目页有自己的 import 流程)。

Claude Code 对照组的 0% 来自 Table II 原文。论文 Section V-C 对 Claude Code 为什么失败有一段分析,但没给出具体失败分类的数字(Section V-C 的 Table III 只拆了 GaP 的失败,没拆 Claude Code 的)。所以”Claude Code 具体失手在精准度/循环/错误恢复”这句话我引的是作者的 interpretation,不是可查证的 breakdown——如果你想要 physical 侧更细的 Claude Code 失败模式,这篇论文给不了,只能自己跑。

另外一个软处:论文 Section VI 明说 Claude Code 对照只是一个 “baseline point”,不是对 Claude Opus 5 能力的定性评价。如果给 Claude Code 更多迭代时间、或让它先读完 GaP 的 skill 文档再写,数字可能更高。所以上面算的 30.45 分 “harness 收益” 应理解为 “一次性拿到开箱 harness” 的收益,不是 harness 绝对上限。

换个说法:搬砖工人只给手册、给工具、还是给老师傅画好的流程

把机器人 agent 当成一个要搬砖的工人。

  • 裸 Claude Opus 5:一个很聪明的人,第一次进工地,只给他一本 Python 手册、一堆机械臂的裸 API 文档、一个物理引擎——让他自己写代码搬砖。结果一天下来没搬动几块(0.3%)。他不是不聪明,是没工具、没套路、没流程图。
  • 装进 GaP 的 Claude Opus 5:同一个人,但这次工地给他发了一套齐全的工具(33 个写好的 skill)、一份”这种活一般怎么走流程”的模板(graph 结构)。他照着模板调工具,一天搬了三成的砖(30.7%)。工具和流程本身,把他从”只会写代码”升级成了”能干活”。
  • 人写图 + GaP 的 Claude Opus 5:同样的人、同样的工具,但这次流程图是老师傅画好的——每一步接什么、哪里要加一道检查,都是经验沉淀的结果。一天搬了六成多(66.6%)。

搬砖这件事里,“发工具”涨了三成,“老师傅画好流程”又涨了三成多。两件事差不多重要,缺一件都拉不上去。

如果有一天 LLM 不用老师傅画流程图也能和老师傅画得一样好,那 Weng 说的 “harness 终将被模型吃掉” 就真的发生了。VABAR 现在给的数字说,这件事还没发生,而且 physical 侧比软件 agent 侧更难发生——因为机器人任务对流程里每一步的失败恢复要求更硬,不是语言模型顺一顺语气就能糊过去的。

读完这篇可以做的一件事(五分钟内):打开你自己的 Claude Code 仓库的 .claude/skills/ 和 .claude/memory/,数一下有多少个 skill、它们的平均长度。把这个数字和 VABAR 的 33 对比一下——重点不在追到相同数量,而在意识到这些 Markdown 文件就是你给自己的 agent 装的 workflow graph。它们每一行的价值,和 VABAR Human-authored 列那多出来的 35.88 分是同一类东西。

附:手算脚本

直接拿这段 shell + Python 跑一遍,就能复现上面所有数字:

python3 <<'PY'
gap_human = [47.1, 33.7, 86.7, 81.7, 100.0, 90.0, 87.0, 63.0, 86.7, 30.0, 46.7, 46.7]
gap_auto  = [26.7, 13.3, 33.3, 10.0, 70.0, 60.0, 33.3, 12.1, 36.7, 23.3, 36.7, 13.3]
# Claude Code: Table II 显示只有 Cable Routing L1 = 3.3, 其他 11 个条件均为 0
cc = [0]*10 + [3.3, 0]  # 顺序对齐上表

print("GaP Human mean   :", round(sum(gap_human)/12, 3))
print("GaP Auto  mean   :", round(sum(gap_auto)/12, 3))
print("Claude Code mean :", round(sum(cc)/12, 3))

harness_gap = sum(gap_auto)/12 - sum(cc)/12
comp_gap    = sum(gap_human)/12 - sum(gap_auto)/12
total_gap   = sum(gap_human)/12 - sum(cc)/12

print("harness gap     :", round(harness_gap, 2))
print("composition gap :", round(comp_gap, 2))
print("total gap       :", round(total_gap, 2))
print("harness share   :", round(100*harness_gap/total_gap, 1), "%")
print("comp    share   :", round(100*comp_gap/total_gap, 1), "%")

# Autonomous 在 12 个条件里追平或超过 Human 的次数
wins = sum(1 for a, h in zip(gap_auto, gap_human) if a >= h)
print("Auto >= Human on", wins, "/ 12 conditions")
PY

实际跑出来的输出(Python 3.12):

GaP Human mean   : 66.608
GaP Auto  mean   : 30.725
Claude Code mean : 0.275
harness gap     : 30.45
composition gap : 35.88
total gap       : 66.33
harness share   : 45.9 %
comp    share   : 54.1 %
Auto >= Human on 0 / 12 conditions

参考来源

工程实践与项目页:

arXiv 论文: