项目:google-research/harness2 · 论文:arXiv:2610.14224(Xu et al., 2026) · 本文读的是 commit 落地后
harness2/core/下 5,688 行 Python(wc -l实数)。这是《当 Harness 本身成为被优化的对象》的具体版——Lilian Weng 画了一条”被优化对象从 prompt 爬到 harness 代码”的爬升路径;harness² 是我见过的、在”harness 代码”这一级最认真的一份代码。认真到什么程度:它的作者在源码里花了比方法本身更多的篇幅,防止自己写的这件事变成一场自欺。
名词速查
| 词 | 一句话 |
|---|---|
| Harness | 围着 LLM 的那层外套。harness² 定义了八件可改的组件,见下文”编辑面” |
| Propose–Probe–Compose | 提议 harness 修改 → 试跑一次 → 合成最终版。本文的核心动词 |
| INV / DOM | 修改分两种视角:Invariant(工具与流程)、Domain(专业知识)。两个 proposer 看同样证据,分别只做自己那一维 |
| Rollout | 一次 agent 端到端执行,产出一条轨迹 + 一个 artifact |
| Experience / Library | 任务结束后被采纳的 harness + 一句可迁移的”教训”,按 domain 分库 |
| 编辑面(SurfaceSpec) | 规定了”你能改哪些文件、不能改哪些”的物理面 |
前置
- 看过 Lilian Weng 《Harness Engineering for Self-Improvement》,或至少同意”agent = 模型 + harness”这个分工(我在这篇里展开过);
- 知道 agent 跑一次是一段”轨迹”,harness 不改时同一个任务跑两次的差异叫 replicate variance,这是本文反复出现的词。
一句话结论
Harness² 的”递归”只在两处发生,而且两处都是显式写在 Python 里的 for 循环,不是模型自发的智能爆炸:
- 任务内 —— k 轮 Propose–Probe–Compose(
recursion.py:343的run_parallel、recursion.py:452的run_sequential); - 跨任务 —— 一层 per-domain Library 的滚动积累(
library.py:106的add/library.py:154的rebuild_index)。
整件事更像一个带了多种保护的「文件级进化算法 + 分域经验库」,不是 Schmidhuber 那种意义上的 RSI。但它把”自我改进”里最难的一步——在没有标签的开放世界里如何不自欺——用一种我之前没在同类系统里见过的克制方式解决了。
本质:为什么只能长成这样
根本约束(一句话、可反驳):harness² 的所有设计选择,都是为了在”proposer/composer 看不到 ground-truth 奖励信号”的前提下,让 LLM 当编辑器也不会把 harness 越编越像在钻评估器的空子。
反事实崩点:如果你允许 proposer 看 benchmark 分数——哪怕只看自己这次的分——整个系统会在约两三代内塌到”写一个专门给 judge 看的 harness”(Lilian Weng 文里讲的 double-layer reward hacking)。这个崩点不是我瞎猜的,是作者在 prompts.py:38 的 ANSWER_FREE 常量里直接防死的:
ANSWER_FREE = """\
# WHAT YOU DO NOT HAVE
There is no rubric, grading criteria, answer key, reference solution or score
anywhere in your context, and nothing in it should be treated as one. Do not
ask for them, do not try to work out "what the grader wants", and never write
a phrase like "the grader expects" into anything you produce. Judge only by
what the instructions ask for and by what the trajectories show."""
grep 一下这个常量的拼接位点:prompts.py:707, 762, 889, 950, 1003, 1148——propose / aggregate / compose_round / experience 每一个 prompt 都被强制包进这段 + 一段 EVIDENCE_BOUNDARY。这不是风格建议,是硬约束。evaluator 坐在循环外(judge.py / report.py),循环内只有执行差异当信号。
共同祖先:这是经典 meta-learning「谁来优化优化器」的新一代实例化——同一族里有 ADAS、AFlow、STOP、DGM、GEPA。harness² 的位置是:接受”开放世界 + 无 verifier”这个最硬的设定,然后把方法学的大头全花在”信号保真”上。
走一遍:k=1 时一次任务里实际发生什么
┌── base1 (unmodified harness, rollout 1)
└── base2 (unmodified harness, rollout 2) <-- 共享"参考执行"
│
▼
┌───────────┴───────────┐
│ │
INV proposer DOM proposer <-- 两个视角、看同样证据
(看证据改"流程") (看证据改"专业")
│ │
rollout(inv1) rollout(dom1) <-- 各自试跑一次
│ │
└──────────┬────────────┘
▼
composer (agg1) <-- 合成最终 harness
│
rollout(agg1) <-- 决胜 artifact
│
▼
blind selector 挑一个 artifact <-- 不告诉它谁改过
│
▼
reflector 写一句可迁移的 lesson <-- 或写 NO_ENTRY
│
▼
写进 library/<domain>/<task>/ <-- 下次同域任务读得到
k=1 时上面这一轮算一次。源码里对应:k 次 base rollout + 2k 次候选 propose + 2k 次候选 rollout + k 次 compose + k 次 compose rollout + 1 次 select + 1 次 experience ≈ 4k + 5 次昂贵调用。cost 不平凡,run_parallel 的 docstring 里就白纸黑字写着 “WIDTH: 2k iid candidates from shared evidence, then k INDEPENDENT compositions”(recursion.py:357)。
六个”让 LLM 当编辑器也不会自欺”的硬设计
每一条我都带源码定位,因为这些是整篇代码里真正只有读了才看得到的东西——论文摘要和 README 里都没有。
1. 证据以文件而非 prompt 送达
context.py 开头 docstring 直接把这件事定成架构(context.py:15-27):
context/task.md the task as the agent received it
context/rollouts/<label>.md full trajectory -- no prompt-budget truncation
context/deliverables/<label>.md the artifact, via the judge's own extractor
context/harness/<rel> the c1..c8 tree being edited
context/library/INDEX.md earlier tasks in this domain + their full harnesses
context/pool/<label>/ candidate harness + its rollout
MISSION.md what to do with all of it
mission 只是一个指向 context/ 的指针,所有的证据是文件。proposer 用 claude-cli / opencode 的工具自己去 cat / grep / ls。这一招等于把窗口限制变成了”读文件的勤奋程度”问题,不是”能不能把东西塞进来”的问题。副作用是你必须明确告诉它别去读错东西——prompts.py:461 有一句我每次读都想笑:“NEVER instruct the agent to go read skills/.../SKILL.md or sub_agents/.../AGENT.md off the filesystem — a previous harness wasted its whole run doing exactly that”。规则是从撞墙里长出来的。
2. INV / DOM 硬职责分离,不让一个 proposer 什么都想
recursion.py:368:
specs = [(f"{d.lower()}{i}", d, i) for i in range(1, k + 1) for d in ("INV", "DOM")]
k 个 INV + k 个 DOM,固定两种视角独立 sample。prompts 里对两边都说同一句话(prompts.py 的 _INV_TEMPLATE 和 _DOM_TEMPLATE 结尾各有一句):
“Do not hedge toward an average or try to cover every base — commit to the single most defensible version of your dimension. A later stage compares and merges.”
这是人工强塞的多样性保护。比起让一个 proposer 自己”想两种”,让两个 proposer 各自不许妥协 + 后面一个 composer 做合并,坍缩成同一答案的概率明显低。读到这里我想到的问题是:INV / DOM 二分够不够?代码里是不够的,但扩展成例如 INV / DOM / COST / SAFETY 的空间显然在那里(_SURFACE_OPENCODE、_SURFACE_CODEX 的组件表已经把成本/风险维度写死进 prose 里了)。
3. validation 失败 = 自然语言 retry feedback
recursion.py:180-240 的 attempt loop 是整篇代码最 agent-y 的一段:
for attempt in range(1, STAGE_ATTEMPTS + 1):
reply = prop.call(
mission + (f"\n\n# YOUR PREVIOUS ATTEMPT WAS REJECTED\n\n{err}\n\n"
f"Fix it in `context/harness/` and reply again." if err else ""),
...
)
...
rejected: list[str] = []
new = harness_tree.read_tree(surface, reply.workspace, rejected=rejected)
if rejected:
err = ("these files are off the editable surface and were not applied: "
+ ", ".join(sorted(rejected)[:6]) + ...)
continue
kept, err = _accept_tree(surface, adapter, new, fallback, label)
if err:
harness_tree.write_tree(surface, new, tree.root / "harness")
continue
两个细节值得单独说:
STAGE_ATTEMPTS = 2(recursion.py:36)——总共只给 1 次重试。作者的隐含判断:让 LLM 多试几次在成本上不划算,远不如”让错误消息更像 reviewer 评语”。- 错误消息被设计成 actionable 的英文散文(
recursion.py:219-223),不是机器可读的 code。写错路径的提议会被告诉”你写到编辑面外了”,还点名几个被拒的文件。这是把”validation 规则”喂回给模型当上下文——很多系统这里只会抛异常。
4. 选择器是盲的,而且被告知”选未改的那个也完全合法”
selection.py:71-76:
def assign_ids(labels: Sequence[str], *, task_id: str, k: int, mode: str) -> dict[str, str]:
"""anon id -> label, by canonical sort then a seeded shuffle: stable across reruns."""
seed = int(hashlib.sha1(f"{task_id}|{k}|{mode}".encode()).hexdigest()[:12], 16)
ordered = sorted(labels)
random.Random(seed).shuffle(ordered)
return {_anon_id(i): lbl for i, lbl in enumerate(ordered)}
候选编号被 shuffled,选择器只看最终 artifact 而不是 harness。然后 prompts.py:66-74 的 POOL_MIXED_SELECT:
“Some of these runs used the UNMODIFIED harness and some used adapted ones, and you are not told which is which — PICKING AN OUTPUT FROM AN UNMODIFIED HARNESS IS A COMPLETELY VALID AND EXPECTED OUTCOME.”
这切断了”更多的 edit = 更漂亮”的归纳偏置。它为什么必要?因为选择器也是个 LLM,它天然会倾向于”看起来做了更多工作的那个”。盲 + 显式反向预期 = 两重防自欺。
5. KEEP_BASE 被反复抬成一等公民
grep KEEP_BASE 在 prompts.py 里出现 11 次。核心常量在 prompts.py:333-335:
_KEEP_BASE = """\
KEEP_BASE is a real answer, not a failure. Adaptation that the evidence does not
argue for is a regression: it costs context and buys nothing."""
propose / aggregate / compose_round 的每个 prompt 都被拼进这段。它违反掉 LLM 的”必须做点什么”的默认倾向——这是上下文长而证据弱时最常见的失败模式。你可以把这条当作本篇文章读者带走的一条通用规则:任何让 LLM 迭代改配置文件的脚本,都应该在 prompt 里显式把”保持原样”抬成一等答案。
6. 写进 library 的门槛是硬的,而且允许”写不出”
library.py:43-48:
def has_experience(experience: dict | None) -> bool:
return isinstance(experience, dict) and all(
isinstance(experience.get(key), str) and experience[key].strip()
for key in ("cue", "lesson", "evidence")
)
cue / lesson / evidence 三者都必须非空,否则不进库。更关键的是 prompts.py:1143-1147 的 experience prompt 直接告诉模型:如果证据全是 confounded(多个修改同时发生、单个 rollout 无法 isolate),写 NO_ENTRY,不要写:
“A lesson resting only on
confoundedrows is a guess: narrow it to what the record does show, or decline… If the record shows no concrete, reusable execution contrast, write the single line NO_ENTRY in place of the<experience>block — the edit rows are still worth writing.”
这是我在 agent self-improvement 系统里见过最克制的一条。几乎所有同类系统宁可写”轻度推测”也要写点什么——因为它们的目标函数奖励”写出点内容”。harness² 的目标函数不奖励这个,所以它可以诚实。
两种 recursion 的本质差别
两种 mode 都是 显式 Python for 循环,k 决定循环次数。差别只在信息流:
| mode | 入口 | 一次任务的 rollout 数 | 比喻 | 适合 |
|---|---|---|---|---|
parallel (agg) | recursion.py:343 | 4k | ”一次把扇形展开 k 次独立合成” | 多路径、不确定哪条对 |
sequential (seq) | recursion.py:452 | 4k | ”k 轮串联,每轮读上一轮的 checkpoint” | 窄域、分支少、每轮都在上一轮基础上修 |
README 很诚实地没说哪种占优,因为这取决于任务。有趣的是 sequential 模式里有一句细节(recursion.py:498-508)——每一轮的 proposer 都能看到完整的历史(所有前轮的 candidates、checkpoints、rollouts),所以严格说,sequential 的信息集是单调增长的;parallel 不是。两种之间不是简单的 depth vs width,而是 信息集累积 vs 独立样本。
跨任务那层:“学习”到底是什么
每次任务完成后,blind select 挑一个 artifact,reflect_adoption(selection.py:402)启动,_distil(selection.py:454)从所有候选 + base + 对比 + 决策笔记里生成 cue / lesson / evidence / confidence。只有满足 has_experience 的才会写进 <library>/<domain>/harnesses/<task_slug>/,带着完整的 harness 树和一份 EXPERIENCE.md。
下次同域任务开始时,context.py:160-165:
if library_dir and Path(library_dir).is_dir() and any(Path(library_dir).iterdir()):
assert_no_leak_paths(library_dir, adapter.spec.leak_globs)
shutil.copytree(library_dir, dest / "library", dirs_exist_ok=True)
lib = True
是整棵树原样 copytree 进 proposer 的工作目录,不是摘要——proposer 要自己读 INDEX.md,自己决定哪条相关、哪条过时。prompts.py:323-326 还特别告诉它:“earlier task’s mapping or threshold is a hypothesis here, not a fact”,必须用当前任务的证据再验一次。
这一层不是模型变聪明了,是上下文变厚了。严格说,harness² 没有改进”任何模型的任何权重”——它改进的是”下一次同域任务开始时的初始 harness 候选集”。叫它 amortized context curation 比叫它 RSI 更准确。
独立判断:这是不是 RSI
狭义 RSI(Good/Yudkowsky):系统直接改写自己改进自己的能力。Harness² ❌。编辑器用的 LLM 没变,propose/compose 的 prompt 是定好的常量(prompts.py),编辑器自己的 harness 不参与被编辑。这里没有”编辑的编辑”。
广义 RSI(Weng 爬升路径里的 workflow / harness code 一级):✅,但只在 harness 这一级,不在”优化器代码”那一级。你能把 harness² 本身也当作目标继续优化吗?理论上能,但代码里没有这个开关——SurfaceSpec(tree.py:41)把 harness 的编辑面界死了,而 harness² 本身的组件(proposer 的 prompt、validation 规则、library 结构)不在这个面上。这是作者的刻意选择,不是遗漏:按 Weng 的论证,evaluator 和控制流必须坐在循环之外,他们选择把整个 harness² 都放在循环之外。
它真的做到了而别的系统常常做不到的:
- STaR / Self-Taught Reasoner 需要 ground-truth 验证器。
- STOP(Self-Taught Optimizer)需要 improver 自己评估自己,容易漂。
- DGM(Darwin Gödel Machine)赢在有 SWE-bench 这种单测可验证的 benchmark。
- GEPA 做 prompt-level,不触及 harness-level 的物理面。
- Harness² 是我见过最认真对待”open-world + no verifier”的一个——它直接把”没有 verifier”扛进设计里,用 replicate variance 当唯一信号。
prompts.py:593:“Variance between replicates is the signal. Where all rollouts did the same thing, the harness is already determining behavior. Where they diverged — one wrote a file the others did not, one burned its budget on retries — the harness is leaving a decision to chance.”
它有软肋:
- cost 高。k=1 时一次任务 ≈ 4k + 5 次昂贵调用。README 报告的 gain(WorkBuddy-Bench +11.5 pp、JobBench +4.5 pp、LAB partial pass +11.8 pp)在 benchmark 上确实有,但没有和”同样 budget 下让 base agent 多试几次”做公平对照。这是我希望看到的 ablation。
- library 的迁移单元只是一句英文 lesson。它靠下一次任务的 proposer 自己再解释一次——比起有结构的 skill/function,这是非常脆的 transfer。
prompts.py:1138-1142的”too generic 没用、too specific 不触发”那段话说得极漂亮,但它也在承认:这条路的质量下限由模型的 generalization 能力决定。换个弱模型就塌(Weng 文里讲的 STOP 换 GPT-3.5 退化就是这个现象)。 - experience 不区分 INV / DOM。读到
library.py的 EXPERIENCE.md 字段只有 cue / lesson / evidence / confidence 四项,没有把”这条教训属于哪一维”写进字段。所以下一次任务开始时,一条流程教训和一条专业教训在 proposer 眼里是等价的——这是我在代码里看到的、最便宜就能改的一处。
一个它没说、我觉得值得试的方向
如果 harness 是文件、library 是目录,那么不同 benchmark 的 library 应不应该互通?论文设定里库是 per-domain 的——法律任务的教训不会流向工作任务。但 INV 维度的教训(流程、工具用法、budget 管理)物种学意义上就是跨域的:一条”每次写完 deliverable 后重新打开验证一下”的规则,在法律和会计里一样成立。但当前 experience schema 没有办法让 library 的消费端认出”这条是跨域可用的”——因为 experience 字段里没有维度标签。
把 library.py 里 EXPERIENCE.md 多加一个 dimension: INV | DOM 字段,并在 proposer 的 context 里让 INV proposer 读所有域的 INV lesson、DOM proposer 只读本域 DOM lesson——是我读完整个 core/ 之后觉得代价最小、收益最可测的一处扩展。
小结:三行带走
- 根本约束:没有 ground truth 的情况下让 LLM 当编辑器 → 执行差异(replicate variance)是唯一诚实的信号 → 整个系统围绕”保护这个信号不被污染”展开。
- 崩点:把 benchmark 分数回灌给 proposer,整个系统会在 2–3 代内塌到”写一个专门给 judge 看的 harness”。所以 evaluator 必须坐在循环外,harness² 的作者选择把整个 harness² 都放外面。
- 带走:你不需要跑 harness² 本身——把
prompts.py里的ANSWER_FREE+EVIDENCE_BOUNDARY+KEEP_BASE+has_experience这四块原则,搬到任何一个让 LLM 迭代改配置文件的脚本里,就能收到可测的质量提升。因为它们解决的不是 harness² 独有的问题,是所有”让 LLM 改自己的配置”的通用问题。
一个 5 分钟可做的实验(如果你用 Claude Code)
挑一个你已经让 Claude Code 跑过的任务,手写两个 skill 变体 A 和 B,让 Claude 盲选它要用哪个——不告诉它谁是你改过的、谁是原版。然后让它写一句”这次之所以选 A/B,是因为 ____“。重复三次。
你会肉眼看到 harness² 里”blind select”那一步到底在给你什么——以及它为什么比”直接看 A/B 的 benchmark 分数”更不容易自欺。这个实验大概花你 5–10 分钟,产出是一个你自己的、关于”盲选 vs 分数选”的直观判断。比读完这篇文章更顶用。
参考来源
工程实践
- google-research/harness2,commit 落地时
core/共 5,688 行 Python - 本文定位的具体位点集中在
harness2/core/recursion.py、prompts.py、selection.py、library.py、context.py、tree.py
arXiv / 相关论文
- Xu et al., 2026. Harness²: Recursive Agent Harnessing for an Open World. arXiv:2610.14224
- Lilian Weng, 2026. Harness Engineering for Self-Improvement(见我的消化)
站内相关
- 《什么才是好的 Harness:判断归模型,物理归代码》 —— harness 的本职工作
- 《当 Harness 本身成为被优化的对象》 —— RSI 爬升路径的概念版,本文是其中一级的具体版