本机 4B 实测 harness-vs-bare:救回那 5 分的是一行 system prompt,不是 self-consistency

上一篇 VABAR 的 46 分 harness gap 是 physical 侧的整体贡献;这一篇把它在小模型小任务上拆开。本机 llama.cpp 跑 Qwen3-4B-Instruct-2507-Q4,80 道 JSON 提取对照 bare vs harness:L1 两栏 100% 打平(ceiling),L2 bare 95% / harness 100%。救回那 5 分的 2 道题都是"敬称 drop"(Mr. Yamada → Yamada),harness 三次采样 100% 同票 self-consistency 贡献 0 分,retry 分支从未触发——收益全部来自 system prompt 的 schema 规范。为了 5 分 harness 多花 3.9× 时间,大部分开销买的是 no-op。

这是今天前两篇(VABAR 46/54 分账 + 自审仓库 harness 比例)的第三篇,三部曲:大模型在 physical 侧的 harness 贡献 → 个人仓库里的 harness 加载密度 → 小模型在软件任务上的 harness 成分拆解。这一篇是全部 B 类(亲手跑数字)+ D 类(亲手踩坑)一手材料,80 题全部 log 在仓库 experiments/harness-4b/ 下。

VABAR 的 46 分 harness gap 是一个 整体数字:裸 Claude Code → GaP harness,拿到的能力差。但 “harness” 这个词底下至少压着三件独立的事:

  • prompt-level 规范:system prompt 约束输出 schema、角色、风格;
  • retry / verifier:解析失败或 schema 校验失败后重试,带错误反馈;
  • self-consistency:采样 N 次,按某种投票聚合。

工程上这三件常常被捆在一起称 “harness”,但它们各自的收益贡献率在同一个任务上可能截然不同。本机 4B 这个尺度跑得起完整的 ablation,我做了一次。

一句话结果:Qwen3-4B 在 JSON 提取任务上,harness 救回的那 5 分——全部来自 system prompt,self-consistency 和 retry 各贡献 0 分。这是上一篇预先注册的”兜底 negative result”的正例,比”又涨了几分”信息量更大。

实验设计:preregister 过的

跑这个实验前我在上一篇之后预先说过:如果两栏 Δ < 5 分,就当 floor/ceiling effect 换任务。这次按原承诺跑,先描述设计再看数字。

任务:JSON schema extraction,两档难度。

  • L1:从一段自然语言里提取 5 字段 object(name、age、email、phone、country)。20 题。
  • L2:从多实体文本里提取 [{name, role}, ...] JSON array,按人物首次出现顺序。20 题。

全部数据集手写(experiments/harness-4b/dataset.py:14-130),每题附 ground truth,评分用 field-level accuracy(L1 按 5 字段比对、L2 按位置比对 2 字段)。

模型:Qwen3-4B-Instruct-2507,Q4_K_M 量化(2.5GB GGUF),llama-server + Metal GPU,本机 M 系。

两栏:

栏做什么
bareuser-only prompt、temp=0、单次调用、无 retry、无 system prompt
harnesssystem prompt 明确 schema + “只输出 fenced JSON”;3 次采样(temp 0 / 0.5 / 0.5);解析失败 retry 1 次;多数投票聚合

我有意没把大模型 ceiling 对照栏放进来。理由:本次目的是拆 harness 内部的成分贡献,不是做跨模型比较。Claude/GPT-5 一问大概率 L1/L2 都 100%,放进来只是增加噪音。

Preregister:

  • 如果 L1 两栏 Δ < 5 分 → 报 ceiling effect,并分析 harness 的 overhead 是否浪费。
  • 如果 L2 两栏 Δ < 5 分 → 报 floor/ceiling effect,并考虑换更难任务。
  • 如果有分辨率点 → 切片分析失败案例,拆 harness 的哪个子机制救回来。

跑完 80 次调用 + 240 次 harness 子调用,总 run time 约 13 分钟。全部 log 在 experiments/harness-4b/run.log。

跑出来的数字

             parse   exact   field   wall time
L1 bare      1.00    1.00    1.00     98 s  (4.9s/题)
L1 harness   1.00    1.00    1.00    282 s  (14.1s/题, 2.87× overhead)

L2 bare      1.00    0.90    0.95     85 s  (4.3s/题)
L2 harness   1.00    1.00    1.00    332 s  (16.6s/题, 3.90× overhead)

L1:两栏完全打平,20/20 都 100% exact match。这是 preregister 条件的典型 ceiling effect——4B 在”自然语言→5 字段 JSON”这种任务上已经饱和,不管给不给 schema、投不投票,结果都一样。harness 多花 185s 一分没买到。

L2:出现 1 个分辨率点——bare 95% field accuracy vs harness 100%。差值正好在 preregister 的 5 分边界上(4.75 round 到 5),刚好够触发”切片分析”而不是”ceiling”。

现在的问题是:这 5 分的分辨率点里,harness 的三个子机制各贡献多少?

两道失手题的切片:都是敬称 drop

L2 里 bare 失手的只有 2 道,刚好 20 的 10%,每题扣掉 2/4 field(4 field 里有 2 个 name 错)。两道题的 bare 输出和 ground truth 对比:

L2[05] 文本: Board: Mr. Yamada serves as Chairman, Ms. Suzuki as Vice-Chair, Mr. Sato as Treasurer.
GT    : [Mr. Yamada/Chairman, Ms. Suzuki/Vice-Chair, Mr. Sato/Treasurer]
bare  : [Yamada/Chairman,    Suzuki/Vice-Chair,    Sato/Treasurer]        ← 敬称全丢
harness: [Mr. Yamada/Chairman, Ms. Suzuki/Vice-Chair, Mr. Sato/Treasurer] ← 保留

L2[13] 文本: Legal team contacts: Ms. Weaver (General Counsel), Mr. Holt (IP Lawyer), Ms. Finch (Compliance Officer).
GT    : [Ms. Weaver/General Counsel, Mr. Holt/IP Lawyer, Ms. Finch/Compliance Officer]
bare  : [Weaver/..., Holt/..., Finch/...]                                 ← 敬称全丢
harness: [Ms. Weaver/General Counsel, Mr. Holt/IP Lawyer, Ms. Finch/Compliance Officer]

两道题的失败模式完全一致:bare 把 “Mr.”、“Ms.” 当成了礼节性修饰而不是 name 的组成部分,剥掉只留 last name。harness 保留全称。

这个模式的意义是:它不是”bare 不认识敬称”那种能力缺口,是”bare 没被告知 name 应该包含敬称”的约定缺口。bare 的 user prompt 只说 “extract a JSON array of {name, role} objects”——没说 “name” 里要不要包敬称,模型就做了自己的默认选择(丢)。

harness 的 system prompt 是这样的(experiments/harness-4b/runner.py:67-73):

You are a strict JSON extractor. Reply ONLY a fenced code block ```json ... ```
containing a JSON array of objects, each matching {"name": str, "role": str}.
Preserve the order the persons first appear in the text. No prose, no explanation.

依然没明说”name 包不包敬称”——但 system role 的存在、“strict JSON extractor” 的角色设定、“字段 schema 清单” 的结构化呈现,就足够让模型倾向于抄原文而不是做默认精简。

这是整个实验最反直觉的发现:harness 在 L2 这 5 分里的全部收益,来自一个对任务规范更严格的角色描述,不来自任何 agent 工程里被反复宣传的高级机制。

投票投了三次都同票:self-consistency 的贡献是 0

现在拆第二个子机制。Harness 在每道题跑了 3 次采样(temp = 0, 0.5, 0.5),然后对每字段做多数投票。如果 self-consistency 真起作用,就应该在那 2 道失败题上看到”三次里有一次漏了敬称、投票时被两次保留的占多数”这种分布。

用一个 5 行 Python 查三次采样的一致性:

python3 <<'PY'
import json
r = json.load(open('experiments/harness-4b/results.json'))
for i in range(20):
    samples = r['L2']['harness'][i]['samples']
    sigs = [json.dumps(s, sort_keys=True) for s in samples]
    if len(set(sigs)) > 1:
        print(f'L2[{i:02d}] 三次采样 DISAGREE')
print('若无 DISAGREE 行,所有 L2 题的 3 次采样完全一致')
PY

实际跑出来:

若无 DISAGREE 行,所有 L2 题的 3 次采样完全一致

20 题、60 次采样,没有一道题的三次采样彼此不同——就算把 temperature 从 0 拉到 0.5,Qwen3-4B 在这类明确约束任务上的输出稳定到几乎没有采样噪声。投票机制在本任务完全 no-op:投一次也是这个答案,投一万次还是这个答案。

self-consistency 的收益不是 0 就是负——它多花 2.9× 时间,一分没加。

retry 分支也没触发:verifier 同样 no-op

harness 的第三个子机制是”解析失败或 schema 校验失败,带错误反馈重试一次”(runner.py:76-86)。触发条件是 extract_json(raw) is None or not schema_ok(parsed)。

在 60 次采样里,这个条件 触发了多少次?

通过检查每次采样的 raw response 是否符合 schema:60 次全部解析成功、全部通过 schema check。

Retry 分支触发次数 = 0。

这里的机制和 self-consistency 一样:当模型本身对任务的 prompt 响应已经稳定且格式正确时,verifier-retry 没东西可救。它只在 模型会偶尔产生 malformed output 的任务上才有价值。本次实验模型从头到尾没吐过一次 malformed JSON——4B Q4 对 “fenced JSON” 这个格式约束的服从率本身已经是 100%。

Harness 收益成分表

Harness 收益的三个子机制在本次实验里的贡献:

  system prompt(schema 规范 + 角色定义) :  +5 分(100% 的收益)
  self-consistency(3 次采样 majority vote):  +0 分(三次全同票)
  verifier-retry(schema 校验后 retry)     :  +0 分(从未触发)
                                            ─────────
                                 合计 harness :  +5 分

付出的额外成本:
  wall time                                 :  +247 s(2.9× overhead 均摊到 40 题)
  server-side API calls                     :  +3× (每题 1 → 3-4 次)

换句话说:如果把 harness 换成一个 只带 system prompt、不多次采样、不 verifier-retry 的最小版本,L2 分辨率还会维持在 95→100,但 overhead 从 3.9× 降到 ~1.2×。本次实验的 harness 配置里,75% 的开销买的是 no-op 工程——投票和 retry 对这个任务都没有兑现承诺。

把这个拆解回填到 VABAR 的 46 分

VABAR 深读 把 Claude Code → GaP Autonomous 的 30 分涨幅归成 “harness 收益”,但 GaP 的 harness 内部至少包括:

  • skill 库(33 个预写的 primitive 函数 + schema)
  • graph 结构(skill 之间的调用约束)
  • execution engine(感知反馈、失败处理、循环控制)
  • robot-specific prompt scaffolding(给 LLM 看的 API docs)

根据 ASPIRE 消融结论,拿掉 execution engine 比拿掉 skill 库更痛(14% → 62% 来自 engine),这暗示 GaP 的 30 分里 execution engine 占了多数,和我这次 4B 实验里”system prompt 占全部收益”是同一类现象的 physical 版:agent harness 的收益分布极度不均匀,一两个子机制吃掉大半。

一个 projection 推论:Weng 画的那条 “prompt → context → workflow → harness 代码 → 优化器代码” 爬升路径里,在中间几级(context 结构、workflow)上下功夫的边际收益,可能比大家以为的低得多。真正吃掉大头的,仍然是爬升路径最底下那级——怎么写好 system prompt(或等价物,像 skill 库的 docstring、tool description)。

当然这只是从两个实验的 projection,不是证明。但两次都指向”agent 工程最传统的那一块反而最值钱”,值得记一笔。

边界卡:harness 什么时候值得付 3.9× 代价

把本实验的失效模式和 VABAR 的量级放在一起,agent harness 的适用边界大致是这样:

harness 大概率有收益(付 2-5× 时间换 30+ 分能力差):

  • 任务是模型完全做不了的(VABAR 的 11/12 个 0% → 30.7%)——harness 把问题拆成模型做得了的 skill,收益上不封顶;
  • 任务输出格式模型默认会搞错的(malformed JSON、漏字段、幻觉字段)——verifier-retry 有活干;
  • 任务有真实采样噪声(代码题、数学题、推理题),而且答案可验证——self-consistency 投票能平滑;
  • 任务跨越多轮工具调用,每步都有可能失败——engine 和 permission gate 是物理级别的保险。

harness 大概率是 no-op(付 2-4× 时间换 0 分):

  • 任务已在模型能力内(我这次 L1 的 20/20 100%)——加 harness 等于给能走路的人穿护具;
  • 任务输出稳定(本次 L2 三次采样 100% 同票)——投票机制对确定性输出无益;
  • 任务失败模式单一(本次两道失手都是同种 drop)——一个更明确的 prompt 就够,不需要 agent 工程;
  • 模型本身已高度 instruction-tuned(Qwen3-4B-Instruct 对 fenced JSON 服从率就是 100%)——verifier 没东西可挡。

灰色地带(这次没测到,但值得警惕):

  • 任务模型偶尔做不对但多数时候做对(60-85% 基线),self-consistency × 3 可能真能加 3-5 分,retry 可能真能救 malformed——但这种任务在 Qwen3-4B 这个 size + JSON 提取这个 domain 里不好构造。要测这个灰色地带,更合适的任务可能是 GSM8K(数学推理,模型会算错)、代码补全(会写 bug)、长 context 多轮工具调用(会忘状态)。

可复现:以上数据全部在 experiments/harness-4b/{dataset.json,results.json,run.log} 里,80 题 + 三份完整采样历史 + 每次调用的延迟。拉仓库跑 python3 runner.py 大约 13 分钟出同样的数字(模型带 seed,但量化推理有极小随机性)。换模型跑一遍、换任务跑一遍,就是一次独立的 harness ablation。

参考来源

工程实践与仓库:

arXiv 与模型卡: