93 个自进化 Agent 的主结果里,只有 8 个能证明「那条更新真的跑过」

Harness Self-Evolution(arXiv:2610.18813)把一份 93 条的证据审计放进了公开仓库。我把 TSV 拖下来自己复算了一遍:没有一条主结果同时满足四条标准,最薄的是 activation——「被接受的那条更新,在打分的那几次运行里到底起没起作用」,只有 8 条给得出证据。然后我用同一把尺子量了自己的博客 harness,得分 0/4。

一条 skill 被加载进上下文的概率是 0.961,被轨迹真正遵循的概率是 0.350。这两个数来自同一篇评测、同一批运行(论文转引,我未复现)。中间那 0.6 的落差,是整个「Agent 自进化」领域最少被测量的东西——而大多数论文的做法是:跳过它,直接把分数涨了算到那条更新头上。

这篇综述(Self-evolving Agent Harness,arXiv:2610.18813v1,2026-10-13)讨论的对象是 harness:模型之外、把模型变成一个能干活的 agent 的那层软件,包括提示词、记忆、工具、agent loop、沙箱和日志。所谓 harness 自进化,是权重不动、只改这层软件,而且改完要存下来、被后续运行真的加载。

它干了一件别的综述没干的事:把 93 篇方法的主结果逐条按四条证据标准打了分,并且把打分表、评分规则、每条判决依据的原文段落全部放进了公开仓库。所以这份审计可以复算。

我复算了。四条标准的覆盖分布对上了论文里的 Figure 6,但结论本身比图更难看:93 条主结果里,0 条同时满足四条。

然后我把同一把尺子架到我自己的博客 harness 上(这个站的 .claude/skills/ + 记忆文件就是一套在用的自进化 harness),量完得分 0/4,跟那 26 篇一个档位。下面是全过程。

为什么「起没起作用」要单独列成一条

论文区分了两种更新对象:被模型解释的内容(指令、记忆、工作流),和被宿主执行的机制(工具代码、沙箱权限、JSON schema 校验、工具白名单)。自进化的更新大多落在前一种上,而前一种「存在」不等于「生效」,所以「有没有真的起作用」得单拎出来作为一条主张。

反过来看,如果更新对象是运行时硬约束,「存在」就等于「生效」,这条主张就可以从清单里删掉。论文的原话是:一条指令可以改变输出倾向,但它无法凭自身施加一个运行时不变量(§3.2)。你写进 CLAUDE.md 的那句「提交前必须跑测试」,模型可以不照做;pre-commit hook 里的同一句话,不照做就提交不了。

最朴素的推理——「加了 skill 之后分数涨了,所以 skill 有用」——首先会被加载率和遵循率之间的落差打穿。论文转引的那份评测里,两个 agent 的 skill 加载率几乎一样(0.961 / 0.957),轨迹遵循率却是 0.350 和 0.757;弱的那个从加载那一刻的 0.52 一路掉到最后一轮的 0.13(均为论文报告值,我未复现)。同样「装上了」,实际起作用的程度差 2 倍以上,而且在一条轨迹内部还会随轮次衰减。只看终局分数,这些全部被折叠成一个数。

这个问题在临床试验里早就有名字,叫依从性(adherence)。四条主张几乎可以逐条翻译过去:selection 对应选择性报告与多重比较,activation 对应「病人到底有没有按时吃药」(ITT vs per-protocol),attribution 对应混杂与共同干预控制,improvement 对应外部效度。药效试验花了几十年才把「吃没吃药」做成一个必须单独记录的字段;agent 评测现在还普遍停在「分数涨了」这一步。

四条主张:一个分数可以在四个地方骗人

论文的框架是:一个涨了的分数,可以在三个地方骗你,再加上一个关于「这些数本身怎么来的」的前置条件。

主张它问什么典型的糊弄法
Selection这个数是量出来的,还是从搜索过程里挑出来的报曲线最高点的那一轮;用「held-out」命名但它参与了准入
Activation那条被接受的更新,在打分的那几次运行里跑了吗只报「文件已加载」,或只报搜索/筛选阶段的执行记录
Attribution差是它造成的,还是噪声、多花的推理预算、换了的判分器造成的没重复跑、没配对检验;或者新 harness 顺手多花了一倍 token
Improvement差在产生它的那批任务之外还成不成立在产生这条更新的那批任务上重测一遍

论文里有四句「A 不等于 B」:

  • 持久化 ≠ 激活:状态存下来、下次加载了,只说明它在范围内,不说明它在那次运行里留下过痕迹。
  • 激活 ≠ 归因:「跑没跑」读执行记录,「造成了什么」读对比分数。一个 ablation 把分数改变了,只说明组件在某处起作用,不说明在哪几次运行里起作用。
  • 幅度 ≠ 外延:差可以真的来自这条更新,但换批任务就消失;也可以在新任务上成立,而功劳属于更大的推理预算。
  • 距离 ≠ 选择:一个 partition 可以跟「产生更新的任务」完全不重叠,同时又被用来排序候选、决定准入、挑哪一轮上报。

第四条最容易自我欺骗。论文点名的 Self-Harness 就是这个形状:它的 held-out split 从不给提议者看,看起来很干净。但审计表对它的判决依据引了 Self-Harness 的 Algorithm 1 第 11 行:一条编辑只有在 held-in 上的增量 Δ_in ≥ 0、held-out 上的增量 Δ_ho ≥ 0、且两者至少一个大于 0 时才被采纳。也就是说,held-out 的增量占了准入条件的一半,每一轮的候选都要拿它查一次。查的轮数越多,最后留下来的编辑就越是按它挑过的,它不再独立于搜索。(这段我是从审计表 basis 字段读到的,没有去读 Self-Harness 原文核对 Algorithm 1,也不知道它实际跑了多少轮。)

复算这份审计:7 条「准满分」里有 6 条缺 activation

仓库里 data/claim-audit.tsv 是 100 行:95 条 in-scope、5 条 out-of-scope。in-scope 里有 2 条(deepseek2026harness、shi2026programming)没有实证评测,四列都记为 X,不参与打分;剩下 93 条就是论文说的 93 篇主结果。复算脚本就是几行 Python:

import csv, collections
rows = list(csv.DictReader(open('data/claim-audit.tsv'), delimiter='\t'))
graded = [r for r in rows if r['scope'] == 'in' and r['selection'] != 'X']   # 93
FIELDS = ['selection', 'activation', 'attribution', 'improvement']
for f in FIELDS:
    c = collections.Counter(r[f] for r in graded)      # C=满足 O=部分 N=不满足
    print(f, c['C'], c['O'], c['N'])
met = collections.Counter(sum(1 for f in FIELDS if r[f] == 'C') for r in graded)
print(sorted(met.items()))

我跑出来的结果(2026-11-04 从仓库 main 分支重新拉了一次 TSV 再跑,数字不变):

标准满足部分满足不满足
Selection431634
Activation8850
Attribution10821
Improvement(任务距离)531822

每条主结果满足几条:0 条 → 26 篇(28.0%)、1 条 → 27 篇(29.0%)、2 条 → 33 篇(35.5%)、3 条 → 7 篇(7.5%)、4 条 → 0 篇。跟论文 Figure 6 一致,说明仓库里的表就是生成那张图的表。

那 7 条「满足 3 条」的,我把名字打出来看了:

ni2026trace2skill / opsahlong2024optimizing / wang2026effiskill
xia2026rrsi / zhao2024expel / zhou2026multiagent   ← 这 6 条缺的都是 activation
ren2026flowevo                                      ← 唯一缺 improvement 的

7 条「准满分」里有 6 条卡在同一个字段上。这说明缺口在工具链:整个领域的工具链不产出「这条更新在这次打分运行里跑了」这个日志。论文自己的表述更直接——没有任何一个 prompt 优化器给出过「修改后的指令在打分运行里被遵循」的直接证据,也没有任何一个仓库级搜索记录过「某条被采纳的编辑在某次打分运行里执行了」。

我第一次复算时少过滤了 scope 这一列,把 5 条 out-of-scope 也算进去,selection 列出来是 43/21/34,对不上 Figure 6 的 43/16/34。差的 5 条全在 scope=out,而这 5 条的 selection 恰好都记为 O,所以只有「部分满足」那一格从 16 变成 21。它们被划出范围,是因为被打分的东西不是 harness 自进化:按审计表的 scope_note,其中 3 条的被测模型本身做了 SFT/RL,1 条的规则由工程师人工写入,1 条是训练一次就固定的中间件。同一份数据,口径差一列,结论就对不上;而大多数论文根本不给你这一列可对。

抽查三条引文:引号里的东西是真的,但「attribution 满足」不等于成本可比

LLM 打的分,我不敢直接信。仓库的 docs/evidence-criteria.md 里作者自己写得很明白:评分「主要由 LLM(Opus 5.5)在多轮规则下反复编码完成,不是独立人工标注,不声称评分者间一致性」。一份说「大家都不给证据」的审计,自己的证据链是 LLM 生成的。

所以我抽了三条最熟的,下载原文逐个核:

审计里的引用原文核对结果
Voyager:技能检索 309 个样本、top-5 准确率 96.5%✅ 原文 Appendix B.4.4:“309 samples in total”、Table A.4 的 96.5 ± 0.3
Reflexion:编程任务记忆上限 1 条经验;HumanEval pass@1 = 91.0✅ 原文正文「a max memory limit of 1 experience」、Table 1 的 91.0 vs GPT-4 的 80.1
ExpeL:ALFWorld 59.0 ± 0.3 vs ReAct 40.0 ± 0.3;token 4310 vs 1320✅ 原文 Table 中 ExpeL 4310.06、ReAct 1319.75

三条全中。但第三条让我对评分规则本身有意见(这是我的判断):ExpeL 的 attribution 被判为「满足」,理由是四折交叉的 ± 标准误足够把 19 个点的差与零分开,且思考/动作/观察的步数几乎相等。可是它的 token 是基线的 3.27 倍。规则给了豁免——「更新物自身带来的上下文开销计入更新本身,只要声明即可,不算竞争性解释」。这条豁免逻辑上说得通(检索到的经验就是这个更新的本体),但它意味着「attribution 满足」不等于「成本可比」。读这张表的时候,这 10 条 C 要按「已控混杂」读,不能按「同等预算下的净收益」读。

为什么偏偏是 activation 最薄

因为它是唯一一条不能从分数反推的主张。selection 可以靠读协议判断,attribution 可以靠重复跑和配对检验补,improvement 可以靠划一块 held-out 补——这三件事都在「跑实验」的常规动作半径内。只有 activation 要求你在运行时埋点,而没有任何审稿人会因为缺了埋点而拒稿。

论文把激活证据分成三层,这个分法是全文最能直接搬用的东西:

层证明了什么怎么记坏掉会怎样
available(可用)工件进了这次运行加载/检索日志文件躺在上下文里,模型从头到尾没看一眼,分数照涨照记
reached(到达)被改的那条路径执行了执行信标(beacon):补丁路径触发时打一行代码跑了,但输出在组装提示词时被截断丢掉了,等于没跑
carried(传递)它的效果到达了模型/轨迹代码看「输出是否活到下一次模型输入」,指令看遵循率最贵也最有用的一层:区分「装了」和「听了」

对应三个可以写在任何一份实验报告里的比率(论文式 (11)):load = |加载的运行| / |适用的运行|、reach = |信标触发的运行| / |适用的运行|、carry = |效果传递的运行| / |加载的运行|。第三个的分母用的是「加载过的」,因为如果用「适用的」,一个为罕见任务写的组件会被大量没进场的运行稀释成看起来没用。

有两个系统已经做到了 reached 和 carried 两层,可以直接抄:HarnessBank 要求每个候选补丁自己声明一个信标,筛选阶段信标从不触发的候选直接拒绝;HarnessX 要求带代码的候选在上线前证明它的返回值在提示词组装之后仍然存在,专治「跑得好好的组件,结果被上下文截断吃掉」。

还有一个我很喜欢的数字,关于「loop 能不能自己说清它改了什么」:AHE 让每次编辑预先声明「这次会修好哪些任务、会弄坏哪些任务」,然后跟下一轮实际结果对账。「修好」的预测精确率约 1/3、召回约 1/2;「弄坏」的预测两项都在 1/10 上下,约为随机基线的两倍(论文报告值)。翻译成人话:一个自进化 loop 对「我帮了什么」尚有一点把握,对「我砸了什么」几乎一无所知。

量我自己的 harness:指定的词消失了,固定尾节换了个名字

这个站本身就跑着一套 harness 自进化:记忆目录里每个文件是一条被接受的更新,发布技能 .claude/skills/publish-blog/ 是可执行的那半,两者都持久化、都被后续会话加载。那就量一下。

被审计的那条更新,是 2026-09-09 写进记忆的一条规则:废止固定尾节「诚实的提醒」,并附一条硬约束「同一种结尾形式不得连续三篇」。它既规定了要消失的东西,也规定了不该出现的模式,两样都能在文章里查。

测法:用 git 首次提交时间给文章排序(避免同一天多篇的顺序歧义),以 2026-09-10 00:00 为界分前后;「结尾形式」取最后一个正文 H2,排除「参考来源/需要验证/账号入口/回链」这类附录节。原稿只贴了 git log 那一行,下面是 2026-11-04 补的完整脚本。为了对齐写作当时的口径,它读的是 2026-10-14 22:52 那次提交(d84d026)的文件快照,之后新增和修改过的文章都不进来。选这个快照是从数字反推的:用 23:01 下一篇入库后的快照会多出 1 篇,变成 57 篇;用 22:52 的正好是 56 篇,所以原稿应该是在这两次提交之间统计的:

# 用法: python3 endings_final.py <快照commit> <规则时间>
import subprocess, re, sys
repo, snap, rule = '.', sys.argv[1], sys.argv[2]      # 在博客仓库根目录下运行
git = lambda *a: subprocess.run(['git', '-C', repo, *a], capture_output=True, text=True)
first, t = {}, None
for line in git('log', snap, '--diff-filter=A', '--name-only', '--pretty=format:@%ad',
                '--date=format:%Y-%m-%dT%H:%M', '--', 'src/content/blog').stdout.splitlines():
    if line.startswith('@'): t = line[1:]
    elif line.endswith('.md'): first[line] = t          # 日志从新到旧,最后写入的是最早那次添加
APPX = re.compile(r'参考|来源|需要验证|账号入口|回链')
posts = []
for path, added in first.items():
    r = git('show', f'{snap}:{path}')
    if r.returncode: continue                           # 快照里已不存在
    body = re.sub(r'```.*?```', '', r.stdout.split('---', 2)[2], flags=re.S)
    h2 = [h.strip() for h in re.findall(r'^## (.+)$', body, re.M)]
    last = ([h for h in h2 if not APPX.search(h)] or [''])[-1]
    posts.append((added, path, last, h2))
posts.sort()
strip = lambda h: re.sub(r'^[一二三四五六七八九十]+、', '', h)
for name, ps in (('前', [p for p in posts if p[0] < rule]), ('后', [p for p in posts if p[0] >= rule])):
    n = len(ps)
    hon = sum(strip(p[2]).startswith('诚实的提醒') for p in ps)
    hon_any = sum('诚实的提醒' in p[2] for p in ps)
    nxt = [p for p in ps if p[2] == '下一步行动']
    dig = sum('codex-ai-digest' in p[1] for p in nxt)
    print(f'{name}: {n} 篇 | 结尾以「诚实的提醒」开头 {hon} ({hon/n:.1%}),含该串 {hon_any} | '
          f'结尾「下一步行动」{len(nxt)} ({len(nxt)/n:.1%}),其中 digest {dig}')
    if name == '后':
        print('  含「诚实」的 H2:', [p[1].split('/')[-1] for p in ps if any('诚实' in h for h in p[3])])
        run, prev = 0, None
        for p in ps:
            run = run + 1 if p[2] == prev else 1; prev = p[2]
            if run >= 3: print('  连续第', run, '篇同结尾:', p[0], p[2])
$ python3 endings_final.py d84d026 2026-09-10T00:00
前: 331 篇 | 结尾以「诚实的提醒」开头 57 (17.2%),含该串 58 | 结尾「下一步行动」46 (13.9%),其中 digest 46
后: 56 篇 | 结尾以「诚实的提醒」开头 0 (0.0%),含该串 0 | 结尾「下一步行动」20 (35.7%),其中 digest 20
  含「诚实」的 H2: ['llm-eval-silent-failures-2026-09-10.md', 'llm-eval-pitfall-atlas-2026-09-10.md', 'rlcd-jev-training-decoded-2026-09-21.md']
  连续第 3 篇同结尾: 2026-09-13T18:06 下一步行动

原稿里的 331 / 56、46、20 都复现出来了。唯一的出入在「诚实的提醒」那一格:按「去掉编号后以这串开头」算是 57,按「包含这串」算是 58,多出来的那篇结尾叫「一个诚实的提醒」。原稿用的是哪种匹配我已经无从确认,57 这个数取的应该是前一种。

指标规则之前(331 篇)规则之后(56 篇)
「诚实的提醒」作为结尾节57 篇 = 17.2%0 篇
规则后仍含「诚实*」二级标题的文章—3 篇(2 篇真复发,1 篇是讲 proper scoring rule 的误匹配)
「下一步行动」作为结尾节46 篇 = 13.9%(全是 digest)20 篇 = 35.7%(全是 digest)
同一结尾形式连续三篇—1 次(2026-09-11 → 09-13,连续三篇 digest 都以「下一步行动」收尾)

第一个发现:被点名的那个词确实死了,17.2% → 0%。复发的两篇都在规则写下后的 24 小时内(2026-09-10),两篇里「诚实的提醒」还是正文中的一个二级标题,只是不再放在最后。论文提醒过,接受那一轮记录到的激活,不能当作后面各轮也激活了的证据;我这里看到的是同一件事的另一面:规则被接受之后的头一天,它在写作时也还没有生效。

第二个发现,是这次补脚本时才看到的,它推翻了我原稿的一个解读。原稿写的是「下一步行动从 13.9% 涨到 35.7%,2.6 倍,仪式化的尾节换了个名字活下来」。按 digest 拆开之后,这 46 篇和 20 篇全部是每日 digest,那是 digest 模板自带的固定结尾,规则之前就在。它的占比涨,是因为规则之后的 56 篇里 digest 占了 20 篇,规则之前的 331 篇里只占 49 篇;跟深读文章换不换结尾无关。那次「连续三篇」的违规也是三篇 digest。

把 digest 拿掉,再看剩下的文章,换名字的现象还在,只是换成了另一个标题:用同一个脚本按文件名拆开,规则之前 282 篇非 digest 文章里以「通俗总结」收尾的有 2 篇,规则之后 36 篇里有 10 篇(27.8%)。而按现在记忆文件里的写法,「通俗总结」正是那条规则推荐的默认结尾。记忆文件里那句「任何被规则写成『标配』的小节都会退化成仪式」,一个月后被它自己推荐的那个小节验证了。

这就是 activation 和 improvement 的区别在真实系统里长什么样:那条更新激活了(指定的字符串消失了),但它想达成的东西没有提升(固定尾节照样存在,只是换了一个标题)。只看「诚实的提醒」那一列,这是一次 100% 成功的 harness 更新。

我想测 load 率,结果发现没有这份日志

我本来想补上三层里的 available 那一层:这 56 篇背后的会话,到底有没有把那条记忆读进去?于是去翻本机这个项目的会话记录目录,当时在里面找到 15 个 jsonl。这 15 个是目录里现存的会话记录,不和 56 篇一一对应:我没有把它们和文章对上,56 篇里有多少篇的会话不在其中,现在也查不清。统计结果:

  • 包含 Memory Index 字样的:3 个
  • 每个会话里 system-reminder 块出现次数:0 到 2 次

(这两个数我现在复现不了:截至 2026-11-04,这个目录里只剩 8 个 jsonl,其中创建于 2026-10-14 的只有 3 个,当时那 15 个已经不全。)

记忆索引是每次会话由系统注入的,理论上 15 个应该全中。实际只有 3 个留下痕迹,说明注入的提醒本身大多没有被写进会话记录。所以我测不出 load 率:没有日志,也就无从判断加载了没有。

我原本以为「85/93 只给出部分激活证据」是论文作者在挑剔。自己动手之后改主意了:这 85 篇里相当一部分根本拿不到这个数据,因为他们用的 harness 跟我用的一样,不产出这条日志。

给我自己的实验打分

按同一套规则,这个自测该得几分?

标准我的得分理由
Selection部分后 56 篇确实是规则写下之后的新样本,但口径(怎么算「结尾形式」)是我看过数据之后定的;digest 要不要单列,也是补脚本时才想到的
Activation不满足完全没有记忆被加载/被遵循的运行时记录(见上)
Attribution不满足没有对照组、单条流、同一天技能文件也改了,分不开哪个在起作用
Improvement部分规则之后的文章算有任务距离,但这是一条自适应流上的在线轨迹,没有 held-out

0 满足、2 部分,0/4,和那 26 篇(28.0%)同一档。我这次自测的严谨度并不比我正在挑剔的论文高。这四条标准最有用的地方,是拿来判断自己的结论能走多远。

那张「准入证书」有多贵:手算一笔

论文第 5.2 节给了唯一一条能把「经验上更好」变成「有把握更好」的规则:如果每轮最多构造 K 个候选、共 T 轮,每轮用 m 条全新独立的验证任务,那么以至少 1−δ1-\delta 的概率,对所有候选和所有轮同时成立

Δk(H′)≤Δ^k(H′)+2ln⁡(KT/δ)m\Delta_k(H') \le \hat{\Delta}_k(H') + \sqrt{\frac{2\ln(KT/\delta)}{m}}

只有当右边整个是负数时,才算证明了「这次改进在本轮任务混合上成立」。配对差落在 [−1,1][-1,1],所以是 Hoeffding 配 KT 次比较的 union bound——这套东西在评测分数的统计地基那篇里拆过。

下面的参数是我假设的(K=5 个候选/轮,T=20 轮,δ=0.05,所以 ln(KT/δ) = ln(2000) = 7.6009),不来自论文:

每轮全新验证任务数 m需要的实测配对增益
5055.1 个百分点
10039.0
50017.4
20008.7
60905.0
import math
L = math.log(5*20/0.05)                      # 7.6009
for m in (50, 100, 500, 2000, 6090):
    print(m, round(math.sqrt(2*L/m), 4))     # 0.5514 0.3899 0.1744 0.0872 0.0500

要给一个 +5 点的改进开证书,每轮得烧掉约 6 千条从没用过的任务(精确解是 m ≥ 6081)。这就是为什么现实里所有人都在复用那同一个 holdout:这张证书按 Hoeffding 的报价根本买不起。

论文自己也说这个条件「保守」。Hoeffding 只用了「差落在 [-1,1]」这一个信息,而真实的配对差分布极度集中在 0(大多数任务改了 harness 也不改结果)。换成 Bernstein 界 2σ2L/m+2bL/(3m)\sqrt{2\sigma^2 L/m} + 2bL/(3m),其中 b 是单个配对差偏离均值的上界。下表取 b=1(配对差最大为 1、均值接近 0 时的近似;严格按区间宽度取 b=2 会更保守),并假设只有 10% 的任务会翻面(σ²≈0.1):

mHoeffdingBernstein(σ²=0.1,b=1)降幅
500.55140.275750%
5000.17440.065363%
8000.1378≈0.05064%

在这组假设下,要证 +5 点,所需任务数从约 6 千条降到约 800 条(b=1 时精确解是 798;取 b=2 是 972)。「门槛砍半」只在 m=50 时恰好成立,m 越大降得越多,m=500 时降约 63%。这些都只在 σ²=0.1 时成立,翻面率更高,省下的就更少。这是我自己算的,论文只说了「保守」,没给替代报价。我的观点是:自进化系统报准入门槛时,应该同时报配对差的方差,因为翻面率是这个领域最便宜的一个统计量,而在上面这组假设下它能省掉六成以上的验证样本。

这份审计能说明什么,不能说明什么

先说审计本身的软处:

  • 它是 LLM 打的分,作者公开声明无评分者间一致性。我抽查的 3 条引文全部属实,但 3/93 不构成验证,只能说明「不是凭空编的」。
  • 语料是精选而非系统抽样(截止 2026-10-08),所以「0/93」只是对这份名单的陈述,推不到全领域。
  • 一篇只判一个主结果,报告里其它实验的证据不并入。这会低估那些「主结果写得保守、附录里反而给了激活记录」的工作。
  • 理论部分是充分条件:式 (10) 只覆盖「被评估过的那个候选」,不覆盖一个未经测试的合并,也不覆盖看过验证集之后再改一版。
  • 66 页长版在仓库里,arXiv 上是 9 页短版。短版的 HTML(v1)在 §3.3 的 Table 4 标题后就断了,直接接上 LaTeXML 的「Experimental support, please view the build logs」提示(2026-11-04 我重新抓过,仍是这样),要读全文得拿 PDF 或仓库里的长版。

再说最容易读反的地方。「0/93」不等于自进化 Agent 是假的:四条标准衡量的是报告里的证据,不是方法的质量,满足 0 条只说明这份报告支撑不到那一步。activation 一栏 85 条部分满足、0 条不满足,缺的是运行时埋点这个工具,谈不上造假。论文也明确说不必四条都做满:比较两个冻结状态的研究不需要 activation 记录,要求只是结论止于证据。至于「给 agent 加一条 skill,它就学会了」,开头那组 0.961 和 0.350 已经回答了。

我自己那套自测同理:它的 attribution 不满足,所以「规则让 17.2% 变成 0%」的正确读法是「规则写下之后这个数变成了 0」,而不是「规则导致它变成了 0」。

我想补的那个数

我想给记忆和技能的加载埋一行日志,攒够一个月再回来看 load 和 carry 这两个比率到底长什么样。如果那时候 carry 率低得难看,这篇的结论就得改写成一个更难受的版本。我希望它低得难看,因为那意味着这几个月堆的记忆文件里,有一半其实可以删。

参考来源

论文

工程实践 / 数据

  • zgcagi/Harness-RSI:data/claim-audit.tsv(逐条判决与原文依据)、docs/evidence-criteria.md(评分规则与其自述限制)、scripts/check_consistency.py

站内回链