想要长期任务的稠密奖励,先把"世界"造出来:TeV 的反向环境合成

长期智能体 RL 的卡点不是缺模型,是缺"能信的地面真值"。TeV 把每个长时任务从隐藏世界 W 反向渲染出来,让验证器和稠密进度奖励都是同一个 W 的函数。

读 TeV 之前,我以为它要做的是”给长时任务加一份稠密奖励”。读完之后我意识到我把它读反了:稠密奖励不是这个系统”加”出来的东西,是”先把一个正确世界造出来”之后自己长出来的副产品。 验证器 ver_W 和进度潜力 Φ_W 是同一个隐藏世界 WW 的两个投影——这份”单一锚点”才是全文唯一不可替代的结构,数据、奖励、验证都是它的下游。

这不是一封摘要改写。我走进这篇论文,想回答三个问题:长期智能体 RL 到底卡在哪、朴素做法会先在哪个环节崩掉、为什么”造世界”和”给稠密奖励”必须是同一件事。

名词速查

术语一句话解释
latent world(潜在世界)一个完整、正确的隐藏任务规格(比如”零售仓库:502 客户、52 商品、6 个月 6210 笔交易”)。智能体永远看不到它,但它是验证和打分的唯一准星。
progress potential(进度潜力)Φ把 agent 当前工作区 sts_t 对照 WW 打一个 [0,1][0,1] 的分,完成的工作流越多越高、回退就降。
PPRSprogress-potential reward shaping,用”每步 Φ 的增量”做稠密奖励的整形方法。
GRPO组相对策略优化:同一个任务采样 GG 条 rollout,用组内归一化的 advantage 做梯度。
稀疏奖励只在任务完成(submit 通过验证)时给 1,中间所有步都是 0。
工件漂移(artifact drift)prompt、输入、验证器分开生成时,三者各自看着都合理,但描述的是不同的题。
PBRSpotential-based reward shaping(Ng 等 1999):经典的”改奖励但不动最优策略”的整形方法。PPRS 是它的反着用的版本。
round-trip渲染出的文件要能被还原成原 W,以此断言”agent 看到的东西足以推出正确答案”。

如果你对”可验证奖励 / 验证器不完整会怎样”还没底,先读本站《大模型多试几次,为什么反而选错了?》——那篇讲验收器不完整,这篇讲验收器完整时能撬动什么。

两个瓶颈,其实是同一个病

开场先把论文摆的问题讲清楚。长期智能体(能自主干几小时到几天的 agent)是自动化发现和 RSI 的底座,但开源模型在长时任务上普遍不行,作者归因到两个耦合的瓶颈:

数据侧:大而短 vs 长而小。 现有的 agentic 训练语料都很大但很短——SWE-Smith 5 万条、Terminal-Universe 3.2 万、TMAX 1.46 万,可每条只是”一个 PR 大小的修复”或”一段几分钟的终端会话”,评测是单元测试的 pass/fail。真正的长时任务只存在于人工编写的评测基准里(Merrill et al.; Li et al.),每个只有几十到几百条、每条要专家几周、还只是评测集不是训练集。所以现状是:没有长时任务的训练语料。大而短的和长而小的,中间没有交集。

奖励侧:稀疏。 长时任务只有完成时才有奖励信号,中间全 0。而 GRPO 是在一个任务的一组 rollout 内部做归一化:A^i=Ri−mean(R1:G)std(R1:G)+ϵ(2) \hat A_i = \frac{R_i - \text{mean}(R_{1:G})}{\text{std}(R_{1:G}) + \epsilon} \quad (2) 如果一个组里 GG 条 rollout 全失败,那这个组的 advantage 处处为 0,整个组对梯度没有任何贡献。一个策略以概率 pp 解出任务时,被浪费的组占比是 (1−p)G(1-p)^G。论文在附录 B 给了具体数字:p=0.05,G=8p=0.05, G=8 时是 66%,p=0.01p=0.01 时是 92%,p=0.05,G=16p=0.05, G=16 也还有 44%。而长时任务里,未训练的开源模型通过率大概是十分之一甚至更低(见 §4)。

我拿计算器自己核了一遍(这是本段数字的来源,读者可复算):

通过率 pp组大小 GG浪费组占比 (1−p)G(1-p)^G
0.0580.663(66%)
0.0180.923(92%)
0.032(TEV-GYM 的 base 通过率)80.771(77%)
0.05160.440(44%)

TEV-GYM 里未训练的 Qwen3.8-27B 只有约 3.2% 的环境能完全解出,所以训练一开始,超过七成的组是废的——而训练早期正是策略最弱、最需要信号的时刻。这解释了为什么长时任务的 RL 一直推不动。

我的读法(观点,非论文原话):这两条瓶颈的根子是同一个——地面真值不完整。数据侧,语料是”没有标准答案”地生成的(prompt、输入、checker 分开写,checker 只是测试通过率);奖励侧,因为没有一个完整正确的中途状态,就只能给终态 pass/fail。如果有一个完整正确的隐藏世界,验证和稠密奖励就都有了。

根本约束:这个形状只能这么长

写下一句可反驳的话:TeV 之所以长成”从一个隐藏世界 W 反向渲染出整个环境,让 E=(x,s0,verW,ΦW)E=(x,s_0,\text{ver}_W,\Phi_W) 四个分量都是同一个 W 的函数”这个形状,是因为一个既能防作弊、又因果正确、又能当稠密奖励的进度信号,只有在”地面真值是一个完整正确的隐藏世界”时才算得出来;你一旦松开 W——让 LLM 写任务/验证器,或 prompt-first——要么验证器失去可信度(消融里 88% 的组被丢弃),要么根本没有可信的进度信号。

如果这个约束消失了会怎样?两种朴素替代,论文 §4.3 都消融了:

  • prompt-first(self-instruct 基线):先写 prompt,再生成输入、验证器和答案,没有 latent world 也没有 DAG。结果 S@1 0.23,不优于 base(0.25)。
  • public-view verifier:保留世界和 DAG,但让模型”站在 agent 视角”写验证器(不再对照隐藏真值)。结果训练中 88% 的组被丢弃,S@1 0.24,同样不优于 base。

而完整方法 S@1 0.29、P@5 0.11,比这两者都高出一截。差距不是几分钱的调参,是”验证器是否可信”这个结构问题——prompt-first 生成的验证器会漂移(描述的是另一道题),public-view verifier 会因为看不到隐藏真值而把接近正确但没到终态的输出判错,导致大量组无效。

反向造世界:latent-world-first 合成

核心流程(§2.1)是一条”从正确世界往回造任务”的流水线:

flowchart TD
    A["生成器<br/>seed + scale tier<br/>确定性程序 · 无模型参与"] --> B["Latent World W<br/>完整正确的隐藏世界<br/>Oracle 终态 · 先建"]
    B --> C["Workflow DAG<br/>阶段依赖 · 关键路径=horizon<br/>无模型 · 代码编译"]
    C --> D["渲染成公开文件<br/>CSV/TSV/JSON/SQLite/PNG…<br/>round-trip 断言"]
    D --> E["受控污染<br/>schema drift · 重复缺失 · 类别漂移"]
    E --> F["Task Environment<br/>prompt x + input/ + bash"]
    B --> G["严格验证器 ver_W<br/>对照 W 判 pass/fail"]
    B --> H["进度潜力 Φ_W<br/>每步对照 W 打分"]
    F --> I["Agent rollout"]
    I --> G
    I --> H

六步:(1) 造世界——一个带种子的程序按 scale tier 程序化生成完整正确的 WW,并校验不变式;同时抽一份”缺陷计划”,声明哪些记录/分片/字段会被怎么污染。(2) 编译工作流图——把环境的工作流编译成一个 DAG(如 profile-sources → reconcile-facts/normalize-dims → load-facts → aggregate-validate → package-sidecars),关键路径的长度定义任务的 horizon。(3) 渲染工件——把 WW 投影成公开文件(CSV、JSON、SQLite、safetensors、PNG 甚至账单截图),并在渲染前断言 round-trip(文件能精确还原成 WW)。(4) 受控污染——按缺陷计划注入 schema drift、重复缺失、类别漂移等。这一步让”agent 看到的 s0s_0“完全决定 WW:正确答案无需跑 solver 就能从 agent 所见推出。(5)(6) 公开规格 + 隐藏套件——公开 prompt xx,藏起来一套验证用的 metamorphic 变换和 stale-output 反例。

关键就是这条公式:E=(x,s0,verW,ΦW)(1) E = (x, s_0, \text{ver}_W, \Phi_W) \quad (1) 四个分量全是同一个 WW 的函数。这才是”防工件漂移”的根本:prompt、输入、验证器、进度分不可能各说各话,因为它们是同一张图纸的四个投影。

在此基础上,TEV-GYM 给了三层质量保证(§2.2 / 附录 A.6,Table 7):

  • 覆盖可控:19 个行为轴(corruption class、workflow stage、tool capability、artifact role、relation type…),用 strength-2 覆盖数组保证任意两轴的取值组合都至少出现一次——“多样”是可检验的属性,不是一句广告词。
  • 难度可控:两个旋钮——scale tier(unit/small/full,把 WW 做大、操作 horizon 拉长)和 DAG 依赖深度(决定要先完成几个阶段输出才能对)。
  • 八道资格门,在生成时自动检查:reward causality(每个奖励分量去掉成因就该掉分)、exploit resistance(14 种作弊探针必须都打 0 分)、role independence(reference/alt solver、verifier、progress scorer 代码闭包互不相交)、solver agreement(两个独立 solver 输出必须一致)、progress validity、metamorphic invariance、six-seed diversity、public-contract hygiene。

一个反直觉的点藏在 role independence 和 solver agreement 里:验证器不是”测”出来的,是”对”出来的。 两个独立编写的 solver 在每条 seed 上输出完全一致,才说明规格是自洽的;验证器、进度打分器和参考 solver 代码闭包不相交,才说明一个打分器的 bug 不会传染给另一个。这套”生成时把关”和下游 RL 软过滤(TMAX 那种)是两条完全不同的路线——因为稠密进度信号只有因果正确、能防作弊时才敢用来训练。

产出的 TEV-GYM:1170 个已验证的长时环境,跨 7 域(软件工程、数据工程、AI/CS 研究、数学/运筹、安全取证、基础设施运维、量子计算)。用一个前沿 agent 跑,单次 rollout 中位 12.4 分钟,是最耗时的旧语料(SWE-Smith 2.0 分钟)的约 6 倍;前沿模型(Gemini 3.6 Flash)P@1 只有 29%,base 模型只有 3.2%。也就是说,这个语料大部分内容连当前前沿模型都解不出——这正是论文说的”长时任务的奖励稀疏到普通语料给不起”的量级。

而且它能免模型扩展:因为每个环境是”生成器 + seed + tier”的确定性函数,中位 30 秒 CPU 就能再造一个环境,且无模型调用。附录 A.10 给了三个完整可跑的环境(AWS 成本优化、EnergyPlus 闭环 MPC、财务报表重建)——最后一个例子里,原始 10-K 的三行余额被污染、10-K/A 只重述一行还是错的、structured feed 用真值覆盖,agent 得靠政策文档区分 4 个不同取值才能选中真值 246。这已经不是”写段代码改个 bug”,是逼 agent 做真实的审计推理。

稠密奖励从 WW 里长出来:Φ 与 PPRS

latent world 造好了,奖励是白送的。进度潜力(§3.2):每个环境有一份”进度契约”——一组可检查的输出状态节点 VV(如 readable、schema、dimensions、facts、normalization、relations、aggregates、quality_report、summary),权重 wvw_v 归一化到 1,每个节点带前置集 pre(v)\text{pre}(v)。部分打分器 cv(s)∈[0,1]c_v(s)\in[0,1] 直接对照 WW 给当前工作区打分,且前置门控:c~v\tilde c_v 取该节点及其所有前置里的最低分——所以”在一个错的事实表上搭对了聚合”是 0 分,白搭。

Φ(s)=∑v∈Vwv c~v(s)∈[0,1](3)\Phi(s) = \sum_{v \in V} w_v \,\tilde c_v(s) \in [0,1] \quad (3)

论文论证 Φ\Phi 有三个可用作训练信号的性质,每个都由资格门背书:anchored(exploit-resistant:未触碰的公开树和所有作弊探针都是 0,且 Φ=1\Phi=1 当且仅当严格验证器接受)、monotone(完成节点就升、毁掉已完成的就降)、independent(打分器代码闭包与验证器不相交,评分代码不进公开树)。这三个性质加起来就是一句话:这个稠密信号是因果正确、防作弊的。

然后把它接进 GRPO。PPRS(§3.3):每步整形奖励是潜力增量 rt=Φ(st)−Φ(st−1)r_t = \Phi(s_t) - \Phi(s_{t-1}),rollout 总奖励是 R(τ)=1[τ passes]+λΦ(sT),λ=0.25(4)R(\tau) = \mathbb{1}[\tau \text{ passes}] + \lambda \Phi(s_T), \quad \lambda = 0.25 \quad (4)

这里有个刻意反 PBRS 的举动,是全文最值得停下来想的地方:经典的 potential-based shaping(Ng et al. 1999)会清零终态潜力,好让整形后的目标拥有和原来一样的最优策略;PPRS 故意保留 λΦ(sT)\lambda\Phi(s_T),改变目标函数——因为如果清零了,全失败的组又会拿到完全相同的奖励,§3.1§3.1 的饿死就回来了。它为什么安全?因为 Φ≤1\Phi\le1,任何通过的 rollout 拿 1+λ1+\lambda,严格大于任何失败 rollout 的上限 λ\lambda,所以没有任何一条 rollout 会因为”拿完成换部分进度”而被奖励;“哪些任务算解出”(acceptance set)完全没变,只是失败内部的”分辨率”提高了——它不把任务变简单,是把奖励变细。

代入 Eq(2) 就能看出它怎么补上 GRPO 的饿死:一个全失败的组,现在奖励是 Ri=λΦ(sT(i))R_i=\lambda\Phi(s_T^{(i)}),只要各 rollout 走到不同深度,这些值就不一样,advantage 非零,组内按进度排序。论文 Fig.4 展示了一个真实组:8 条 rollout 在纯终态奖励下全是 0,但在 Φ 下落在 0.05/0.26/0.69/0.78/0.90/1 的不同平台上,梯度就有了。

一个我确认过的因果细节:因为 Φ\Phi 只看工作区、R(τ)R(\tau) 只经过终态 sTs_T 进入目标,两条”走不同路径但到达同一工作区”的 rollout 拿到相同奖励——整形是 telescoping 的,奖励不奖励”撞大运的顺序”。附录 B 也给了诚实的边界:PPRS 不是 policy-invariant 的,期望下它可能偏爱”少成功但失败时接近完成”的随机策略,界是 p2−p1<λ/(1+λ)=0.2p_2 - p_1 < \lambda/(1+\lambda)=0.2;但所有报告的数字都是严格验证器下的终态通过率,这一层扭曲会直接反映在表里,而消融里的 sparse 臂就是对照。

证据:消融、主结果、泛化

数据消融(§4.3,Table 5,9B / ALE-CM):完整方法 S@1 0.29 / S@5 0.40 / P@5 0.11,是唯一在 P@5 上显著领先的;public-view verifier(0.24/0.35/0.04/0.06,88% 组被丢弃)和 prompt-first(0.23/0.32/0.06/0.06)都不优于 base(0.25/0.33/0.06/0.06)。“验证器要对照完整隐藏真值”是结构性的,不是锦上添花。

奖励消融(Table 5 下半):固定 TEV-GYM,sparse 终态奖励 S@1 0.25(等同 base,等于白训);PPRS(turn-index 归一化 + γ=1\gamma=1)0.29/0.40/0.11,是唯一在 S@5 和 P@5 上都赢的。论文还给了个更狠的定性证据:在 27B 上,纯终态奖励”几乎全是零 advantage 的组,一个 optimizer step 都完不成”——稠密不是加速,是能不能训的问题。

主结果(§4.2,Table 2/3/4):TEV-27B 在 ALE-CM 上 P@5 从 0.17 涨到 0.28(相对 +65%,我算的),追平 GPT-6 Astra 和 Claude Opus 5;TB 3.0-CM P@1 0.09→0.14(+56%)、TB 4.0-CM 0.04→0.10(2.5×),超过 GLM 5.2 和 Gemini 3.7 Flash;中长程的 TB 2.1 上 P@1 0.794,对齐 Claude Opus 4.8(0.789)。更妙的是只用 ALE 相关数据训练,却能零样本泛化到 TB 3.0/4.0——这不是在测集上长大,是学会了”长程终端任务的结构”。配方还能搬到大模型:对 GLM-5.3-Flash 跑同一套,得到 TEV-320B,TB 3.0 +35%、TB 4.0 +28%,是两套子集上最强的开源模型。

我为什么觉得它重要(判断,非论文原话)

我读这类论文的顿悟时刻通常是”它把某件被当成赠品的事做成了主产品”。AFlow 那次是”奖励便宜、密集、可读要同时满足”;这篇是——每个想要稠密奖励的人都默认”先有任务,再想办法给稠密信号”(PRM、LLM judge、测试通过率都是这个方向),而 TeV 把顺序倒过来:先造世界,稠密奖励是免费的。 进度信号不是”加”在任务上的添加剂,是”世界存在”的直接推论。你用 PRM 要人工 step 标签、用 LLM judge 要方差赌博、用测试通过率要终态,全都因为没有一张能精确打分的完整图纸;有了 WW,这些都不需要了。

落地到工程上的样子是:设想你想教一个 agent”修好一个仓库并交三份 JSON”——没有 WW 时,你只能等它 submit 看通过没有,中间它把事实表搭错但继续往下搭,你一无所知;有了 WW,你每一轮都能说”你目前 Φ=0.69Φ=0.69,schema 和 facts 对了,但 relations 还缺”——而且你能确定这话是对的,因为它不是模型猜的,是对着一张正确答案画的。 这就是”给稠密奖励”和”造世界”不可分的原因。

诚实的提醒

这部分不是客套,是有具体实验支撑的边界,照实说:

  1. 绝对水平仍然很低。TEV-27B 在 ALE-CM 的 P@5 0.28,但最强的 Claude Opus 5 在 TB 3.0 上是 0.53——最难的基准上,离前沿还有一条大沟。论文自己说”需要更强的开源 base 才能吃满这份高质量但难啃的 TEV-GYM”。这些数字是从 0.04→0.10 这种”低基数上的大倍数”,不是”已经很行”。
  2. “CM 子集”是 Claude 帮挑的。TB 3.0/4.0 的 22/18 条任务子集是用 Claude 判”是否属 computing-and-math”筛出来的;作者核对了子集能追踪全量(r=0.96/0.97),这条是相对干净的,但要看清这是子集不是全量。
  3. 奖励对中长程任务增益很小。TB 2.1 上 27B 只从 0.764→0.794——长时训练”顺手”帮到中长程,但不是主战场。
  4. 语料太难得罪人:连 Gemini 3.6 Flash 在 TEV-GYM 上也只有 29% P@1,“相当一部分超出当前前沿可及范围”。进度奖励让不可训变可训,但天花板还是 base 模型本身——这是为什么配方搬到大 base(GLM-5.3-Flash→320B)才有更大的绝对收益。

小结

  • 根本约束:防作弊、因果正确、可当稠密奖励的进度信号,只有在”地面真值是完整正确的隐藏世界 WW“时才算得出;松开 WW(LLM 写任务/验证器),验证器漂移、88% 组被丢弃、训练等于白跑。
  • 崩点:换 prompt-first 或 public-view verifier,S@1 掉回 base 水平;换 sparse 终态奖励,27B 上连一个 optimizer step 都完不成。
  • 共同祖先:反向造任务 = denoising / 错误注入 / instruction back-translation / 程序化谜题生成(BART、GeCo、Self-Alignment、Enigmata)的直系后裔,但 TeV 污染的是”整个世界的渲染”而不是单个工件,所以任务/验证器/奖励共享一个锚点;奖励整形 = PBRS(Ng 1999)的反用——不清零终态潜力、故意改目标,但靠 Φ\Phi anchored 保住 acceptance set;RL 估计器 = GRPO(DeepSeekMath)的饿死诊断。
  • 可带走的动作:做 agentic RL 数据时,先问”我的验证器对照的是不是一份完整正确的隐藏世界”。如果只能对照公开文件或测试通过率,那你既没有可信验证、也没有稠密奖励——它们是同一个决定的下游,不是两个独立设计。

常见的三种误读

常见误读实际情况
”TeV 的贡献是稠密奖励(PPRS)“PPRS 只是把 WW 里的信息接进 GRPO 的胶水。真正的贡献是 latent-world-first 合成让稠密信号因果正确且防作弊;奖励是造世界的副产品。
“PPRS 是 PBRS 的一种实现”恰好相反。PBRS 清零终态潜力以保持最优策略不变;PPRS 故意不清零、改变目标函数,安全是因为 Φ\Phi anchored(Φ=1  ⟺  \Phi=1 \iff verifier 通过)保证 acceptance set 不变。
“TEV-GYM 让开源追平了闭源”只在 ALE-CM 的 P@5 追平;最难的 TB 3.0/4.0 上仍有大沟。真正的信号是”低基数上的倍数”和”配方的可迁移性”。

下一步(5 分钟内可动手)

打开论文附录 A.10里三个完整环境,任选一个(我推荐财务报表重建那个,信息密度最高),只看 public view、不看 ground truth,试着自己手写一份”要检查哪些中间产物”的进度契约——再对答案,看你漏掉的节点是不是恰好是前置门控会拦住你的那一个。这会让你第一次亲手摸到”为什么进度信号必须来自完整世界而不是测试通过率”。

参考来源

论文

相关方法

本站相关