Pi 1.5.2 是给模型接上命令行和文件工具的编程 Agent 运行时。在它里面做 SWE-bench Pro 的同一批 51 道高难软件修复题,Qwen3.8-27B 加上适配器后,通过的题从 20 道变成 33 道。两组都关闭了聊天模板里的显式思考开关,使用普通输出模式。评测设置 · 公开轨迹
我把公开轨迹逐题对齐,总工具调用从 4,148 次降到 1,591 次。省下的调用有近四成出现在双方都没做成的题里。
测试报错怎么返回,决定了下一步有哪些选择
想象一次测试失败。工具如果把完整报错交给模型,模型当场就能去读报错指向的文件。如果只给退出码和日志位置,模型得先打开日志。任务和验收方式一样,值得做的下一步已经变了。Harness 就是负责调用工具、拼接上下文、控制何时停机的这层运行时代码。《什么才是好的 Harness》
Hugging Face 让 Pi、OpenCode 和 Hermes Agent 分别在训练中跑自己的循环。代理位于运行时和模型服务之间,转发模型请求并记录实际生成的 token。每次尝试结束,自动验收给出正确性分数,训练器拿到这一分数和相应的生成记录。作者另加了一小项工具效率奖励。底座权重保持冻结,只训练一份可挂载的参数增量,也就是 LoRA。训练如何接入运行时 · 训练设置 · LoRA 机制笔记
对编程 Agent 来说,工具回包和拼好的历史决定下一步能看到什么。训练用的复刻版如果能提供同样的动作、反馈、停止条件和奖励,也能产生等价的训练体验。让部署用的运行时直接参与采样,省去了逐项复刻这些行为的工作。
得分还要能区分好坏。原文用参考解和已知错误的解检验自动判分,再给底座模型多次机会试跑。同一题如果每次都拿到相同的正确性奖励,GRPO 这个按组内表现更新模型的方法就无法靠这项奖励区分哪条路径更值得学。作者在 442 道有分数的候选题里筛出了 171 道有时能解、有时解不出的题。候选题怎么筛
两边都失败的题,省下了 986 次工具调用
原文主要用两边都解出的题来衡量解题效率。我想知道整批任务的调用省在了哪里,于是用题目 ID 配对 Pi 的两份关思考记录。每道题各跑一次,通过以自动验收为准。代理记录在顶层的 tool_calls 计数,底座版缺 2 题,适配版缺 1 题。我统一数每题结构化轨迹中的工具调用条目。模型一轮发出几次请求就记几次,工具执行失败也计入。轨迹字段说明
| 验收结果 | 题数 | 底座调用 | 适配后调用 |
|---|---|---|---|
| 都通过 | 18 | 1,209 | 549 |
| 只有适配后通过 | 15 | 1,520 | 668 |
| 只有底座通过 | 2 | 90 | 31 |
| 都失败 | 16 | 1,329 | 343 |
两边都失败的 16 道题贡献了总降幅的 39%。新解出的 15 道题里有 14 道也少调了工具。另有 2 道底座通过的题在适配后没过,调用同样减少。只看平均调用量,这两道也会被算作改善。
细分工具名,终端工具 bash 的调用从 3,186 次降到 884 次,占整个降幅的约九成。在两边都失败的题里,bash 也从 1,070 次降到 184 次。Pi 模型卡还记录了终止原因。在各自未通过的题里,底座有 20 道跑满 100 次模型调用上限,适配版是 0 道。Pi 模型卡的评测说明
整题的验收分怎样变成 LoRA 的梯度
训练器先拿到模型当时看到和生成的 token
Pi 模型卡展示了一次修复 human_to_bytes 的评测。那条轨迹先发了三次 bash,第四次调用 edit。同样的交互放到训练里,OpenEnv 的代理会从推理服务拿到每轮真实的输入和输出 token ID,以及模型当时选中那些输出的对数概率。训练轨迹给每个位置带一位掩码。命令回包作为输入,掩码是 0,参与前向计算。模型生成的工具名、路径和编辑内容中,掩码为 1 的位置直接计入训练损失。Pi 模型卡 · OpenEnv 的训练轨迹格式
保留每轮真实输入很要紧。Pi 如果在两轮之间删掉旧内容,模型选 edit 时看到的历史就会变。公开的 TRL 实现遇到这种上下文改写会拆开训练样本,用各轮原来的输入算概率。同一次做题拆成多条样本后,它们仍拿同一个奖励权重。Harbor 训练示例 · TRL 的多轮样本处理
同一道题的几次尝试先算出各自的优势
Pi 模型卡给出的训练设置是每题采样 8 次,工具效率项权重为 0.1。公开的 Harbor 示例脚本展示了奖励怎样结算。验收通过后,调用量越低,加分越多。示例用 15 次调用作基准,达到 15 次之后,加分为零。用掉 5 次调用时,按余下的 10/15 乘示例默认权重 0.3,可加 0.20 分。按公开示例的参数,假设同一题有下面三次尝试。Pi 模型卡的训练设置 · async_grpo_harbor.py:108 的奖励实现
| 验收 | 调用次数 | 最终奖励 | GRPO 优势 |
|---|---|---|---|
| 通过 | 5 | 1.20 | +0.834 |
| 通过 | 12 | 1.06 | +0.572 |
| 未通过 | 2 | 0 | −1.406 |
GRPO 先用每次的奖励减去同题平均分,再除以这一组的标准差。TRL 用的是总体标准差,算出每个分数离平均分的距离,平方后取平均再开根。这里平均分约为 0.753,标准差约为 0.536。得到的相对分叫优势,用它给整次尝试中所有参与训练的模型输出加权。在这个 0/1 判分下,同组全通过时,正确性分在减去均值时抵消,组内差异来自工具效率。表中第三条轨迹低于组均值,即使第一步找对了文件,那一轮的输出也拿负优势。这个权重的分辨率是整次尝试,具体动作的好坏要靠多次采样逐渐区分。TRL 的 compute_advantages() · DeepSeekMath 的终局奖励版本
一次反向传播怎样让模型更倾向于选 edit
训练器把记录下来的 token 送进当前模型做前向计算。模型每个位置为词表里的候选 token 打分,那个分叫 logit。Softmax 把这串分变成概率。给定当时的历史,训练器取出实际选中的 token 的概率 。概率越大,它的对数 也越大。
用一个采样和训练分布相同的小例子,单个位置的梯度可以由下面的简化损失算出来。 是整次尝试的优势, 是选中 token 的 logit。
假设那条 5 次调用就通过的路径里,组成 edit 的某个 token 的概率是 25%。代入优势 ,损失对这个 logit 的梯度约为 。梯度下降沿反方向更新,这一项就把那个 token 的分数往上推。负优势给出相反的方向。
异步训练时,推理服务可能还在用更早的参数。TRL 用当前概率除以当时的采样概率,按这个比值修正梯度。比值超出阈值时,实际采到的 token 的直接梯度权重设为零。公开的 TRL v1.18.0 默认用 score_centering 再做一步校正,估算抽样分布下加权梯度的平均值,并从该位置的梯度中减去它。TRL 的 compute_loss() 实现 · 训练损失说明
反向传播汇总各个位置的梯度。在挂 LoRA 的线性层,前向用到的权重是 。 是冻结的底座权重, 是缩放系数,优化器只更新两个较小的矩阵 和 。更新后的权重再同步到推理服务,供后续任务采样。LoRA 的线性层原理 · 异步训练与权重同步
调用工具的回合变少,带文字的回合却变多
Hugging Face 发现,关掉显式思考后,适配版在调用工具时仍会写些像是在推敲的文字。我数了同一批轨迹中带工具调用的模型回合,把输出的 message 字段去掉首尾空白后仍有内容的回合计为带文字。底座有 450 / 3,923 个这样的回合,适配后是 1,153 / 1,425 个。带文字的比例从 11.5% 升到 80.9%,绝对次数也增加了。原文对这种行为的观察
要分出其中哪些文字在计划下一步,哪些只是在复述工具动作,需要给内容做标注。要检验适配版是否重新调用了底座已有的推理能力,还得做模型干预。已有研究在 Qwen3-8B 上把与思考模式有关的一部分中间值换回底座的值,关思考训练带来的收益便消失了大半。The Thinking Leakage in Reinforcement Learning for LLMs
公开轨迹里还有一份打开显式思考的底座记录。在同一批题里它通过了 38 道,其中 11 道是关思考适配版没有通过的。公开设置里的生成上限按每次模型请求计,关思考是 8,192 个 token,开思考是 32,768 个。要比较哪个模型在你的预算里更划算,思考开关和生成上限得一起记账。公开轨迹的运行设置
复算逐题配对、工具与消息计数
在空目录用 curl 和 Python 3 运行以下命令。三个压缩文件分别对应底座关思考、Pi 适配版关思考和底座开思考。每行是一道题的记录。
bucket=https://huggingface.co/buckets/harness-hub/harness-adapters-trajectories/resolve/sbp-hard51/pi
for run in base-no-think specialist-no-think base-think; do
curl -fsSL --retry 3 "${bucket}/${run}.jsonl.gz?download=true" -o "${run}.jsonl.gz" || exit 1
done
python3 - <<'PY'
import gzip
import json
def load(run):
tasks = {}
with gzip.open(run + ".jsonl.gz", "rt") as data:
for line in data:
row = json.loads(line)
trace = json.loads(row["files"]["agent/trajectory.json"])
turns = [s for s in trace["steps"] if s["source"] == "agent" and s.get("tool_calls")]
tools = [call for s in turns for call in s["tool_calls"]]
bash_calls = sum(call["function_name"] == "bash" for call in tools)
text = sum(bool((s.get("message") or "").strip()) for s in turns)
assert row["reward"] in (0, 1) and row["task"] not in tasks
assert trace["agent"]["version"] == "1.5.2"
tasks[row["task"]] = (int(row["reward"]), len(tools), text, len(turns),
row["tool_calls"] is None, bash_calls)
return tasks
base, tuned, think = map(load, ("base-no-think", "specialist-no-think", "base-think"))
assert base.keys() == tuned.keys() == think.keys()
for outcome in ((1, 1), (0, 1), (1, 0), (0, 0)):
tasks = [t for t in base if (base[t][0], tuned[t][0]) == outcome]
print(outcome, len(tasks), *(sum(run[t][1] for t in tasks) for run in (base, tuned)),
sum(tuned[t][1] < base[t][1] for t in tasks))
for label, run in (("base", base), ("tuned", tuned), ("think", think)):
print(label, *(sum(row[i] for row in run.values()) for i in (0, 2, 3, 4)))
print("base-think pass / tuned fail", sum(think[t][0] and not tuned[t][0] for t in base))
both_failed = [t for t in base if base[t][0] == tuned[t][0] == 0]
print("bash all", *(sum(row[5] for row in run.values()) for run in (base, tuned)))
print("bash both failed", *(sum(run[t][5] for t in both_failed) for run in (base, tuned)))
PY
配对行依次是底座与适配版的通过状态、题数、两边各自的调用总数,以及适配后调用减少的题数。模型行依次是通过题数、带文字的工具回合数、工具回合总数、缺少代理计数的题数。最后两行是底座和适配版的 bash 调用计数。
(1, 1) 18 1209 549 18
(0, 1) 15 1520 668 14
(1, 0) 2 90 31 2
(0, 0) 16 1329 343 16
base 20 450 3923 2
tuned 33 1153 1425 1
think 38 1098 3586 19
base-think pass / tuned fail 11
bash all 3186 884
bash both failed 1070 184
把运行时版本写进评测
原文把 Pi 适配器放到 OpenCode,在这次 Terminal-Bench 2.1 评测中,底座的通过率是 44.8%,加上 Pi 适配器后是 54.0%。业务自动化评测同时换了题型和运行时,Pi 适配版从底座的 23.0% 升到 27.0%,原作者认为这可能是波动。想知道收益能带到哪里,可以固定一批题只换运行时,再固定运行时只换题。原文的迁移评测
我会把运行时版本、思考开关和预算跟模型名一起写进评测,逐题记录验收结果与工具调用量,失败的也照记。Pi 的这笔账比较的是同一运行时里装上适配器前后的表现。如果想知道直接在部署用的运行时里训练值多少,可以固定任务、奖励和训练设置,只改采样时用的运行时,最后放回同一套部署环境评测。
参考来源
工程实践
- Hugging Face · Introducing harness adapters
- Hugging Face · Harness adapters 评测轨迹
- Hugging Face · Pi 适配器模型卡
- TRL · OpenEnv 接入与训练轨迹
- TRL · AsyncGRPOTrainer
论文