Qwen 团队 2026 年 1 月放出的 The Lessons of Developing Process Reward Models in Mathematical Reasoning(arXiv:2501.07301)里有一对数字,并排看很有意思:
- Qwen2.5-Math-PRM-7B 在 Best-of-8 上相对 Skywork-PRM-7B 领先约 2.8 个百分点(67.6 vs 64.8)
- 同一对模型在 ProcessBench 上的平均 F1 领先 31.4 分(73.5 vs 42.1)
前一个指标上 Qwen 只是”略好”,后一个指标上几乎不在一个档次。两个指标都在测 PRM 的能力,差距却相差十倍。论文把数据都列了,没把这两个数字并排讨论一句——但它恰好把过程奖励模型(PRM)的三个老问题(标签怎么来、拿什么评、训出来到底值不值)同时暴露了。
这篇想借 Qwen 这篇论文讲清三件事:PRM 和 ORM 到底哪里不一样;Qwen 给出的三个训练教训;为什么那两个数字必须相差十倍——并用一段 Python 手算证明 BoN 指标天生偏爱”只看答案的伪 PRM”。
开始前的几个词
PRM = Process Reward Model,过程奖励模型。对推理的每一步打分,不是只打最终答案。对照的是 ORM(Outcome Reward Model),只看结果对不对。
ProcessBench 是先前的一个评测(arXiv:2412.06559,Qwen 团队的另一篇),给定一道题和一段完整的分步解答,看模型能不能准确指出第一个错误出现在第几步——如果全对,也要能说”没有错”。按步骤级别的分类 F1 来打分。
Best-of-N(BoN):让生成模型给同一道题产生 N 个候选答案,再让 reward model 给每个候选打总分,选分最高的那个,看最终答案对不对。这是 reward model 最常见的推理期用法,也是本文那两个数字里的第一个。
MC 估计(Monte Carlo estimation)这里特指一种为 PRM 造训练标签的办法:对推理中的某一步,用一个强的生成模型从这一步往下续写 N 次,看最终答案的正确率,用这个比例当做”这一步质量”的软标签。下文教训一会说它为什么会漏算。
PRM 要替 ORM 做什么
从一个具体场景入手。你让一个 LLM 解一道多步数学题,它输出八步推理,最后给了一个答案,错了。ORM 只告诉你”错了”——这个信号足够训练一个能选答案的模型(“下次挑另一个候选”),但不足以告诉模型错在第几步。
直接后果是两个。一是学习效率低。REINFORCE 之类的 RL 方法里,如果只有最终 reward,这个 reward 被平摊回八步里的每一步时都是同一个负号——“每一步都错了一点”。但现实可能是前七步完美、第八步算错了,也可能是第一步就跑偏、后面全是瞎套用。两种情况学到的”这一步要改”应该完全不同。二是推理期不能当安全带。生产里跑 RAG、跑 agent、跑代码生成,经常想在中途截停——“这一步看起来已经走偏了,别再往下烧 token 了”。ORM 没法给中间步打分,所以要么等跑完再判(晚了),要么退化成启发式。
PRM 就是对这两个缺口的回答:给每一步一个 0–1 的分,训练时提供细颗粒 credit,推理时可做分步 gate。
Qwen 的 HuggingFace 模型卡给出的推理接口很简洁:把解答按 \n\n 切成多步,每步末尾塞一个 reserved token <extra_0>,整条送一次 forward,取这些位置上”正类”(二分类的 label 1,对应”这一步正确”)的 softmax 概率作为每步分数。整个解答一次前向出全部分数,而不是每步跑一遍,工程上比较划算。
教训一:让模型自己评自己,天花板出在哪里
PRM 要训练,先要有”这一步对还是错”的标签。标签怎么来,是整个 PRM 训练里最吃力的问题。论文表 4 给出了三种办法在同规模下的对照(均为 ProcessBench 平均 F1):
- MC 估计(约 860K 样本):40.1
- LLM-as-judge(约 860K 样本):46.5
- 人工标注(PRM800K 数据集,论文这里用的是 264K 子集):56.5
三个数字一顺排下来,很多人会读成”人工标注就是比合成好、多花钱买质量”。那是对的,但不是这张表最关键的事。关键是前两个的 6.4 分差距——同样的合成数据、同样的 860K 规模、同样的待训基础模型,只是打标签的”办法”换了一下,PRM 的最终质量就差了一截。
为什么?MC 估计有一个结构性问题:它用一个强的生成模型从当前步往下续写 N 次,统计最终答案的正确率。这个”正确率”反映的是续写模型的能力分布——如果续写模型在后续步里能靠自己纠错救回来,那即使当前这一步其实走偏了,MC 估计出来的分数还会偏高;反过来,如果续写模型不够强,即使当前步本来没问题,后续它自己走崩了,分数会偏低。换个说法:MC 估计并不在测”当前这一步正确性”,而在测”从当前这一步出发,续写模型能不能抢救回来”。两者在训练集的分布上差异不大时看起来等价,差异一拉开——比如遇到稍难的题、或续写模型自己就有系统偏差——MC 估计的标签就开始学”续写模型的偏差”,而不是学”步骤正确性”。
LLM-as-judge 则是让另一个模型直接判断这一步的合法性,不走 rollout。它有它自己的问题(下文教训二会看到),但起码不把自己的续写能力偷偷塞进标签里。
论文据此提出 consensus filtering:把 MC 估计和 LLM-as-judge 都跑一遍,只保留两者对”第一个错误步”位置达成一致的样本。论文给了两次过滤的规模:3.1.3 节做方法消融时,用的是上表 4 里 860K 规模的小数据集,过滤后保留约 40%(≈344K),这个保留比例用来衡量两种标注机制一致性有多低;3.1.4 节的最终训练数据是另起炉灶扩到 3M 规模后过滤到 1.5M(50%),这才是 Qwen2.5-Math-PRM-7B 实际训练用的。换句话说,表 4 里的 860K 是”同规模下三种标注方式对比”的消融基线,不是正式训练集。两次过滤保留率都在 40%–50%,意味着两个独立标注机制有过半的样本互相不同意。保留下来的样本质量更高,这是论文 3.1 节自述的”Qwen2.5-Math-PRM-7B 大幅领先其它开源 PRM”的主要原因。
对我而言,这条教训比 PRM 本身更一般:凡是训练信号由模型自己的输出合成的,训出来的模型就会继承那个产信号模型的 bias,而不是你以为的那个”客观属性”。用在 self-play 的 reward hacking、用在合成数据 pretraining、用在 LLM-as-judge 评测——都是同一个陷阱,只是名字不同。我在《决策模型的 reward hacking 反馈回路》里讨论过它的训练端表现,Qwen 这里给的是评测端的证据。
教训二:Best-of-N 测的其实是另一件事
现在回到开头那对数字。Qwen 论文的表 6 和表 7 给出了一组并排对比:
| 模型 | Best-of-8 平均准确率 | ProcessBench 平均 F1 |
|---|---|---|
| Qwen2.5-Math-PRM-7B | 67.6 | 73.5 |
| Skywork-PRM-7B | 64.8 | 42.1 |
| Math-Shepherd-PRM-7B | 64.2 | 31.5 |
Qwen 相对 Skywork,Best-of-8 领先 2.8 个百分点,ProcessBench 领先 31.4 分。相对 Math-Shepherd,Best-of-8 只领先 3.4,ProcessBench 领先 42.0。为什么会这样?
因为 Best-of-N 测的是”从候选里挑对的那一个”。只要 PRM 能给对答案的候选打一个相对较高的分,BoN 就赢了——它甚至不需要能指出错误候选”错在哪里”,它只需要把对答案的那条总分排到前面。
如果生成模型本身的候选池子里本来就有不少”过程对+答案对”的样本(在 GSM8K 之类的简单题上尤其如此),那连一个随机打分的 PRM 都能靠”多采几次”白嫖性能。Qwen 论文里明确点出了这个问题:生成模型可能给出”答案对但过程错”的响应,而大多数开源 PRM 对这类响应的识别准确率都低于 50%(表 5)。意思是,这些 PRM 在”选答案”这件事上看起来还行,是因为它们用”答案倾向”替代了”过程判断”,蒙对了。
ProcessBench 测的则是另一件事:精确指出第一个错误发生在第几步。这个任务没有”蒙”的空间——要么你定位对了,要么错了。Qwen 和 Skywork 在这个指标上差 31 分,说的是 Qwen 真正能”读步骤”,Skywork 更像是在”读答案倾向”。
手算一笔 BoN 对伪 PRM 的偏爱
把前面这段”BoN 偏爱答案判断器”的直觉算成数字,可以用一个只有四格的候选分布玩具模型。设定一个假设的候选池联合分布(这四个数字是我自己定的假设值,不是实测的;它们用来验证”BoN 指标存在这种偏爱”,不是给出具体幅度),每个候选独立同分布地落在 (process_correct, answer_correct) 的一个格子里:
- 过程对 + 答案对:0.45(通常情况)
- 过程错 + 答案蒙对:0.15(推理走偏但最后答案对了)
- 过程对 + 答案算错:0.05(推理对、最后计算或抄录有错;这里”过程对”仅指 ProcessBench 口径之外的”大方向对、细节崩”的小类,为了让玩具模型不丢掉这一象限)
- 过程错 + 答案错:0.35(彻底错)
对比三种 selector 在 N=8 候选池上的 Best-of-8 正确率(这里”正确”= 选中的候选 answer_correct = True,和 Qwen 论文 Best-of-N 评测的定义一致):
- Random selector(闭眼选):边际 P(answer_correct) = 60.0%
- Fake PRM(能完美挑出 answer_correct=True 的候选,池里有就必选):1 − (1 − 0.6)⁸ = 99.93%
- True PRM(能完美挑出 process_correct=True 的候选;池里只要有,就从该子集等概率抽一个;无则在剩余候选里等概率抽):P(池里有 process_correct 候选) × P(answer|process) + 补集项 = 89.77%
一次性脚本(Python 3,无依赖):
python3 <<'EOF'
p_tt, p_ft, p_tf, p_ff = 0.45, 0.15, 0.05, 0.35 # (process, answer)
p_ans = p_tt + p_ft
p_proc = p_tt + p_tf
N = 8
random_bon = p_ans
fake_bon = 1 - (1 - p_ans)**N
p_any_proc = 1 - (1 - p_proc)**N
true_bon = p_any_proc * (p_tt/p_proc) + (1 - p_any_proc) * (p_ft/(1 - p_proc))
print(f"Random : {random_bon:.4f}")
print(f"Fake (ans-only): {fake_bon:.4f}")
print(f"True (proc-only): {true_bon:.4f}")
print(f"Fake - True : {fake_bon - true_bon:+.4f}")
EOF
输出:
Random : 0.6000
Fake (ans-only): 0.9993
True (proc-only): 0.8977
Fake - True : +0.1017
在 BoN 指标下,一个只会判断答案对错、完全不看过程的伪 PRM,反而比一个完美看过程、不看答案的真 PRM 高 10.2 个百分点——换一组假设分布数字会变(比如把”过程对+答案算错”那一格压到 0,True PRM 会追上来),所以这里给的是”存在性证明”:存在合理的候选分布,在 BoN 评测下 fake PRM 表现系统性地优于 true PRM。幅度本身不是重点,重点是这个方向性反差稳定存在。
为什么会这样?因为 True PRM 会把”过程对但答案算错”的那 5% 候选打高分(它看的是过程),而 BoN 评测给这些候选判负(它看的是答案)。Fake PRM 没有这个”忠诚于过程的代价”——它看的就是 BoN 要测的东西。
这不是 bug,而是定义上的事情。PRM 作为”过程监督”的目标函数,和 BoN 作为”最终答案选对”的评测函数,在数学上从来就不是同一个函数。两者数字相近是巧合,相远才暴露真相。Qwen vs Skywork 的 2.8 vs 31.4,就是后一种情况。
把这两个数字并排看,结论很直接:Best-of-N 分不出一个真 PRM 和一个”答案判断器”。要测一个模型是否真的会过程监督,必须像 ProcessBench 那样直接测步骤定位能力——Qwen 这篇论文除了放出 SOTA 模型,更值得记住的是它量化演示了这个评测错位。
从我之前写《LLM 评测的十一种方法:参考值到底从哪来》那篇的角度看,这是一个典型的”参考值错位”:BoN 的参考值是”最终答案对不对”,而真正想测的是”步骤判断能力”——两者只在平均下相关,具体到模型差异时会严重错位。
教训三:数据量不是天花板,标注者的能力才是
回到那三组对照:
- MC 860K → F1 40.1
- LLM-judge 860K → F1 46.5
- 人工 PRM800K 的 264K 子集 → F1 56.5
人工标注数据量比前两者小约 3.3 倍,F1 却高出 10–16 分。这里的信息是”更好的标签比更多的标签更值钱”——这件事在监督学习里是常识,但放到 PRM 这种”过程监督”任务上,感知更强烈:错误的标签不只是噪声,它是系统性偏差(续写模型的 bias),你加多少量都洗不掉。
这也是 consensus filtering 要那么激进的原因——保留率只有 40%–50%,剩下的一多半数据是”两个标注系统互相不同意的样本”,丢掉它们比留着更划算。
所以训自己的 reward model(PRM 或 ORM)时,默认先做 inter-annotator agreement:两个独立来源对标签不一致的样本直接丢。保留高一致性的那部分,往往比保留全集效果好——Qwen 这里给了量化证据。
论文自己承认的局限
两点值得记一下。即使是 Qwen2.5-Math-PRM-7B 这样的 SOTA 开源 PRM,相比 OpenAI 的 o1-mini 仍有明显差距。PRM 这条路(无论是作为 RL 训练信号还是推理期 selector)距离”真能在复杂推理上接住闭源旗舰”还有一段路。
另一点更贴我前面的发现:即便 PRM 本身的 ProcessBench F1 涨了很多,Best-of-N 相对 pass@N 上界(候选池里存在的最好答案)仍然差一大截。也就是说,挑中的最优候选和”有机会挑中的”最优候选之间,PRM 的 selector 能力还没饱和——候选池里有更好的答案,PRM 没把它们排到前面。这和”PRM 本质还是在学个代理指标”的担心吻合,也和前面手算得出的”BoN 评测偏爱答案判断器”互相印证。
通俗版
把 PRM 想象成一个代码评审员。
ORM 是那种只看单元测试跑没跑过的评审员——“你这个 PR 的测试过了,我批了”。能用,但测试过 ≠ 代码对;测试没过时他也只能说”没过”,说不出”哪一行没对”。
PRM 是会逐行评审、能在 diff 上留 comment 的那种。你希望他真的能挑出”第 47 行用错了异步上下文”这种细粒度的问题——这就是 ProcessBench 测的东西。
但如果你只用”两个评审员各自批的 PR 里,跑测试通过的比例”来打分,这两种评审员看起来差不多——都能把跑得通的 PR 批过,跑不通的 PR 打回。差距要到”直接问他第几行错了”的测法下才显出来。而那个只看测试结果的评审员,可能在第一种打分法下反而比那个认真看每一行的高——他从不会因为”代码写得挺对但 CI 偶尔抖一下”而给 PR 打负评。
这就是 Qwen 论文里那两个数字相差十倍的原因,也是选 PRM 时别只看 Best-of-N 分数的理由:它测的那件事,和 PRM 被要求做的那件事,在数学上从来就不是同一回事。
参考来源
论文与模型
- Zhang 等:The Lessons of Developing Process Reward Models in Mathematical Reasoning,arXiv:2501.07301,2026 年 1 月。本文所有数字出处(表 4、表 6、表 7 与 3.1 节文字)。
- Qwen2.5-Math-PRM-7B 模型卡:含
<extra_0>推理接口示例代码。 - Zheng 等:ProcessBench: Identifying Process Errors in Mathematical Reasoning,arXiv:2412.06559,2024 年 12 月。ProcessBench 评测本身。
- Lightman 等:Let’s Verify Step by Step,arXiv:2305.20050,OpenAI 2023。PRM800K 人工标注数据集的原始论文。
站内相关
- 《决策模型的 reward hacking 反馈回路》:模型评自己 bias 的训练端表现。
- 《LLM 评测的十一种方法:参考值到底从哪来》:参考值错位问题的系统梳理。
- 《Agent-native 产品的交付门禁》:推理期 gate 的产品化思考。