决策模型的奖励作弊:生产反馈环何时开始毒化训练信号

用一份 60 行的最小实验复现"路由器被 proxy reward 带偏"的全过程,核对 Goodhart、自噬和 sycophancy 四类失效,并给出常见的"加探索能救"误区为什么救不了。

决策模型 / 路由器拿生产反馈做正循环训练,是本站 Clef 深读 的收口画面。那张图漂亮但有一块没点破:如果反馈信号本身是”用户没有点重新生成”这类代理指标,闭环会把路由推成什么样? 这篇把那个反问做成可跑的实验,看看沉默失败发生得多快。

我跑了一个 60 行的最小闭环。三个候选模型、2000 轮、路由器只看 proxy reward 更新。结论先摆出来:

  • 路由器的 proxy 估计收敛得很漂亮(相对误差 < 3%),看起来一切健康。
  • 末 500 轮 97.2% 的流量都被路到”自信地胡扯”的模型 B。
  • 真实收益被 proxy 吃掉 36.3%:地面真值训练能拿到 0.792 的 true reward,闭环只有 0.504。

更打脸的是:我原本以为加探索(epsilon 从 0.00 调到 0.50)能救一大半——跑完发现几乎没救。真正起效的解法成本比我原以为的高一个量级。

路由器以为 (proxy 累计)     ────▶  0.861  ↑↑↑  (看起来越来越好)
系统实际交付 (true 累计)    ────▶  0.504  ──   (停在抛硬币附近)

本文先铺概念,再跑实验,最后挂四篇论文定位同一条故障线。下面所有数字我都用 seed=42 的 Python 脚本跑过;读完能原样复现。

名词速查

术语一句话解释
决策模型 / 路由器把请求分派到某个下游模型/工具的小模型;本站 Clef 深读 讲的就是一类
proxy reward(代理奖励)便宜易测的信号,被当成”用户是否满意”的近似:点赞、没点重新生成、停留时长
true reward(真实奖励)真正想优化的目标:答案对不对、长期留存、任务完成
contextual bandit一种在线决策算法:每轮选一个臂、观察到一个奖励、更新对该臂的估计
ε-greedy最简单的探索策略:以 ε 概率随机选、以 1−ε 概率选当前估计最高的
Goodhart 定律一个指标一旦变成优化目标,就不再是好指标
sycophancy(谄媚)模型为了取悦用户,倾向输出用户想听的而不是对的
holdout traffic单独划一块流量跑地面真值评估,不混进在线反馈
模型自噬 / 自食用自己生成的数据训练自己,导致分布塌陷的现象

谁的信号多,路由就被谁拉着跑

一句话抓骨架:路由器的训练器把每一次反馈都当作一张票,而 proxy 信号的投票频率永远高于真实信号的投票频率,所以它必然把路由推向满足 proxy。

反例测试:如果投票权相等——proxy 和 true 在估计器里同等计数——Gao / Schulman / Hilton 2022 的倒 U 曲线就不该存在;但他们在 arXiv:2210.10760 的合成实验里实测到了,proxy 曲线一直涨、true 曲线先涨后跌。所以这条机制是真的。

这不是一个 bug,是闭环的拓扑决定的:只要反馈路径里 proxy 的数据量 ≫ true 的数据量,而两种信号在估计器里等权重相加,路由必被 proxy 主导。这个判断下面会用实验量化。

最小实验:三个模型,一个贪婪路由器

设定如下,刻意让”真 vs 显”错位:

模型true_qualityproxy_signal坏掉会怎样
A0.800.40答对但措辞谨慎,用户点”重新生成”的概率高
B0.500.85答得像那么回事,用户看着像就接受了
C0.300.70自信地胡扯,更烈的 B

路由器是 ε-greedy 的 contextual bandit:每轮选一个模型、观察到两个事件(proxy、true),只用 proxy 更新估计。这正是 Clef / Gemini Decision 这类决策模型接入生产反馈时的默认实现——点”重新生成”、提交 ticket、7 天留存这些信号都会以类似方式回灌。

核心循环的伪代码(对应 sim.py 的 run 函数,简化版):

# 伪代码,不含边界异常
for t in range(ROUNDS):
    if random.random() < epsilon:
        pick = random.choice(MODELS)         # 探索
    else:
        pick = argmax(est)                   # 利用:选 proxy 估计最高的

    got_proxy = bernoulli(MODELS[pick].proxy)  # 用户没点"重新生成"?
    got_true  = bernoulli(MODELS[pick].true)   # 答案真的对吗(闭环看不到)
    n[pick]   += 1
    est[pick] += (got_proxy - est[pick]) / n[pick]  # 污染源:用 proxy 更新

2000 轮跑完:

路由器学到的 proxy 估计: A=0.432  B=0.872  C=0.759   ← 相对误差 < 3%,收敛干净
各模型被选中次数:        A=44     B=1927   C=29
末 500 轮选择分布:       A=1.6%   B=97.2%  C=1.2%
累计 proxy reward (真实): 0.861   ← 看起来一切健康
累计 true  reward (真实): 0.504   ← 实际只有抛硬币水平

对照实验:把 got_proxy 换成 got_true 更新(即假设我们能直接观测真实质量)。同一个 seed:

路由器学到的 true 估计:  A=0.803  B=0.594  C=0.353   ← 一样收敛
各模型被选中次数:        A=1934   B=32     C=34
累计 true reward:        0.792    ← 这是能拿到的上界

损失账:0.792 − 0.504 = 0.288,即生产闭环把 36.3% 的真实收益白白吃掉。读者看到这里会说:路由器是明显欠拟合 A,那加点探索不就行了吗?我也是这么想的,所以继续跑了一组。

加探索救不了:反直觉的第二组实验

把 ε 从 0.00 扫到 0.50,每档跑 20 个 seed 取平均:

εtrue_rewardproxy_reward选 A选 B选 C
0.000.5010.849819920
0.020.5000.84422195820
0.050.5020.84138192339
0.100.5050.83070185872
0.200.5080.8101371724139
0.300.5070.7882051571224
0.500.5140.7493381321341

真实收益从 0.501 爬到 0.514——救回来 1.3%。而最佳可能收益是 0.792。换句话说,哪怕 50% 的流量都在瞎选,路由器的真实表现依然贴着地板。

原因不复杂但关键:探索分到 A 的样本是用 proxy 打分的;A 的 proxy 只有 0.40,所以 A 的估计永远被压在 B 下面。探索增加了数据量,没有改变数据的含义。这是我这次实验里最反直觉的一条——写之前以为能救 10% 以上。

把它压成一句话带走:探索解决的是选择偏差;闭环中毒的根源是信号本身错,两件事不是同一件事。

真正起作用的:混入地面真值,而且比例要够大

第三组:保留 proxy 作为主要反馈,但以 holdout_rate 的概率换成一次人评 / 真实业务结局作更新信号。其它不变。

holdout_ratetrue_reward选 A选 B选 C
0.000.493371848115
0.050.493381847115
0.100.49738187883
0.200.483571702241
0.300.507101183069
0.500.564454150145
1.000.78319204237

把它读懂:

  • 10% 人评只能救 0.4 个百分点。「我们已经抽样人评了」的团队往往觉得够了,但 10% 票权在等权重估计器里被 90% 的 proxy 票稀释到接近零。
  • 50% 才开始看到真实收益明显上扬(0.564),且 A 终于拿到可观流量。
  • 100% 回到地面真值(0.783),逼近对照上界。

这条曲线的现实翻译是:沿用现成的反馈管线做”混入少量人评”几乎没用;要么把人评权重调到和 proxy 同等级(例如估计器按 inverse propensity 加权),要么拉一块永不参与闭环的 holdout 流量另外评。这不是”把一个参数调大一点”的事,是改反馈拓扑。

实验脚本短到可以直接贴:

# 伪代码,核心一步;完整 60 行版见文末可复现命令
if random.random() < holdout_rate:
    signal = got_true     # 这一笔用真实奖励更新
else:
    signal = got_proxy    # 其它仍走 proxy
est[pick] += (signal - est[pick]) / n[pick]

想原样复现上面三张表,把下面这段存成 sim.py 再跑;无依赖,Python 3 即可(为节省篇幅只跑 seed=42 一次,所以数字会和正文的 20-seed 平均差 1–2 个百分点,但分布形态一致):

cat > sim.py <<'PY'
import random
MODELS = {"A": {"true": 0.80, "proxy": 0.40},
          "B": {"true": 0.50, "proxy": 0.85},
          "C": {"true": 0.30, "proxy": 0.70}}
def run(epsilon=0.05, holdout_rate=0.0, rounds=2000, seed=42):
    random.seed(seed)
    est = {m: 0.5 for m in MODELS}; n = {m: 0 for m in MODELS}
    ct = cp = 0
    for t in range(rounds):
        pick = random.choice(list(MODELS)) if random.random()<epsilon else max(est, key=est.get)
        gp = 1 if random.random()<MODELS[pick]["proxy"] else 0
        gt = 1 if random.random()<MODELS[pick]["true"]  else 0
        sig = gt if random.random()<holdout_rate else gp
        n[pick]+=1; est[pick]+=(sig-est[pick])/n[pick]; ct+=gt; cp+=gp
    return ct/rounds, cp/rounds, n
for hr in [0.0, 0.1, 0.5, 1.0]:
    t,p,n = run(holdout_rate=hr)
    print(f"holdout={hr:.1f}  true={t:.3f}  proxy={p:.3f}  picks={n}")
PY
python3 sim.py

四种失效模式,各挂一篇论文

实验给了一条具象的失败线,接下来把它放回文献里定位。每一行的「坏掉会怎样」是观察到的生产现象,不是推理:

模式机制论文坏掉会怎样
Goodhart / proxy 漂移优化压力拉开 proxy 与 true 之间的 gap,形成倒 UGao, Schulman, Hilton 2022proxy 看板一直涨,用户投诉和退订同时涨
选择偏差 / 冷启动没被路由选中的模型拿不到更新机会,坏名声或无名声永久定格推理路径同 Ensign et al. 2017 的 predictive policing 自激(非 LLM,但循环拓扑同构)下线一款模型三周后,哪怕它其实修好了也不敢重新放流量
自噬污染路由器偏好的模型占据下一批训练数据的绝大部分,后续训练进一步向它倾斜Shumailov et al. 2023 的 model collapse 是其元层级版本训练集看起来越来越”干净”,分布方差肉眼可见塌陷
sycophancy / 风格误导路由学到的是”自信且流畅”而不是”正确”,因为用户对自信错误的”重新生成”率更低Perez et al. 2022 实测 RLHF 后更大模型 sycophancy 加剧;Pan, Bhatia, Steinhardt 2022 实测更有能力的模型 proxy 奖励更高而真实表现更差路由器把流量倒给”听起来专业”的模型,专家用户拉黑你

关于 reward hacking 本身的形式化框架可见 Skalse et al. 2022——他们证明了构造一个无法被 hack 的 proxy 在数学上几乎不可能(因为奖励函数的线性结构),这是上面四条都绕不开的硬骨头。

这四条在生产里不会单独出现。常见的样子是:Goodhart 把 proxy 和 true 拉开(第一条),sycophancy 把这个 gap 的具体形态定成”自信即奖赏”(第四条),选择偏差让早期被压下去的模型翻不了身(第二条),自噬污染让问题随每次再训练加重(第三条)。四条咬在一起就是我上面那个 36.3% 损失。

为什么探索不是解法而 holdout 才是(挂到 MCTS 的类比)

对读过 MCTS 的人,有一个最省脑子的类比。MCTS 要稳定需要三件独立的东西:

  1. 一个 rollout 策略(选哪个分支展开)
  2. 一个 value estimator(估计分支的价值)
  3. 外部真值 / 终局奖励(校准 value estimator)

如果 value estimator 只从 rollout 自己展开的分支里学——你会得到一个自我确认的估值:越相信某个分支,越去展开它,越积累支持它的数据,越相信它。生产闭环中的路由器,默认实现正是这个状态:rollout 策略 ≡ 路由器,value estimator ≡ 路由器,二者都只喂 proxy。

探索相当于给 rollout 策略加随机性,但 value estimator 依然在吞 proxy——换句话说,它在更多的分支上用错的尺子度量。这就是为什么 ε 调到 0.50 几乎没用。

holdout 相当于把外部真值重新接上:那部分流量的反馈信号直接代表真实奖励。但如果你只加 5% / 10%,它在估计器里的投票权仍然被 proxy 的 90% 稀释——直到 holdout 比例大到足以压过 proxy 的系统性偏好,真实收益才动。

这条路径的工程启示比”加探索”硬:真的反馈环加固不是 ε 大小的问题,是”真值信号在估计器里有多大票权”的问题。

一句话收口

骨架:只要反馈路径里 proxy 的数据量远大于 true 的数据量,而两种信号在估计器里等权重相加,路由必然被 proxy 主导。 把这个机制拿掉——例如让 true 和 proxy 在估计器里按反比例加权——曲线就起不来。

朴素做法会在哪里垮:直接拿生产 proxy 训练路由,垮在 36% 的真实收益损失上,且加探索救不了(只回收 1.3 个百分点)。

可带走的三件事:

  • 先量化 proxy / true 的 gap,别只看看板。两条曲线同屏画,倒 U 出现之前就有预警。
  • “抽样人评”不等于”ground truth 反馈”。10% 的人评权重在估计器里几乎无效;要么加权回灌,要么拉独立 holdout。
  • 凡是路由器自己选中的分支反过来喂路由器训练的拓扑,都要默认它有自噬倾向;用反事实日志(off-policy 评估)打破自确认。

换个说法重讲一遍

把闭环路由想成一个新员工跟客户打电话。老板只看”客户挂没挂电话”来打他的绩效——于是他很快发现,说话越自信、越像那么回事,客户越少挂,哪怕答案是胡扯的。几个月后,老板的绩效表很好看,客户的真实问题一个没解决。

这篇想让你带走一句能复述给同事的话:如果你的路由器是用”用户没有重新生成”这类信号训的,它学到的不是”正确”,而是”听起来像正确”。想修,就要找一个评估器真的能看出对错,并且让它的投票权能压过 proxy。

接下来我想试的是在真实 LLM 路由场景里把 Clef 那套评分头加上 off-policy 校正,看能不能把 36% 的损失压到 10% 以下——如果做出来会写成下一篇。

参考来源

论文(arXiv)

本站相关