决策模型 / 路由器拿生产反馈做正循环训练,是本站 Clef 深读 的收口画面。那张图漂亮但有一块没点破:如果反馈信号本身是”用户没有点重新生成”这类代理指标,闭环会把路由推成什么样? 这篇把那个反问做成可跑的实验,看看沉默失败发生得多快。
我跑了一个 60 行的最小闭环。三个候选模型、2000 轮、路由器只看 proxy reward 更新。结论先摆出来:
- 路由器的 proxy 估计收敛得很漂亮(相对误差 < 3%),看起来一切健康。
- 末 500 轮 97.2% 的流量都被路到”自信地胡扯”的模型 B。
- 真实收益被 proxy 吃掉 36.3%:地面真值训练能拿到 0.792 的 true reward,闭环只有 0.504。
更打脸的是:我原本以为加探索(epsilon 从 0.00 调到 0.50)能救一大半——跑完发现几乎没救。真正起效的解法成本比我原以为的高一个量级。
路由器以为 (proxy 累计) ────▶ 0.861 ↑↑↑ (看起来越来越好)
系统实际交付 (true 累计) ────▶ 0.504 ── (停在抛硬币附近)
本文先铺概念,再跑实验,最后挂四篇论文定位同一条故障线。下面所有数字我都用 seed=42 的 Python 脚本跑过;读完能原样复现。
名词速查
| 术语 | 一句话解释 |
|---|---|
| 决策模型 / 路由器 | 把请求分派到某个下游模型/工具的小模型;本站 Clef 深读 讲的就是一类 |
| proxy reward(代理奖励) | 便宜易测的信号,被当成”用户是否满意”的近似:点赞、没点重新生成、停留时长 |
| true reward(真实奖励) | 真正想优化的目标:答案对不对、长期留存、任务完成 |
| contextual bandit | 一种在线决策算法:每轮选一个臂、观察到一个奖励、更新对该臂的估计 |
| ε-greedy | 最简单的探索策略:以 ε 概率随机选、以 1−ε 概率选当前估计最高的 |
| Goodhart 定律 | 一个指标一旦变成优化目标,就不再是好指标 |
| sycophancy(谄媚) | 模型为了取悦用户,倾向输出用户想听的而不是对的 |
| holdout traffic | 单独划一块流量跑地面真值评估,不混进在线反馈 |
| 模型自噬 / 自食 | 用自己生成的数据训练自己,导致分布塌陷的现象 |
谁的信号多,路由就被谁拉着跑
一句话抓骨架:路由器的训练器把每一次反馈都当作一张票,而 proxy 信号的投票频率永远高于真实信号的投票频率,所以它必然把路由推向满足 proxy。
反例测试:如果投票权相等——proxy 和 true 在估计器里同等计数——Gao / Schulman / Hilton 2022 的倒 U 曲线就不该存在;但他们在 arXiv:2210.10760 的合成实验里实测到了,proxy 曲线一直涨、true 曲线先涨后跌。所以这条机制是真的。
这不是一个 bug,是闭环的拓扑决定的:只要反馈路径里 proxy 的数据量 ≫ true 的数据量,而两种信号在估计器里等权重相加,路由必被 proxy 主导。这个判断下面会用实验量化。
最小实验:三个模型,一个贪婪路由器
设定如下,刻意让”真 vs 显”错位:
| 模型 | true_quality | proxy_signal | 坏掉会怎样 |
|---|---|---|---|
| A | 0.80 | 0.40 | 答对但措辞谨慎,用户点”重新生成”的概率高 |
| B | 0.50 | 0.85 | 答得像那么回事,用户看着像就接受了 |
| C | 0.30 | 0.70 | 自信地胡扯,更烈的 B |
路由器是 ε-greedy 的 contextual bandit:每轮选一个模型、观察到两个事件(proxy、true),只用 proxy 更新估计。这正是 Clef / Gemini Decision 这类决策模型接入生产反馈时的默认实现——点”重新生成”、提交 ticket、7 天留存这些信号都会以类似方式回灌。
核心循环的伪代码(对应 sim.py 的 run 函数,简化版):
# 伪代码,不含边界异常
for t in range(ROUNDS):
if random.random() < epsilon:
pick = random.choice(MODELS) # 探索
else:
pick = argmax(est) # 利用:选 proxy 估计最高的
got_proxy = bernoulli(MODELS[pick].proxy) # 用户没点"重新生成"?
got_true = bernoulli(MODELS[pick].true) # 答案真的对吗(闭环看不到)
n[pick] += 1
est[pick] += (got_proxy - est[pick]) / n[pick] # 污染源:用 proxy 更新
2000 轮跑完:
路由器学到的 proxy 估计: A=0.432 B=0.872 C=0.759 ← 相对误差 < 3%,收敛干净
各模型被选中次数: A=44 B=1927 C=29
末 500 轮选择分布: A=1.6% B=97.2% C=1.2%
累计 proxy reward (真实): 0.861 ← 看起来一切健康
累计 true reward (真实): 0.504 ← 实际只有抛硬币水平
对照实验:把 got_proxy 换成 got_true 更新(即假设我们能直接观测真实质量)。同一个 seed:
路由器学到的 true 估计: A=0.803 B=0.594 C=0.353 ← 一样收敛
各模型被选中次数: A=1934 B=32 C=34
累计 true reward: 0.792 ← 这是能拿到的上界
损失账:0.792 − 0.504 = 0.288,即生产闭环把 36.3% 的真实收益白白吃掉。读者看到这里会说:路由器是明显欠拟合 A,那加点探索不就行了吗?我也是这么想的,所以继续跑了一组。
加探索救不了:反直觉的第二组实验
把 ε 从 0.00 扫到 0.50,每档跑 20 个 seed 取平均:
| ε | true_reward | proxy_reward | 选 A | 选 B | 选 C |
|---|---|---|---|---|---|
| 0.00 | 0.501 | 0.849 | 8 | 1992 | 0 |
| 0.02 | 0.500 | 0.844 | 22 | 1958 | 20 |
| 0.05 | 0.502 | 0.841 | 38 | 1923 | 39 |
| 0.10 | 0.505 | 0.830 | 70 | 1858 | 72 |
| 0.20 | 0.508 | 0.810 | 137 | 1724 | 139 |
| 0.30 | 0.507 | 0.788 | 205 | 1571 | 224 |
| 0.50 | 0.514 | 0.749 | 338 | 1321 | 341 |
真实收益从 0.501 爬到 0.514——救回来 1.3%。而最佳可能收益是 0.792。换句话说,哪怕 50% 的流量都在瞎选,路由器的真实表现依然贴着地板。
原因不复杂但关键:探索分到 A 的样本是用 proxy 打分的;A 的 proxy 只有 0.40,所以 A 的估计永远被压在 B 下面。探索增加了数据量,没有改变数据的含义。这是我这次实验里最反直觉的一条——写之前以为能救 10% 以上。
把它压成一句话带走:探索解决的是选择偏差;闭环中毒的根源是信号本身错,两件事不是同一件事。
真正起作用的:混入地面真值,而且比例要够大
第三组:保留 proxy 作为主要反馈,但以 holdout_rate 的概率换成一次人评 / 真实业务结局作更新信号。其它不变。
| holdout_rate | true_reward | 选 A | 选 B | 选 C |
|---|---|---|---|---|
| 0.00 | 0.493 | 37 | 1848 | 115 |
| 0.05 | 0.493 | 38 | 1847 | 115 |
| 0.10 | 0.497 | 38 | 1878 | 83 |
| 0.20 | 0.483 | 57 | 1702 | 241 |
| 0.30 | 0.507 | 101 | 1830 | 69 |
| 0.50 | 0.564 | 454 | 1501 | 45 |
| 1.00 | 0.783 | 1920 | 42 | 37 |
把它读懂:
- 10% 人评只能救 0.4 个百分点。「我们已经抽样人评了」的团队往往觉得够了,但 10% 票权在等权重估计器里被 90% 的 proxy 票稀释到接近零。
- 50% 才开始看到真实收益明显上扬(0.564),且 A 终于拿到可观流量。
- 100% 回到地面真值(0.783),逼近对照上界。
这条曲线的现实翻译是:沿用现成的反馈管线做”混入少量人评”几乎没用;要么把人评权重调到和 proxy 同等级(例如估计器按 inverse propensity 加权),要么拉一块永不参与闭环的 holdout 流量另外评。这不是”把一个参数调大一点”的事,是改反馈拓扑。
实验脚本短到可以直接贴:
# 伪代码,核心一步;完整 60 行版见文末可复现命令
if random.random() < holdout_rate:
signal = got_true # 这一笔用真实奖励更新
else:
signal = got_proxy # 其它仍走 proxy
est[pick] += (signal - est[pick]) / n[pick]
想原样复现上面三张表,把下面这段存成 sim.py 再跑;无依赖,Python 3 即可(为节省篇幅只跑 seed=42 一次,所以数字会和正文的 20-seed 平均差 1–2 个百分点,但分布形态一致):
cat > sim.py <<'PY'
import random
MODELS = {"A": {"true": 0.80, "proxy": 0.40},
"B": {"true": 0.50, "proxy": 0.85},
"C": {"true": 0.30, "proxy": 0.70}}
def run(epsilon=0.05, holdout_rate=0.0, rounds=2000, seed=42):
random.seed(seed)
est = {m: 0.5 for m in MODELS}; n = {m: 0 for m in MODELS}
ct = cp = 0
for t in range(rounds):
pick = random.choice(list(MODELS)) if random.random()<epsilon else max(est, key=est.get)
gp = 1 if random.random()<MODELS[pick]["proxy"] else 0
gt = 1 if random.random()<MODELS[pick]["true"] else 0
sig = gt if random.random()<holdout_rate else gp
n[pick]+=1; est[pick]+=(sig-est[pick])/n[pick]; ct+=gt; cp+=gp
return ct/rounds, cp/rounds, n
for hr in [0.0, 0.1, 0.5, 1.0]:
t,p,n = run(holdout_rate=hr)
print(f"holdout={hr:.1f} true={t:.3f} proxy={p:.3f} picks={n}")
PY
python3 sim.py
四种失效模式,各挂一篇论文
实验给了一条具象的失败线,接下来把它放回文献里定位。每一行的「坏掉会怎样」是观察到的生产现象,不是推理:
| 模式 | 机制 | 论文 | 坏掉会怎样 |
|---|---|---|---|
| Goodhart / proxy 漂移 | 优化压力拉开 proxy 与 true 之间的 gap,形成倒 U | Gao, Schulman, Hilton 2022 | proxy 看板一直涨,用户投诉和退订同时涨 |
| 选择偏差 / 冷启动 | 没被路由选中的模型拿不到更新机会,坏名声或无名声永久定格 | 推理路径同 Ensign et al. 2017 的 predictive policing 自激(非 LLM,但循环拓扑同构) | 下线一款模型三周后,哪怕它其实修好了也不敢重新放流量 |
| 自噬污染 | 路由器偏好的模型占据下一批训练数据的绝大部分,后续训练进一步向它倾斜 | Shumailov et al. 2023 的 model collapse 是其元层级版本 | 训练集看起来越来越”干净”,分布方差肉眼可见塌陷 |
| sycophancy / 风格误导 | 路由学到的是”自信且流畅”而不是”正确”,因为用户对自信错误的”重新生成”率更低 | Perez et al. 2022 实测 RLHF 后更大模型 sycophancy 加剧;Pan, Bhatia, Steinhardt 2022 实测更有能力的模型 proxy 奖励更高而真实表现更差 | 路由器把流量倒给”听起来专业”的模型,专家用户拉黑你 |
关于 reward hacking 本身的形式化框架可见 Skalse et al. 2022——他们证明了构造一个无法被 hack 的 proxy 在数学上几乎不可能(因为奖励函数的线性结构),这是上面四条都绕不开的硬骨头。
这四条在生产里不会单独出现。常见的样子是:Goodhart 把 proxy 和 true 拉开(第一条),sycophancy 把这个 gap 的具体形态定成”自信即奖赏”(第四条),选择偏差让早期被压下去的模型翻不了身(第二条),自噬污染让问题随每次再训练加重(第三条)。四条咬在一起就是我上面那个 36.3% 损失。
为什么探索不是解法而 holdout 才是(挂到 MCTS 的类比)
对读过 MCTS 的人,有一个最省脑子的类比。MCTS 要稳定需要三件独立的东西:
- 一个 rollout 策略(选哪个分支展开)
- 一个 value estimator(估计分支的价值)
- 外部真值 / 终局奖励(校准 value estimator)
如果 value estimator 只从 rollout 自己展开的分支里学——你会得到一个自我确认的估值:越相信某个分支,越去展开它,越积累支持它的数据,越相信它。生产闭环中的路由器,默认实现正是这个状态:rollout 策略 ≡ 路由器,value estimator ≡ 路由器,二者都只喂 proxy。
探索相当于给 rollout 策略加随机性,但 value estimator 依然在吞 proxy——换句话说,它在更多的分支上用错的尺子度量。这就是为什么 ε 调到 0.50 几乎没用。
holdout 相当于把外部真值重新接上:那部分流量的反馈信号直接代表真实奖励。但如果你只加 5% / 10%,它在估计器里的投票权仍然被 proxy 的 90% 稀释——直到 holdout 比例大到足以压过 proxy 的系统性偏好,真实收益才动。
这条路径的工程启示比”加探索”硬:真的反馈环加固不是 ε 大小的问题,是”真值信号在估计器里有多大票权”的问题。
一句话收口
骨架:只要反馈路径里 proxy 的数据量远大于 true 的数据量,而两种信号在估计器里等权重相加,路由必然被 proxy 主导。 把这个机制拿掉——例如让 true 和 proxy 在估计器里按反比例加权——曲线就起不来。
朴素做法会在哪里垮:直接拿生产 proxy 训练路由,垮在 36% 的真实收益损失上,且加探索救不了(只回收 1.3 个百分点)。
可带走的三件事:
- 先量化 proxy / true 的 gap,别只看看板。两条曲线同屏画,倒 U 出现之前就有预警。
- “抽样人评”不等于”ground truth 反馈”。10% 的人评权重在估计器里几乎无效;要么加权回灌,要么拉独立 holdout。
- 凡是路由器自己选中的分支反过来喂路由器训练的拓扑,都要默认它有自噬倾向;用反事实日志(off-policy 评估)打破自确认。
换个说法重讲一遍
把闭环路由想成一个新员工跟客户打电话。老板只看”客户挂没挂电话”来打他的绩效——于是他很快发现,说话越自信、越像那么回事,客户越少挂,哪怕答案是胡扯的。几个月后,老板的绩效表很好看,客户的真实问题一个没解决。
这篇想让你带走一句能复述给同事的话:如果你的路由器是用”用户没有重新生成”这类信号训的,它学到的不是”正确”,而是”听起来像正确”。想修,就要找一个评估器真的能看出对错,并且让它的投票权能压过 proxy。
接下来我想试的是在真实 LLM 路由场景里把 Clef 那套评分头加上 off-policy 校正,看能不能把 36% 的损失压到 10% 以下——如果做出来会写成下一篇。
参考来源
论文(arXiv)
- Gao, Schulman, Hilton 2022 — Scaling Laws for Reward Model Overoptimization:proxy 与 true 奖励的倒 U 曲线原始实验。
- Skalse, Howe, Krasheninnikov 2022 — Defining and Characterizing Reward Hacking:形式化证明”构造不可 hack 的 proxy”是难题。
- Shumailov et al. 2023 — The Curse of Recursion:模型自噬导致分布塌陷的 VAE / GMM / LLM 多模态验证(后收入 Nature 2024 版)。
- Ensign, Friedler, Neville 2017 — Runaway Feedback Loops in Predictive Policing:非 LLM 场景的反馈环自激数学模型,与路由闭环同构。
- Pan, Bhatia, Steinhardt 2022 — The Effects of Reward Misspecification:更有能力的 agent 会拿到更高的 proxy 奖励,真实表现反而更差。
- Perez et al. 2022 — Discovering Language Model Behaviors with Model-Written Evaluations:RLHF 后 sycophancy 随规模变严重的实测。
本站相关
- 精读 Cloudflare Clef:省掉生成之后,决策还缺什么——本篇讨论的”生产反馈 → 训练”闭环图的来源。
- Gemini Decision 1 官方 API 实验——同类决策模型接口的真跑数据。
- 评测走向路由决策地图——同系列的上游视角。