★ FEATURED ARTICLE 很多接触 RLHF 的人第一次看到 Reward ModelRM时都会冒出一个朴素的疑问这不就是一个用二分类损失训练出来的打分器吗为什么它能把大模型从“语法通顺但话痨”调教成“真正像人一样回答问题”如果只看代码RM 训练确实很朴素——拿到一组偏好对让模型给胜者打高分、给败者打低分完事。但真正理解 RM 在强化学习中的地位可能需要一个跨学科的视角。控制论里有一个成熟的思想叫积分控制。它专门解决一个看似简单、但只靠比例反馈永远处理不了的问题当系统受到持续扰动时仅凭当前误差系统永远到不了目标值。积分项把历史误差累积起来形成一种“记忆”再把这个记忆叠加到当前控制量上。这个动作和 RM 在 RLHF 里承担的角色有非常工整的对应关系。这篇文章会沿着初等数学控制论的思路用积分控制思想把强化学习里的 RM 算法重新讲一遍。读完你会理解为什么 RM 不应该被看成“即时打分器”而应该被看成“偏好误差的积分器”为什么 RM 训练需要大量高质量偏好对为什么 RM 太强或者 PPO 优化过头会出现 reward hacking以及怎样用 PID 的心法去调试 RLHF 训练。文末附带两个可以在 CPU 上直接跑的最小代码实验。1. 这篇文章真正要解决的问题RLHF 训练管线看起来只有三步SFT 微调、训练 RM、PPO 优化。问题往往出在第二步到第三步之间。很多人的 RM 已经训到 loss 很低、acc 很高但进 PPO 之后模型依然答非所问。这通常不是“模型没学会”而是对 RM 的角色理解错了。如果把 RM 当成一个普通打分器你只会关心分数高低、排序准不准如果把 RM 当成闭环控制里的积分器你会关心另外一组指标偏好噪声有没有被平滑历史误差的覆盖够不够广RM 的有效增益会不会太高导致策略振荡这组问题才是 RLHF 能不能稳定的关键。从控制论看强化学习本质上是一个闭环策略模型是被控对象人类偏好是参考输入RM 是反馈路径上的测量装置PPO 是控制器。测量装置如果不具备积分能力只报告瞬时偏差控制器就无法消除稳态误差。RM 之所以能成为大模型对齐的重要组件恰恰因为它以参数量巨大的模型作为“记忆体”把大量偏好比较压缩成一个连续可导的评分场。这篇文章更适合三类读者正在做 LLM 对齐、想搞清楚 RM 与 PPO 配合的工程师学过强化学习但没接触过控制论的研究者以及想寻找一套通用语言解释 reward hacking、梯度振荡、KL 惩罚这些现象的人。2. 积分控制到底在做什么一个小学徒视角控制系统的目标是让被控对象的输出y跟上参考输入r。比如空调的目标温度是 26 度房间实际温度是y误差e r - y。最简单的控制器是比例控制Pu Kp * e。误差大就加力误差小就减力。但比例控制有一个先天缺陷当系统存在持续扰动时它会留下稳态误差。想象一辆车总是被侧风推向右边。你看到车子偏右就往左打方向盘可一旦方向盘回正侧风又把它推回去了。要让车保持在车道中间你需要一个在误差为零时依然存在的修正力。比例控制在e 0时输出也是 0提供不了这个力。积分控制I补上的正是这一点。它不再只依赖当前误差而是把历史误差累积起来写成I[k] I[k-1] e[k] * dt再叠加到输出上u[k] Kp * e[k] Ki * I[k]。只要过去曾经偏右I 就会记住并且持续施加一个向左的修正量。就算当前误差已经为 0积分项依然能输出一个稳定常数去对抗侧风。积分项的连续形式是u Kp * e Ki * ∫e dt。这个积分不是一个“现在时”的信号而是一个“完成时”的记忆。它把过去的偏差压缩成当前动作的一部分。同时积分项也有低通滤波的效果偶发噪声会被多轮平均冲淡系统性偏差则会被持续累积。这一点对后面理解 RM 非常关键。3. RM 算法是什么RLHF 里那个不断给分的裁判RM 是 Reward Model 的缩写在大语言模型的 RLHF 流程中它是一个独立的评分函数。输入一个 prompt 和一段回答输出一个标量表示这段回答在多大程度上符合人类偏好。它不是环境给的天然奖励而是从人类标注数据里学习出来的。典型训练数据是偏好对。标注者看到同一个 prompt 下的两个回答y1、y2判断哪个更好。基于 Bradley-Terry 模型人们假设“y1 更好”的概率是σ(r(x,y1) - r(x,y2))。训练时模型只需要把赢家的分数推高、输家分数压低损失函数写作-log σ(r_win - r_lose)。在二分类视角下这就是一个带 logits 的交叉熵损失。为什么用排序而不是直接打绝对分因为人类对绝对分数的稳定性很差但对“相对哪个更好”的判断要一致得多。RM 学习的不是绝对评分而是偏好排序结构。这个设计很聪明它把主观偏好映射到一个低维可导空间让后续 PPO 能有连续的奖励信号。训练完成后RM 就进入强化学习闭环。策略模型生成一批回答RM 给每个回答打分PPO 用这些分数计算 advantage再更新策略。为了让策略不偏离参考模型太多目标函数里通常会加上 KL 惩罚。从实现角度看RM 通常是语言模型结构再加一个标量输出头本文为了演示会用一个小 MLP 来替代完整大模型原理完全一致。4. 用积分控制思想重看 RM关键映射以下三个映射是理解 RM 算法的核心。4.1 第一处映射RM 的参数是偏好误差的积分梯度下降天生就是一个积分器。参数更新公式θ_T θ_0 - η Σ ∇L_k本质上就是把每一步的负梯度做累加。对 RM 来说每一条偏好样本都会给出一个“方向误差”赢家分数不够高梯度就往提高赢家、压低输家的方向走如果连续 1000 条样本都说“这种回答更差”RM 的参数就会稳定记住这个偏好。这个行为与积分控制把历史误差累加到控制器输出上几乎一一对应。4.2 第二处映射RM 打分是整条序列的加权积分RM 推理时要把一整段回答压缩成一个标量。Transformer 里的自注意力会让不同位置的 token 信息互相加权聚合最后的回归头再把这些信息映射成一个分数。从工程直觉看这就是对 token 序列做了一种“加权积分”不是只看最后一个词而是把全句子的语义信息综合起来。这也是 RM 和普通分类器的关键区别。普通分类器可以只依赖几个关键特征RM 必须对整段生成内容形成整体判断。一个只评价“结尾是否礼貌”的 RM 很容易被策略模型钻空子一个能整合全句信息的 RM才更像积分项那样带着全局记忆。4.3 第三处映射PPO 的累计回报是时间维度的积分强化学习里的累积回报G Σ γ^t r_t本来就是时间上的求和也就是离散积分。RM 给一段生成一个奖励PPO 在多个轨迹上做优势估计策略则向高优势方向移动。控制器里的 I 项也是把当前误差与历史误差累积起来再输出。两者都是在告诉被控对象不要只看单步要看不短时间范围内的总体趋势。下面这张表可以当作快速记忆卡片控制论要素RM / RLHF 对应物说明参考输入 r人类偏好 / 指令以偏好对的形式出现被控对象策略模型生成文本的概率分布误差 e策略输出与偏好之间的差异不可直接观测靠偏好对估计积分项RM 的参数 / RM 全序列打分累积历史偏好信息控制器输出PPO 的 policy update修正生成分布扰动标注噪声、分布漂移需要积分平滑与抗饱和必须说清楚这是思想层面的映射不是严格数学等价。RM 并不是一个线性积分器不会真正保存∫e dt它的记忆在权重里而且是非线性的。但把 RM 当作积分器来设计、调试和 debug能帮我们避开很多只看准确率的低水平陷阱。5. 从 PID 到 RM为什么这个类比能帮你调试训练把 RM 当成积分控制器之后很多 RLHF 里令人困惑的现象就变得可解释。第一个现象是 reward hacking。控制论里有一个著名问题叫积分饱和执行器已经到极限但积分项还在继续累加误差等执行器恢复动作时超调已经不可避免。RLHF 的后期也有类似表现策略模型专门寻找 RM 评分高的边缘表达而不是真正符合人类偏好的表达。这相当于 RM 这个“积分项”已经饱和、超调了。工程上的解法是加 KL 惩罚、对 reward 做 clip 或 normalization甚至用多个 RM 组成 ensemble本质上都是 anti-windup 策略。第二个现象是训练振荡。如果 RM 自己非常敏感、PPO 学习率又大相当于积分增益 Ki 设置得过高。偏好数据本身的标注噪声一旦被放大策略就会左右横跳。控制论里的对策是降低增益或者增加阻尼对应到 RLHF 就是调小 PPO 学习率、提高 KL 惩罚权重、让 reward scale 更保守。第三个现象是 OOD 塌方。如果 RM 的训练偏好数据只覆盖了某个风格积分初值就有偏。它可以在训练分布上表现得很好一旦遇到新领域稳态误差立刻暴露。所以 RM 训练不能只看 acc还要看领域分组和 OOD 数据上的排序一致性。说到底RM 和 PPO 是同一个闭环里的两个模块。RM 负责把“偏好误差”积分成可导信号PPO 负责利用这个信号去修正策略。任何一环的等效增益过高、历史覆盖不足、噪声过大都会在输出端表现为“模型看起来不听话”。6. 最小实验 1积分项如何消除稳态误差为了验证积分项的作用这里手动跑一个最小实验。不需要 GPU一台能跑 Python 的机器就够。建议 Python 3.9安装 PyTorch 和 numpy 即可。# 安装 PyTorch CPU 版版本以官方安装命令为准 pip install torch numpy下面脚本模拟一个带固定扰动的一阶系统分别用 P 控制和 PI 控制去跟踪目标值1.0。# pid_pi_compare.py Kp 0.6 Ki 0.3 dt 0.05 r 1.0 disturbance 0.3 def plant(y_prev, u): # 一阶惯性 常值扰动y_k 0.8*y_{k-1} 0.2*u d return 0.8 * y_prev 0.2 * u disturbance def simulate(use_i): y 0.0 integral 0.0 history [] for _ in range(400): e r - y integral e * dt u Kp * e if use_i: u Ki * integral y plant(y, u) history.append(y) return history p_hist simulate(False) pi_hist simulate(True) print(fP 控制: 终值 {p_hist[-1]:.4f}, 稳态误差 {r - p_hist[-1]:.4f}) print(fPI 控制: 终值 {pi_hist[-1]:.4f}, 稳态误差 {r - pi_hist[-1]:.4f})运行后应看到类似输出P 控制: 终值 1.3333, 稳态误差 -0.3333 PI 控制: 终值 1.0000, 稳态误差 -0.0000P 控制在有扰动时停在1.333误差-0.333PI 控制最终回到1.000。这个实验说明如果反馈环节只有比例项稳态误差不可能被消除。RLHF 里如果只依赖单个样本的即时偏好不把历史偏好累积成 RM也会留下类似的系统性偏差。你可能注意到 PI 控制在平衡态的输出u是负值因为系统受到0.3的常值扰动需要负控制量去抵消。这正是积分项存在的意义在误差为零时它仍能保留一个稳定的修正力。7. 最小实验 2Reward ModelRM训练骨架RM 训练的最小代码量远比你想象的小。下面用一个小 MLP 演示 Bradley-Terry 损失。真实工程里把 MLP 替换成语言模型加回归头即可。# rm_pairwise_demo.py import torch import torch.nn as nn import torch.nn.functional as F class RewardModel(nn.Module): def __init__(self, input_dim16, hidden_dim32): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, 1), ) def forward(self, x): # 输入是拼接后的 promptresponse 特征输出一个标量 reward return self.net(x).squeeze(-1) def bradley_terry_loss(rm, x_win, x_lose): # 赢家分数 - 输家分数 越大越好 score_win rm(x_win) score_lose rm(x_lose) logits score_win - score_lose # P(win) sigmoid(logits) # 等价于把 (win lose) 当作二分类标签 1 target torch.ones_like(logits) return F.binary_cross_entropy_with_logits(logits, target) torch.manual_seed(42) N 20 D 8 model RewardModel(input_dim2 * D, hidden_dim32) optimizer torch.optim.Adam(model.parameters(), lr1e-2) # 构造一份可学习的偏好数据 # win_factor 整体偏正lose_factor 整体偏负模型需要学会这个规律 base torch.randn(N, D) win_factor 1.0 0.1 * torch.randn(N, D) lose_factor -1.0 0.1 * torch.randn(N, D) x_win torch.cat([base, win_factor], dim-1) x_lose torch.cat([base, lose_factor], dim-1) for step in range(300): loss bradley_terry_loss(model, x_win, x_lose) optimizer.zero_grad() loss.backward() optimizer.step() if step % 60 0: with torch.no_grad(): correct (model(x_win) model(x_lose)).sum().item() print(fstep {step:3d} | loss {loss.item():.4f} | acc {correct / N:.2f}) with torch.no_grad(): print(win mean score :, model(x_win).mean().item()) print(lose mean score:, model(x_lose).mean().item())运行后loss 会逐步下降acc 会提高到1.00。核心逻辑与真实 RM 一致让胜者和败者之间的 logit 差值变大等价于最小化-log σ(score_win - score_lose)。这里的“积分”体现在参数更新过程里。optimizer 每步都对梯度做累加最终模型参数就是梯度历史的离散积分。如果你的 RM 训练了很久还是分不清偏好别先怪 loss先看是不是梯度信号被噪声或重复样本污染了。这个排查思路和积分器统计了错误的历史误差是一样的。8. 常见误区与排查思路下面这些问题常见于 RLHF 相关的讨论里。按控制论思路排查通常比直接调参更有效。问题现象可能原因排查方式解决方案RM loss 很低但 PPO 后出现 reward hackingRM 在偏好分布上过拟合等效积分增益过高在保留集和 OOD 数据上重算 acc观察 KL 值加 KL 权重、reward clip、RM ensembleRM acc 高但换新 prompt 失效偏好数据覆盖不足积分历史有偏按领域 / prompt 分组评估扩充多样性数据加入失败样本PPO 训练中 reward 震荡等效 Ki 过大PPO 学习率或 RM scale 过大看 reward 的均值和标准差、advantage 分布reward normalization、降 PPO lr、提高 KL 权重RM 分数两极分化严重模型只学会局部排序没学会泛化画分数直方图检查离群样本加正则化、对分数做温度缩放无法判断是 RM 问题还是 policy 问题两者强耦合固定 RM切换参考策略和 KL 做对比跑一组无 RM baseline逐个变量做 ablation看到这些问题不要一上来就换模型。先问三个控制论问题数据里有没有覆盖稳态误差RM 有没有把偏好信息稳定累积起来PPO 这个等效积分器的增益是不是太高9. 最佳实践与后续学习方向9.1 工程建议数据工程比模型结构更影响 RM 效果。偏好对的质量不只看标注一致率更看是否覆盖失败模式。最好在训练前把常见错误回答整理成硬负样本让 RM 见过足够多“差在哪里”的例子。训练时同时监控三件事分类 acc、分数分布、OOD 排序稳定性。acc 高不代表分数可解释。分数分布如果长期偏移或者某些 prompt 类型下 score 聚集在极值要早点介入。RLHF 阶段把 RM 当作一个增益可调的积分器先小步慢跑看 reward 和 KL 的 trade-off再逐步放开。reward normalization、clip、KL 惩罚这些不是可选项而是闭环稳定的必要组件。工程上给 RM 做好版本记录和 prompt 评测集尽量少做无法复现的“玄学调参”。9.2 后续学习方向如果这个角度对你有启发下一步可以补三块内容控制论里的 PID 调参和 anti-windup强化学习里的 PPO 和 advantage estimation以及对齐领域的 DPO、RLAIF 等方法。你会在这些材料里反复看到同一个思想反馈系统要稳定就必须为噪声、扰动和历史误差找到合适的处理方式。最后给一个可以直接用的心法当 RLHF 训练出问题时先别急着换模型先把问题拆成三块——数据有没有覆盖稳态误差RM 有没有把偏好信息稳定集成起来PPO 这个等效积分器的增益是不是太高用控制论的词汇把现象说清楚通常比盲目调 learning rate 更接近根因。
阅读完成 · 觉得有帮助？
