Discretizing Reward Models¶

📊 Level ⭐⭐⭐ | 6.2KB

Source: arxiv.org/abs/2606.21795

摘要¶

Vijay Viswanathan 等人的研究论文，揭示了奖励模型（Reward Model）在强化学习中的一个根本性缺陷——过敏感性（oversensitivity）：许多流行的奖励模型对同等质量的响应给出不同分数，导致策略学习出现偏差。研究提出了一种基于 Monte Carlo Dropout 的免训练离散化算法，将连续奖励转换为离散聚类，在受控和自然 RL 环境中均显著减少了 reward hacking 并提升了策略质量。

核心要点¶

问题定义：奖励模型的过敏感性¶

奖励模型在 RLHF（Reinforcement Learning from Human Feedback）中广泛使用，承诺在缺少验证器或人类评判时自动评估响应质量。与通常产生二值分数的"可验证奖励"不同，奖励模型产生连续分数，理论上能感知响应间的细微差异。

然而，这种看似的优势实际上是一个严重的弱点：

过敏感性：许多流行奖励模型对同等优质的响应给出不同分数
理论证明：看似完美的奖励模型可能高度过敏感
实际后果：过敏感性导致学到的策略质量下降

新评估框架¶

研究提出了两个独立的评估维度来替代传统的"奖励模型准确度"概念：

指标	含义	传统对应
判别能力（Discriminative Ability）	区分好坏响应的能力	≈ 准确度
特异性（Specificity）	对同等质量响应给出一致分数的能力（过敏感性的补集）	传统评估缺失

这一双维度框架更准确地刻画了奖励模型的实际行为——一个判别能力强但特异性差的模型会"过度解读"噪声，导致策略优化方向偏差。

解决方案：Monte Carlo Dropout 离散化¶

提出了一种免训练算法，适用于任何神经奖励模型：

对奖励模型执行 Monte Carlo Dropout（多次前向传播，随机 dropout 激活）
收集多次传播的奖励分数分布
将连续奖励聚类为离散奖励簇

理论保证：证明存在离散化方案能在最小牺牲判别能力的前提下显著降低过敏感性。

实验结果： - 受控 RL 环境：离散化奖励 → 更少的 reward hacking - 自然 RL 环境：离散化奖励 → 更好的策略质量 - 与原始连续奖励训练相比，离散化方案一致更优

深度分析¶

为什么过敏感性是一个被忽视的问题¶

传统的奖励模型评估主要关注"准确度"——模型是否能正确区分好响应和坏响应。但这忽略了一个关键维度：当两个响应质量相当时，模型是否给出了稳定的分数。

过敏感性的根源在于奖励模型的训练方式。当训练数据中同等质量的响应被标注了略有不同的分数时（人类标注者间差异），模型会学习到这些噪声模式，在推理时对语义等价但表面形式不同的响应给出不同分数。

这种问题在 RLHF 训练中特别危险，因为策略优化器（如 PPO）会利用这些微小的分数差异来调整策略方向——等于在优化噪声。

离散化的直觉¶

离散化的核心思想是：如果两个响应的质量差异小于模型的噪声水平，就不应该让模型区分它们。通过将连续分数映射到离散簇，我们强制模型"放弃"那些不可靠的细微区分。

这类似于模型量化（Quantization）的思路——通过降低数值精度来换取鲁棒性。但区别在于：量化作用于模型权重，而离散化作用于模型输出。

对 RLHF/RLAIF 实践的影响¶

Reward hacking 缓解：离散化奖励减少了策略利用模型噪声的空间
训练稳定性：离散奖励信号的方差更小，PPO 等算法的训练更稳定
通用性：免训练算法适用于任何现有奖励模型，无需重新训练
评估标准更新：双维度框架（判别能力 + 特异性）应成为奖励模型评估的标准

与相关工作的关系¶

Reward hacking 研究：离散化提供了一种无需对抗训练的 reward hacking 缓解方案（参见 RLHF 相关文献）
Reward model ensembles：集成方法通过多模型平均降低过敏感性，离散化则是单模型层面的解决方案
CAI（Constitutional AI）中的奖励模型同样受过敏感性影响
Process Reward Models (PRM)：PRM 对逐步推理的评分更易受过敏感性影响，离散化可能特别有价值

实践启示¶

奖励模型开发者：在评估指标中加入特异性（specificity），不仅看准确度
RLHF 工程师：在 PPO 训练前对奖励模型输出进行离散化，可作为标准预处理步骤
Agent 训练：基于 RL 的 Agent 训练中，离散化奖励有助于减少策略振荡
研究者：双维度评估框架（判别能力 + 特异性）值得在奖励模型基准测试中采用

关联¶

相关概念: Harness Engineering