RL Beyond the Verifiable: 当奖励信号无法自动验证时¶

📊 Level ⭐⭐⭐⭐ | 13.6KB

Dario Amodei 认为 90% 概率十年内出现"数据中心里的天才国家"，但最大的不确定性来自无法验证的任务——写小说、规划火星任务、基础科学发现。本文探讨 RLVR（可验证奖励强化学习）的边界与替代方案。

摘要¶

RLVR（Reinforcement Learning with Verifiable Rewards）在数学和代码领域取得了显著成功——OpenAI 和 Google DeepMind 在 2025 年均达到国际数学奥赛金牌水平。但 Jason Wei 提出的"验证者定律"揭示了一个根本限制：训练 AI 完成任务的难度大致与任务的可验证性成正比。本文系统分析 RLVR 的边界，探讨 Rubrics as Rewards、生成式奖励模型、过程奖励模型等替代方案，以及三家创业公司在不可验证领域的不同打法。

核心论点¶

验证者定律（Verifier's Law）¶

OpenAI 的 Jason Wei 提出：训练 AI 完成任务的难度大致与任务的可验证性成正比。

可快速客观检查的任务可以通过 RL 反复优化直至成功：

数学：答案可自动验证（对/错）
代码：测试用例可自动运行（pass/fail）
扩展：SWE-bench 上的持续进步证明"爬山"效应真实存在

但大多数有价值的工作并不容易验证： - 写作：没有测试套件判断备忘录质量 - 设计：主观质量判断难以自动化 - 科学发现：长期反馈循环，无法即时验证 - 商业决策：真实世界反馈延迟，因果链条复杂

Dario Amodei 的不确定性¶

在与 Dwarkesh 的播客中，Anthropic CEO Dario Amodei 表示 90% 确信十年内会出现"数据中心里的天才国家"。但剩余的 10% 不确定性集中在一个问题上：无法验证的任务。

"对于编码，除了不可约的不确定性，我认为我们会在一两年内达成目标。从端到端编码能力来看，十年内我们肯定会达成。我在长期尺度上的基本不确定性在于无法验证的任务：规划火星任务；进行 CRISPR 这样的基础科学发现；写小说。这些任务很难验证。"

核心问题¶

当无法轻松检查答案时，奖励信号从何而来？这是整个"不可验证领域"游戏的核心问题。

现有方案的局限¶

RLHF（人类反馈强化学习）¶

机制：在人工偏好上训练单独的奖励模型，然后优化模型以获得高分
局限：在主观领域产生了能力提升，但远不及 RLVR 在数学/代码领域的突破
副作用： arguably 优化了参与度而非能力提升

Constitutional AI¶

机制：Anthropic 在每代 Claude 模型中使用，用书面原则指导的 AI 反馈替代部分人类反馈
局限：同样优化的是对齐而非能力提升

这两个方案的核心问题是：它们回答的是"没有检查器时该怎么办"，但并未产生 RLVR 在可验证领域那样的能力跃升。

前沿解决方案¶

当无法程序化创建检查器时，可以通过创建多个 Rubric 来近似一个检查器——比较最终输出或中间阶段，使用 LLM 或类似模型进行评分。

1. Rubrics as Rewards（评分标准作为奖励）¶

机制： - 为每个提示生成实例特定的评分标准（Rubric）——好答案应满足的检查清单，通常以人类专家为锚点 - LLM Judge 根据检查清单为每次尝试打分，该分数成为奖励

有效性原理：将验证困难答案的问题分解为多个较小的可检查问题。不问"这是否好"并获得噪声大的 1-10 分，而是问"是否提到 X、避免 Y、处理 Z"——每个都接近可检查。

实证结果： Scale AI 在 2025 年中发布的论文显示，在医疗基准 HealthBench 上相比纯 Judge 评分获得最高 31% 的相对提升。

后续发展： OpenRubrics 等工作现在专注于规模化生成这些评分标准。这是法律、医疗、金融等领域许多数据提供商采用的方法。

2. 生成式奖励模型（Generative Reward Models）¶

机制：类似 LLM-as-Judge 方法，但奖励模型先进行推理，然后给出分数。

与判别式模型的区别： - 判别式：直接输出分数（黑盒） - 生成式：展示推理过程再输出分数（可解释）

3. 过程奖励模型（Process Reward Models）¶

机制：评分推理的每一步，而非仅最终答案。对于长期和更难验证的任务更为关键。

核心价值： - 提供细粒度的学习信号 - 帮助识别推理链中的错误步骤 - 对于多步复杂任务尤为重要

创业公司的三种打法¶

有三类公司在不同方向上攻破不可验证领域的问题：

打法一：向实验室出售验证器和数据¶

代表公司：Mercor、Surge、Micro1、Taste Labs

商业模式： - 在这些领域构建程序化验证器和 RL 环境，出售给大模型实验室 - 标准配方：专家人类为任务编写 Rubric，每个 Rubric 项目足够具体以程序化检查 - 将模糊判断转化为可规模化评分的东西

细分领域： - Mercor、Surge、Micro1：医疗、法律、金融等领域的 Rubric 方法 - Taste Labs：更主观的领域，如设计和"品味" - 明确讨论 RLHF 为何停滞——平均所有人的偏好会让你毫无品味

打法二：形式化领域¶

代表公司：Pramaana Labs

核心思想：将有些模糊的领域转化为机器可直接检查的东西，然后在该垂直领域销售端到端解决方案。

数学中的先例：用 Lean 等形式语言编写的证明会自我检查，这就是 DeepMind 的 AlphaProof 无需人工介入即可获得奖励的原因。

Pramaana Labs 的扩展：

将这一理念推向更混乱、更高风险的工作——使用形式化验证使税务、法律、医疗等领域的答案可证明。

价值：每个成功形式化的领域都会从"不可验证"列中移除。

打法三：拥有完整闭环¶

代表公司：Periodic Labs、Isomorphic Labs、Lila Sciences

适用场景：答案难以验证但可以被验证——只是无法在计算机上验证。无法通过 Rubric 或证明来检查新材料或药物，必须运行实验。

商业模式： - AI 提出假设 - 物理实验室测试 - 结果成为奖励信号

具体案例： - Periodic Labs（前 OpenAI 和 DeepMind 研究人员创办）：运行机器人实验室发现新材料 - Isomorphic Labs（DeepMind 药物发现分拆）：将预测锚定在湿实验室和最终的临床现实中 - Lila Sciences：构建跨越生命和材料科学的自主实验室

核心洞察：这些系统的验证发生在现实世界中，可能缓慢且昂贵，但通过拥有完整闭环，可以将奖励锚定在物理现实中。

深度分析¶

可验证性光谱与经济价值¶

文章附带一张图表，按可验证性和经济价值划分经济领域：

高可验证性领域（RLVR 已攻克）：

数学、代码、游戏、会计

中等可验证性领域（Rubric 等方法适用）：

法律、医疗、金融、教育

低可验证性领域（需形式化或物理验证）：

科学发现、材料设计、药物开发、艺术创作

关键洞察：当前 RLVR 方法能走多远，以及是否需要新突破，是重大开放问题。如果当前方法能够泛化到经济其余部分，将产生巨大影响；如果需要全新突破，时间线将大大延长。

技术路径比较¶

方法	适用领域	奖励质量	规模化难度	成本
RLVR	数学、代码	高（确定性）	低	低
Rubric as Reward	法律、医疗	中（结构化）	中	中
生成式奖励	写作、设计	中（可解释）	中	中
过程奖励	多步推理	中（细粒度）	高	高
形式化验证	税务、合规	高（可证明）	高	高
物理实验	材料、药物	高（真实）	低	极高

对 Agent 系统设计的启示¶

任务分解策略
将复杂任务分解为可验证子任务和不可验证子任务
对可验证部分使用 RLVR，对不可验证部分使用 Rubric 或人类反馈
混合奖励架构
系统设计应支持多种奖励信号的加权组合
允许动态切换验证策略
人机协作边界
明确界定自动化验证和人工审核的边界
设计高效的人工介入机制

实践启示¶

RLVR 是当前最有效的训练范式，但适用范围有限
在数学、代码领域优先采用 RLVR
不要期望 RLVR 直接泛化到所有领域
对 Agent 系统而言，可验证子任务分解是关键设计模式
尽可能将任务分解为可自动验证的单元
使用 Rubric 为不可验证单元提供结构化反馈
长期需要新的奖励信号设计方法
关注生成式奖励模型和过程奖励模型的发展
探索领域形式化的可能性
考虑物理验证闭环的商业模式
创业机会分布
数据层：垂直领域的 Rubric 构建和验证服务（Mercor 模式）
工具层：形式化验证和自动证明系统（Pramaana 模式）
应用层：拥有完整验证闭环的 AI+Science 公司（Periodic Labs 模式）