跳转至

Is One Layer Enough? 单层 RL 训练可超越全参数训练

📊 Level ⭐⭐⭐ | 8.2KB

→ 原文存档

明尼苏达大学、北京大学和 Amazon 团队在 arxiv 2607.01232 中，通过系统性逐层研究揭示：RL 后训练的收益高度集中在 Transformer 中间层（深度 40–60%），训练单个层即可匹敌甚至超越全参数 RL 训练——这从根本上挑战了「能力提升需要整个网络协调适应」的隐含假设。

摘要

现有 RL 后训练（GRPO、Dr. GRPO、GiGPO）统一更新所有层，隐含假设每层贡献均等。该团队提出层贡献度 C(k) 逐层量化单层「学习能力」，发现 RL 收益高度集中在一小部分中间层，且该结构在 7 个模型、2 个家族、3 种算法、3 个任务领域间高度一致，是预训练模型的内在属性。

由此得到双重含义：每个被测试模型的最佳单层均达到甚至超越全参数（C ≥ 1.0），说明 RL 对模型的修改远比想象的局部化；而基于层贡献度的三种训练策略全部稳定超越全参数基线，暗示标准的全参数 RL 训练本身可能次优。

核心要点

  • 层贡献度 C(k)：冻结除第 k 层外的全部参数（含 Embedding 与 LM Head），仅对该层做 RL，以 C(k) = (S_k − S_base)/(S_full − S_base) 度量；C(k) > 1.0 即单层超越全参数。梯度仍全网络反传，仅参数更新受限，隔离单层自身学习能力。
  • 中间层主导：所有 7 个模型中深度 40–60% 的层贡献最高，近输入/输出端显著偏低。
  • 4 倍差距：Qwen3-1.7B 最佳 Layer 10 达 C = 1.14（超越 14%），最差 Layer 24 仅 C = 0.28，最好与最差层相差超 4 倍。
  • 每个模型最佳单层均 C ≥ 1.0：单层匹敌或超越全参数并非个案，而被 7 个模型一致复现。
  • 贡献 ≠ 权重变化幅度：全参数下各层 L2 变化均匀（0.5–0.8），单层训练下高低贡献层变化幅度相近（0.8–1.0）却结果迥异——C(k) 反映参数子空间捕获 RL 改进的有效性，而非更新量。
  • 结构高度一致：跨数据集（ρ = 0.76）、跨任务（数学 vs 代码，ρ = 0.59）、跨算法、跨领域（数学小幅适应 vs 智能体 66–84 个百分点的大幅习得）均保持「中间高、两端低」。
  • 全参数 RL 可能次优：冻结低贡献层后性能反超全参数，低贡献层的更新更多是引入噪声、干扰高贡献层学习。

深度分析

C(k)：把「收益来源」锚定到具体层的方法论

C(k) 的巧思在于用「冻结 + 单层更新」把问题压缩成干净的单变量实验：冻结除第 k 层外所有参数，只允许该层被优化，但梯度计算仍贯穿整个网络——每一层都在相同表征与损失环境下被单独检验，唯一变化的是「哪一层能吸收这次更新」。收益按 C(k) 归一化到全参数基线：等于 1 表示复现全部收益，大于 1 则单层干得比全员参与更好。作者还先为全参数基线调优到最优学习率，再沿用至所有单层，并通过学习率消融验证其不翻转层排序——这让 4 倍差距是纯结构性、可严格归因的。

为什么是中间层：40–60% 深度是「意义承载区」

Transformer 功能沿深度分层：底层做 token 级局部句法与低层特征提取，顶层贴近输出空间、把抽象表征「读出」为具体任务分布，而中层恰是跨词跨句的抽象推理特征最集中的「语义整合平台」。RL 奖励（尤其 RLVR 对整条推理链的评估）针对最复杂的高阶认知，因此最能从中层抽象表征榨取收益；同时底层须保持稳定以保基础表征，近输出端参数空间则像「浅层适配器」、承载有限，于是「中间高两端低」近乎必然。跨任务排序相关（数学 vs 代码 ρ = 0.59）更表明这些承重子空间编码的是预训练已铺设好的跨技能抽象能力，RL 只是在其上拧旋钮。

反直觉：贡献不是「改了多少」，而是「改对了地方」

最自然的猜想是中国层贡献高只因参数变化最大，但 ‖Δθ_k‖₂ 测量否定了它。全参数训练下各层权重变化均匀（0.5–0.8），中间层并未动得更多，却在单独训练时贡献远超其他层——「变化均匀、贡献不均匀」直接脱钩。单层训练时，高低贡献层的权重变化幅度都落在 0.8–1.0（甚至比全参数更大，因须补偿冻结邻居），结果却天差地别。结论是 C(k) 量度的是「该层可到达的参数区域与 RL 提升方向的契合度」：某些子空间天生更擅长承载 RL 改进。这把 RL 后训练重新框定为「在特权子空间内做约束性重配置」而非盲目全局梯度下降。

推论：标准的全参数 RL 可能是次优的

既然收益集中，让所有层一起更新就值得审视：低贡献层既无正向贡献，其更新反而可能引入噪声、稀释整体提升。论文用选择性训练直接验证——只训练高贡献 top 层性能反超（Qwen3-8B top-10 → 69.11% vs 66.43%），只训练低贡献 k 层则大幅崩塌（Only W5：1.7B 46.87%、8B 62.04%）。方向不对称表明全参数配方里混入了一批「拖后腿」的层，其存在是净损失。这把 RL 后训练从「优化算法」拓展到「优化哪些层」。

实践启示

  1. 目标层训练降低成本：仅训练高贡献层即可匹敌/超越全参数，RL 后训练算力与时间开销可大幅压缩。
  2. 零分析启发式作为默认策略：无需贡献度分析，直接选中间 5 层（28 层取 Layer 11–15，36 层取 Layer 15–19），所有规模均超全参数基线，适合新模型/新任务的低成本起点。
  3. 层自适应学习率是最小成本干预：仅把高贡献层学习率从 5e-6 提到 1e-5（Qwen3-1.7B +2.88、Qwen3-8B +0.99）；提升低贡献层反而下降，证明增益来自贡献度引导而非学习率数值。
  4. 冻结低贡献层作为「净化」手段：较大模型只训 top 层（Qwen3-8B 69.11% vs 66.43%），删去低贡献层噪声可得更干净的优化面。
  5. 把 C(k) 当作模型结构诊断工具：连通 mechanistic interpretability 与训练效率，可预判模型哪些层承载 RL 收益并据此分配资源。

相关实体