百度文心大模型后训练进化（ERNIE 3.0→5.0）¶
📊 Level ⭐⭐⭐ | 6.5KB
核心架构¶
- TransNets（Transformer 中的 Transformer）：Intra-FFN 改造，多个头共享 FFN，每个头以不同精度（FP8/FP16/BF16）计算，打破 KV-Normality 问题
- Twinlight 混合推理架构：强推理路径 + 高效路径，由模型自主选择推理路径（Claude Managed Agents Developer Guide 中的混合推理思路类似但工程实现不同）
- 25 个激活参数实现大模型性能：MoE 稀疏激活 + 混合精度 FFN 的组合杠杆
RL 后训练分阶段飞轮¶
百度将后训练目标分解为三阶段异步训练： 1. 有用性阶段（RLHF）：奖励模型驱动生成改善 2. 安全性阶段（DPO）：专家红队迭代，学习安全回复 3. 诚实性阶段（加固 DPO）：巩固安全对齐，防止越狱 关键洞察：三种目标不可同阶段混合——分阶段训练按优先级递增（安全>有用），每阶段只聚焦一个目标。DPO 评估思路可类比，但百度将此扩展为完整的工程流水线。 RL 后训练形成飞轮闭环：RL 训练改善生成 → 丰富样本池 → 提升验证器 → 更精准 reward signal → 回馈 RL 训练。
Agent 能力训练的三维度¶
| 维度 | 数据来源 | 训练信号 |
|---|---|---|
| 任务规划（Plan） | LLM 合成 | 奖励模型评分 |
| 工具调用（Grounding） | 真实搜索记录 | 工具调用成功/失败 |
| 意图遵循（Goal adherence） | 场景构造 | 最终结果是否满足用户查询 |
工程贡献点¶
- Chat Template 多阶段演化：V1 单函数→V2 多系统角色→V3 Simplest JSON→V4 Simplified JSON，展示了 AI Agent 接口演化的具象案例
- 推理增强：用大模型对输出结果做 OOD 样本检测，防止无认知发散
- 搜索 Agent 化：从 RAG+搜索 演进到 RAG+搜索+Agent，Self-Fix 修改搜索 query + 多路召回搜索 plan
深度分析¶
分阶段 RL 后训练的分歧与验证¶
百度明确反对「多目标同阶段混合」，主张优先级递增（安全→有用）。这一立场与主流社区实践中常将有用性/安全性放在同一 Reward Model 的做法形成对比。本质上，这种分治策略的前提是Reward Model 的条件分布假设——当多个目标存在耦合时，单一验证器无法同时捕捉安全约束与有用性信号的最优梯度方向。 分阶段训练的代价是训练周期变长，但百度通过异步飞轮（不同阶段用不同数据池独立演进）来摊薄这一成本。
TransNets 的精度解耦思路¶
传统 MoE 中不同 Expert 共享相同精度（通常 FP16/BF16），TransNets 的创新在于让不同注意力头在Intra-FFN阶段使用不同精度。这相当于在模型层面引入了一种「精度路由」——模型的不同子空间天然适合不同精度的数值表达（高频特征用 FP8 低表达，位势稳定的 head 用 BF16）。 KV-Normality 问题是 Transformer 训练不稳定的重要来源之一（KL divergence 散射导致），通过精度异构可以打破这种一致性约束，给模型更多的数值自由度。
Agent 能力训练的评估困境¶
三个维度的训练信号设计揭示了一个根本矛盾：工具调用成功/失败是即时信号，但意图满足是延迟信号。两者在梯度回传时序上不对齐，直接混合训练会导致模型优先优化即时信号（工具调用准确）而忽略用户最终目标。百度的解法是用「结果检查」机制将延迟信号注入训练，但代价是需要独立构建场景构造数据集，成本高于纯过程信号。
实践启示¶
- 后训练分阶段优于混合：当模型同时面临安全性、有用性、诚实性多个目标时，优先保障安全性，用独立阶段依次解决。强行合并会导致Reward Model歧义，最终对齐崩塌。
- 混合精度不只是推理优化：TransNets 证明在训练阶段引入精度异构（Intra-FFN 多头不同精度）可以改善模型数值稳定性。这提示我们在设计MoE架构时可以主动探索 Expert 级别的精度差异化配置。
- Chat Template 的演化是工程成熟度标志：从单函数到 Simplified JSON 的四阶段演进，反映了 AI Agent 接口设计从「功能优先」到「可读性优先」的转变。Template 设计应预留扩展性，避免早期过度简化导致后续兼容性灾难。
- 搜索→搜索+Agent 的核心改变是 Self-Fix：RAG 架构下搜索 query 由用户显式给出，Agent 架构下由模型自主修正（Self-Fix）。这要求训练数据包含「修复轨迹」——从错误 query 到正确 query 的对齐数据，而非仅原始查询。
- 即时信号与延迟信号不混训练：Agent 训练中若混合工具调用成功率和意图满足度，会导致模型偏向过程指标。解法是分离数据池：用过程数据单独训练 Grounding，用结果数据单独训练 Goal adherence，最后做轻量级联合微调。
交叉参考¶
- Skill Design Patterns — Anthropic 14 模式中的 RL 后训练相关策略对比
- 原文存档