DeepSeek V4 训练方法论深度解读¶

📊 Level ⭐⭐⭐ | 13.8KB

花叔对 DeepSeek V4 58 页论文的深入解读，涵盖架构改动、训练稳定性、后训练范式变化、评测结果及未来方向。

核心结论¶

DeepSeek V4 不是冲破 AGI 天花板的 SOTA 模型，而是首次将百万上下文、Agent 原生能力、可接受的价格三者结合的模型。它抬高了开源模型的地板，让独立开发者能放心使用百万上下文 Agent。

架构改动（三大改进）¶

V4 没有推倒 V3 重来，MoE 框架沿用 DeepSeekMoE，MTP 模块未动。真正的大改只有三处：

1. mHC（Modified Hyper-Connections）¶

残差连接升级：解决深度扩展时的数值不稳定问题
核心创新：给残差连接加「只准收缩不准放大」的数学护栏，使用双随机矩阵约束信号守恒
效果：模型从 V3 的 671B 推到 1.6T（2.4 倍），训练稳定性反而更好
→ Scaling Laws

2. CSA + HCA 混合注意力¶

CSA（Compressed Sparse Attention）：每 64 个 token 压缩为 1 块，用 Lightning Indexer 打分，只挑 top-k 块精读
HCA（Heavily Compressed Attention）：极高压缩率（每 1024 token 压 1 块），dense 扫描所有压缩块
效果：100 万上下文下单次推理成本仅为 V3.2 的约 1/4，KV cache 占用仅传统 BF16 GQA8 baseline 的约 2%

3. Muon 优化器¶

替代 AdamW：不看单个旋钮，看整组旋钮的方向，将椭圆轨迹「掰正」为正圆
效果：冷门方向获得同等步长，模型探索更广，收敛更稳
参数分工：embedding/prediction head/RMSNorm 仍用 AdamW

训练稳定性（两个"不理解"的 trick）¶

Anticipatory Routing（预判式路由）¶

路由器用「昨天的脑子」做「今天的决定」：主干更新与路由器解耦，路由器查历史参数来避免崩溃恶性循环

SwiGLU Clamping¶

强行给 SwiGLU 内部数值加上下限（-10 到 10），防止神经元输出爆炸

DeepSeek 坦言：「the underlying principles of these mechanisms remain insufficiently understood」

训练数据¶

规模：Pro 版本 33T tokens，Flash 版本 32T tokens
反模型坍缩：过滤 AI 生成文本
中期训练引入 Agent 数据：工具调用轨迹、多步推理、搜索片段
多语言扩容：扩充长尾语言
序列长度渐进扩展：4K → 16K → 64K → 1M，稀疏注意力分阶段引入

后训练：Specialist + OPD（范式级变化）¶

"the mixed Reinforcement Learning (RL) stage was entirely replaced by On-Policy Distillation (OPD)" 关键转变：从「SFT+RLHF 混炼」转向「分治+合并」： 1. Specialist 训练：每个领域（推理/数学/代码/Agent/对话）单独训练专家模型（SFT → GRPO RL） 2. On-Policy Distillation：十多个专家模型当老师，通过反向 KL loss 蒸馏出统一学生模型

反向 KL 让学生集中在老师高概率区域，自动「选老师」意义：可能是比 MoE 更深刻的范式变化——训练时混合（OPD）而非推理时混合（MoE）。小团队可训多个小 specialist 后蒸馏融合。

评测结果¶

强项¶

数学推理：Putnam-2025 满分 120/120，Apex Shortlist 全场第一（90.2），Codeforces 3206 分（人类第 23 名）
编程竞赛：LiveCodeBench 93.5 分，Codeforces 双第一（开源首次追平闭源）
中文场景：日常中文写作碾压 Gemini

弱项¶

Agent 能力：全方位落后闭源（Terminal Bench 2.0 67.9 vs GPT-5.4 75.1）
真实编程：接近 Opus 4.5（67% vs 70%），差 Opus 4.6 Thinking 13 分
创意写作：输给 Opus 4.5
长上下文：128K 内稳定，1M 勉强能用（MRCR 1M 83.5 vs Opus 4.6 92.9） 模式总结：V4 擅长做题（有明确答案的任务），在品味型任务上偏弱——映射团队竞赛背景。

深度分析¶

范式转移：从「联合优化」到「分治+合并」¶

V4 后训练最大胆的创新，不是某个具体的算法改进，而是把「多任务联合优化」拆成了「分治+合并」两个阶段。这是一个被低估的结构性变化。传统 SFT+RLHF 混炼的问题本质是负迁移：数学、代码、Agent、对话的能力在 RL 阶段互相打架。调高数学 reward，代码能力就掉；加 Agent 数据，对话又变笨。这不是超参数没调好，而是联合优化框架的固有问题——reward 信号在多个目标之间必然产生冲突。 V4 的 OPD 把这个困境彻底拆开了：RL 只在专家阶段做，每个专家模型只管一个领域，reward signal 清晰、不妥协。最终学生模型通过反向 KL 蒸馏拿所有专家能力，根本不做 RL。这个范式的核心洞察是：训练时混合（OPD）比推理时混合（MoE）拥有更大的组合空间。MoE 只能在运行时选择激活哪些专家，而 OPD 可以在训练阶段就让不同领域的知识通过 KL divergence 的「软对齐」实现深度融合。对资源受限的团队，这意味着：不用一开始就想清楚所有能力的联合优化方案，可以先训多个小 specialist，最后再合并。

mHC 的深层意义：从「加法式残差」到「守恒式残差」¶

Hyper-Connections 论文的核心思路是「让模型自己学习残差连接方式」——把单通道残差流扩展成多通道，模型自己学权重。这条路在学术上非常优雅，但字节团队忽视了工程层面的稳定性问题：信号放大倍数峰值达 3000 倍时，梯度爆炸几乎是必然。 mHC 的解决思路不是改进 HC 的学习机制，而是给它加一个数学护栏：双随机矩阵约束使每层的信号总量守恒。这个约束看起来是放弃了一部分灵活性，但实际上换来了深度 scale 的可行性。这里有一个更深层的信号：DeepSeek 的技术哲学倾向于在容易出问题的地方加约束，而不是让模型自己学。这和当前主流的「让模型自由学习一切」路线有本质区别。

SwiGLU Clamping + Anticipatory Routing：经验性修复的范式¶

这是论文里最诚实的部分。DeepSeek 明确说了：这两个 trick 有效，但「underlying principles remain insufficiently understood」。 Anticipatory Routing 解决的是「异常专家输出 → 路由器误判 → 更多任务派给该专家 → 更异常」的崩溃循环。解法是让路由器用「昨天的参数」做决策，解耦主干更新和路由选择。这个思路在工程上非常直觉，但没有清晰的梯度分析支撑。 SwiGLU Clamping 则是给激活函数的数值输出加硬截断（-10 到 10），防止某些神经元在超大规模训练时输出爆炸。这也是经验性修复。这类经验性修复在深度学习领域并不罕见，但能如此坦然地写进论文并强调「不理解」的团队极少。这反映了一个更成熟的研究心态：有效性和可解释性不矛盾，先有效再理解。

Muon 优化器的结构性意义¶

AdamW 的「单旋钮独立调整」逻辑在高维场景下天然会产生「热门方向过度优化、冷门方向欠优化」的问题。Muon 的「整体方向正交化」思路从根本上是把优化过程从「单独调每个旋钮」升级到「整组旋钮协同更新」。但 Muon 有两个关键限制： 1. 只对矩阵参数有效（非矩阵参数如 embedding、prediction head、RMSNorm 仍然用 AdamW） 2. 每步需要额外的正交化计算（Newton-Schulz 迭代，10 步） V4 的实现用激进前 8 步 + 温和后 2 步做精度平衡，这个工程细节说明 DeepSeek 在训练效率上做了大量摸索。

架构复杂性：V4 的诚实承认¶

论文里提到架构「太复杂」：保留了太多初步验证过的组件。mHC、CSA、HCA、MTP、Shared KV MQA、Sliding Window、Attention Sink……这些机制叠加在一起，让 V4 的架构成为少数人能够完全理解的系统。这种复杂性不是技术债务，而是当前超大规模模型训练的客观现实：每个机制单独拿出来都能讲清楚，但叠加后的交互效应难以预测。论文的诚实之处在于没有试图给这个复杂性找借口。

实践启示¶

对模型训练团队¶

深度 Scale 前先解决数值稳定性：mHC 的守恒约束不是「锦上添花」，而是「必要条件」。模型从 671B 推到 1.6T，如果没有这个约束根本无法训练。
超长上下文训练用渐进式引入：V4 的序列长度从 4K → 16K → 64K → 1M 分阶段扩展，稀疏注意力也是逐步引入。这个策略降低了训练不稳定性的风险。
专家分离训练 + OPD 蒸馏是可行的多任务解法：不需要一开始就设计联合优化方案，先分领域训专家，再通过反向 KL 合并。这个范式对资源有限的团队尤其有价值。

对 Agent 应用开发者¶

V4-Flash 是当前最具性价比的百万上下文模型：价格约为同类快速模型的 1/7 到 1/18，128K 以内性能稳定，适合需要长上下文但成本敏感的场景。
不要用 V4 做创意写作或品味型任务：V4 在有明确答案的任务上表现顶尖，但品味型任务（创意写作、综合架构决策）仍然落后于 Opus 4.5/4.6。对于这类需求，闭源模型仍然更合适。
V4 的 Agent 能力有上限：Terminal Bench 2.0 67.9 分，落后 GPT-5.4 约 7 分。对于高复杂度的多步 Agent 任务，当前开源模型仍有差距。

对研究者¶

经验性修复值得记录：SwiGLU Clamping 和 Anticipatory Routing 这类「不理解但有效」的 trick，是训练大规模模型时不可避免的发现，应该被系统性地记录和分享。
反 AI 生成内容的过滤是必要的数据工程：互联网语料中 AI 生成文本的比例会持续上升，不做过滤会导致模型坍缩。这是预训练数据处理的关键步骤。
OPD 的「自动路由」特性值得深入研究：反向 KL 让学生自动对齐高概率区域，这个机制和多专家混合的内在联系还远没有被充分理解。

对组织决策者¶

V4 证明了「开卷有益」的 Open AI 路线：DeepSeek 的 Open 不是只开源权重，而是提供完整的训练细节、实验记录、甚至失败经验。这种开放程度对行业整体进步有推动价值。
小团队可以通过 Specialist + OPD 路径训练大模型能力：不需要一开始就训超大模型，训多个小专家再蒸馏合并，是资源受限团队可行的路径。