杨植麟GTC 2026演讲：Kimi K3成功的三个扩展维度¶

Ch01.1558 杨植麟GTC 2026演讲：Kimi K3成功的三个扩展维度¶

📊 Level ⭐⭐⭐ | 4.9KB | entities/kimi-k3-success-yangzhilin-speech.md

杨植麟GTC 2026演讲：Kimi K3成功的三个扩展维度¶

深度分析¶

2026年3月21日，月之暗面CEO杨植麟在英伟达GTC大会上发表演讲，主题为Kimi K2.5背后的扩展方法论。四个月后，Kimi K3 2.8T Open Source Model 2026以2.8万亿参数荣获全球第三，这场演讲被验证为K3成功的直接蓝图。演讲围绕三个扩展维度展开：token效率、上下文长度和智能体数量。

维度一：Token效率——Muon优化器替代Adam。 杨植麟指出，token效率直接关系到智能上限。团队用Muon（二阶优化器）替代AdamW，使每次梯度更新彼此正交，在相同参数量和训练token下各项指标全面提升。这是业界首次将Muon成功扩展到万亿参数规模的LLM训练。团队为此开发了分布式Muon实现，将优化器状态切分到不同数据并行组中。面对万亿参数训练的不稳定性（注意力最大logit值爆炸至超过1000），团队提出QK Clip技术，在前向传播中计算最大logit值并按比例缩放query/key投影，使loss收敛不受影响。

维度二：长上下文——Kimi Delta Attention。 团队推出了Kimi Delta Attention（KDA），一种新的线性注意力变体。原始线性注意力存在全局记忆问题——单一的衰减因子要么遗忘所有历史，要么保留所有信息。KDA引入细粒度对角矩阵衰减因子，为每个通道分别控制衰减速度：部分通道慢衰减以保留长程信息，部分通道快衰减以接收新信息。为适配GPU并行计算，团队重写了整套公式（引入矩阵求逆和累积衰减因子），在数学上精确等价的前提下实现高效并行。KDA与全注意力层按1:3比例混合使用，在短上下文任务（MMLU）、长上下文任务（ruler）上均优于MLA和GDN，且扩展至百万token时效率优势更加显著。它是首个在短输入、长输入和长输出任务上全面超越全注意力架构的方案。

维度三：智能体蜂群。 团队提出了智能体蜂群（Agent Swarm）训练范式，由一个编排者（主智能体）协调整体任务：生成子智能体、分配任务、收集结果、迭代推进。技术层面设计了全新的强化学习奖励系统，包含三项奖励：实例化奖励（鼓励生成子智能体）、完成奖励（确保子任务被实际完成）、结果奖励（衡量最终任务完成度）。团队认为这一维度可扩展至100个甚至1000个子智能体并行工作，在输入（并行下载阅读）、输出（并行生成文档）、动作（并行数据分析）、编排（学会拆解与汇总）四个方向上均有扩展空间。

视觉-文本联合训练。 K2.5成为首个原生实现视觉和文本联合训练的开源模型，采用早期融合策略——从训练第一天起将视觉token和文本token合并处理。研究发现两种模态可以互相增强：纯视觉任务强化学习能提升文本推理表现（如数学和编程），而扎实的文本基座配合Zero Vision SFT（无需专门视觉SFT数据）也能达到接近业界最好的视觉任务水平。团队认为原因在于预训练阶段已将两种模态对齐进同一个共享表示空间。

下一代架构预告：注意力残差。 演讲末尾，杨植麟介绍了刚刚发布技术报告的Attention Residuals（注意力残差）架构Kimi Attention Residuals Prenorm Dilution Block Attnres。其核心思想是：将LSTM在时间维度上的逻辑旋转90度应用到深度维度——每一层不再只依赖上一层的隐藏状态，而是通过注意力操作聚合所有历史层的隐藏状态。为控制通信和内存开销，团队设计了分块注意力残差变体（如每16层或4层为一个块），在scaling law层面将token效率提升了24%。这一架构在GPQA、数学和HumanEval等基准上均有显著提升。

演讲中提及的所有技术——Muon优化器、KDA混合线性注意力、Agent Swarm、Attention Residuals——构成了从Kimi K2 5 Architecture Innovation Moonshot 2026到Kimi K3的完整技术谱系。杨植麟总结团队将继续沿token效率、长上下文、智能体数量三个维度推进扩展，并不断发现新的扩展维度。

→ 原文存档