Kimi K3正式开源，硬核技术报告出炉「一文读懂核心黑科技」¶

Ch01.1420 Kimi K3正式开源，硬核技术报告出炉「一文读懂核心黑科技」¶

📊 Level ⭐⭐ | 3.2KB | entities/kimi-k3-open-source-technical-yar-2026.md

-> 原文存档

Kimi K3 权重正式开源，参数量 2.8 万亿，实际激活参数 1040 亿，支持 100 万 token 上下文窗口，具备原生视觉理解能力。综合能力已全面超越 Claude Opus 4.8、GPT-5.5 和 GLM-5.2，但仍落后于 Claude Fable 5 和 GPT-5.6 Sol。

来源¶

• 原文: Kimi K3正式开源，硬核技术报告出炉「一文读懂核心黑科技」
• 原始链接: : https://mp.weixin.qq.com/s/IWepFZVZIZUPBo1Xr0XPsg

第 2 来源 — 新智元「刚刚，Kimi K3正式开源！3万亿模型权重全球开放」（2026-07-27）¶

v×c=56（v=7 c=8 s=4），新智元对同一开源事件（2026-07-27 Kimi K3 权重发布）的完整技术报告解读，覆盖 47 页技术报告核心内容，与第 1 来源（简短速报）互补。

互补角度 5 条：

• 开源 Infra 三件套：随权重一并开源支撑 K3 训练的 MoonEP、FlashKDA 与 AgentEnv（月之暗面把训练基础设施本身开源）。
• 混合注意力架构细节：每个 Block 采用「3:1」搭配——3 层 Kimi Delta Attention (KDA，线性注意力，将长上下文压缩为固定循环状态，打破 KV Cache 内存诅咒) + 1 层 Gated MLA（周期性保留全局信息检索），支撑 100 万 token 上下文。
• 超稀疏 MoE 稳定性方案：路由专家 896 个、每 Token 激活 16 个；SiTU-GLU 激活函数解决极端规模下 SwiGLU 激活值爆炸问题，Quantile Balancing（分位数负载均衡）替代辅助损失实现近乎完美的负载均衡；整体扩展效率较 K2 提升约 2.5 倍。
• 后训练/RL 配方：AgentENV microVM 白盒沙盒（模拟 Slack/Notion/Gmail 环境跨虚拟数天的长待机任务）、知识图谱引导的任务合成（爬虫智能体全网自动抓取合成高难度验证任务）、MOPD 多教师在策略蒸馏（通用/智能体/代码三大领域 × Low/High/Max 思考努力级别交叉 RL）。
• MoonViT-V2 视觉编码器：从零训练、仅依赖后续 token 预测，可直接按语言建模目标调整编码器表征，表现与 SigLIP 初始化基线相当——原生多模态（视觉与文本从预训练第一天交织，无后期缝合对齐阶段）。

→ 第 2 来源原文存档