跳转至

开源模型回顾：Kimi K3、Qwen 3.8、WAIC 演讲、蒸馏与中美竞争

Ch01.626 开源模型回顾：Kimi K3、Qwen 3.8、WAIC 演讲、蒸馏与中美竞争

📊 Level ⭐⭐ | 10.0KB | entities/open-models-recap-more-on-kimi-k3-qwen-38-xis-waic-speech.md

开源模型回顾：Kimi K3、Qwen 3.8、WAIC 演讲、蒸馏与中美竞争

vxc score: 50 | Interconnects播客转录，深度讨论Kimi K3后续影响、Qwen 3.8发布、WAIC演讲、蒸馏争议与中美开源差距

摘要

本文是 Nathan Lambert（Interconnects）与 Florian Brand（Prime Intellect）的深度播客对话记录，发布于 2026 年 7 月。对话围绕 Kimi K3 发布后的开源模型格局展开，涵盖 Kimi K3 实测体验、GLM 5.2 的持续角色、中国模型的竞争力来源、Qwen 3.8 的开源承诺、Xi 在 WAIC 的演讲、蒸馏技术的真实影响、中美开源模型差距，以及下一阶段的预测。播客提出了一个核心论断：开源模型的迭代速度正在加速，中国实验室在资本效率和专注度上形成了结构性优势。

核心要点

  • Kimi K3 的实测表现：实际编码能力约等于 GPT-5.4/5.5 水平（Florian 评估），代码更简洁但边界情况覆盖不足。API 因需求过载经常报错。
  • 中国模型竞争力的根源：不仅在于算力或数据规模，更在于实验室文化——专注、不分散精力、资本效率高。中国实验室团队小型化（200-300 人，平均年龄 20 多岁），没有企业在多云/企业级服务上的"分心"。
  • Qwen 3.8 的宣布：阿里巴巴承诺开源 2.4T 参数旗舰模型，进一步加速了开源模型的发布节奏。但 Qwen 的大模型表现历来不如其小模型突出，这可能是云端公司资源分配的自然结果。
  • 蒸馏争论：Ben Thompson 认为蒸馏在 RL 阶段的帮助越来越大，但 Nathan 和 Florian 否定了这一观点——RL 阶段的蒸馏比 SFT 阶段更难有效，因为大规摸 RL 需要飞快且低成本的 judge 模型，强 API 模型无法满足这些约束。
  • 中美差距缩小：预测"差距将保持在几个月内"的结论仍然成立。开源生态已经从"权重发布→等待适配"的节奏，进化为"发布前 partner 已拿到权重，vLLM patch 提前数周准备"的专业化流程。
  • 网络安全悖论：由于闭源前沿模型的护栏过多，安全分析团队被迫使用开放性更强的中国模型来防御攻击——形成"用较弱的模型来防守"的荒诞局面。

深度分析

中国模型实验室的结构性优势

Kimi K3 的发布标志着开源模型格局的实质性变化。Nathan 和 Florian 的讨论揭示了一个关键洞察：中国实验室的竞争力并不仅仅来自"更多算力"或"盗窃 IP"，而是来自一种结构性的资本效率和专注度优势。

从资本效率角度看，训练一个前沿模型的成本在中美之间存在显著差异。Nathan 提出一个假设性对比：如果 Anthropic 的下一个模型需要 100 亿美元，而 Kimi 仅需 40 亿美元就能达到相近水平，这将对整个行业格局产生深远影响。这种差异可能来源于更低的人力成本、政府对芯片采购的补贴，以及更专注的研究目标——"我们不是要推动前沿，我们只是在追赶"的心态使中国实验室能够更精确地分配资源。

从实验室文化角度看，中国 AI 实验室展示了一种高度专注的组织形态：团队规模通常只有 200-300 人，成员多为 20 多岁的年轻研究员，几乎没有"副线项目"。这种专注度与美国实验室形成了鲜明对比——美国实验室不仅要训练模型，还要支撑数百万乃至数十亿用户的产品、企业级服务、合规要求等。正如 Florian 所观察到的，即使这些"分心"不是研究员的本职工作，它们也会改变公司的注意力分配。

蒸馏争论的去魅

2026 年中期的 AI 行业围绕"蒸馏"展开了一场激烈的辩论。Ben Thompson 在《Stratechery》发文认为，随着 RL 在模型训练中的比重增加，蒸馏正在变得更重要。Nathan 和 Florian 对此提出了系统性反驳：

  1. SFT 阶段的蒸馏 vs RL 阶段的蒸馏：蒸馏确实在 SFT 阶段有效——通过 jailbreak Claude/GPT 的 API 获取推理轨迹来合成训练数据。但 RL 阶段的蒸馏完全不同。大型 RL 运行需要数千万次 rollouts，用 Fable 或 GPT-5.6 作为 judge 模型进行每步监督的成本极高且速度极慢。

  2. SFT 蒸馏的边际效益递减：开源社区已经多次尝试"用最强模型的最优 SFT 数据训练开源模型"，但结果并未显示出显著优势。Open Thoughts 系列工作反复验证了这一点——最强的 teacher 模型并不总是能产出最好的 SFT 数据集。甚至像 QwQ-32B 这样的"过时"推理模型仍在用于构建最先进的 SFT 数据集。

  3. 真正的瓶颈在 RL 阶段的数据工程：RL 阶段的核心挑战是生成足够难、不会导致 reward hacking 的 prompt 和评测环境。这需要持续的"前沿数据研究"——不断产生对当前模型具有挑战性的新问题。这与简单的 API 蒸馏是两个完全不同量级的工作。

开源生态的专业化跃迁

2025-2026 年间，开源模型生态经历了一次关键的专业化跃迁。过去，模型权重发布后，社区需要数周甚至数月才能适配推理框架。到 2026 年中，这一流程已经被彻底重构：

  • 与推理框架提前协作：模型发布前，vLLM 等推理框架的 patch 已经准备就绪
  • 合作伙伴抢先拿到权重：主要 API 提供商在发布日就能提供服务
  • 中国模型的持续迭代：GLM 的发布周期已压缩到 1-2 个月，每次迭代都有实质提升

这种专业化使开源模型的"可用性差距"从数月缩短到数天，大大削弱了闭源模型的先发优势。但同时，模型的规模增长也带来了新的基础设施挑战——Kimi K3 的 2.8T 参数需要单节点 B300 才能加载，后训练适配的门槛显著提高。

前沿分化与安全悖论

Florian 提出了一个关键观察：AI 能力正在经历前沿分化——在日常编码和常规任务上，前沿模型（无论开源还是闭源）都已经"足够好"，增量改进对用户体验的影响越来越小。但在数学证明、生物医学发现、网络安全等真正的"前沿前沿"上，差距仍然很大，而且可能由极少数闭源模型主导。

这导致了一个安全悖论：Hugging Face 的安全团队在分析一次 Agent 攻击时，发现 GPT 和 Claude 的护栏过于严格阻止了分析所需的操作，最终不得不使用 GLM（一个能力相对较弱的模型）来完成防御分析。这意味着，如果美国限制中国开源模型的使用，防御方将失去关键工具，而攻击方仍可自由使用。

实践启示

  1. 在 Agent 工作流中分层使用开源模型：将 Kimi K3 作为主 Agent（负责复杂推理和规划），GLM 5.2 作为子 Agent（负责快速执行的子任务），可以在成本和效果之间取得最佳平衡。

  2. 警惕蒸馏的边际效益递减：如果你的团队正在试图通过蒸馏前沿模型来提升开源模型的能力，应优先投资于 RL 阶段的数据工程和 judge 模型训练，而不是盲目收集更多 SFT 数据。

  3. 关注中美算力解耦带来的长期影响：中国国产芯片（如华为昇腾）正在快速追赶，LongCat 已经验证了完全基于国产芯片的训练管线。这可能导致两个独立的 AI 生态系统并行发展——企业在选择技术栈时需要评估这一风险。

  4. 安全架构应考虑"模型不可知"设计：由于未来可能面临模型访问受限的局面（无论是政策原因还是 API 断供），安全工具链应设计为可插拔模型后端，而不是绑定在特定模型上。

  5. 利用开源模型的快速迭代节奏：GLM 等中国模型已经实现了 1-2 个月的发布周期。团队应建立持续评估机制，定期重新评估最新的开源模型是否可以在特定任务上替代当前使用的闭源模型。

相关实体

  • Kimi K3: The Open-Weights Escalation — Kimi K3 的深度分析
  • Kimi K3 2.8T 开源模型 — Kimi K3 技术细节
  • GLM 5.2 智谱开源模型 — 同代竞争模型
  • Qwen 3.8 阿里开源模型 — Qwen 系列旗舰
  • AI 蒸馏技术争论 — 蒸馏技术深度探讨
  • DeepSeek V4 开源模型 — 另一中国开源模型
  • AI 网络安全悖论 — 开源模型在安全领域的关键作用

→ 原文存档