NVIDIA Blackwell MLPerf Training 6.0 基准测试结果（2026-06）¶

📊 Level ⭐⭐⭐ | 11.2KB

摘要¶

NVIDIA 在 2026-06-18 的官方博客中公布 MLPerf Training 6.0 基准测试结果：Blackwell 平台在全部七个基准上都跑出了最快的训练时间，最大规模达到 8,192 GPU（使用 Blackwell NVL72 系统），并且是唯一提交了全套基准结果的厂商。本轮 MLPerf 首次引入 MoE（mixture-of-experts）预训练负载（DeepSeek-V3 671B 与 GPT-OSS-20B），反映了行业向 MoE 架构的全面迁移；NVIDIA 的 NVLink Switch fabric 与 NVFP4 低精度训练方法在 MoE 训练上展现出明显的扩展性优势。

核心要点¶

MLPerf Training 6.0 引入 MoE 训练基准：新增 DeepSeek-V3 671B 与 GPT-OSS-20B 两个 MoE 预训练负载，反映 MoE 架构在行业中的中心化趋势；NVIDIA 是唯一提交全部七个基准的厂商。
Blackwell NVL72 架构：单机柜系统由 72 颗 B200/B300 GPU 组成，第五代 NVLink Switch 将全部 72 颗 GPU 通过高带宽互连组成统一计算与内存池，对上层呈现为"一颗巨型 GPU"。
GB300 NVL72 性能领先 GB200 NVL72 1.6×：相同规模下，Blackwell Ultra 系统在训练时间上相比 Blackwell 快达 1.6 倍，关键能力包括 NVFP4 下的更高算力密度、更大内存容量、以及支持 GPU 维持峰值性能的更高功耗上限。
8,192 GPU 的最大训练规模：在 DeepSeek-V3 671B 上，NVIDIA 使用 GB200 NVL72 系统扩展到 8,192 GPU，是本轮 MLPerf Training 最大的 Blackwell 提交；同时在 Llama 3.1 405B 上以 5,120 GPU 提交。
NVFP4 低精度训练：NVIDIA 在 5,500 亿参数的 Nemotron 3 Ultra 模型上使用 NVFP4 完成预训练，证明 NVFP4 在不同规模预训练与微调上都能满足精度要求。
可靠性机制：NVRx（NVIDIA Resiliency Extension）提供故障检测、恢复与健康监控，节点故障时从最近 checkpoint 续训而非重启整个作业；Spectrum-X Ethernet 在毫秒级绕过故障链路。
生态合作伙伴广泛参与：本轮提交共 19 家组织，包括 Microsoft Azure、CoreWeave、ASUSTeK、Cisco、Dell、Fujitsu、Google Cloud、HPE、Lambda、Nebius、Supermicro 等。

深度分析¶

MLPerf 6.0 引入 MoE 基准的意义¶

MLPerf Training 6.0 是该套基准首次正式纳入 MoE 预训练负载——DeepSeek-V3 671B 与 GPT-OSS-20B——意味着 MLPerf 联盟承认 MoE 已经成为前沿大模型的事实标准架构。

MoE 训练相比传统 dense LLM 训练，对硬件通信能力提出更严苛的要求：token 必须跨 GPU 路由到对应的 expert 子网络，这就是所谓的 all-to-all 通信挑战。NVIDIA 在博客中明确指出，NVLink 的带宽优势正是让大规模 MoE 训练既快又高效的关键因素，这与 MoE 推理对 NVLink 的依赖逻辑完全相同。

NVLink Switch Fabric：把 72 颗 GPU 视为一颗¶

Blackwell NVL72 的核心创新是第五代 NVLink Switch——它在单机柜内把全部 72 颗 GPU 通过高带宽互连，组成"统一的计算与内存池"，对上层应用呈现为单一 GPU。

这一架构对 MoE 训练尤其关键。传统 GPU 集群在 MoE all-to-all 通信时，受限于节点间带宽（InfiniBand 或 Ethernet）以及 PCIe/NVLink 拓扑层级，会出现专家路由瓶颈；NVL72 把所有 GPU 视为一个域，从根本上消除了"节点内 / 节点间"的带宽分层。对于小至 72 GPU 的 MoE 训练 job，这意味着每个 token 的 expert 路由都能在本地 fabric 完成，避免跨节点同步。

GB300 vs GB200：Blackwell Ultra 的代际提升¶

NVIDIA 在同一机柜规模下对比 GB300 NVL72 与 GB200 NVL72：GB300 训练时间最快可降至 GB200 的约 1/1.6（性能提升至 1.6×）。三项关键 Blackwell Ultra 能力共同驱动这一提升：

NVFP4 算力密度：Blackwell Ultra 在 NVFP4 精度下提供更高算力，对低精度训练更友好
扩展的内存容量：更大的 HBM 让更大 batch / 更长 sequence 的训练更高效
更高功耗上限：支持 GPU 在更长时段内维持峰值频率，避免 thermal throttling

规模化的实战表现¶

DeepSeek-V3 671B 8,192 GPU 提交是本轮 MLPerf Training 最大规模的 Blackwell 集群。NVIDIA 通过两套互补的横向扩展网络平台支撑这种规模：Quantum InfiniBand 与 Spectrum-X Ethernet，让数据中心可以根据基础设施偏好灵活构建大规模集群。

最佳成绩归属方面： - Microsoft Azure：Llama 3.1 405B 训练在 8,192 GB200 NVL72 上达到参考质量目标用时 7.07 分钟（最快） - CoreWeave：DeepSeek-V3 671B 在 8,192 GB300 NVL72 + Spectrum-X Ethernet 下达到质量目标用时 2.02 分钟（最快）

可靠性作为生产级训练的前提¶

NVIDIA 在博客中用一整节强调 "At-Scale Reliability"。当训练作业跨度数周或数月、覆盖数十万 GPU 时，吞吐量取决于"性能 × 可靠性"——只有结果可复现的快速系统才有生产价值。

NVIDIA 的可靠性机制从两个维度展开：

1. 减少中断： - 出厂前 GPU 经历 30+ 制造测试阶段筛查潜在故障 - 部署后，RAS 引擎（Reliability, Availability and Serviceability Engine）监控几乎整个芯片，自动绕过故障路径 - Spectrum-X Ethernet 在毫秒级重路由故障链路

2. 加速恢复： - NVRx 自动检测并管理表现不佳的节点（不拖累整集群） - 节点故障时，从最近 checkpoint 续训而非重启整个作业

NVFP4 训练：从研究走向 5,500 亿参数规模¶

NVIDIA 在 Nemotron 3 Ultra（5,500 亿参数）上使用 NVFP4 完成预训练，这标志着 NVFP4 已从实验性技术走向生产规模。低精度训练的关键收益是性能，但传统担忧是精度损失——NVFP4 通过数值表示与缩放因子的协同设计，在严格精度要求下仍能保持模型质量。

生态系统的实战案例¶

Cohere：在 GB200 NVL72 上训练 North agentic AI 平台，速度提升 3×
Midjourney：v8 图像生成模型在 Blackwell 集群训练，正在 Blackwell Ultra 上扩展大规模机队训练下一代图像与视频模型
Thinking Machines Lab（Google Cloud）：在 GB300 NVL72 上训练与推理速度相比上一代提升 2×
Higgsfield（Nebius）：在 NVIDIA Blackwell / Blackwell Ultra 基础设施上训练时间缩短 30%，平台服务 2,200 万用户、每天生成超 600 万 AI 内容

实践启示¶

MoE 是训练基础设施的硬需求：当模型架构转向 MoE 后，单机柜 NVLink fabric、跨节点高带宽网络、checkpoint 友好的故障恢复机制成为训练系统的核心能力；规划大规模训练时应优先评估这三项。
NVLink 域大小直接决定 MoE 效率：把训练 job 控制在 NVL72（72 GPU）单一 fabric 域内可以让 expert 路由免受节点间带宽瓶颈影响；跨域 MoE 训练需要额外的通信重叠与负载均衡策略。
NVFP4 是下一代低精度训练的实务选项：在大规模预训练中考虑 NVFP4，相比 BF16/FP16 应有显著性能优势，且精度损失可控；微调与对齐任务同样可以受益。
可靠性工程是生产级训练的核心竞争力：当训练跨越数周数十万 GPU 时，作业成功率比单次性能更重要；NVRx 类机制（checkpoint 续训、RAS 监控、链路重路由）是必备能力而非锦上添花。
横向扩展网络选型影响集群设计：Quantum InfiniBand 与 Spectrum-X Ethernet 是 NVIDIA 提供的两个互补选项，前者适合极致低延迟，后者适合以太网友好型数据中心；MLPerf 结果显示二者都能支撑 8,192 GPU 级 MoE 训练。