跳转至

Meta’s AI Storage Blueprint at Scale

Ch01.109 Meta’s AI Storage Blueprint at Scale

📊 Level ⭐ | 6.5KB | entities/metas-ai-storage-blueprint-at-scale.md

Meta’s AI Storage Blueprint at Scale

已评分 | v*c=56 | value=8 | confidence=7 | stars=4

摘要

Meta 工程博客详细介绍了其面向 AI 训练的大规模 BLOB 存储架构演进。随着模型能力和训练数据集规模呈指数级增长，存储瓶颈已成为 GPU 训练的主要制约因素。Meta 基于 Tectonic 基础块存储层构建了全球统一的 BLOB 存储架构，以最大化 GPU 利用率和研究迭代速度为核心目标。

背景：AI 存储的挑战

过去几年，模型能力和训练数据集规模经历了指数级增长，新前沿模型的发布间隔从数月缩短到数周。可靠快速的存储访问对 AI 创新的速度和计算成本至关重要——"如果 AI 是大脑，存储就是内存"。然而，AI 计算性能大约每两年翻三倍，存储和互连性能的增长却相对有限，导致存储瓶颈成为 AI 工作负载 GPU 停等的主要贡献因素之一。

核心挑战

Meta 的 AI 存储架构主要解决两个问题：

  1. 最大化 GPU 利用率 — 减少因数据加载延迟导致的 GPU 停等
  2. 最大化研究迭代速度 — 加速跨地域的数据摄取和移动

深度分析

1. 存储是 AI 基础设施的隐形瓶颈

在 AI 训练的基础设施讨论中，GPU 算力往往占据中心位置，但存储系统同样是关键瓶颈。Meta 的观察揭示了一个不对称增长的问题：计算性能（GPU FLOPS）每两年翻三倍，而存储性能的改善远跟不上这个速度。这种性能剪刀差意味着，随着模型规模继续扩大，存储延迟导致的 GPU 停等将成为越来越严重的问题。训练数千亿参数的大模型时，每轮迭代都需要从存储系统中读取大量训练数据，任何一个 GPU 因数据加载延迟而慢下来，都会拖慢整个同步训练过程（因为 All-Reduce 等集合通信操作等待最慢的 GPU）。

2. Tectonic：Meta 的存储基石

Meta 运营着数百个 EB 级存储集群，服务于 Facebook、Instagram、Reality Labs、Meta AI、广告系统、数据仓库和内部数据库。其存储服务暴露对象存储、文件系统和块设备 API，这些抽象层建立在名为 Tectonic 的水平可扩展基础存储层之上。Tectonic 是一个区域性多租户存储架构，通过纠删码技术提供高持久性和可用性，支持跨介质类型（HDD 和 Flash）的分层存储，并能智能管理热、温、冷数据的放置，以实现跨租户的 I/O 高效利用。

3. 从文件系统到 BLOB 存储的架构迁移

Meta 早期训练 Llama 时直接通过 Tectonic 块层上的 NFS 类文件系统接口。但随着数据湖规模的扩大和对高性能的持续追求，其现代训练栈正逐步迁移到 BLOB 存储接口之上。这一转变的根本动机是对大规模数据湖的统一访问需求——BLOB 存储提供了全局的、无限可扩展的存储架构，让用户可以在持久性和可用性之间做权衡策略。这种迁移方向与行业趋势一致：统一的 BLOB 存储层更便于管理大规模非结构化数据、跨区域数据分发和多工作负载的数据共享。

4. AI 工作负载的独特 I/O 模式

与传统的 Web 应用不同，现代 AI 训练工作负载具有截然不同的 I/O 特征：突发性和持续的高吞吐量、可预测且有边界的 pMax 延迟、以及变化的 I/O 模式。这意味着存储系统不仅需要在平均性能上表现良好，更需要在极端条件下的尾延迟（pMax latency）上有严格保障。在数百 GPU 同步训练的集群中，任何一个存储节点的 I/O 延迟抖动都可能成为全局瓶颈。BLOB 存储最近几年的设计重心已经明显转向了最大化 GPU 利用率而非传统意义上的存储效率指标。

5. 对行业的启示

Meta 的 AI 存储实践揭示了数个重要趋势：(1) 存储与计算之间的性能鸿沟正在扩大，GPU 快速增长与存储增长不匹配将成为 AI 基础设施的核心矛盾；(2) 统一的 BLOB 存储层正在取代传统分层存储（文件系统、块存储、对象存储各自为政）成为 AI 基础设施的标准范式；(3) 跨区域数据移动的速度直接影响研究迭代效率——这不仅仅是带宽问题，更是数据编排和缓存策略的问题。这与 Databricks 的 GPU 可靠性实践 中讨论的 GPU 故障分类形成互补：存储延迟不仅是性能问题，也是引发 GPU 训练故障（如 NCCL 超时）的重要来源。

实践启示

  1. 将存储纳入 AI 基础设施的一等公民：存储架构对训练效率和成本的影响不亚于 GPU 选型，应在 AI 基础设施规划的初期就将其纳入核心设计。

  2. 关注尾延迟而非平均延迟：在分布式训练场景中，单个存储节点的尾延迟抖动拖累的不仅是本身节点，而是整个训练集群。监控体系应以 pMax 延迟为核心指标。

  3. 统一存储层优于分层存储：BLOB 存储作为统一抽象层，可以减少数据在不同存储系统间的搬运成本，简化数据管道的复杂度。

  4. 跨区域数据编排不可忽视：随着 GPU 集群日益跨地域分布，数据在不同区域间的移动速度直接影响研究迭代效率。应提前规划数据缓存和预取策略。

  5. 纠删码 > 多副本：在大规模存储场景中，纠删码技术在保证数据持久性的同时显著降低了存储开销，是 EB 级存储的必选方案。

相关实体

来源

→ 原文存档