声音基座模型怎么做？Xiaomi Dasheng：8 卡起步的 AI 工程实践¶

Ch01.1546 声音基座模型怎么做？Xiaomi Dasheng：8 卡起步的 AI 工程实践¶

📊 Level ⭐⭐⭐ | 6.4KB | entities/xiaomi-dasheng-声音基座模型-8卡工程实践.md

Xiaomi Dasheng：一台 8 卡机器起步的声音基座模型工程实践¶

Xiaomi Dasheng 是小米从一台 8 卡机器起步构建的通用声音基座模型系列，目标是让一个模型同时"听懂"语音、环境声和音乐——即所谓"通用声音表征"。三年前音频领域几乎没有通用预训练尝试：语音识别模型做不了声音分类，声音分类模型做不了语音识别。团队从零解决算法、数据、工程三层空白，用掩码自编码（MAE）学声音表征、千小时数据验证规模效应、六维度标注打通声音到语言，最终让理解与生成共用一个模型。

团队选择 MAE 而非在语音识别路径上做增量改进，判断依据是：需要的是通用声音表征而非某任务上的极致性能，增量优化走到极致时应该换一条路重新出发。整条路线每个阶段之间有清晰延续：MAE 预训练提供通用表征基础 → 大规模数据工程验证 Scaling 可行性 → 通用音频描述打开语义输出空间 → DashengTokenizer 打通理解与生成统一。

数据工程：300T 原始数据与"质量优先于体量"¶

公开来源视频 80%-90% 含人声，纯粹环境声和音乐极为稀缺。团队使用当时最大的公开音频数据集（约 1000 年开源数据），通过视频-音频同步信号筛选语义有效数据（如画面出现狗的同时有狗叫声）。原始数据约 300T，分成 146 个包，覆盖语音、音乐、环境声、机械噪声等类型，多台机器错峰搬运持续约一年。最终仅用 1 台机器 8 张卡，完成了从 Base 到 1.2B 参数的全部训练。

规模扩展收益是实证性的：HEAR 基准上从 Base（86M）到 1.2B 参数，平均性能从 78.88 提升到 81.25；训练数据从 AudioSet 的 5000 小时扩展到 27 万小时后，三个规模模型分别额外提升 6.37、8.69、8.45 个百分点。但盲目扩量无效：曾把训练集扩容至 10 倍体量，AudioSet 指标反而下降——音频数据的质量优先级远大于体量。模型发布后音频标记算法首次突破 AudioSet 50+ mAP，mini 版以 49.0 mAP 超越同类模型且参数量仅约 1/10；基于 CED（Consistent Ensemble Distillation）蒸馏出小模型部署到小米终端设备。

语义拓展：六维标注实现音频自然描述¶

声音理解的输出形式最初是分类概率值，普通人看不懂。行业常规做法用 ASR 转录做音频-文本对齐，但只理解"人说了什么"，会丢弃环境声、音乐、情感等信息——在 ACAV100M 数据集上会损失高达 90% 潜在有用数据。团队改用通用音频描述对齐：多专家分析管道做细粒度标注（语音、人声、音乐、环境声学，2 秒粒度），再通过大模型合成统一描述。

在此基础上构建 6 维度 Caption 数据集 ACAVCaps（覆盖语音内容、说话人情绪、背景声音、音乐、场景环境、音频类型）并配套 MECAT Benchmark，全部开源。六维标注最初"没人看好"，但音频生成实验发现它恰恰是生成真实声场音频的关键。值得注意的现象：通用音频描述的训练损失比 ASR 更高——ASR 的语音-文字是简单"从左到右"映射，损失低但学到的东西有限；通用描述融合语音摘要、环境声和音乐描述，模型需理解更复杂语义，更高损失反而意味着更丰富的学习信号。MiDashengLM 在 22 个公开评测集取得 SOTA，TTFT 仅为业界先进模型的 1/4，同等显存下吞吐效率是其 20 倍以上，并发布 0.6B 轻量版支持 CPU 与 WebAssembly。

架构突破：DashengTokenizer 统一理解与生成¶

理解和生成长期是两个独立模型（编码器听、解码器说），意味着两倍计算资源和部署成本。行业通行做法是先训练声学编码器做理解、再训练声学解码器做生成；对音频编码器做量化又会丢失细节。传统生成模型理论有个广泛接受的假设：高维度特征不太适合直接用于生成，生成需要压缩到低维隐空间。DashengTokenizer 的尝试就是探索这个假设的边界：冻结 Dasheng 的语义特征、仅注入声学信息，用一层结构实现理解和生成统一，让同一个编码器既能"听"又能"说"。