多模态预训练物理：知识流、模态协同、早期统一与高效配方（arXiv 2608.05000）¶

📊 Level ⭐ | 3.3KB

多模态预训练物理：知识流、模态协同、早期统一与高效配方¶

系统性多模态预训练实证研究（Junlin Han / Shengbang Tong / David Fan / Minghao Chen / Philip Torr / Filippos Kokkinos / Mike Lewis，2026-08），通过合成 + 大规模真实数据的受控实验，给出多模态统一训练的四条机制性结论，并在 13.5B MoE × 2T tokens 规模验证。

四条核心发现¶

知识流（Knowledge Flow）：语言、视觉理解、视觉生成三类模态之间知识迁移的方向与强度存在不对称性——某些模态是知识源，另一些是知识汇，迁移模式可被解耦刻画。

协同 vs 竞争（Synergy vs. Competition）：数据"复杂度"是决定模态间协同还是竞争的首要因素；共享 attention + 归一化 + 模态专属 FFN 层的结构选择促进协同，且该行为在不同视觉 tokenizer 设计下泛化。

早期统一（Early Unification）：从最早期阶段联合训练多模态，优于晚期对齐或顺序训练。延迟整合会触发 vision laziness（视觉懒惰） 现象——模型依赖语言先验而非真正理解视觉输入。

高效配方（Recipes）：仅用 5% 计算预算即可达到强生成性能的预训练配方，为小团队复现前沿多模态模型提供可行路径。

规模验证¶

核心发现在 13.5B MoE 模型、2T tokens 上得到验证——机制性结论（协同/竞争、早期统一、vision laziness）从小规模受控实验向工业级规模迁移成立。

与既有知识的连接¶

• 与 LM 预训练泛化动力学 互补：后者关注单模态 LM 预训练损失曲线规律，本文扩展至跨模态交互机制
• 与 EMO MoE 预训练涌现模块化 同属预训练机制研究族，本文的模态专属 FFN 设计直接关联 MoE 路由结构
• vision laziness 现象为 多模态思维链推理 提供训练侧解释：晚期对齐的模型其"推理"可能实为语言先验复述

→ 原文存档

关联¶

• 相关概念: Harness Engineering