SAME：稳定MoE持续微调¶
Ch01.1530 SAME：稳定MoE持续微调¶
📊 Level ⭐⭐⭐ | 8.0KB |
entities/nju-same-moe-continual-learning.md
SAME：稳定MoE持续微调¶
ICML 2026 南京大学论文，解决 MoE-based 多模态持续指令微调（MCIT）中的双重遗忘问题。
核心问题¶
MoE-based MCIT 中存在两个核心漂移问题：
- 路由漂移（Routing Drift）：旧任务样本在后续训练后会被路由到不同专家
- 专家漂移（Expert Drift）：即使路由恢复，专家本身的功能也可能被新任务覆盖
三个创新¶
SAME（Stabilized Mixture-of-Experts）从三方面稳定 MoE 持续学习过程：
-
谱感知路由（Spectral-aware Routing）：利用历史输入协方差的 SVD 分解，在谱子空间中约束路由器更新，减少旧样本被重新分配到错误专家
-
曲率感知缩放（Curvature-aware Scaling）：基于历史输入协方差诱导的 Riemannian 缩放更新专家参数，降低专家功能被覆盖的风险
-
自适应专家激活（Adaptive Expert Activation）：在当前任务训练时冻结部分"当前任务不常用但历史重要"的专家，减少冗余计算和跨任务干扰
实验结果¶
SAME 在 TriGap、CoIN 和 UCIT 三个 MCIT 基准上均取得领先性能，同时提升训练效率：
- TriGap：46.53%（+2.08pp vs MoE-LoRA）
- CoIN：66.82%（超过 HiDe-LLaVA 63.95%）
- UCIT：67.12%（超过 ModalPrompt 65.52%）
自适应专家激活平均每个任务减少 32.1 分钟训练时间，并平均降低 2.3K MiB/GPU 显存占用。
深度分析¶
1. 双重遗忘的根源：MoE 并非天然持续学习友好¶
MoE 通过稀疏专家路由实现任务专门化——不同任务激活不同专家，理论上能降低冲突。但 SAME 论文通过诊断实验揭示了一个反直觉的事实：MoE 并不能天然避免遗忘。
路由漂移的根源在于：新任务训练不断更新路由器权重，使旧任务输入在专家空间中的分配逐渐偏移。以 Task 1 测试样本为例，模型在学习后续任务后，路由器对同一批旧样本的专家激活分布会逐渐改变——旧任务样本原本依赖的专家组合不再稳定。
专家漂移则更为隐蔽：论文通过固定后续阶段的专家、只在 Task 1 数据上重新训练路由器的实验，发现即便在这种"最有利"的设置下，Task 1 准确率也无法恢复到最初水平。这说明遗忘并不只是"路由错了"，而是专家功能本身已经被新任务更新破坏——即使路由找对了门，门后的专家已经变了。
2. 谱感知路由：在历史协方差子空间中约束路由器¶
SAME 的谱感知路由不直接存储旧任务样本（避免数据回放带来的隐私和存储问题），而是为每个含 MoE 的层维护路由器输入的历史协方差。该协方差通过递推方式累积：Σ_new = (n_current * Σ_current + n_old * Σ_old) / (n_current + n_old)，其中 Σ_current 来自当前任务。
由于完整协方差矩阵存储开销大，SAME 对协方差做 SVD 分解，将其分为两个子空间：高能子空间（解释主要输入能量的方向，更新需谨慎）和低能子空间（近似低方差方向，可承担更多新任务适应）。路由器梯度在两个子空间中被有差别地缩放——高能方向更新保守，低能方向更新自由。
这种"在谱分解后的子空间中进行有尺度更新"的设计，既让路由器能学习当前任务，又减少了对历史输入分布的破坏，从而降低旧样本被错误重路由的概率。
3. 曲率感知缩放与自适应专家激活的双重稳定¶
曲率感知缩放解决了"即使路由正确，专家本身也被覆盖"的问题。它使用历史输入协方差诱导的 Riemannian 缩放来约束专家更新：在历史任务频繁访问的输入方向上，专家更新幅度被抑制；在历史不敏感方向上，保持可塑性。实际实现中利用 SVD 分解和阻尼伪逆近似来降低计算开销。
自适应专家激活从训练效率角度切入：持续学习中，一个任务的更新可能散落到许多专家上，导致更多专家被扰动。SAME 根据"当前任务利用率"和"历史重要性"两个指标决定冻结哪些专家：如果某专家对当前任务贡献小但对历史任务重要，训练当前任务时临时冻结它（跳过前反向传播），推理时再全部恢复。
4. 格式诱导遗忘的发现¶
论文一个有价值的补充发现是：MCIT 中的遗忘不仅体现在语义能力上，也体现在回答格式上。ScienceQA 要求大写选项输出（如 "A"），但学习 TextVQA 后模型倾向输出小写答案（如 "a"）。基线模型在 Task 2 后 ScienceQA 准确率急剧下降（70.6% 的语义正确预测因小写格式被判错），随后又因后续任务的标注格式而反弹。
这说明持续学习中的能力评估需要区分"语义遗忘"和"格式遗忘"。SAME 通过限制专家漂移和冻结历史重要专家，更好地保持了旧任务的输出格式——不只是保留了"会做什么"，还保留了"怎么做"。
实践启示¶
-
MoE 不是持续学习的银弹：引入稀疏结构并不意味着遗忘自动解决。路由器和专家的动态失配是持续学习中独有的挑战，需要系统性方法（而非仅靠结构选择来规避）
-
不依赖数据回放的持续学习是可落地的关键：SAME 使用历史协方差（而非实际样本）来约束更新，避免了隐私问题和大规模数据存储，更适合真实部署场景中的隐私合规要求
-
自适应专家激活提高了训练效率：冻结低利用率专家不仅能保护历史能力，还能带来实际的训练时间和显存节省——这是一个"同时提升效果和效率"的少见的正和设计
-
格式遗忘是评估中的盲区：在构建多任务评估 pipeline 时，应同时检查语义正确性和格式正确性。一个模型在速度上看似"下降-反弹"的变化模式，可能是格式转换而非能力损失
-
新基准 TriGap 的参考价值：论文构建的 TriGap 基准（10 个任务、跨科学/文档/图表/遥感等异质领域、10K-40K 非均匀数据量）为 MCIT 评估提供了更严格的标准，值得持续学习研究者在自己的工作中参考
论文信息¶
- 论文标题：SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning
- 作者：Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou
- 收录会议：ICML 2026
- 论文地址：https://arxiv.org/abs/2602.01990
- 代码：https://github.com/LAMDA-CL/Prism
→ 原文存档
关联¶
- 相关概念: Harness Engineering
- 相关: Agent 架构