CaRE: Bi-Level Routing MoE — 港大ICML 2026持续学习架构¶

Ch01.1600 CaRE: Bi-Level Routing MoE — 港大ICML 2026持续学习架构¶

📊 Level ⭐⭐⭐⭐ | 7.5KB | entities/care-bi-level-routing-moe-continual-learning-hku-2026.md

CaRE: Bi-Level Routing MoE — 港大ICML 2026持续学习架构¶

Background：本文档基于对港大ICML 2026论文《Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts》的系统分析建立。参考了机器之心对该论文的报道。

核心贡献¶

CaRE（Scalable Continual Learner with efficient Bi-Level Routing Mixture-of-Experts）是香港大学提出的全新持续学习范式，首次将连续学习成功扩展到包含 300+ 非重叠任务的超长序列。

三大创新¶

1. BR-MoE（Bi-Level Routing Mixture-of-Experts）：在每个 Transformer Block 中无缝嵌入 BR-MoE 模块，实现两阶段路由机制——先通过类感知器的预测熵选择相关任务，再动态激活对应专家。

2. OmniBenchmark-1K 评测数据集：研究团队构建了极具挑战性的超长序列评测数据集，弥补了现有 continual learning 基准（如 ImageNet-R）"不够长"的缺口。

3. 逐层动态决策能力：BR-MoE 在每个网络层独立执行任务选择逻辑，实现逐层自适应的动态路由，而非全局单一路由。

方法设计¶

双阶段路由机制¶

• 第一阶段 — 动态路由器选择：对任意输入，BR-MoE 将其 [CLS] Token 送入所有历史任务的类感知器，逐层计算预测熵值，选取熵最小的 Top-M 个路由网络。无需显式任务标签。

• 第二阶段 — 动态专家激活：选定路由网络后，激活对应专家适配器，输出定制化的特征表征。

参数效率¶

每当新任务到来，BR-MoE 仅学习三元参数组合：类感知器（Class Perceptron）、路由网络（Router Network）和专家适配器（Expert Adapter）。基于参数高效微调和预训练模型（PTM）的持续学习范式。

研究动机¶

现有持续学习方法存在三个核心问题： 1. 缺乏多任务知识互补：新任务可能包含与历史任务语义相关的类别，模型需主动从相关历史任务中提取特征 2. 缺乏逐层动态决策：不同网络层需定制化知识注入 3. 评测数据集"不够长"：现有基准仅支持 5-20 个任务，无法验证真实世界的长程表现

深度分析¶

参数效率与可扩展性的系统权衡¶

CaRE 的核心贡献在于证明了持续学习的可扩展性瓶颈并非参数数量而是路由机制的设计。BR-MoE 的"三元参数组合"（类感知器 + 路由网络 + 专家适配器）每新增一任务仅增加一组轻量参数，比传统的全参数微调或密集 MoE 在参数增长曲线上有质的差异。更重要的是，这一设计隐含了一个关键洞见：任务间的知识隔离程度不应由参数隔离量决定，而应由路由选择精度决定——只要路由能精准选择正确的专家，少量专家参数即可覆盖海量任务。

"判别性 + 全面性"双目标路由的认知隐喻¶

BR-MoE 的两阶段路由策略巧妙地将一个复杂的"从300+任务中提取相关知识"问题拆解为两个可解的子问题：第一阶段（类感知器路由）缩小搜索空间，第二阶段（专家路由）在限定空间内精化融合。这一策略与人类的认知检索过程高度相似——"先回忆这是哪类场景，再提取场景内的具体知识"。实验中的路由可视化进一步印证了这一类比：浅层专家被高频共享（提取通用视觉特征），深层专家则高度任务特异化，形成了一种"自底向上的通用→专用层级结构"。

跨时间线的全局知识整合能力¶

推理阶段的可视化分析揭示了一个反直觉但极具价值的现象：即使处理早期的任务（如任务#1的"鸟类"分类），模型也会动态调用从后续任务学到的高层语义专家知识。这表明 BR-MoE 并非简单的"任务隔离 + 独立专家"架构，而是在测试阶段实现了跨任务的全局知识融合——模型学会了在推理时重新组合所有已学知识来优化当前表征。这对于持续学习领域长期追求的"不遗忘且能综合运用"目标是一个实质性突破。

评测范式的隐性贡献：OmniBenchmark-1K¶

OmniBenchmark-1K（1000类、21个视觉领域、支持300+任务序列）的价值不亚于 CaRE 模型本身。传统持续学习评测集中在 5-20 任务短序列上，而该数据集揭示了短序列评测的隐性天花板——许多在短序列中达到 SOTA 的方法在长序列中性能急剧崩溃。这一发现对整个领域具有方法论层面的警示意义：短序列上的"SOTA"可能只是评测偏差，而非真正的持续学习能力。CaRE 在长序列中的稳健表现与对比方法的崩溃形成鲜明对比，暗示长序列实验应当成为持续学习的标准评测实践。

实践启示¶

1. 长序列评测应纳入持续学习的标准流程：CaRE 的经验表明，短序列（5-20 任务）评测不足以验证持续学习方法的真实能力。评估任何持续学习系统时，至少应验证 100+ 任务规模的表现，否则可能被短序列的评测偏差误导。

2. 层级化路由设计可推广到跨模态场景：BR-MoE 将路由决策下沉到每个 Transformer Block 的设计思路具有通用性，可扩展到图像、语言和音频的联合持续学习。CARe 的作者也明确指出了这一方向，跨模态持续学习可能是 BR-MoE 的"下一个风口"。

3. 零标签适应能力的实用价值：通过预测熵而非显式任务标签来选择路由网络的设计，使模型具备了在测试时自动识别新任务与历史任务关联的能力。这一特性特别适用于真实世界中任务边界模糊、标签稀缺的长期部署场景。

4. 共享专家的稳定性锚点：EMA 机制持续更新的共享专家确保了即使专家网络不断扩展，全局通用知识不会因专家分裂而丢失。这为持续学习中长期存在的"可塑性-稳定性"困境提供了一个工程上简洁而有效的平衡方案，值得在实际系统中借鉴。

→ 原文存档

关联¶

• 相关概念: Harness Engineering