Tapered Language Models：锥形参数分配的免费午餐¶
Ch01.1550 Tapered Language Models：锥形参数分配的免费午餐¶
📊 Level ⭐⭐⭐ | 6.2KB |
entities/tapered-language-models-cosine-width-redistribution-mila-2026.md
Tapered Language Models：锥形参数分配的免费午餐¶
摘要¶
Mila（魁北克人工智能研究所）、康奈尔大学、蒙特利尔大学的联合研究，提出 Tapered Language Models（TLMs）：沿深度方向对 FFN 宽度进行余弦递减分配，前段 1.5x、后段 0.5x，平均宽度不变，总参数量和计算量完全不变。在 440M Transformer 上实现困惑度从 16.28 到 14.44 的改善（-1.84 点），零额外参数和 FLOPs。
核心要点¶
问题动机：层重要性的不均匀性¶
Transformer 及几乎所有后续架构都采用均匀层结构——每层参数量完全相同。但大量实验证据表明层重要性并不均匀：
- 提前退出实验：模型未到最后一层答案已定型
- 层剪枝：砍掉后面层，表现几乎不受影响
- 可解释性研究：浅层抓语法，深层处理语义
核心疑问：既然层重要性不均匀，为什么"脑容量"要均匀分配？
TLMs 的技术方案¶
选定模型中决定参数量的维度（如 FFN 宽度），沿深度方向单调递减，保证平均宽度等于原固定值。总参数量和计算量完全不变，分布形状从"长方形"变"楔形"。
三种递减曲线对比¶
| 曲线类型 | 形状特征 | 直觉类比 |
|---|---|---|
| 线性递减 | 匀速下降 | 匀速关店 |
| S 形递减 | 中段急速收缩 | 突然集中闭店 |
| 余弦递减 | 两头平缓，中段渐收 | 最优配置 |
余弦递减之所以最优，在于它在浅层保留充足容量（用于特征提取），在深层平滑缩减（避免突然丢容量导致的性能断崖），同时在中段实现最大的容量重新分配。
深度分析¶
实验验证¶
基准实验（440M Transformer）：
- 余弦递减最优配置：前段 1.5x，后段 0.5x
- 困惑度：16.28 → 14.44，改善 1.84 个点
- 零额外参数和 FLOPs——纯粹的"免费午餐"
跨架构验证：同一配置（余弦递减 1.5/0.5）搬到以下架构全部有效：
- 带门控机制的注意力模型
- Hope-attention（自我修改记忆）
- Titans（神经长期记忆）
跨规模验证：760M 和 1.3B 两个规模，四种架构、两种规模，八组对比中锥形化模型全部提升。
长上下文能力验证：Needle-in-a-Haystack 测试确认不牺牲长上下文能力。
原因解释：深层冗余假说¶
研究者测量了 GPT-2 每层 FFN 输出与已有信息流的相似度：越往深处，新写入内容与已有信息越像。这意味着深层网络的后段层更多在"重复强调"而非"创造"新理解。
把容量从前段挪到后段 = 把资源给真正用得上的地方。这与彩票假说（Lottery Ticket Hypothesis）中关于网络中存在大量冗余参数的观点一致，但 TLMs 提供了一个更直接的工程解法。
与相关技术的对比¶
| 方法 | 思路 | 是否改变总参数 | 是否改变计算量 |
|---|---|---|---|
| TLMs | 重分配宽度形状 | ❌ 不变 | ❌ 不变 |
| MoE（混合专家） | 稀疏激活专家 | ✅ 增加 | ❌ 不变（稀疏） |
| 知识蒸馏 | 压缩到小模型 | ✅ 减少 | ✅ 减少 |
| 剪枝 | 移除冗余参数 | ✅ 减少 | ✅ 减少 |
| 量化 | 降低数值精度 | ❌ 不变 | ❌ 不变（但单次运算更快） |
TLMs 的独特之处在于：不增加参数、不减少参数、不改变精度，仅通过改变"形状"获得性能提升。这是与量化（Quantization）并列的"零成本"优化范式。
实践启示¶
工程落地建议¶
- 新模型训练：在初始化阶段就采用锥形宽度分配，无需修改训练流程
- 已有模型改造：对于已训练好的均匀模型，可以尝试逐层宽度调整 + 微调
- 与 MoE 结合：TLMs 重分配宽度、MoE 稀疏激活——两种"同算力下更高效"的范式可能叠加
- 超参数选择：余弦递减 + 前段 1.5x/后段 0.5x 是经过充分验证的默认配置
局限性¶
- 论文主要在 Transformer 变体上验证，对非 Transformer 架构（如 SSM）的效果待确认
- 1.84 点困惑度改善在绝对值上显著，但对下游任务的实际提升幅度需要进一步评估
- 最优递减曲线和比例可能随模型规模变化
与现有知识库的关联¶
- MoE（混合专家）：MoE 通过稀疏激活压成本，TLMs 通过重分配宽度——两种"同算力下更高效"的互补范式
- DeepSeek V3：DeepSeek 的 MLA 也是在参数效率上做文章，TLMs 提供更底层的维度
- Transformer 架构：对 Transformer 均匀层假设的根本性挑战
→ 原文存档
关联¶
- 相关概念: Harness Engineering