跳转至

给Transformer变个形，LLM竟能变得更聪明

Ch01.1219 给Transformer变个形，LLM竟能变得更聪明

📊 Level ⭐⭐ | 4.8KB | entities/给transformer变个形llm竟能变得更聪明.md

给Transformer变个形，LLM竟能变得更聪明

来源: 机器之心

发布日期: 2026-06-29

原文链接: http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651041854&idx=2&sn=f4692aae52a0d94944f02784514af248&chksm=84e67440b391fd5602db879fcb90caaf425ee31aa51b7f56a116b3dfe344e5a21f1a1847c033#rd

编辑｜Panda

2026 年 6 月，大模型行业正在经历一场前所未有的「开源海啸」：英伟达放出了 550B 参数的混合架构模型，谷歌送出多模态的 Gemma 新版本，智谱用最宽松的协议全量开源了自家旗舰模型。

几乎所有厂商讲述的，都是同一个故事：用混合专家（MoE）结构装下更多参数，用更稀疏的激活方式压低成本，用弹性的网络宽度去匹配不同的部署场景。

换句话说，整个行业正在拼命研究「怎么把更多的参数，塞进同样的算力预算里」。

但一篇来自 Mila、康奈尔大学和蒙特利尔大学研究者的新论文，提出了一个几乎相反方向的问题： 如果一个 参数都 不多加，只是把模型里已经存在的参数「挪个位置」 ，会发生什么？

  • 论文标题：Tapered Language Models

  • 论文地址：https://arxiv.org/abs/2606.23670

背景：被忽视的「一视同仁」

从 2017 年那篇开创 Transformer 的论文《Attention Is All You Need》开始，几乎所有的语言模型都共享同一种骨架，不管是经典 Transformer，还是后来的门控注意力、循环记忆网络，甚至是带「测试时记忆」能力的新架构，即：把若干结构完全相同的「层」叠在一起，每一层分到的参数量都一模一样。

这就像一家连锁餐厅，无论开在闹市区还是郊区，都配备完全相同数量的厨师和厨房设备，完全不考虑客流量的差异。这种「一视同仁」的分配方式，省心、好维护，但未必是最优解。

近年来，越来越多的研究从不同角度指出：模型的层并不是同等重要的。

  • 「 提前退出 」实验显示，很多时候模型在还没跑到最后一层时，答案已经基本定型；

  • 「 层剪枝 」研究发现，砍掉后面的一些层，模型表现几乎不受影响；

  • 可解 释性 研究 则发现，浅层网络捕捉的是语法这类「基础信息」，深层网络处理的才是语义这类「高级信息」。

换句话说，层与层之间天差地别，但参数分配却始终一视同仁。

这正是论文提出的核心疑问：既然层的重要性早已被证明是不均匀的，为什么层的「脑容量」还要被均匀分配？

把「脑容量」往前挪

研究团队先做了一个简单粗暴的验证实验：把一个 440M 参数的 Transformer 模型的层分成早、中、晚三组，在保持总参数量不变的前提下，让其中一组的「前馈网络」（FFN，模型中负责存储和处理信息的核心组件，可以理解为每一层的「工作记忆容量」）变宽，其余两组变窄。

结果非常清楚：把容量集中到前段的「头重脚轻」式分配，让模型在验证集上的困惑度（perplexity，衡量语言模型预测准确程度的指标，数值越低代表模型预测得越准）从 16.28 降到 15.96；而反过来把容量集中到后段，困惑度反而飙升到 17.29。

同样的参数总量，仅仅因为摆放位置不同，效果差出了一个多点，这在语言模型的评测体系里是相当大的差距。

这个发现

→ 原文存档

关联