ICML 2026 | PRISM: Parallel Residual Iterative Sequence Model¶

📊 Level ⭐⭐⭐⭐ | 10.5KB

核心洞察：PRISM 揭示了 TTT-MLP 高表达力（"步长 × 残差 × 方向"多步迭代）与串行瓶颈是同一根因的两面，通过 anchor 代理消除 token 间串行 + 闭合式预计算消除 step 间串行，实现 TTT 级别质量 × GDN 级别速度。原文存档

问题背景¶

无限背包 vs 有限背包¶

Transformer self-attention O(n²) → 推荐域被迫 cross-attention/截断/压缩，损失长程模式。线性复杂度模型（Linear Attention、RWKV、Mamba、GDN 等）用固定大小状态矩阵 S 压缩历史，O(n) 复杂度，是推荐域更匹配的底层架构。

背包有限，每次写一行（rank-1 外积），多维语义信息压缩时丢失。

Rank-1 写入瓶颈¶

GDN 每步 ΔS = γ · (v · k^T)，两个向量的乘积，所有行都是同一方向缩放——相当于整个记忆矩阵只改动"一行"。

TTT 的突破与代价¶

TTT 把 S 升级为 MLP 权重，每 token 做多步 GD，实现 rank-L 写入，质量显著提升。但每步梯度依赖当前权重，打破 parallel scan 前提——实测比 GDN 慢 174 倍。根源不在 FLOPs，而在 HBM↔SRAM 搬运次数从 O(n) 退化到 O(n²)。

关键洞察：高表达力与串行是同一根因的两面¶

驱动"步长 × 残差 × 方向"模式的是权重每步更新——同一根因产生两面： - 正面：方向每步变（width/depth），残差递减（优化深度）→ 高表达力 - 反面：每步更新打破 parallel scan 前提 → 串行瓶颈

三个串行瓶颈¶

Token 间串行 A：遗忘/写入耦合，recurrence 无法写为线性形式
Token 间串行 B：残差需读前一个 token 精确状态
Step 间串行 C（最核心）：第 l+1 步方向/残差必须等 l 步更新完——同时是 rank-L 表达力的载体和步间串行根源

PRISM 设计¶

核心迭代形式¶

ΔS = Σ_{l=0}^{L-1} α_l · r_l · u_l · v^T

α_l: 更新步长
r_l: 显式残差迭代
u_l: learned key projection（L 个方向补回 TTT-MLP hidden layer 提供的多方向）
v: 基础方向
第一步自然退化为 GDN 标准写入

消除 Token 间串行¶

遗忘/写入分离：遗忘项与 GDN 一致，非线性操作限写入项内
局部 Anchor 代理：ShortConv 计算局部历史状态替代全局 S，token 间迭代同时启动
复用 Mamba scan kernel

消除 Step 间串行¶

Direction chain 解耦：anchor 预先给定，所有 L 方向同时算出
Residual chain 线性化：GELU 吸收进 preconditioner，迭代退化为纯 element-wise 线性递推，闭合式单步计算

架构全貌¶

ΔS = ΔS_gdn + ΔS_residual（GDN + 非线性修正项）

L=1 时精确退化为 GDN。后续步以不到 10% 参数增量叠加低秩修正。

实验结果¶

序列推荐（Amazon 基准, 16K 序列长度）¶

模型	Books H@200	Movies H@200	Elec H@200	Throughput
GLA	0.0879	0.1193	0.1196	57.4K tok/s
GDN	0.1214	0.1241	0.1333	57.2K tok/s
TTT	0.1255	0.1288	0.1344	0.34K tok/s
PRISM	0.1258	0.1411	0.1409	57.3K tok/s
HSTU (Transformer)	0.1224	0.1399	0.1407	18.2K tok/s

PRISM 质量接近 Transformer，超大多数线性注意力方法
吞吐量比 TTT 快 174 倍，与 GDN 同级

语言建模（SlimPajama 2B tokens, 130M 参数）¶

PRISM 在 WikiText PPL、LAMBADA PPL、9 项 Zero-Shot 平均准确率上均最优，领先 GDN 3.2%。

消融：rank-L 的真实价值¶

单步 solver (L=1) 训练 PPL ≈ 完整版，但 Avg ACC 跌 2.9 个百分点
rank-L 价值不在 next-token prediction，而在精确长程检索
Shared-K vs base-K：solver 复用 GDN base key 则大幅退化（-1.5）→ solver 需独立方向空间

混合架构是必然¶

PRISM 用 ShortConv（窗口 3-4 token）近似残差，跨数千步长程依赖近似质量必然下降。穿插 Transformer 层后，后者充当全局非线性历史状态精确计算器——补偿 anchor 近似误差。

Transformer 就是 ShortConv anchor 的全局升级版：前者精确算，后者近似算。

这解释了 Jamba、Zamba、Griffin 等最强长序列模型均用混合架构的原因：有限背包（O(n) 高速+压缩）+ 无限背包（精确长程检索）在架构层面互补。

线性注意力的 LoRA¶

PRISM 结构"基础迭代 + low rank 旁路"与 LoRA 形式相似——启发了线性注意力/SSM 的参数高效微调： - 冻结基础迭代，写入支路加 PRISM 残差旁路 - 第一步退化为原模型标准写入（不破坏预训练知识） - 闭合式（不增加训练时间） - 满足 LoRA 两个关键要求：参数高效 + 不损害原模型能力

与 TTT-MLP 的对应关系¶

TTT-MLP（隐式）	PRISM（显式）
hidden layer 提供方向	learned key projection
更新步长	α_l 更新步长
随 W₂ 更新递减的残差	显式残差迭代 r_l
方向残差同步耦合（不可并行）	方向残差解耦（可并行）

深度分析¶

1. 高表达力与串行是同一根因的两面——PRISM 找到了解耦路径

TTT-MLP 的"步长 × 残差 × 方向"多步迭代带来高表达力，但方向与残差的同步耦合使 step 间必须串行执行。PRISM 的核心贡献是发现：方向和残差可以解耦——方向通过 anchor 预计算（可并行），残差通过 GELU preconditioner 线性化（闭合式单步计算）。这将同一算法的表达力与并行性分离，为 SSM/线性注意力的深度迭代开辟了新方向。

2. 174 倍吞吐量提升验证了"串行是瓶颈根源"的诊断

TTT 慢 174 倍的根本原因不是 FLOPs，而是 HBM↔SRAM 搬运次数从 O(n) 退化到 O(n²)。 PRISM 在消除 step 间串行的同时保持 TTT 级别的 rank-L 表达力，吞吐量与 GDN 同级——这验证了"串行是 TTT 速度瓶颈"这一诊断的准确性。

3. 混合架构不是过渡方案，而是长序列模型的终态架构

PRISM 用 ShortConv 计算局部 anchor，短卷积窗口只覆盖 3-4 token，跨数千步长程依赖近似质量必然下降。穿插 Transformer 层后，后者充当"全局精确历史状态计算器"补偿 anchor 误差。这不是工程妥协，而是有限背包（O(n) 高速 + 压缩）与无限背包（精确长程检索）在架构层面的自然互补。

4. LoRA 形式类比揭示了参数高效微调的新方向

PRISM 的"基础迭代 + low rank 旁路"结构与 LoRA 形式完全对应：冻结基础迭代叠加 PRISM 残差旁路，第一步退化为原模型标准写入（不破坏预训练知识），且闭合式计算不增加训练时间。这为线性注意力/SSM 模型的参数高效微调提供了新的理论基础。

实践启示¶

推荐系统场景：PRISM 在 16K 序列上直接可用，质量匹配 Transformer 但吞吐量是其 3 倍+
混合架构优先：PRISM 层 + 少量 Transformer 层 > 纯 PRISM（补偿长程锚点近似误差）
参数高效微调：PRISM 形式天然适配 LoRA 式微调，冻结基线 + 残差旁路
不是纯 Linear Attention 的终结：混合架构（有限+无限）可能才是长期路线