领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%¶
Ch01.1316 领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%¶
📊 Level ⭐⭐ | 3.9KB |
entities/领先于transformer新架构首个1200万上下文模型subq成本仅opus的5.md
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%¶
来源: 机器之心
发布日期: 2026-05-06
原文链接: https://mp.weixin.qq.com/s/aUXWJY1TFrz6stMpmQRHww
编辑｜冷猫、陈陈
你有没有想过，为什么 AI 读一篇短文游刃有余，却在面对一整个代码库时频频出错？
原因无他，因为注意力撑不住。
现代大模型的核心机制叫做注意力机制，每个词都要跟上下文里的所有其他词两两比较，才能理解彼此的关系。这个设计让模型变得无比强大，但也埋下了一个隐患：上下文越长，计算量就越夸张。放到百万 token 级别，这种代价几乎是天文数字。
于是有研究者开始琢磨缩短上下文的方法，把长文档切碎、检索、压缩，再喂给模型。这样一来模型拿到的，只是碎片化信息。
Subquadratic，这家专注于前沿 AI 研究与基础设施的公司 ，在最近的一篇文章中给出了一个不同的思路：与其把文档切短来喂给模型，不如先来改造模型，让它真正读得了长文档。
他们提出了一种名为 SubQ 的模型，其核心是 SSA（Subquadratic Sparse Attention），即亚二次稀疏注意力机制 。这是一种经过线性扩展的注意力机制，专为长上下文检索、推理和软件工程工作负载而设计。
其核心需求很简单：企业 AI 需要解决的真正难题，本质上都是长上下文问题。代码库、合同、企业知识库、数据库、电子表格、研究语料，以及长时间运行的智能体会话。
以往，模型在回答问题时之所以经常失败，并不是因为答案不存在，而是因为相关证据分散在大量上下文中，彼此之间是间接引用的，只有同时理解多处信息时才真正有意义。
稠密注意力（Dense attention）成就了现代语言模型，但也让长上下文变得昂贵。每个 token 都要与其他所有 token 进行比较，因此注意力计算量会随着序列长度呈二次方增长。
SSA 改变了这种扩展方式。
它不是计算所有 token 两两之间的交互，而是通过内容相关的选择机制，将注意力路由到真正重要的位置，无论这些位置出现在序列中的哪里。
这点非常重要，因为长上下文能力并不只是更大的提示词窗口。名义上的上下文窗口，告诉你模型最多能处理多少 token；而真正有效