只看图片就能学会压缩Token！浙大&阿里新框架多轮VQA压缩率90%，精度不掉｜CVPR 2026¶
Ch01.542 只看图片就能学会压缩Token！浙大&阿里新框架多轮VQA压缩率90%，精度不掉｜CVPR 2026¶
📊 Level ⭐⭐ | 11.7KB |
entities/2026-05-07-只看图片就能学会压缩Token-浙大-阿里新框架多轮VQA压缩率90-精度不掉--量子位.md
只看图片就能学会压缩Token！浙大&阿里新框架多轮VQA压缩率90%，精度不掉｜CVPR 2026¶
title: 只看图片就能学会压缩Token！浙大&阿里新框架多轮VQA压缩率90%，精度不掉｜CVPR 2026 source: wechat url: https://mp.weixin.qq.com/s/uvLpXd_A2IUVAe7ynWwVYA mp_name: 量子位 publish_date: 2026-05-07
只看图片就能学会压缩Token！浙大&阿里新框架多轮VQA压缩率90%，精度不掉｜CVPR 2026¶
来源: 量子位
发布日期: 2026-05-07
原文链接: https://mp.weixin.qq.com/s/uvLpXd_A2IUVAe7ynWwVYA
MetaCompress团队 投稿 凹非寺 量子位 | 公众号 QbitAI
多轮视觉问答，正在成为LVLM推理效率的“照妖镜”。
第一轮关注人物，第二轮追问背景，第三轮讨论构图，但现有压缩方法在多轮场景下集体翻车。
为应对这一挑战，浙江大学宋明黎教授团队与阿里巴巴集团安全部联合提出了 MetaCompress ——
一套面向多轮
核心要点¶
本文为微信公众号文章，由 WeChat backfill 收录。
详细信息¶
title: 只看图片就能学会压缩Token！浙大&阿里新框架多轮VQA压缩率90%，精度不掉｜CVPR 2026 source: wechat url: https://mp.weixin.qq.com/s/uvLpXd_A2IUVAe7ynWwVYA mp_name: 量子位 publish_date: 2026-05-07
只看图片就能学会压缩Token！浙大&阿里新框架多轮VQA压缩率90%，精度不掉｜CVPR 2026¶
来源: 量子位
发布日期: 2026-05-07
原文链接: https://mp.weixin.qq.com/s/uvLpXd_A2IUVAe7ynWwVYA
MetaCompress团队 投稿 凹非寺 量子位 | 公众号 QbitAI
多轮视觉问答，正在成为LVLM推理效率的“照妖镜”。
第一轮关注人物，第二轮追问背景，第三轮讨论构图，但现有压缩方法在多轮场景下集体翻车。
为应对这一挑战，浙江大学宋明黎教授团队与阿里巴巴集团安全部联合提出了 MetaCompress ——
一套面向多轮视觉问答的 学习式Token压缩框架 ，被 CVPR 2026 录用。
研究背景¶
视觉Token带来的算力爆炸
当前主流LVLM如LLaVA-NeXT，通过多尺度视觉输入实现了极强的细粒度视觉理解能力，但也伴随视觉Token数量的指数级增长。
而Transformer中多头注意力的计算复杂度与序列长度呈平方关系，海量视觉Token直接导致：
-
Token生成延迟显著升高，实时交互体验极差
-
显存占用与计算量居高不下，难以在端侧、资源受限设备上部署
-
多轮对话中，KV缓存的复用成本随Token数量线性增长，对话轮次越多，效率越低
单轮→多轮：现有方法的核心失效场景
现有Token压缩技术虽已取得不少进展，但都只针对单轮视觉问答场景设计。
在单轮问答中，模型只需回答一次性问题，因此可以“贪婪地”只保留与当前问题相关的Token，丢弃其余信息。
但在真实的人机交互场景中，团队与模型的对话大多是多轮视觉问答模式。
在这种对话里，模型无法预判用户的后续提问，问题可能指向图片中的任意区域：
第一轮对话，用户或许只关注画面前景的人物；
到了第二轮，就会追问背景里的建筑细节；
第三轮甚至会问到整张图片的色调与构图风格。
正是这种开放式的对话特性，让现有的两类主流Token压缩方法直接陷入了困境：
- Prompt依赖型方法（如FastV）：
仅根据首轮文本Prompt筛选Token，天然偏向初始问题，极易丢弃后续轮次需要的关键视觉信息，直接导致多轮对话里模型性能断崖式下跌 - Prompt无关型方法（如PruMerge）：
仅基于视觉Token之间的相似性信息做压缩，理论上可适配多轮视觉问答场景，但完全依赖人工先验设计的启发式准则（如注意力分数），缺乏理论指导 注意力分数，真的是Token压缩的最优指引吗？
基于Prompt无关型方法可以适配多轮场景，团队重新审视Prompt无关型方法的Token压缩准则。
现有绝大多数Prompt无关型方法都把“对CLS token或者文本Prompt Token的注意力分数”作为视觉Token保留的核心依据——
注意力分数越高，视觉Token越重要。
但这个被广泛沿用的启发式设计，真的符合多轮视觉问答的需求吗？
研究成果¶
关键洞察：启发式注意力指引，本质是次优的
团队首先进行底层的理论范式统一：
所有Token操作，无论是剪枝（Token Pruning）还是合并（Token Merging），都可以被公式化为一个 可学习的压缩映射优化问题 。
简单来说，视觉Token缩减的核心目标，就是找到一个最优的压缩矩阵P，将原始n个视觉Token压缩为m个（m≪n），使得压缩前后，LVLMs对文本Prompt输入的响应分布差异最小。
基于这个统一的公式化定义，团队为每张图片单独学习了最优压缩矩阵，再分析“最优策略保留的Token”与“启发式注意力分数”之间的关联。
上图中（a）为最优压缩矩阵训练的整体Pipeline；（b）为最优压缩保留的Token与所有Token对CLS Token的注意力分布；（c）为最优压缩保留的Token与所有Token对文本Prompt Token的注意力分布
实验结果显示，绝大多数被最优压缩策略保留的Token，与注意力分数没有明显相关性。
即便有少量高注意力Token被保留，占比也仅为1.71%。
这个核心发现，说明了依赖人工先验的启发式注意力分数准则，在多轮对话场景下并非最优Token保留策略。
团队最终确定，必须
原文¶
→ 原文存档
关联¶
- 相关概念: Harness Engineering