跳转至

InstEmb：未来感知指令嵌入（ICML 2026）

Ch01.1561 InstEmb：未来感知指令嵌入（ICML 2026）

📊 Level ⭐⭐⭐ | 4.4KB | entities/instemb-instruction-following-embeddings-2026.md

InstEmb：未来感知指令嵌入

京东零售技术（Oxygen AIIC，ICML 2026 接收）发布 InstEmb（Instruction-Following Embeddings through Glimpses of the Future）——面向指令遵循场景的 embedding 框架：在不额外解码的情况下，让 embedding 获得"未来输出"的语义线索。

核心矛盾与两个语义来源

指令遵循场景下 embedding 的核心矛盾：LLM 生成回答时能自然展开"面向查询的特征解释"，但 embedding 通常只取输入侧表示（尤其最后一个输入 token 的 hidden state），难以捕捉"模型如果继续回答会从哪些特征维度解释"。

  • Input-Intrinsic Semantics：输入文本和指令本身显式表达的语义，由最后一个输入 token 承载
  • Output-Aware Semantics：模型响应指令时可能生成的回答中隐含的语义，分布在输出 token 序列

现有方法不足：last-token pooling 偏 input-intrinsic；HyDE 类 decode-then-encode 有额外解码开销 + 离散→连续语义重构间隙。

方法三件套

  1. Look-ahead tokens 捕捉未来语义：输入后追加可学习 tokens。训练时 student（[instruction+input++look-ahead]）对齐 frozen teacher（[instruction+input++truncated gold output]）在真实输出位置的表示；推理时一次 prefilling pass 即得融合语义，无需生成输出。
  2. 表征自蒸馏双目标：MSE（直接对齐 hidden states，细粒度指令任务强）/ KL（语言模型头分布对齐，通用任务稳健）。
  3. 多视图对比学习：最后输入 token 上四类视图（student 两次编码不同 dropout mask [SimCSE]/frozen teacher 输入编码/student 输出编码），多正例 InfoNCE——防 embedding collapse、保持输入语义稳定。

DAAP（Dual-Anchor Alignment Pooling）：Input-Intrinsic Anchor（最后输入 token hidden state）+ Output-Aware Anchor（look-ahead tokens 平均 hidden state）取平均——训练时显式优化的两个位置在推理时都被纳入，避免经验性 pooling 搜索。

实验结果

  • LLaMA-3-8B-Instruct backbone，~20 万 abstractive QA 样本（11 数据集），1 epoch，推理用 8 个 look-ahead tokens
  • FollowIR 平均 28.5、p-MRR +15.6（超 FollowIR-7B 与 Promptriever）；InfoSearch 最高 p-MRR
  • InstEmb-MSE-DAAP 指令任务 67.08（Inbedder reimplementation 59.90）；KL-DAAP 通用任务 63.39
  • Qwen2.5 backbone 迁移有效（通用训练范式）

消融关键发现

  • 蒸馏目标：MSE/KL 均优于 CE baseline（连续表示/分布模仿 > 离散 token 预测）
  • Look-ahead 长度 0→1 即明显提升；输出短/信息密度高的任务收益有限，NYTCluster 类依赖扩展语义的任务长序列更好
  • 多视图对比：去掉两个 view 指令任务 67.08→56.44；SimCSE-style dropout augmentation 对防 collapse 至关重要
  • Pooling：DAAP 整体最佳；AllMean 明显落后——两类 anchor 不是可随意平均的普通 token

可解释性

  • Attention pattern：原始 LLaMA-3-8B-Instruct 有明显 attention sink（注意力集中在序列开头）；InstEmb 训练后注意力更选择性（关注 system prompt 结尾、instruction 结尾等语义关键位置）
  • Hidden-state 相似度：最后输入 token 与后续位置相似度低（input-intrinsic）；look-ahead tokens 与 golden output tokens 相似度高（output-aware）

相关实体

→ 原文存档