ICRDrag：ECCV 2026 首个上下文区域拖拽图像编辑模型¶

📊 Level ⭐⭐⭐ | 9.6KB

摘要¶

ICRDrag（In-Context Region-based Drag）是上海交通大学牛力实验室提出的首个上下文区域拖拽图像编辑模型，入选 ECCV 2026。与传统基于单点拖拽的图像编辑方法不同，ICRDrag 使用掩码精准定位局部区域，实现移动、缩放、变形等操作，兼顾精准度与画面真实感。其核心创新在于将区域拖拽重新定义为上下文学习问题，通过注意力约束机制确保编辑前后的一致性。

核心要点¶

首个上下文区域拖拽模型：将拖拽编辑转化为上下文学习任务，输入原图、源区域掩码、目标区域掩码，直接输出编辑结果
双重注意力约束：图像-掩码注意力一致性约束 + 源-目标双向注意力对应约束，确保编辑精准度
模态专属 LoRA：图像、掩码分支使用独立 LoRA，解决不同模态的信息差异
分阶段课程式训练：从完整语义掩码到稀疏不完整掩码，提升模型容错率
大规模数据集：基于 OpenVid 构建 28.7 万组配对样本的 PRD 数据集，含 1000 组人工校验的 PRDBench 评测基准

概述¶

ICRDrag（In-Context Region-based Drag）是上海交通大学牛力实验室提出的首个上下文区域拖拽图像编辑模型，入选 ECCV 2026。它使用掩码精准定位局部区域，实现移动、缩放、变形等操作，兼顾精准度与画面真实感。

技术创新¶

上下文学习框架¶

基于 DiT 上下文学习框架，一次性输入原图、源区域掩码、目标区域掩码，直接输出编辑完成的图片，从根本上解决了拖拽编辑的控制难题。

注意力约束机制¶

图像-掩码注意力一致性约束：目标图像的注意力分布必须和目标掩码匹配源掩码的分布保持一致，确保生成画面严格贴合掩码划定的空间轮廓。
源-目标双向注意力对应约束：目标物体看向原图对应区域，原图区域也反向关注目标物体，建立编辑前后物体的对应关系。

模态专属 LoRA¶

图像富含纹理细节，掩码仅存储空间轮廓，二者性质差别很大。ICRDrag 为图像、掩码分支使用独立 LoRA。

分阶段课程式训练¶

两阶段渐进式训练：第一阶段用完整语义掩码训练，让模型学会区域变换逻辑；第二阶段用稀疏不完整掩码训练，随机膨胀模拟手绘粗糙选区，大幅提升模型容错率。

数据集¶

基于百万级视频数据集 OpenVid，打造了首个大规模区域拖拽数据集 PRD（Paired Region Dataset），含 28.7 万组训练配对样本。评测基准 PRDBench 含 1000 组人工校验高质量样本，可公平对比点拖拽、区域拖拽两类模型。

深度分析¶

从单点拖拽到区域拖拽：图像编辑控制的范式转变¶

传统拖拽图像编辑方法（如 DragGAN、DragDiffusion）基于单点控制——用户选择少量关键点对，模型通过优化过程将点推到目标位置。但点对信息高度模糊，AI 经常猜不透用户意图：物体拖拽后边缘断层、背景融合生硬、细节丢失是常见问题。ICRDrag 将控制单元从「稀疏点」升级为「稠密掩码」，从根本上解决了信息模糊性问题。

RegionDrag、DragFlow 等前期工作已经开始探索掩码级控制，但它们的注意力机制设计存在局限——目标物体的注意力只能「看向」原图对应区域，缺乏反向约束，导致编辑前后的一致性不够。ICRDrag 的双向注意力约束同时建立了「原图→目标」和「目标→原图」的对应，确保编辑区域与非编辑区域的边界自然融合。

上下文学习（In-Context Learning）框架的视觉编辑应用¶

ICRDrag 的重要创新在于将区域拖拽重新定义为上下文学习任务。模型不再是一个「端到端生成器」，而是一个「阅读理解器」——一次性输入原图（上下文）、源区域掩码（问题指示）、目标区域掩码（期望位置），然后直接输出编辑结果。

这种范式有三大优势： 1. 无需优化过程：DragGAN 需要在推理时进行梯度优化，ICRDrag 一次前向传播即完成，速度大幅提升 2. 支持多区域编辑：最多支持 5 对区域同时编辑，每对用不同颜色掩码标识 3. 统一的训练-推理流程：训练和推理使用相同的输入格式，消除了训练-推理 gap

在 DiT（Diffusion Transformer）框架上实现上下文学习，得益于 Transformer 架构的灵活注意力机制——掩码条件可以作为额外的 token 序列拼接到输入中，模型通过自注意力自主学习源-目标-上下文的映射关系。

模态专属 LoRA 的价值：空间位置与纹理细节的分离学习¶

图像与掩码是两种性质完全不同的模态：图像包含丰富的纹理、颜色、光照信息，而掩码仅存储空间轮廓和位置信息。如果使用共享的网络参数处理两种模态，一方信号的噪声可能会干扰另一方的学习。

ICRDrag 的模态专属 LoRA 为图像分支和掩码分支使用独立的低秩适配参数，使两个模态可以独立调优。这一设计的经济性在于：LoRA 仅需微调少量参数（原参数的 0.1-1%），即可实现模态特异性学习，而无需为每个模态训练完整的独立网络。这也是参数高效微调（PEFT，参见 MoE 架构）方法在视觉编辑领域的一个重要应用。

课程式训练对工业级容错率的意义¶

ICRDrag 两阶段课程式训练中，第二阶段用稀疏不完整掩码训练是一项关键的设计。在真实用户场景中，用户用画笔工具勾选区域时很难做到像素级精确——选区往往粗糙、边界不规则、存在遗漏。通过在训练中随机膨胀和稀疏化掩码，模型学会了从模糊输入中推断完整语义。

这种设计体现了将产品级容错性纳入模型训练的思路：不是要求用户精确操作，而是让模型理解用户的「大致意图」。这与 Harness Engineering 中的「容错设计」原则一致——系统应该对非精确输入保持鲁棒性。

实践启示¶

从单点控制到区域控制是 AI 交互的普遍趋势。图像编辑如此，Agent 系统的任务控制亦然——提供精确的约束（掩码）比模糊的指示（点对）更容易获得预期的结果。在设计 Agent 交互界面时，应优先考虑「约束性输入」而非「自由文本提示」。
双向注意力约束比单向更适合空间一致性任务。ICRDrag 的源-目标双向对应约束确保了编辑前后的一致性。在多 Agent 系统中，双向通信比单向指令能更有效地维持系统状态的一致性。
课程式训练是提升模型鲁棒性的有效策略。从完整语义到稀疏不完整的渐进训练，让模型学会了「理解不精确输入」的能力。在 AI 产品设计中，不应假设用户能提供完美输入——模型当为「真实世界的不完美」而训练。
模态专属 LoRA 提供了一种高效的迁移学习模式。为不同输入模态分配独立适配参数，在不显著增加参数量级的前提下实现模态特异性学习。这种模式可推广到任意多模态场景。
上下文学习范式在视觉领域的潜力远超预期。ICRDrag 证明了将视觉任务重构为「上下文+条件→输出」的统一范式是可行的。这为统一的视觉基础模型架构设计提供了方向——一个模型通过不同的条件输入可以完成编辑、生成、理解等多种任务。

资源¶

Paper: https://arxiv.org/pdf/2606.25907
GitHub: https://github.com/bcmi/ICRDrag-Region-Drag-Editing
Demo: https://drag.ustcnewly.com/