跳转至

MolmoMotion：语言引导的 3D 运动预测模型

📊 Level ⭐⭐⭐ | 7.9KB

MolmoMotion：语言引导的 3D 运动预测

Background：Allen AI 于 2026-06-17 发布 MolmoMotion，将视觉语言模型（VLM）与 3D 运动预测相结合，实现通过自然语言指令预测物体未来 3D 轨迹的能力。该工作同时发布了 MolmoMotion-1M 数据集和 PointMotionBench 基准测试。

摘要

MolmoMotion 是 Allen AI 推出的运动预测模型，核心能力是给定一张 RGB 图像、一组标记在物体上的 3D 查询点、以及一段自然语言动作描述，预测这些点在未来几秒内的 3D 运动轨迹。与传统运动感知（retrospective perception）不同，MolmoMotion 关注的是前瞻性的运动预测——在物体移动之前就预判其轨迹。该模型在 PointMotionBench 基准上超越了所有现有方法，并在机器人规划和可控视频生成两个下游任务上展示了实际价值。

核心要点

  • 前瞻 vs 感知：现有运动感知模型擅长追踪已发生的运动，MolmoMotion 则预测未来运动——这对机器人抓取、视频生成等需要「预判」的场景至关重要
  • 语言条件化：通过自然语言指令（如"将桌上的木碗移开并旋转"）引导运动预测，无需物体类别模板
  • 类无关表示：使用物体表面的稀疏 3D 点集表示运动，适用于刚体、铰接体、甚至有限的可变形物体
  • 双变体架构：自回归版（MolmoMotion-AR）逐步预测坐标，流匹配版（MolmoMotion-FM）在连续 3D 空间中变换噪声为轨迹
  • 大规模数据集：MolmoMotion-1M 包含 116 万视频、736 种运动类型、5600 种不同物体的 3D 点轨迹
  • 下游应用验证：机器人抓取任务成功率从 56.0% 提升至 76.3%；视频生成中在所有 5 项运动质量指标上超越基线

深度分析

运动表示：为什么选择 3D 点集

MolmoMotion 的设计决策始于运动表示的选择。团队评估了多种表示方案后，选择了物体附着的 3D 表面点（object-attached 3D points in world space），因为它同时满足三个关键属性：

  1. 类无关（Class-agnostic）：不依赖人体骨架、手部模板或任何特定物体类别的先验。稀疏表面点可以描述刚体滑动、铰接体开合、以及有限的可变形运动
  2. 视角稳定（View-stable）：点在共享世界坐标系中定义，因此同一物理运动在不同相机视角下保持一致表示
  3. 下游可直接使用：紧凑的 3D 轨迹可以直接传递给机器人策略或视频生成模型，无需额外渲染

这种表示的核心洞察是：运动的本质是物体表面点在空间中的位移，而非像素的流动或关节角度的变化。这使得 MolmoMotion 可以用一套统一的方法处理从厨房操作到动物行走的各种运动场景。

架构设计：Molmo 2 backbone + 双解码头

MolmoMotion 建立在 Molmo 2 视觉语言模型之上，利用其跨模态理解能力将语言指令与图像中的物体和点关联起来。输入包括：

  • RGB 观察图像的视觉 token
  • 动作描述的文本 token
  • 2D 查询点特征 token（从 Molmo 2 视觉编码器采样）

两个解码变体各有侧重：

MolmoMotion-AR（自回归）：将 3D 坐标编码为结构化文本，按时间顺序逐步输出未来轨迹。每一步的预测都基于已生成的轨迹，天然鼓励平滑展开，在路径确定性强的场景下精度最高。

MolmoMotion-FM（流匹配）：在连续 3D 空间中通过将噪声变换为运动来预测轨迹，更适合表达指令存在多种合理未来时的不确定性——例如"把碗移开"可能有多种合法路径。

数据引擎：从无约束视频到 3D 轨迹

训练数据的获取是最大挑战之一。现有 3D 轨迹数据集规模小且领域受限，而互联网视频虽然多样但缺乏 3D 标注。团队构建了自动标注管线：

  1. 给定输入视频和动作描述，定位运动物体并采样查询点
  2. 在物体上追踪密集 2D 点
  3. 将 2D 轨迹提升到共享的度量 3D 坐标系
  4. 使用物体级空间和时间一致性先验过滤不可靠轨迹
  5. 围绕物体实际运动区间裁剪视频

这一管线产出了 MolmoMotion-1M——目前已知最大的动作描述-物体 3D 点轨迹数据集，覆盖 736 种运动类型和 5600 种不同物体。

下游任务验证

机器人规划：MolmoMotion 的核心假设是，同一物体的运动轨迹在不同执行器（人手 vs 机器人夹爪）下是相似的。在 DROID 数据集上微调后，模拟环境中 pick-and-place 成功率达 76.3%（vs Molmo 2 基线 56.0%），且学习速度显著更快——10K 步达到 51% 准确率（基线仅 19%）。真实机器人上的测试同样显示更快收敛。

视频生成：将 MolmoMotion 的预测轨迹注入图像到视频生成模型，可以显著提升运动质量。在所有 5 项运动相关指标上超越基础模型，在 4/5 项指标上超越更大的 I2V 模型。这对精确的小幅运动（如"火烈鸟将喙伸入水中"）尤其有效。

局限与展望

当前限制包括：每个物体仅使用 8 个查询点，不足以密集表示表面几何，限制了复杂可变形运动的处理能力。团队认为运动预测是机器智能的基本能力之一——如同感知已发生的事情一样重要。MolmoMotion 是朝这一方向迈出的一步，预期将在机器人、视频生成等领域催生更多应用。

实践启示

  1. 运动表示的选择至关重要：3D 点集表示在类无关性、视角稳定性和下游可用性之间取得了最佳平衡，这一设计思路可推广到其他需要跨领域泛化的感知任务
  2. VLM 作为运动预测 backbone 的潜力：利用视觉语言模型的跨模态理解能力来关联语言指令与空间运动，为条件化运动生成开辟了新路径
  3. 自动数据引擎是规模化关键：从无约束视频自动生成 3D 轨迹标注的管线，解决了运动预测领域长期面临的数据瓶颈
  4. 机器人-视频生成的双向迁移：运动知识在物理仿真和视觉生成之间的迁移能力，暗示了统一运动表示在多模态 AI 中的基础性作用

相关实体

→ 原文存档