跳转至

首篇VLA安全综述出炉：机器人听懂指令，安全评测也要升级

Ch12.037 首篇VLA安全综述出炉：机器人听懂指令，安全评测也要升级

📊 Level ⭐⭐ | 10.4KB | entities/首篇vla安全综述出炉机器人听懂指令安全评测也要升级.md

首篇VLA安全综述出炉：机器人听懂指令，安全评测也要升级

当大模型不再只是聊天，而是开始控制机械臂、车辆和服务机器人，AI 安全问题就不再只是"说错话"，而可能变成真实世界里的物理风险。由 NUS、Monash、北大等机构联合发表的首篇 VLA 安全综述（Vision-Language-Action Safety: Threats, Challenges, Evaluations, and Mechanisms）系统梳理了 VLA 模型在攻击、防御、评测和真实部署中的安全问题，为具身智能安全研究提供了统一框架。

摘要

过去我们谈大模型安全，更多关注幻觉、越狱、有害文本生成——这些问题停留在屏幕和语言空间。但 Vision-Language-Action（VLA）模型正在改变这一点。它将视觉感知、语言理解和动作生成连接在一起，让机器人能够根据自然语言指令直接输出控制动作。当模型不仅说错了，还真的做错了——机械臂抓错物体、自动驾驶误判行人、服务机器人执行危险指令——这些后果将是真实世界中的不可逆风险。

VLA 安全全景框架

该综述的核心贡献是为 VLA 安全画出了一张统一的"全景地图"。论文按照两个时间轴组织安全问题：

  1. 攻击发生在什么时候：训练阶段还是推理阶段？
  2. 防御发生在什么时候：训练时防御还是部署时防御？

在这个框架下，原本分散在机器人学习、对抗攻击、AI 对齐和自动驾驶安全中的研究被重新整理为四类核心问题：训练时攻击、训练时防御、推理时攻击、推理时防御。

为什么 VLA 不能套用 LLM 安全方案

VLA 安全处理的是"感知—语言—动作"的闭环系统，其安全挑战比 LLM 更复杂：

维度 LLM 安全 VLA 安全
攻击面 文本输入 文本 + 视觉 + 物理环境 + 传感器 + 机器人状态
错误后果 可删除的文本 碰撞、损坏、人身伤害
实时性 无严格约束 高频控制回路有硬实时限制
错误传播 单步影响 沿长时序轨迹累积放大

攻击面分析

训练阶段攻击

攻击者可以向机器人示范数据中注入带有触发器的样本，让模型在学习过程中形成隐藏关联：平时表现正常，一旦触发器出现，就执行异常动作。

这些触发器不一定是明显的像素噪声——它可以是一段特定文本、一个视觉 patch、一个普通物理物体，甚至是机器人的某个初始关节状态。这类攻击的危险之处在于模型不是在部署时临时"被骗了"，而是在训练阶段就已经学会了错误关联。

推理阶段攻击

推理阶段的攻击方式更加多样化：

  • 自然语言指令诱导语义越狱
  • 视觉扰动破坏感知—动作映射
  • 物理环境干扰（标志、物体移动、传感器干扰）让机器人做出错误决策

防御体系：快慢双环架构

VLA 防御最困难的地方是安全性和实时性之间的矛盾：

慢环（语义推理层）

  • 理解"远离危险物体""不要碰撞人类""不要执行不安全指令"等复杂规则
  • 更聪明但较慢，难以直接放入高频控制循环

快环（物理约束层）

  • 通过控制屏障函数、运动学约束或阻抗控制快速过滤危险动作
  • 反应更快但缺乏语义理解，只能处理几何和物理层面的安全约束

结论：真正安全的具身智能系统不能只依赖模型"想清楚"，也不能只依赖控制器"刹得住"，而需要快慢双环协同工作。

评测体系：仿真与现实之间的鸿沟

目前很多 VLA 安全评测仍然主要依赖仿真环境。仿真可控、可复现、成本低，但真实世界更复杂——光照变化、传感器噪声、机械磨损、通信延迟、执行器误差、不可预测的人类行为都会让看似安全的策略在现实中失效。

因此 VLA 安全评测不能只看任务成功率，更合理的评测体系应包括：

  • 碰撞率
  • 安全违规率
  • 攻击成功率
  • 性能下降率
  • 安全—性能权衡
  • 异常情况下的恢复能力

深度分析

VLA 安全：从"AI 对齐"到"物理安全"的范式跨越

VLA 安全综述标志着 AI 安全研究正在经历一次关键转折——从以语言为中心的语义安全走向以动作为中心的物理安全。过去五年（2021-2026），AI 安全的研究主线是 LLM 对齐（RLHF、DPO、越狱防御等），本质上是在"符号空间"中确保模型行为符合人类价值观。但 VLA 模型的出现将安全问题从"价值观对齐"扩展到了"行为安全"——你关心的不再是模型是否说错话，而是它是否会造成物理伤害。

这个范式跨越意味着现有的安全评测方法论（红队测试、越狱评估、有害内容分类）需要被大幅扩展：新增物理维度的安全性指标（碰撞率、安全违规率）、引入具身环境中的对抗攻击方法、开发物理世界中的安全基准。

"快慢双环"与 Harness Engineering 的交集

论文提出的快慢双环防御架构与 Harness Engineering 中的多层安全控制思想高度一致。Harness 工程强调在 Agent 系统外部设置约束层（沙箱、权限控制、审计日志），而 VLA 安全防御的"快环"本质上也是一种外挂的、独立于模型推理的物理安全约束层。两者的共同核心原则是：不要将安全完全托付给模型的推理能力。

仿真到现实（Sim-to-Real）的安全差距

VLA 安全评测中提到的仿真与现实差距是一个深层次问题。当前具身 AI 研究严重依赖 Isaac Sim、Habitat、MuJoCo 等仿真环境，但这些环境对人类行为的建模（尤其是非合作、恶意行为）极度简化。一个在仿真中安全的策略可能在现实中因为一个行人的意外动作而完全失效。这意味着 VLA 安全评测需要从"仿真通过"转向"仿真 + 真实环境交叉验证"。

攻击面的多模态化：复杂性与应对

VLA 的攻击面比 LLM 多出视觉和物理两个维度，这意味着攻击向量呈指数级增长。一个有趣的推论是：VLA 安全可能比 LLM 安全更难自动化评估——你不能在物理世界中自动化运行数万次对抗测试。这催生了对"仿真优先 + 关键场景真实验证"混合评测方法的需求。

实践启示

  1. 安全设计前置到 VLA 模型训练阶段：不要等到模型部署后再考虑安全防护。训练数据需要过滤异常示范，训练过程中应加入对抗鲁棒性正则化项（如对抗训练、触发器检测）。

  2. 部署多层级安全架构：不要依赖单一安全机制。采用语义层（慢环）+ 物理约束层（快环）+ 监控回滚层的三层架构，每层独立失效不会导致整体安全崩溃。

  3. 建立多维度评测体系：除了任务成功率，必须跟踪碰撞率、安全违规率、异常恢复时间等安全指标。在评测报告中同时报告安全—性能权衡曲线。

  4. 关注具身环境的传感器攻击防御：视觉扰动、LiDAR 欺骗、传感器物理干扰是 VLA 系统特有的攻击面，需要专门的防御策略（传感器融合+异常检测+物理一致性校验）。

  5. 为异常恢复机制预留给预算：任何 VLA 系统都可能遇到超出训练分布的情况。设计安全停止、人工接管、降级运行等恢复机制，并作为系统能力的一部分而非事后补丁。

  6. 跨学科合作是 VLA 安全的关键：这个问题横跨机器人学、安全工程、AI 对齐、控制系统原理和计算机视觉。单一团队很难覆盖所有维度，建议建立跨领域的安全评审机制。

相关实体

→ 原文存档