跳转至

U of T researchers demonstrate AI worm: self-spreading malware using open-weight models

Ch12.112 U of T researchers demonstrate AI worm: self-spreading malware using open-weight models

📊 Level ⭐⭐⭐⭐ | 11.0KB | entities/u-of-t-ai-worm-cleverhans-papernot-2026.md

U of T researchers demonstrate AI worm: self-spreading malware using open-weight models

Source: University of Toronto News (2026-06-02). Research by Nicolas Papernot's CleverHans Lab at U of T + Vector Institute. Published 2026-06-02.

核心发现（Core Finding）

首次实证: publicly accessible open-weight AI models can power a worm that adapts its strategy as it spreads from one device to the next — self-learning, self-replicating malware that can: - 跨设备自适应攻击策略 - 接管整个网络（seize control of an entire network） - 劫持算力（hijack computing power）发动几乎零成本的复杂攻击 - 攻击任何在线设备（laptops, cameras, smart thermostats, HVAC, 能源网络） - 传统防御对此未准备好

关键事实

  • 研究者: Nicolas Papernot + Jonas Guan, Tom Blanchard, Hanna Foerster, Hengrui Jia, Gabriel Huang（CleverHans Lab + Vector Institute）
  • 发布时间: 2026-06-02
  • 研究类型: 安全数字实验室内的概念验证（proof-of-concept）
  • 核心差异 vs 之前研究: 不需要 expensive 模型（与 Anthropic Claude Mythos 类大模型对比），使用可下载的开源 open-weight 模型
  • Prior disclosure: 在发布前已与国家安全/科学/国防机构沟通，删除可能被恶意行为者利用的细节

攻击机制（Attack Mechanism）

  1. 感染: 蠕虫嵌入一台机器后立刻开始侦察（scope out each target, tailor its attacks）
  2. 克隆: 在接管机器前先复制自身到下一台（cloning itself onto the next one）
  3. 信息收集: 每次突破都暴露密码和弱点，可解锁下一台机器
  4. 算力劫持: 从受害者机器siphon processing power 来支持自己的推理和发动下一波攻击 — 几乎消除每次新感染的成本
  5. 自适应: 不同于固定脚本的传统 worm — AI worm 会"scope out each target, tailor its attacks"，没有单一防御能阻止

关键引文（Nicolas Papernot）

"Hackers have typically had to prioritize the most high-value targets because time and computing resources were limited. But now, once a worm is launched, the cost would drop to nearly zero."

"Every device connected to the internet – laptops, cameras, smart thermostats and everything else – becomes a potential target, if not for the data it holds, then as a foothold to attack more valuable targets."

"In an interconnected world, no system is immune to this threat. Sharing these findings is the first step in galvanizing researchers, industry leaders and policymakers to take action – and quickly."

"We can no longer afford to hit 'ignore' on software updates. Every door you close is one less way in, so it's worth taking a few minutes to reboot."

与传统 Worm 的关键差异

维度 传统 Worm AI Worm (本论文)
攻击策略 固定脚本 AI 自适应（scope out + tailor）
防御绕过 遇未知防御即失败 持续学习、动态调整
成本 每次新感染需追加资源 几乎零（劫持受害者算力）
模型依赖 无 Open-weight 开源 AI 模型
攻击范围 AI 系统内 可攻击底层软件（更广）
优先级 高价值目标（成本约束） 任何在线设备

防御建议（Defense Recommendations）

来自 Papernot 团队的实操建议：

  1. Keep devices patched: 不要再 ignore 软件更新
  2. Strong passwords: 弱密码是最常见的初始入侵点
  3. Multifactor authentication: 多因素认证
  4. Lock down your own device: 每个用户/管理员是网络第一道防线
  5. Audit security settings: 检查暴露的 service 端口
  6. 修复 human errors: IT 配置错误不是 patch 能解决的

论文链接

  • CleverHans Lab 最新研究: https://cleverhans.io/latest-research.html
  • U of T News: https://www.utoronto.ca/news/u-t-researchers-demonstrate-ai-worm-could-target-any-online-device
  • Vector Institute: https://vectorinstitute.ai/

三层洞察（Why this matters for AI builders）

  1. Open-weight 模型 = 双刃剑: 大小公司、学术机构使用 open-weight 模型做研究/部署是行业基础，但这些模型可被剥离 safety guardrails 用于恶意目的。任何提供 open-weight 模型的组织（Meta、Mistral、阿里、智谱、DeepSeek）都在道义上承担这份风险
  2. AI 安全研究的新前沿: 从 prompt injection 发展到 self-replicating 攻击 — 这是网络蠕虫的 AI 原生升级版。AI 红队/蓝队研究需求陡增
  3. Defense 现状滞后: "current cyber defences are not yet ready for it" — 任何 AI 产品/agent 上线时，安全审计必须从"防止数据泄露"扩展到"防止 AI 自身被武器化"

深度分析

  1. 攻击经济学范式颠覆：传统蠕虫攻击受限于"时间+算力"资源池，每次新感染需追加成本，迫使攻击者优先选择高价值目标。AI 蠕虫通过劫持受害者算力自我支撑，将单次感染边际成本压缩至接近零。这不只是效率提升，而是攻击者与防御者成本结构的根本性倒置——防御方需保护每一台设备，攻击方只需成功投放一次。

  2. Open-weight 模型的"武器化门槛"已突破临界点：论文证明无需前沿大模型，仅靠公开可下载的开源权重即可构建自适应蠕虫。这意味着任何具备基础 ML 工程能力的攻击者都能复现——不再需要国家级资源或昂贵计算集群。开放权重生态（Meta Llama、Mistral、Qwen、DeepSeek 等）的广泛普及实质上降低了这门攻击技术的获取门槛。

  3. 自适应攻击 vs 静态防御的非对称性：传统安全防御依赖特征码、行为规则和已知漏洞库，面对 AI 蠕虫的"scope out each target, tailor its attacks"能力，所有基于签名的防线均失效。更深层的不对称在于：防御需要覆盖所有入口，攻击只需找到一个盲点。AI 蠕虫的动态策略调整能力进一步扩大了这一非对称优势。

  4. 多跳攻击的级联效应（cascading effect）：蠕虫每感染一台新设备，既是终点也是跳板——每次突破都暴露密码和弱点，形成正反馈循环。随着感染面扩大，攻击者可调度的算力池和情报池同步膨胀，最终在某个临界点形成单次投放、全球自传播、全网协同的作战能力。这已超出传统僵尸网络的集中控制模式，进入分布式自主作战新阶段。

  5. 安全研究的负责任披露悖论：研究团队在发布前与国家安全/科学/国防机构沟通并删除关键细节，但完全开放的技术复现路径依然存在（开源模型 + 公开论文 + 安全 lab 环境 = 可完全还原）。这揭示了 AI 攻击技术研究中一个根本张力：学术透明性与防御准备时间窗之间的取舍没有完美解决方案，只能通过加速防御侧研究来对冲。

实践启示

  1. 补丁管理是最低成本、最高回报的防御层：Papernot 明确指出"every door you close is one less way in"——AI 蠕虫依赖已知漏洞链式突破，未修复的 CVE 窗口期就是攻击者的黄金窗口。建立自动化补丁验证机制（而非依赖用户手动重启），应成为企业安全基线的优先级之首。

  2. 网络微分段（micro-segmentation）需重新审视：AI 蠕虫的跨设备自适应传播能力意味着单点突破可迅速扩散至全网。传统的扁平化内网架构在面对此类威胁时放大了攻击面。将网络按业务逻辑和信任边界细化分段，限制横向移动路径，是成本可控的架构层缓解措施。

  3. 多因素认证（MFA）是防初始入侵的必备屏障：弱密码仍是大多数入侵的起点，而 AI 蠕虫的信息收集阶段会充分利用这一点。即使单次认证被突破，MFA 提供的认证层跳也能显著提高攻击成本，破坏蠕虫的自动化传播链。

  4. AI 产品安全审计框架需纳入"被武器化"威胁模型：当前 AI 安全审计集中在数据泄露、幻觉、注入等威胁，但本论文揭示了AI 模型本身作为攻击载具的新维度。任何面向互联网的 AI agent 或模型服务，在上线前应强制评估"如果模型能力被恶意劫持，攻击者能做什么"这一威胁场景。

  5. Open-weight 模型提供方需建立滥用途径预警机制：本论文证明了开源模型可被用于恶意目的，且提供者无法控制模型被如何使用。但可以做到的是：监控模型在异常场景中的使用模式（如异常的 API 调用频率、异常的任务类型分布），在滥用在野发生前提供预警或熔断。这既是技术挑战，也是行业责任。

引用与回链

→ 原文存档