An off switch for dual use knowledge in AI models¶

Ch01.1593 An off switch for dual use knowledge in AI models¶

📊 Level ⭐⭐⭐⭐ | 10.9KB | entities/off-switch-dual-use.md

An off switch for dual use knowledge in AI models¶

URL: https://www.anthropic.com/research/off-switch-dual-use Slug: off-switch-dual-use

Score: v×c=72 (value=8, confidence=9)

Stars: 5 Tags: newsletter, ai, alignment, anthropic, safety, ai-governance, modularity

Ingested: 2026-07-09 18:59 UTC

摘要¶

GRAM（Gradient-Routed Auxiliary Modules）是 Anthropic 与 AE Studio 合作开发的一种新型模型对齐技术，用于对 AI 模型中的双重用途知识（Dual-Use Knowledge）进行精确的模块化管理。其核心思想是在 Transformer 的每一层添加额外的神经元组（模块），每个模块对应一个双重用途类别。训练时，当模型遇到双重用途类别的文本（如病毒学），仅对应模块被允许学习，通用权重保持冻结。训练完成后，模块可以直接被删除，相应的能力随之消失——从而实现"一次性训练，多种配置"的效果。在实验中，GRAM 在从 50M 到 5B 的七个模型规模上均与数据过滤方法效果相当，且模块删除后能力移除的程度与从未在该数据上训练等效。相比于训练后"遗忘"（unlearning）方法——后者可以通过少量微调轻易恢复被抑制的知识——GRAM 提供了更鲁棒的保护。

核心要点¶

• 问题定义：前沿 AI 模型储存了大量双重用途知识（如网络安全、病毒学、核物理、专业编程语言）。这些知识既可用于善意目的（修补漏洞、研发疫苗），也可用于恶意目的（开发攻击、设计病原体）。理想方案应同时满足：①精确限制能力访问；②允许受信任用户使用；③不影响模型在无关任务上的表现。
• 现有方法的局限：当前安全措施（拒绝训练 + I/O 分类器）只防护输出层面，不改变模型"知道什么"。攻击者仍可通过越狱（jailbreak）绕过。训练数据过滤是"粗粒度工具"——每个过滤版本需要单独训练一个完整模型，对前沿大模型而言成本过高。训练后遗忘（unlearning）方法抗攻击能力弱，少量微调即可恢复被抑制的知识。
• GRAM 架构：在标准 Transformer 的每层添加额外神经元，按双重用途类别分组为模块。训练时遇到双重用途文本，仅对应模块的权重被更新，通用权重暂时冻结。这使双重用途知识被"路由"到专用模块，而非扩散到整个网络。训练完成后，删除模块即可移除对应能力，保留模块即可保持能力——一次训练获得 16 种配置（4 个类别 on/off）。
• 三级别实验验证：①合成数据集（儿童故事按主题标记）——GRAM 模型可重配置"忘记"任意主题，每种配置表现几乎等同于单独训练的有过滤模型；②真实数据（网络文本 + 代码 + 科学论文，四个双重用途领域：病毒学、网络安全、核物理、小众编程语言）——删除模块移除相应能力的彻底程度与数据过滤相当，且不影响通用性能；③从 50M 到 5B 的七个模型规模——GRAM 在所有规模上匹配数据过滤效果，规模越大安全性与能力移除的差距越明显。
• 抗攻击测试：攻击者尝试用少量恶意数据微调来恢复已删除知识。GRAM 的抗恢复能力与数据过滤方法相当。相比之下，unlearning 方法（训练后压制知识）容易被少量微调恢复。
• 当前局限：尚未在前沿规模或生产训练流水线中测试（未应用于任何 Claude 模型）。评估基于下一 token 预测能力而非真实下游任务表现。更深层的开放问题是：某些双重用途能力可能与通用知识深度纠缠，任何方法都无法完全分离。

深度分析¶

1. GRAM 的技术设计深度¶

GRAM 的核心技术挑战是：如何在保证模型通用能力不受影响的前提下，精确控制特定知识的路由（Routing）。

实现方式包含几个关键设计决策：

架构层面：在每层 Transformer 中添加额外的神经元，按类别分组。这些附加神经元仅在前向传播中贡献计算，但梯度更新仅作用于当前处理的类别对应的模块。通用权重在遇到双重用途文本时完全冻结。

训练机制的对称性设计：一个值得注意的细节是，双重用途模块在遇到通用文本时也会偶尔被激活（"帮助模块更好协作"）。这种对称性设计确保了模块不是完全隔离的孤岛，而是与主网络保持一定的协作能力——模块可以"帮忙"处理通用任务，但不能从通用任务中"学到"新知识。

可组合性：四个类别 → 16 种配置。这意味着一个单一训练可以服务多种部署场景：完全受限版本（所有模块删除）、完全能力版本（所有模块保留）、以及各种中间配置（如仅保留网络安全模块用于安全审计团队）。这种灵活性对于企业级 AI 部署具有实际价值。

2. 与数据过滤和 Unlearning 的对比¶

GRAM 填补了数据过滤（训练时精确但昂贵）和 unlearning（训练后灵活但不彻底）之间的空白：训练时精确且低成本 + 灵活可配置。

3. 安全边界上的开放挑战¶

GRAM 仍有若干未解决的问题值得关注：

规模化的不确定性：实验仅到 5B 参数，但前沿模型的规模在 100B+ 甚至 1T+ 级别。在更大规模下，模块化路由是否能保持同样效果尚不清楚。规模扩大后，模块之间的干扰（interference）可能显著增加。

纠缠问题（Entanglement Problem）：某些双重用途知识可能与通用知识深度纠缠。例如，网络安全知识可能与通用的编程能力共享大量表示。如果这些知识无法干净分离，即使 GRAM 也无法实现真正的"开关式"控制。这是该领域更深层的未解决问题。

评估局限性：目前评估仅基于下一 token 预测能力（perplexity），而非真实的下游任务（如"能否编写攻击代码"）。对于安全研究来说，下游任务评估才是真正的金标准。pPL 的改善不一定意味着安全性的改善。

4. 与 AI Agent 安全的关联¶

GRAM 的模块化思路对于 AI Agent 安全 有重要启示。Agent 系统相比单次对话模型面临更大的安全挑战——Agent 可以执行操作、访问外部系统、持续运行。如果 Agent 模型内置了模块化的能力开关：

• 权限分离：Agent 在处理敏感任务时可以临时"开启"所需模块，任务完成后"关闭"
• 能力隔离：金融 Agent 不需要的网络安全攻击知识可以永久删除
• 审计友好：模块的存在/删除状态可被外部系统验证和审计

这种"可验证的能力管理"可能成为未来 AI Agent 安全基础设施的重要组成部分。

实践启示¶

1. 模块化安全设计是比事后屏蔽更可靠的范式：当前行业主要依赖 I/O 分类器和拒绝训练来防止滥用，但这些"表面防护"可以在推理时被绕过。GRAM 代表的"从根源控制知识"的范式，提供了更深层次的安全保障。

2. 单模型多配置的经济效益显著：对于企业，如果能为不同用户角色提供不同能力配置的模型版本，GRAM 方案避免了维护多个完整模型副本的巨额成本。这在需要细分权限管理的企业 AI 部署场景中具有实际商业价值。

3. 谨慎对待"遗忘"方法的安全性：实验表明 unlearning 的表层抑制易被少量微调逆转。如果系统安全性取决于敏感知识的有效移除，应优先考虑 GRAM 或数据过滤等训练时方法，而非训练后遗忘。

4. 能力与通用知识的纠缠是终极难题：即使 GRAM 也无法解决所有问题——某些知识可能无法干净分离。在构建安全架构时，应假设"完全隔离"可能在某些领域不可行，并准备多层次的防护。

5. 安全评估标准需要升级：当前以 perplexity 等代理指标评估安全方法是不够的。行业需要建立基于真实下游任务的标准化安全评估基准，特别是在代码生成、生物安全、网络安全等高风险领域。

相关实体¶

• Anthropic — 研究主体（Alignment Science 团队）
• AE Studio — 合作研究机构（无独立实体页面）
• Dual-Use Knowledge — 双重用途知识概念（无独立概念页面）
• AI Safety Alignment — 对齐概念框架（无独立概念页面）
• Data Filtering (Pre-training) — 预训练数据过滤（无独立概念页面）
• Machine Unlearning — 机器遗忘技术（无独立概念页面）
• Fable Safeguards — Anthropic 的越狱防护框架（无独立实体页面）
• Claude Opus 4.8 — Anthropic 前沿模型（未应用 GRAM）
• Antidoom — 另一种精确对齐技术（消除循环）

→ 原文存档