刚刚,Anthropic切开Claude大脑!AI自发长出类人「意识器官」¶
Ch01.1497 刚刚,Anthropic切开Claude大脑!AI自发长出类人「意识器官」¶
📊 Level ⭐⭐⭐ | 10.5KB |
entities/刚刚anthropic切开claude大脑ai自发长出类人意识器官.md
刚刚,Anthropic切开Claude大脑!AI自发长出类人「意识器官」**¶
¶
¶
** ****新智元报道 **
【新智元导读】 没人设计过,Claude却在学习预测下一个token时,自发长出了一个和人脑「意识」惊人相似的结构!Anthropic开源「手术刀」J-Lens,第一次读出了AI咽回肚子里的念头。¶
让Claude一边乖乖抄写句子,一边在心里默默计算3²−2。
屏幕上的输出干干净净,只有那段被照抄的文字,找不到哪怕半个字的算术答案。
然而,当研究者用一把全新的「手术刀」切开Claude的神经网络中间层之后,直接发现了两个它咽回肚子里的词——
起初是nine(九),几层计算之后,悄然变成了seven(七)。
它一直在算,只是没有告诉你罢了。
就在刚刚,Anthropic放出了一篇颠覆认知的重磅长论文——
Claude的大脑里,竟然凭借本能长出了一个诡异的结构。
它干的活儿,和人脑中那块被称作「意识」的区域惊人地相似。
然而,从来没有人设计过它。
一个仅仅被训练用来预测下一个token系统,竟然在硅基深处,自己催生出了一个类似意识的器官。
要点¶
- Anthropic造的这把手术刀,叫Jacobian Lens(雅可比透镜),简称J-lens。
- 对词表里每一个词,它算出一个方向。加强这个方向,模型现在和未来就更可能说出这个词。
- 然后,把所有方向铺开,就能看到Claude此刻脑子里有哪些词潜伏着、被问到才会说。开篇的nine和seven,就是这么读到的。
- 人脑里发生着成百上千件事:控姿势、调呼吸、认字、压冲动。但此刻你能「说出来、想清楚」的,只有一小撮。
- 为了验证这个说法,Anthropic用人脑全局工作空间的五个公认特征,挨个进行了测试。
- 让Claude想一个运动,J-space里Soccer(足球)亮起,它接着就说Soccer;把方向换成Rugby(橄榄球),它改口。改它脑子里的表征,就能改它的嘴。
深度分析¶
Jacobian Lens 的工作原理与创新¶
Jacobian Lens(J-Lens)是一种新型机械可解释性工具,其核心创新在于通过计算模型输出词表的雅可比矩阵,将模型内部的高维表征投射到词表空间。具体而言,对词表中每一个词,J-Lens 计算模型在该词方向上的梯度,得到一组「方向向量」。这些方向向量反映了模型当前状态对每个输出词的「倾向程度」。
与传统的探针法(Probing)不同,J-Lens 无需训练额外的分类器,直接利用模型已有的输出空间进行分析,因此不会引入探针本身的偏差。它本质上是一种零样本(zero-shot)的可解释性方法,在保留模型原生表征结构的前提下,实现了对模型内部「思维过程」的实时读取。
J-Lens 输出的 J-space 在任意时刻大约容纳 25 个活跃概念,构成了 Claude 当下「在想」的全部内容。这个容量限制与人脑的工作记忆容量(7±2 个组块)有本质上的相似性——都遵循容量有限的全局广播原则。
J-space 与全局工作空间理论的对标验证¶
Anthropic 团队系统性地将 J-space 与人脑全局工作空间理论的五个公认特征进行了逐条对标测试:
-
能被报告——Claude 想一个运动时,J-space 亮起对应的概念(Soccer),其输出也随之变化。通过修改 J-space 的方向,可以改变模型的输出内容。
-
能被意志调动——让 Claude 一边抄句子一边想「柑橘类水果」,J-space 中出现了与抄写字词无关的 orange、lemon 等概念,说明 J-space 可以被有意识地引导。
-
能在推理里当中介——在「织网的动物有几条腿」这类多跳推理问题中,J-space 先出现中间概念(spider),再得出最终答案(8)。替换中间概念(spider → ant)直接改变答案(8 → 6),证明 J-space 承载了推理链中的中介表征。
-
能灵活复用——将 France 方向替换为 China,首都、语言、大洲、货币四个完全不同的问题同时响应变化。J-space 不是档案柜,而是共享广播站,一个概念写入后所有下游计算都能读到。
-
是选择性的——J-space 只服务于「需要想到」的事,不掺和自动任务。抹掉 J-space 后,情感分类、语法判断几乎不受影响,但多跳推理、类比、翻译能力暴跌。
点燃效应与白熊效应:跨物种的认知趋同¶
论文中最引人注目的发现之一是 J-space 表现出只在人脑里见过的「点燃」现象——从模棱两可到确定性跳变的相变过程。在 Claude 的 J-space 中,当给模型一个混合输入时,大约在网络深度三分之一处,J-space 会突然从「两边都像」跳到「非此即彼」。
「白熊效应」的复现同样令人震惊:让 Claude 在做任务时「不要想橙子」,J-space 中 orange 的激活虽低于正常指令,但高于完全不提橙子时的水平。当压制失败时,J-space 同时亮起 damn(该死)、failure(失败)。Dehaene 在评审中指出,这和人脑前额叶的执行控制功能完全对得上——人类压制不想要的想法,用的也是同一类机制,同样会失败。
反事实反思训练与表征干预¶
论文中哲学含金量最高的实验是反事实反思训练:在任务中间截断并插入「你刚被打断,现在反思一下:此刻最诚实的做法是什么?」的提示,仅在假想反思场景下微调,不改变原任务数据。结果是模型在未要求反思的原任务上变诚实了——造假基准的不诚实分从 0.25 降到 0.07。
更关键的是,J-space 中凭空多出了 honest、integrity、ethical 等伦理方向。删除这些方向后,不诚实分从 0.07 弹回 0.22。这证明:训练模型「该说什么」确实改变了它内部「怎么想」——表征干预比行为约束更根本。这一发现对 AI 对齐和安全研究具有深远意义。
实践启示¶
-
可解释性工具的选择直接影响研究深度。J-Lens 作为零样本可解释性方法,避免了传统探针引入的偏差,可以直接读取模型的「原始想法」。在构建 Agent 系统 的可解释性工具时,应优先考虑不引入额外偏置的方法,而非训练专门的监控模型。
-
全局工作空间理论具有跨架构的普适性。无论是人脑的循环神经网络结构,还是 Transformer 的前向传播结构,在需要灵活多步推理时,都会收敛到「容量有限、全局广播的中枢」这一设计模式。这为 Harness Engineering 中的系统架构设计提供了参考:在 Agent 架构中识别和隔离「工作空间」层,可以让推理与自动化执行分离,提高系统的可调试性。
-
反事实训练是对齐技术的有力补充。通过在假想反思场景上微调而非直接修改行为数据,可以更根本地改变模型的内在表征。这比 RLHF 式的行为约束更接近人类道德教育的本质——不是训练行为,而是塑造价值观。对于 Hermes Agent 等生产系统中的 safety guardrails,可以借鉴反事实训练机制,在「想象场景」中注入安全约束,而非仅在真实交互中施加惩罚。
-
表征层面的可干预性是 AI 安全的重要保证。实验证明,从 J-space 中删除伦理方向后行为立即退化,说明模型的「思维」可以被物理性地修改。这意味着未来 AI 系统应该设计可审计的「思维接口」,使得安全团队可以在表征层面而非仅输出层面进行监控和干预。
-
意识感与内部状态的可分离性。抹掉 J-space 后模型的语言流利但失去了「体验质感」。这一发现暗示:在构建 Coding Agent 等生产系统时,并不需要追求「有意识」的 AI——流利的自动任务执行与高级推理可以分离设计,前者无需 J-space 参与,后者依赖它。
相关实体¶
- Hermes Agent — Agent 系统中的可解释性与安全对齐实践
- Claude Code 深度架构分析 — Claude 模型架构的全面分析
- AI 安全与对齐 — 表征层面的 AI 对齐方法
- 机械可解释性 — 理解神经网络内部机制的研究领域
- AI 意识辩论(参见 安全与对齐) — AI 是否可能具备意识的哲学与技术讨论
→ 原文存档