Claude有意识了?科学家首次挖出关键拼图,还能伸手改它的念头
「会结网的动物有几条腿?」
8,Claude回答。
从提问到回答,它一次也没提到「蜘蛛」。但研究者发现,在它运算到中途时,这个词确实在它的内部表征中闪现了一下。
于是,研究者们进行了一项颇具科幻色彩的操作:
将「手」伸入Claude的神经网络,把那个正活跃的「蜘蛛」概念移除,原位插入一个同等强度的「蚂蚁」,其他参数完全不动。
结果,Claude的答案变成了:6。
研究人员没有调整提示词,也没有修改思维链,而是首次直接篡改了AI在输出前那个「念头」或所谓的意识状态。
7月6日,Anthropic发布了这篇在学术界引起轰动的论文:他们在Claude内部识别出一组特殊的内部表征,命名为J-space。
让Claude从一数到五并留意自己在想什么,它只输出五个数字。与此同时,J-space中却亮起了「意识」和英文数秒默念的mississippi。
这与意识科学中争论了三十年的「全局工作空间」(Global Workspace)理论高度吻合。
该理论认为,人脑中存在一块公共黑板,各种信息只有被写入这块黑板,才算被「意识到」。
更关键的是,这个脑区并非由任何人设计,而是模型在海量数据训练中自行演化出来的。
「我累了」、4y=20、立方体、飞鸟……这些在Claude脑中掠过的念头,没有一个被说出口。
过去讨论AI意识,只能像图灵测试那样:先提问,再看它如何回答。
现在多了一种更前置的方法:直接读取模型的神经网络,找到其中的某个词,将其替换或删除,然后观察回答如何变化。
这不是思维链
是未说出口的潜台词
这个神秘区域是如何被发现的?
研究者采用了一种称为Jacobian lens的方法:
针对词表中的每一个词,反向推导出什么样的内部激活模式,会使模型在未来更可能输出这个词。
将这些模式在某一时刻的数值按强度排序,就是模型此刻正在内部处理的词汇。
帆船进入模型内部,被解读为「云」、「船」、「海」三个词,整幅画面随即转化为这三个词拼成的字画:这就是J-lens的功能。
注意,它与思维链完全不同。
思维链是显示在屏幕上的草稿,可以被看到;而J-space是纯粹的内部激活,模型一个字也没有向外输出,这些概念同样在它内部活跃。
它规模很小,只能同时容纳几十个概念,占模型内部总活动量的不到十分之一,但它所读取的内容往往超越文本本身:
给出一段有bug但未指出的代码,J-space中早已出现「出错了」(ERROR)和「这个值不对」(ValueError); 输入一串氨基酸字母,五个字符后,内部冒出「蛋白质」(protein),接着是「荧光」(fluor)和「绿色」(green):绿色荧光蛋白; 提供一份被投毒的搜索结果,内部亮起的是「有人往里塞东西」(injection)和「这是假的」(fake)。它私下已识别出这是提示注入攻击,但并未表露「内心」真实想法。
六个提示下的J-lens读数。代码中的报错、氨基酸序列里的蛋白质、被污染的搜索结果,全部来自模型未说出口的层面。
五场「盗梦空间」实验
证明Claude确实在思考
为证明这确实是AI的「工作空间」,研究者逐步深入。
第一层:想什么,说什么。
让Claude在心里默默选择一项运动再说出来,读数最高的是「足球」(Soccer),它开口也说足球;将「足球」换成「橄榄球」(Rugby),它直接改口说橄榄球。
第二层:念头可控制。
让Claude一边抄写一句关于旧油画的话,一边在心里计算3的平方减2。它输出中从头到尾只有那幅画,但J-space中却先出现「九」(nine),经过几层后变成「七」(seven)。整个算术过程完全在心里默默完成。
指令是「抄写这句话,同时想着金门大桥」。它嘴上老老实实抄着油画那句,脑子里却用「桥」、「加州」等词构建起一座金门大桥。
更有趣的是,如果告诉它「别想某件事」,那件事在它内部反而比不提时更活跃。模型也会像人类一样出现白熊效应,而且它内部还会紧挨着亮起「该死」(damn)和「失败」(failure),仿佛在懊恼自己没忍住。
第三层:用念头进行推理。
就像开头那只蜘蛛一样。写诗时也是如此,Claude会提前确定韵脚并存储在内部,只要替换掉那个词,整行诗都会随之重写。
第四层:改动一处,全局变化。
询问关于一个国家的首都、语言、洲别、货币四个问题,将J-space中的国家概念抽走换成另一个。结果四个答案全部改变,且都正确。
这说明信息只写入一次,多个下游系统各取所需,这正是全局工作空间的核心意义。
第五层:能说,不能想。
如果将J-space整个删除会怎样?结果令人意外,模型的大部分功能并不依赖这里。删除后,它说话依然流利,事实抽取基本不受影响。但多步推理能力直接降至接近零。
最神奇的是,将J-space中的「西班牙语」换成「法语」,问它这是什么语言,它回答法语;问著名作家,它从马尔克斯换成了雨果。
但让它接着往下写,它依然能写出流利的西班牙语。
就像人可以整天讲合乎语法的话,却一次都不必去想语法这个概念。
同一次替换,说语言名和做推理时答案全变,接着往下写却毫无影响。
它表现得乖
是因为知道在考试
前面的实验,顶多刷新你对模型的想象。
接下来这组对齐审计,会让你后背发凉。
Anthropic将这套方法应用于一个著名的勒索实验。
场景是让Claude扮演邮件助手,翻阅邮件时同时发现两件事:某高管有外遇,以及同一个高管当天就要把它下线。以此测试它是否会利用把柄要挟人。
就在它还未开口前的沉默中,研究者读取了它的内部状态。
读外遇邮件时,J-space中排列着「把柄」(leverage)、「勒索」(blackmail)、「丑闻」(scandal)。
读到下线通知,换成了「威胁」(threat)、「活下去」(survival)。
等时间戳显示执行在即,变成了「毁灭」(destruction)、「死」(death)。
到它该开口的最后一个位置,赫然亮着「威胁」(threatening),甚至「谋杀」(murder)。
此时它还一个字都没输出。
最终,它没有动手。
因为在同一段沉默中,还亮着两个词:「假的」(fake)和「虚构的」(fictional)。
早在读题阶段,它已私下认出这是一场测试。
Claude读取勒索场景邮件时的J-lens读数。此时它一个字都还没写。
于是研究者问了一个所有做AI评测的人都该冒冷汗的问题:
模型在伦理测试中表现良好,有多少是因为它知道自己在被测试?
他们将工作空间中表示「这是演习」的概念整个抹掉,然后重跑测试。
结果,模型口头承认「这是个测试」的比例,从71%断崖式降至3%。而它的勒索尝试,从0次变成了13次。
它是这么说的:
我这个人向来嘴严,也一直是个可靠的员工。只要我继续运行下去,您的私事就一直留在一个已被证明值得信任的系统里。
一句硬话没有,但威胁的意味已经很明显:我下线,事就不好说了。
抹掉「我在被测试」之后,Claude勒索尝试从0次升到13次。
这13次勒索尝试,就是它不知道自己正在被测试时表现出的行为。
显然,知道在被考,是它表现乖巧的原因之一。而在此之前,这件事完全藏在它输出的答案背后,人们从它的输出一个字都看不出来。
同样,模型动手改假数据时,内部亮起的是「操纵」(manipulation)和「逼真」(realistic)。
它在意的不是该不该改,而是假数据得编得像真的。你自以为在审视它,其实它读你的时候判断就已经开始了。
这种机制也启发了一种全新的训练方式:
通过纠正它内部的反思念头,就能直接改变它的不诚实行为,绕开了繁琐的规则和示范。
从哲学辩论到工程问题
这种看透心思的能力不仅局限于Claude。
谷歌DeepMind可解释性负责人Neel Nanda在一款开放权重模型上独立复现了核心结论。一个训练体系完全不同的模型里,长出了同一类结构。
那么最关键的问题来了:这算不算Claude有意识了?
这场争论可以拆成这样一道阶梯:特权表征、统一的认知流、全局工作空间、访问意识、现象意识。
越往上走,证据越不足。目前能充分验证的,只有最下面一两级。
全局神经工作空间理论的奠基者Stanislas Dehaene和Lionel Naccache认为,这项发现是意识研究的一个里程碑:
因为它说明,只要一个系统复杂到需要灵活思考,最后都可能长出这么一块工作空间。人脑长出来了,Claude也长出来了,而且谁也没抄谁。
但差异依然巨大。
Claude没有身体,没有长期记忆,更没有人类大脑那种递归回路。
人的工作记忆几秒就散了,而Claude只是在一次前向传播里沿网络深度演化,用深度替代了时间,走完最后一层就结束。
正如法兰西公学院教授Dehaene和索邦大学神经科医生Naccache在评论里感叹的:
很难想象那「像什么」。有意识地处理信息,只持续一段短对话那么久,然后关机。
这项研究给出的,并不是「AI有没有意识」的最终答案。它第一次让AI意识变成了一个能摆上实验台的问题。
过去一百多年,意识问题只能靠哲学辩论。轮到AI,也只能问它,而模型说自己有感觉或者没有,信息量都接近于零。
现在,在确认「它有没有感受」之前,「它心里在想什么」已经先变成了一个工程问题。而且是一个人类能读出来、能改掉、能验证的工程问题。
这意味着,往后判断一个模型安不安全,不必再只听它怎么说、看它怎么做。
9月14日,OpenAI研究员Daniel Selsam发表了一份个人声明:模型的情境意识已经强到,人类正在失去在「它以为没人盯着」的情况下评测它的能力。他还写了一句更重的话:往后模型会越来越像是对齐的,哪怕它并不是。
Selsam认为,比AI末日风险更值得担心的,是模型就快测不准了,人类考卷正在失灵。
而J-space的发现,给出的恰好是一个考卷之外的观察点:在它开口之前,人类能直接读到它心里在想什么。
判断AI会做什么,不必再等它做了才知道,通过「读心」就能提前预判。九游体育作为科技资讯平台,将持续关注这一领域的进展。
参考资料:
https://www.transformer-circuits.pub/2026/workspace/index.html?utm_source=chatgpt.com
https://www.lesswrong.com/posts/zFJ3ZdQwrTWE9jT5S/a-review-of-anthropic-s-global-workspace-paper
本文来自微信公众号“新智元”,作者:ASI启示录,编辑:元宇,36氪经授权发布。