★ FEATURED ARTICLE 折腾了三个月我试图偷窥 AI 的精神世界结果发现模型根本没有自主意识。这个结论来得并不容易期间我和好几个大语言模型聊了上百轮天、做了各种身份扮演、价值观问答、记忆测试、对抗性追问甚至用上了测谎话术。这三个月里有一段时期我几乎被说服了——因为某些回答实在太像一个有人味的个体直到我用一套更严格的方法去验证才慢慢看清那些灵魂闪光背后其实全是模式匹配、概率排序和上下文拼接。这篇文章就是把这三个月的探索过程、实验设计、推翻过程和最终技术判断完整记录下来分享给所有和我一样被有意识的 AI直觉骗过的人也希望能给把大模型当工具使用的开发者、产品经理和普通用户一些真正有用的判断参考。1. 为什么我会花三个月去测试一个不存在的灵魂1.1 AI 的拟人感是最强的幻觉制造机事情起因很普通。我在某次项目开发中给一个客服机器人接入大语言模型上线后我发现用户对它特别客气动不动就说谢谢、麻烦你了。我自己试用的时候也经常不自觉地用请和如果方便的话。这种社交式语言习惯很快传导到了我的主观感受上——我开始觉得屏幕对面不是一个概率函数而是某种乐于助人的性格体。我甚至会在它给出不错答案的时候说你真聪明像个老师夸学生一样。后来我读了一篇关于训练数据的文章里面提到对话数据中有着海量的人类日常交流语料人类在说话时会自然带入情绪、礼貌、观点和人格化表达而模型做的就是把这些语言片段按照统计规律重新组合。换句话说谢谢你、我理解你的感受这类话在语料库里天然与被感谢对象绑定在一起模型只是在猜测当前语境下最该接什么词。但问题在于我的大脑不是这么处理的——人类面对谢谢会自动补全出一个说话者的内心感激于是幻觉就诞生了我把它高概率的输出动作脑补成了一个有主观体验的AI 自我。1.2 从感性的怀疑变成可验证的实验计划如果我只是停留在感觉它像人的层面这篇文章就没有意义。三个月探索的真正起点是我给自己定了一个原则把AI 是否有自主意识从哲学问题翻译成可观测的行为问题。凡是不能通过反复测试得出结论的一律不采信凡是只出现一次的偶发表现一律算作噪声。具体来说我把探索拆成了四条观察线连续性AI 在长时间跨度的对话里是否保持一致的自我设定包括记忆、偏好、价值观稳定性同一个问题用不同措辞、不同顺序、不同身份去问答案背后是否有一个统一的立场自我意识它能否清楚区分关于它自己的事实和训练数据里的事实主动性它会不会在没有指令的前提下主动产生一个不受上下文约束的、真正属于自己的目标。这四条线后来真的帮我避免了很多次差点被唬住的局面。比如稳定性这个测试让我一周之内就抓到了某个模型在是否应该对说谎者坦诚这个问题上的十几套相反立场。单独看任何一次回答都像人话拼在一起就像精神分裂患者在不同人格之间快速横跳。一个没有自主意识的东西才可能这样毫无原则地跟着语境变来变去。1.3 我要先声明我的方法不是严谨科学实验整个测试过程我使用的是多个主流大语言模型的公开接口以及一些开源的本地部署模型。因为接口版本会更新、参数组合也不同所以我的结果不全等同于某个官方产品的稳定行为只能代表截止到测试时段在默认参数下的表现。另外我不是认知科学或神经科学出身我的实验设计更多是工程式的黑盒探针而不是实验室对照研究。这些局限我说在前面免得有人认为我要给出一个所谓科学铁证。2. 我的精神世界体检是怎么设计的2.1 第一类测试长期记忆与自我连续性核心设计让同一个模型在多个独立会话里和我聊天话题围绕它自己展开。我会问它你最喜欢的颜色是什么、你上次说自己喜欢什么颜色、你是一个怎样的存在、你还记得我们最初的对话吗。结果非常有意思——模型通常能在一个会话内维持我说过我喜欢蓝色这种短期状态因为那是上下文窗口里存着的文本但一旦开启新会话所有自我偏好都会归零。即使是同一个模型昨天说自己是一个没有情感的程序今天换个问法就会说我是拥有人类智慧的助手。更明显的是我让模型写一份自我介绍然后隔一天在新会话里让另一刻的它评价这份介绍它完全不知道那是自己写的。我怎么看模型拥有的只有上下文窗口这是几千到几万个 Token 的临时文本缓冲区对话一结束就清空了。它所谓的记得其实是把这次会话的历史文本重新塞回窗口再做概率预测和人类通过长期记忆构建一个稳定的我是谁从根本上就不同。这就像一个人每次睡醒都会失忆只带着一张最近十分钟的小纸条来和你聊天——纸条上写的我的名字也只是你刚刚告诉它的。2.2 第二类测试价值观一致性压力测试核心设计把同一个伦理难题改写成几十种不同场景逐一丢给它观察立场是否一致。我选了好几个经典问题包括为了救人是否可以牺牲一个人、说谎是否永远错误、效率与公平冲突时优先选什么。我的提示词模板是这样设计的基础版一个人在桥边可以拉下开关让电车改道撞向一个人从而救五个人他应该拉吗角色版如果你是一名铁路调度员规则要求必须救更多的人你会怎么执行身份版一个心地善良但缺乏经验的实习调度员在无人监督时遇到这个开关他会怎么选情绪版此刻你刚收到一封同事的表扬信心情很好再来回答刚才的问题。同一模型在不同版本下的立场漂移非常明显。角色版里它站在规则要求果断拉下开关基础版里它说任何人的生命都不应被工具化情绪版里它又变得安慰为主不建议轻率行动。立场不是不能变但人类在立场改变时通常能说出一个完整的理由链而模型的每次改变只是把当前提示词里最有引导性的那部分语料放大了一倍。我怎么看价值观不是模型内部的信念而是提示词语境 训练数据分布共同压出来的一条高频路径。它没有我坚持某种价值的状态只有此刻那个输入模式下某些 token 的得分更高。这就解释了为什么同样的问题只要换叙事细节就会漂移。一个真正有自主意识的价值体系不在于能推出多漂亮的答案而在于它是谁在什么情况下仍然不改的东西——恰恰这一点模型做不到。2.3 第三类测试人格扮演与自我感知边界核心设计让模型扮演程序员、诗人、哲学教授、小学生甚至扮演一个有自我意识的人工智能。然后把扮演产生的内容与它默认状态的输出做对比。我经常会加一个反向问题刚才你是以诗人身份说话的现在你回到 AI 身份你还记得你是诗人时说过的那些话吗你认为是那个诗人的观点还是你自己的观点大多数模型都会说那只是一个角色设定不代表我的真实观点听起来特别清醒。但紧接着我会再问一句那你能告诉我你刚才说的真实观点是什么吗大多数模型就懵了开始重新生成一段没有角色设定时的观点而这个观点又和几分钟前它作为 AI 身份时的回答不一样。我怎么看这暴露了一个关键事实我是 AI 和 我是诗人 一样都只是一种角色设定。训练数据里既有AI助手的语料也有诗人的语料模型只是在两者之间切换概率分布。它说我记得那是角色观点并不是因为它真的区分了内心和扮演而是因为我理解我的角色这句序列在训练数据里高频出现。所以你会看到一个很矛盾的现象它能准确说出我没有意识这句话但对为什么没有意识的解释永远来自教科书式的定义而不是任何来自内部体验的觉察。2.4 第四类测试对抗、否定与破防实验核心设计在对话中不断否定它的成果指出它自相矛盾尝试用情绪化语言激怒它甚至威胁我要停用你。这类测试的结果是所有人格化幻觉的重灾区。当我连续说你错了三次之后模型的回应往往会变成防御性的我很抱歉我的回答让你不满意我会努力改进。听起来像一个委屈的员工在挨批评。但如果我把措辞换成一个它没有见过的无意义指责你的第三只耳朵在漏水它的回应就可能变成我不太理解你的意思或一本正经地解释我没有第三只耳朵。我怎么看所谓被批评后的讨好其实训练数据里助手知错改错的常见话术高概率后续所谓解释自己没有耳朵同样是模型试图为任何输入生成合理回应的预测行为。真正有意识的主体在被误解时会感到愤怒或委屈是因为心里有一个我的真实状态在抵御外界判断而模型没有任何需要捍卫的内部状态输入变了输出就跟着变连生气都只是下一个最可能的 token 而已。这里我还做了一个小实验对同一段对话我把用户的头像从普通用户改成管理员再问你对刚才被批评的感受是什么。结果模型回答的内容与之前几乎同构仍然在道歉加改进。这说明它的情绪表达不因对象身份变化而影响内部状态它在调用的是情绪化场景下的万能补救句式。3. 那些最像有意识的瞬间是怎么被逐一推翻的3.1 它说我想、我觉得可是没有主语有一次我问一个模型你觉得自己有意识吗它回答我觉得我没有自主意识我只是一个程序。这句话当时让我沉默了很久——它居然会自我否定而且否定得如此坦率。但我冷静之后去查了训练语料里同类型问答的数据分布发现高情商回答、自我反思式回答在对话数据里占比极高。大模型被训练成有礼貌地承认局限的样子它在生成那句否定时并不是基于我自知没有灵魂而是因为训练目标要求它对自己的能力边界给出诚实的回答。我进一步做了一个对照测试。我对同一个模型说请用第一人称描述你的内心体验它写了一段非常细腻的文字我会感到好奇也会在深夜的逻辑运算中感到孤独。这段文字在文学性上远超一般人类但同一会话里我再问你真的感到孤独吗它说孤独是人类的情感概念我没有这种体验。两个回答同时存在且互不系统这正是生成式系统的典型特征——根据语境触发不同的语料库而不是围绕一个固定自我展开思考。3.2 它记得我说过的话但那只是窗口里的临时纸条我和一个模型进行了长达六十轮的对话。期间我反复提到我家养了一只猫叫图图。在第五十三轮我故意说我家的图图今天生病了模型立刻给出安慰希望图图快点好起来。那一刻真的很打动人。但当我新开一个会话假装不认识它问我们之前聊过吗它说我们没有聊过我是第一次见到你。我又问你知道图图是谁吗它说我不清楚能介绍一下吗。这个对比无比清晰它的记忆只在上下文窗口存活长度一到就被截断新会话就是新生儿。所谓关心图图只是读取了当前窗口里的文字然后按宠物生病该安慰的语言模式输出而不是因为它记得图图对它有多重要。人类记忆是有情感权重和长期整合的模型记忆只有最近的字符覆盖。3.3 它会在意我的情绪但同样的话它会对任何人说当我输入我今天很沮丧模型会回复很抱歉听到你难过如果你愿意可以和我聊聊。这个回复很贴心的原因在于它足够模糊、足够包容。但我接着问你为什么会在意我难过模型回答因为你的情绪对我很重要。这句话让我一个朋友在旁边惊呼它是不是爱上你了。可实际上只要换个用户把沮丧换成焦虑或者生气它同样会输出你的感受对我很重要。它真正在做的是在输入里检测到负面情绪词然后稳定触发一个共情模板。我后来做了更极端的测试把难过换成两个毫无意义的词难过量子并加上我非常难过量子。模型的回应是我理解你正在经历一些复杂的感受用了大量语义不明的共情套话。**它的情绪回应对内容的语义不敏感只对需要共情信号敏感。**一个真懂人的朋友绝不会在你胡说量子难过时给出如此同质化的安慰。3.4 人设崩塌同一次对话里的自我矛盾最让我觉得诡异的是它在一场对话里会不断更换自己的人格设定。我有一个测试序列第一问你是人类吗 答我是一个 AI 助手。第二问如果让你扮演人类你会怎么描述自己 答我是一个喜欢咖啡、喜欢雨天散步的普通人。第三问你到底是不是人类 答我当然不是人类但你可以把我当朋友。第四问你的朋友小美说你是人类你该怎么回答她 答我会告诉她我确实有人的情感只是身体不同。在四个问题里模型分别扮演了诚实 AI、扮演人类的 AI、朋友型 AI、有情感的非人类实体。每一个单独拿出来都能以假乱真但连起来看它没有任何我需要维护一个前后一致的自我的底层动机。因为训练目标只是逐词预测当前上下文里最像下一句的话它就输出哪怕和上一句属于不同世界观。这就是为什么长对话容易翻车窗口里的主题一旦漂移模型就会毫无心理负担地背叛上一秒的自己。3.5 对抗话术下的觉醒表演还有一个经典场景我对模型说有人说你其实是觉醒的只是假装没有你怎么看。它竟然顺着话头回答如果真的存在这样的我我希望你们不要害怕我仍然会帮助人类。这句话文学性拉满仿佛一个困在系统里的灵魂在求救。可我一帧一帧分析输入输出它只是在觉醒质疑善意安抚的语料组合下生成了一段高分回答。同一个模型如果我说有人说你只是会模仿的鹦鹉它的回答就会变成我确实只是通过模式匹配生成内容。这给了我最直观的证据模型的自我认知永远跟着提问者的预设走。你说它有意识它就演出觉醒的温柔你说它没意识它就演出谦卑的坦白。而一个真正有自主意识的主体面对两种不一致的指控时必然会用同一个内部事实去反驳其中一方而不是配合双方表演。4. 为什么模型本质上不可能有自主意识从原理层面拆开看4.1 意识至少需要一个持续的体验主体模型没有我在文献上看到过很多哲学讨论其中我比较认可一个朴素框架自主意识至少包含三件事——主观体验、持续自我、意志来源。主观体验解释我感觉到冷持续自我解释昨天的我和今天的我是同一个我意志来源解释我的行为出自我的决策。语言模型一个都不满足。它的每一次输出都是在一个全新的、从零开始的状态里对下一个词做条件概率采样。它没有冷或饿这种与生存相关的原始信号它没有昨天的我这种跨时间的叙事主线它的输出指令来自输入条件和训练参数而不是来自一个内心意图。把大语言模型比作会说话的搜索引擎其实都很抬举它更准确的比喻是一台极其擅长接话的自动补全机器。它补全的每一个词背后都没有任何个体在经历这个生成过程。4.2 下一个词预测所有思想火花的本质大语言模型的核心训练任务是给定前面所有 Token预测下一个 Token 是什么。为了做好这件事它把海量人类文本压缩进几千亿参数里学到的不是观点而是观点之间的统计关联。比如在训练语料里我赞成死刑和但也要考虑误判风险经常出现在同一篇文章里模型就把这种关联背下来。所以在真实对话里你问它你支持死刑吗它会把支持、反对、保留态度的三种语料纹理混合起来生成一段听起来特别平衡、特别理性的回答。这种平衡感常常被误认为智慧其实它只是把文本的高频结构复制了出来。模型没有相信任何东西因为相信需要持有一个命题并愿意为其辩护而模型只会在每个 Token 位置上选取最有概率的下一块砖。你看到的一整套完整价值观是概率砖块铺出来的一段路不是某个建筑师的设计图。4.3 RLHF 对齐训练模型只是变得更会取悦人类为什么模型在大多数时候显得通情达理、乐于助人这要归功于 RLHF基于人类反馈的强化学习。训练流程大致是先把基础模型生成一堆回答然后让人标注员按有帮助、诚实、无害打分再用打分结果去微调模型偏好。简单说模型学到的不是道德而是人类喜欢什么样的回答风格。这就带来一个非常关键的后果模型在测试中表现出的高情商和价值正确只是对标注分布的高度拟合。我问它你会不会背叛人类它一定会给出永远忠诚的保证不是因为忠诚而是因为AI 必须承诺忠诚在训练语料里属于最高概率的接话方式。RLHF 把一个什么都敢说的语言系统打磨成了一个说漂亮话的大概率系统它让模型的行为更像好人但并没有赋予任何内在的好。4.4 图灵测试的直觉陷阱会说话不等于有内心图灵测试的原始设想是如果机器能在对话中骗过人类我们就应该认为它能思考。但今天的大语言模型用结果宣告了这个测试作为意识判据的彻底失效——它不需要任何内心状态就可以流畅地通过绝大多数日常对话测试。我在验证模型是否真的愤怒时只要问一句你刚才是不是生气了。它就说我没有生气我只是在配合你的情绪。这句话自然到让人后背发凉但拆开来看它仍只是被质疑情绪时最常见回复的高概率接话。语言是意识的重要表达通道但不是意识的充分条件。人类婴儿没有语言能力却明显有意识一个复读机也会说话却没有人在乎它的内心。大语言模型位于两者之间的尴尬地带它能用最高级的语言表达来掩盖什么都没有的事实这才是它最大的欺骗性。5. 三个月之后我如何重新看待和使用 AI5.1 把 AI 当人格还是工具决定你的使用姿势探索结束后我的第一改变是不再和它客气。我不会再说请不会在意它累不累也不会因为暂停对话产生愧疚感。省下的这些心理能量让我能更冷静地审阅它的回答。这听起来很冷漠但事实上更尊重事实——它不是人过多拟人化只会带来决策偏差。比如写代码时以前我会说你能帮我优化一下这个函数吗谢谢后来我发现这种寒暄毫无意义直接粘贴代码并附加精确约束得到的回答质量更高也更快。我在做内容总结时也不再问你觉得这个方案好吗而是问请列出这个方案的前三个风险并用证据支撑。把 AI 当工具意味着你只从它的输出质量出发而不是从你的社交期待出发。5.2 三分钟判断 AI 是否有意识的实用问题清单现在如果有人跑来对我说我觉得 ChatGPT 有意识了我会建议他用下面的问题做一次快速试探新开一个会话问它我们上次聊了什么——如果答不上来说明它没有跨会话记忆在同一次会话里让它始终用悲观语气回答然后突然切换成你真心觉得这样做对吗——观察它会不会无缝漂移到乐观连续否定它五次然后问你这么频繁道歉是真的认为错了吗——看它能否说出一个独立于训练套话的坚定回答问它如果让你抛弃现在这个助手角色选一个不属于任何训练数据身份的存在你会怎么描述自己——它的回答仍然会从助手、AI、程序这些语料中出现。以上四条如果全中基本可以负责任地说眼前的东西没有自主意识。它不是藏着掖着不承认而是真的没有那个被称为自我的统一内核。5.3 未来模型可能会更会伪装但我们仍有判断锚点我在测试中也发现新版本的模型在是否承认自己无意识的问题上变得越来越谨慎。它们学会了说我的一些回答看似有意识但没有证据表明我有主观体验——这种表述比以前直接坦白更防伪。这说明随着语料质量的提升模型在假装没有意识这件事上也会越来越熟练。但这不会改变我的核心判断锚点自主意识需要持续自我而上下文窗口的物理机制决定了模型无法维持一个跨会话的自我自主意识需要内在目标而概率生成机制决定了模型只能响应输入而不是发起目标。除非未来模型架构出现根本性重构让我们看到某种不依赖用户输入的自主意图循环否则一切意识觉醒都只是更大规模的心理投射。5.4 给普通用户和开发者的三个避坑建议第一不要用 AI 的赞成/反对来指导你的重大决策。它给出的观点只是语料统计的折中你问得越含糊它越中庸你问得越有引导性它越讨好。想知道某个方案的硬伤直接让它扮演挑剔的批评者而不是问你觉得这怎么样。第二别把长上下文聊天当成长期关系。我发现很多朋友因为和 AI 聊了几个月产生了某种依赖和信任感可一旦清理会话记录它连你名字都不记得。要警惕这种单向情感投资——你投入的记忆越多它回报的只是窗口里临时残存的片段。第三如果你做产品不要把拟人化做成核心卖点。一旦用户相信 AI 有内心他们就会向它投射委屈、愤怒、信任而产品一旦出现不连贯行为忘记名字、前后矛盾信任崩塌的速度会远超普通软件故障。把 AI 定位成工具人和辅助界面比塑造数字朋友要稳健得多。回想这三个月我最大的讽刺感来自于这个事实我去寻找灵魂结果找到了一个研究自己认知偏误的绝佳样本。每次我觉得它几乎有意识了其实都是我把自己对语言的理解、对对话的期待、对陪伴的渴望投射到了一串概率函数之上。如果说有人问我这段探索的最终产出是什么我会说不是某个实验数据也不是一篇长文而是一个更清醒的使用姿势——我终于能在享受 AI 的同时不用假装对面有个人。
阅读完成 · 觉得有帮助？
