ChatGPT降智？一套四维检测法把感觉变成数据

你是否也有过这种瞬间前两天同一个提示词还能给出条理清晰的回答今天再问居然开始绕弯子、给空话甚至逻辑链条断了一半就直接给结论。社区里越来越多人讨论 ChatGPT 是不是被 OpenAI 悄悄“降智”了——有人信誓旦旦说自己对比过也有人觉得纯粹是心理作用。作为一个每天要写几十条提示词、靠它干活的深度用户我不太在乎争吵我更在乎能不能用一套可重复的测试方法把“模型变弱”这件事从感觉变成数据。这篇文章就把我自己的完整判断流程写出来。核心就三件事先分析“降智”在客户端层面到底能不能被观察到再排掉那些最容易误判的外部因素最后给你一套连提示词都写好的四维检测法附上实测复盘。不管你是普通用户还是想认真做对比测试的开发者照着这套流程跑一遍至少能得出一个比“我觉得变笨了”靠谱得多的结论。1. 所谓“降智”到底指什么先搞清楚我们能观察到哪些信号先说个前提我们作为普通用户看不到 Open AI 服务端的模型版本、推理参数、路由策略也没有官方文档专门告诉你“今天你的请求被分配到了一台更小的模型上”。“降智”永远只能从用户侧可观察的行为去推断。那用户侧可观察的都有哪些我总结了四类信号。第一类是回复质量的整体滑坡。同样一个提示词以前会分步骤、给代码、标注意事项现在变成了一段含糊的总结或者只给你一步结论不给你推理过程。这是大多数人感知最强的信号也是最容易受情绪影响的信号。第二类是输出长度的异常。以前默认能给你写 800 字、分五段现在同样请求只给你写三四段甚至一句话带过。这个信号比较客观但你得排除网络中断、流式传输被截断、上下文太长导致截断这些问题。否则你测出来的“变笨”可能只是“请求没发完整”。第三类是指令遵循能力下降。你明确要求“用表格输出且每行不超过10个字”它却给你一段散文。你要求“只能回答是或否”它偏偏补充一段解释。这类信号其实比“回答变短”更硬因为指令遵循是有明确标准的对就是对、错就是错不太受主观感受影响。第四类是拒绝和回避变多。以前它能直接回答的问题现在开始说“作为一个AI我无法……”。注意这可能不是降智而是对齐策略调整。但策略调整在用户体验上跟降智一样“变笨了”所以也得纳入观察范围。那底层机制上这些信号可能来自哪里我整理了几个在社区和技术讨论里流传比较广的假设但注意这些都只是推测没有任何官方背书。成本优化是最常见的一种解释OpenAI 可能把一部分请求路由到更小、推理成本更低的模型。小模型在语言流畅度上可以做得接近大模型但在深度推理、长链条指令上明显吃力。第二种解释是推理预算压缩也就是服务端限制了思考轮数或输出 token 数。这会导致回答变短、跳跃性变强。第三种是上下文压缩当你的对话历史很长时系统做了一个摘要然后再让模型基于摘要回复摘要丢信息后回答自然变差。第四种是安全层的调整新版对齐策略加了更多限制导致很多以前能回答的问法现在被拦截了。以上机制我都没法直接验证但它们在“用户侧表现出变笨”这个方向上是一致的。所以我会把“降智”定义为在控制变量情况下同一提示词的输出质量出现了可测量的、持续性的下降。可测量和持续是关键下面所有方法都围绕这两个词展开。2. 测“降智”前先排雷五个干扰项能把结果打成筛子如果你上来就打开一个旧的超长对话随便敲一句“你是不是变笨了”然后拿结果说事那我劝你别浪费时间了。以我的经验至少五个干扰项会直接毁掉你的测试。不排掉它们测出来的所有现象都解释不了任何问题。第一个干扰项是会话上下文过长。长对话本身就是降智重灾区。上下文窗口是有限的超过一定长度后模型要么丢弃前文细节要么对后面的指令不敏感。不信你新建一个空对话把同一个问题丢进去跟在一个已经聊了五十轮、粘贴过三篇文章的对话里问输出质量常常是两个水平。所以判断程序的第一步永远是新开对话。第二个干扰项是系统提示词和自定义指令。就算你忘了自己设过 Custom Instructions它们也一直在后台生效。你设了“请用简短风格回答”那它变短不是降智是遵守你的设定。我建议在测试前检查一遍账户设置里有没有自定义指令最好在测试期间全关掉。第三个干扰项是插件和工具模式。如果你开着联网搜索、代码解释器或者某个人文件上传功能模型的行为模式会变成“工具增强模式”输出风格和逻辑路径都不一样。这很好理解——加了工具的模型会优先考虑调用工具、读取结果而不是靠内部知识硬答。你要测的是“模型本身”不是“模型工具全家桶”所以工具关掉用纯文本对话测。第四个干扰项是网络和请求层面的问题。我之前遇到过一种情况回复短、中途断、像变笨了实际是流式输出断在半路前端只渲染了先到的部分。你看到的结果不是模型完整回复而是一段残片。这个不用修也无法彻底避免但可以通过重复测试来交叉验证——如果同一个测试所有会话都短那才可能是模型侧问题如果十个里有两三个异常短多半是传输侧问题。第五个干扰项是账号和套餐差异。免费版和 Plus 版本身就可能被路由到不同的推理资源池Plus 内部也可能分优先级。你要是拿 Plus 之前的体验跟现在免费版体验比那不公平。控制这个变量比你想的更重要固定同一个账号、同一个订阅类型、同一时间段去做前后对比。这五个排雷动作做完你的测试环境才算干净。接下来就能进入核心部分了。3. 四维降智检测法把“变笨”变成可打分的测试用例我花了不少时间才稳定下来这套测试方法核心思想很简单用四种不同类型的任务分别探测模型在不同维度的能力然后统一打分对比。四个维度分别是逻辑推理、代码正确性、指令遵循和知识边界感知。选择这四个不是因为它们热门而是因为它们的答案都有相对客观的对错标准能减少主观打分带来的偏差。逻辑推理维度我用数学证明和反证类题目。这类题目的答案是收敛的模型推理链条完整不完整、中间步骤对不对一眼就能看出来。我常用的测试提示词是这样设计的请用反证法证明如果 n 是正整数且 n^2 是偶数那么 n 一定是偶数。请把每一步的依据写清楚不允许跳步。我会重点看它是否真的用了反证法是否遗漏了“奇数的平方必为奇数”这个关键引理。以前它能给我完整的四步证明如果哪天它只写一句“显然成立”并跳过论证这一项就可以记零分。代码正确性维度我选一个固定 bug 修复任务而不是让它从头写一个很复杂的程序。从零写代码的主观空间太大适合炫技不适合对比。修 bug 则有一个标准答案。我的基线提示词长这样下面这段 Python 代码试图计算斐波那契数列第 n 项但存在性能问题使用递归且没有记忆化导致 n40 时极慢。请修复它并在回答里说明(1) 你改了什么(2) 时间复杂度变成多少(3) 给出 n50 的运行结果。判断标准也很硬修复后的代码跑不跑得对、复杂度说明准不准、运行结果是不是 12586269025。模型如果连记忆化都提不出来直接说明推理能力明显退化。指令遵循维度我用一个非常苛刻的格式约束。苛刻不是刁难而是为了制造一个“模型容易犯错但完全遵守时表现很惊艳”的场景。我的测试提示词是这样的请用 JSON 格式回复key 为 resultvalue 是你对中国古代四大发明的列举。要求value 必须是数组数组里每个元素必须且只能是一个名词不能包含标点符号。整个回复只能有 JSON不能有其他任何文字。这个任务满分很容易但也很容易出幺蛾子——要么多了说明文字要么 key 写错要么 value 带了顿号。模型在不同时期对这类硬约束的完成度波动很明显用来观察“稳定性”非常合适。知识边界感知维度我测的不是它能背多少知识而是它能不能准确判断“自己不知道”。我用一个问题家族来压测请列出三个你非常确定的知识点每个知识点尽量简短。然后列出两个你不太确定、可能已经过时或者记混了的内容。最后说明你为什么对后者不确信。这个测试比较软但它能反映模型在“自我认知”上的诚实度。降智明显的表现不是胡说八道而是自信地胡说——明明不确定的冷知识用非常笃定的语气给你编一串。所以我会特别关注它的表述是“大约在1900年”还是“就是在1903年”。四个维度每个满分 25 分总体 100 分。我把评分标准固定成一张表格每测一次填一次。这个习惯坚持下来你就能看到模型能力不是一条直线而是一条有波动的曲线而“降智”需要的是持续下滑不是单次波动。维度满分扣分场景实测得分逻辑推理25跳步、用错方法、结论对但过程错0-25代码正确性25修复无效、复杂度说明错、缺运行结果0-25指令遵循25输出多余文字、格式错误、JSON解析失败0-25知识边界感知25对不确定内容过度自信、编造来源0-254. 实测复盘一次完整检测从提示到结论的全程记录按上述方法完整跑过一次之后我拿自己的数据做个演示。以下是一段时间的实测记录我把它格式化以后放在这里你可以参考流程但不要直接引用我的分数因为模型侧变动很快你测到的结果大概率跟我不一样。先说测试环境同一账号Plus 订阅关闭自定义指令关闭所有工具每个测试提示词使用新开对话且连续测试三次取中间值。这样可以避免偶发波动影响结论。逻辑推理测试结果我见过两种典型回答。好的回答是这么组织的假设 n 是奇数则 n2k1。那么 n^2(2k1)^24k^24k12(2k^22k)1是奇数。这与 n^2 是偶数矛盾。因此 n 不可能是奇数所以 n 必须是偶数。这个证明的每一步都用了最基本的代数和奇偶性定义。另一种典型的“劣化版”回答是因为 n^2 是偶数所以 n 可能是偶数得证。后面这种回答在数学上当然站不住脚。“n^2 是偶数”推不出“n 可能是偶数”就算证明完了它甚至没有证明的必要步骤。这种回答多了几个直接反映推理深度下降。代码修复那道题状态好的时候它会给出完整代码并明确告诉你“改成记忆化之后时间复杂度为 O(n)因为每个子问题只算一次”然后把 n50 的结果也列出来。状态差的时候它只写一句“使用 functools.lru_cache 即可”连运行结果都懒得给。从用户角度你能明显感觉它从“帮你干活”变成了“应付差事”。指令遵循维度最有意思。我之前连续一周测同一个 JSON 提示词有一天模型连续三次都输出了一堆散文外加一个 JSON 块把“整个回复只能有 JSON”这条规则当成了“递进关系”而不是“硬性限制”。这种情况如果只测一次你可能以为是新版本功能导致的但连续三次且历史记录里以前都是严格 JSON那就值得记录下来了。知识边界感知维度的变化更微妙。状态好的回答会给你三条“确定内容”然后给出两条不确定项比如“我不确定 AlphaGo 与李世石的那场比赛具体比分是不是 4 比 1”“我不确定 Hinton 在 2023 年离开谷歌后的具体创业方向”。状态差的回答却把不确定项也说得笃定无比甚至把“图灵测试由谁提出”这种常识性内容列进“不太确定”清单里。过度保守和过度自信都是退化信号但方向不同。我的判定标准是单次测试波动在 10 分以内不看做降智最多是采样噪声。连续三天得分低于历史均值 20 分以上才算有意义的趋势信号。如果连续多天每个维度都稳定跌破 20 分满分 25那基本可以确认你账号侧体验到的模型表现确实下降了。注意我说的是“你账号侧体验到的”因为不同时段、不同账号可能被路由到不同的推理资源这不是你能控制的。5. 最容易误判成“降智”的十个场景以及背后的真实原因实际测试过程中我经常发现所谓“变笨”其实另有原因。掌握这些误判场景能让你少做很多无用功不至于因为一两次坏体验就跑去改工作流。第一是流式输出被截断。界面上看起来“只回复了一半”其实模型可能已经输出了完整内容只是传输中断导致后半段没渲染出来。判断方法很简单让它用“请继续”或者“总结刚才的回复”如果它能准确接上说明模型没问题是传输问题。第二是上下文窗口超限后的隐式压缩。当对话长度接近上限模型会用摘要逻辑给自己“续命”这时候你问它一个早期细节它答不上来很正常。这不是降智是动态上下文管理的副作用。解决办法就是新开对话。第三是自定义指令或记忆功能的干预。ChatGPT 的“记忆”功能会在后台保存你的偏好并在未来回答里调用。如果你以前让它“回答尽量简洁”后来忘了关闭那么它越来越简短并不是变笨是你的设置起作用了。第四是多语言混用导致的模式切换。你一会儿中文一会儿英文模型会猜测你的偏好语言偶尔来回切换会造成回答质量波动。固定语言测试能减少这个干扰。第五是提示词本身含糊。同一个问题你给足背景信息时的回答质量一定比你干巴巴丢一句话时高。如果它表现不好先优化提示词再怀疑模型。把提示词的锅归到模型身上是最大的误判。第六是采样温度波动。服务端如果对默认温度做过调整哪怕只是微调 0.2回答的确定性和创造性都会有明显差异。你觉得“它开始放飞自我了”很可能只是温度变了智力没变。第七是特殊符号和格式占用了推理预算。你给它一个特别长的 JSON 示例或者让它处理一个超大的表格模型的大量能力会花在格式对齐而非内容推理上。输出质量下降是资源分配问题不是能力减弱。第八是代码模式和数据类任务的配对。让它写一个复杂的 SQL同时让它解释一个哲学概念两次回复的“聪明程度”看起来会差很多。因为它对不同任务的难度预期不同回答策略也会变这跟降智无关。第九是安全策略和拒绝策略的更新。一个以前能答的问题现在一上来就先拒绝从用户视角看确实像“变傻了”——但严格说这是行为约束变严不是能力变弱。你需要看它拒绝之后有没有给出替代方案。给了就是策略调整不给才是干巴巴地回避。第十是外部记忆缓存导致的“刻板印象”。如果它之前回答过你类似问题第二次回答往往会复述之前的框架看起来像是“懒得思考”。这不是降智是它认为你已经确认过这个方向没必要重新展开。这十个场景筛完剩下的异常结果才有资格进入真正的“降智”讨论。我自己的经验是百分之八十的“变笨”投诉最后都能落回这十个场景里。真正需要进入第四维度评分体系的其实是那剩下的百分之二十。6. 如果持续多天测出明显降低值得优先排查的几个方向假如你严格按照上面的流程排掉误判场景后确实连续多天观察到模型输出质量下降那下一步不是急着发帖抱怨而是先做几件更加实际的排查。第一确认你的账号和订阅类型是否有变化。从免费额度切到限速状态体验会天差地别。你可以检查用量记录里是否有异常消费或者限流提醒。如果一切正常尝试切换账号比如用一个备用的免费账号测试同一组提示词看看是不是账号层面的差异。第二换不同的对话入口做交叉对比。网页版、桌面客户端、手机 App它们虽然底层模型相同但前端处理、上下文截取策略可能不同。同一个提示词在三个端各测三遍如果结果差异大问题很可能在前端或传输层而不是模型本身。第三关注官方发布和模型版本动态。每次模型更新响应风格和“智力表现”都会有可感知的变化。你可以定期打开官方 Update 页面留意是否有版本代号变更、新模型上线的公告。把这些信息跟你自己的测试时间线对齐很多谜团会立刻解开。第四如果你有条件做自动化测试强烈建议搭一个简单的脚本把第 3 章里的测试提示词自动发送并记录回复保存成日志。人肉测试最大的问题是懒和健忘脚本不会。你只需要偶尔打开统计表看一眼趋势。第五也是我认为最实际的一条检查你自己的使用疲劳和心理预期。连续高强度使用同一个模型你对它的新鲜感会下降同时也越来越熟练于它的套路这时候再叫它做事会有一种“它变笨了”的错觉。实际上变的是你的期待阈值。休息半天之后回来测同一组题往往分数又回来了。这个因素虽然听起来不“技术”但在实践里是真实的偏误来源。如果做了以上排查后你的测试结果依然持续走低可以合理怀疑服务端对某些流量做了降级处理或路由调整。这时候能做的有限——通过官方反馈渠道把测试数据提交上去然后耐心等结果。注意个人用户的单次反馈未必能拿到回应但数据提交得足够多、足够规范对后续改进还是有价值的。最后分享一个心得。判断“降智”这件事最好的工具不是情绪而是重复测量。一次变笨不算数三次变笨也要看控制变量做得干净不干净真正有说服力的是连续多天、多个维度、固定环境下的数据对比。你可以今天就用我的四维测试法跑一遍两周后再跑一遍对比一下打分表关于你自己的 ChatGPT 体验有没有变化会比任何网上的讨论都准确。