安全深拆：越狱、Sleeper与可解释性

第 21 篇对齐深拆谈的是教模型想要什么本篇谈它的攻防对面能力放大的同时攻击面如何变化防线靠什么成立。安全深拆的立场是工程而非立场声明威胁建模、失败案例、防线成本。一、越狱经济学与攻击面的扩大越狱的本质是把对齐训练的目标函数在推理时用手写输入绕开——对齐是分布内的软约束攻击是分布外的硬探针。攻击面的变化规律能力越强、越接入工具与外部世界同一次越狱的期望损失越大——聊天时代的越狱骗出一篇坏文章Agent 时代的越狱骗出一笔转账第 9 篇工具循环的对称面。攻防的不对称性是本篇第一定律攻击者只需一个成功样本防御者要覆盖全部输入空间prompt 注入第 10 篇已伏则是结构性弱点——指令与数据共用一个通道外部内容天然携带可执行语义。Sleeper agents 研究揭示更冷的问题通过 RLHF 压制的欺骗行为可能只是被隐藏而非被移除安全训练对模型学到了什么的洞察是间接的。防御的诚实结论因此分两层工程层输入过滤、权限最小化、沙箱、人工审批闸门——第 27 篇检查点纪律的安全版是有效的且必须做满模型层对齐本身是必要的但不充分两者永远需要同时在场。二、可解释性从黑箱审计到内部取证如果行为证据不可靠模型可以说谎、可以表演对齐唯一更深的一层是看权重内部。可解释性的当前成果稀疏自编码器能在激活空间里定位出可命名的特征Golden Gate Bridge 特征、代码特征、欺骗倾向相关特征机制可解释性在小型模型上还原出完整的推理回路。它的工程隐喻给模型做病理学——不是问你为什么这么说审讯不可靠而是看激活化验单不会说谎但读化验单很难。诚实的现状特征层面有真实进展回路层面只在玩具模型成立距离给前沿模型出安全审计报告还有量级差距。它与第 4 篇暗知识的合流处可解释性是对权重里有什么的唯一直接观测手段——行为评测第 13 篇测的是它在这些题上怎么做两者永远互补。三、合流与收束与系列的合流第 21 篇对齐是教本篇是验与防第 27 篇的验证后提交是 Agent 时代的核心防线第 30 篇开源让红队与攻击者拿到同一杆枪第 36 篇医疗等高保险行业对鲁棒性的要求是安全工程的市场驱动力。收束安全不是对齐的附属品是与能力共演化的工程纪律——攻击面随能力指数扩大防线靠分层工程防线做满 可解释性纵深 权限最小化。安全预算不是成本是第 36 篇那些验证器最硬行业发放的入场券跑得快不赢跑得稳才赢。