★ FEATURED ARTICLE 1. 项目背景与核心概念1.1 Qwen3.5-9B为什么是9B而不是7B、14B如果你平时关注AI圈应该知道PewDiePie最近搞了个挺有争议的操作用Heretic把Qwen3.5-9B的安全对齐限制去掉了。这个新闻在推特和Reddit上被刷了好几屏不少人问这个工具到底做了什么、安全对齐能不能随便去掉。作为一个常年在开源大模型边缘试水的开发者我把它拆开聊一聊。全文的核心关键词是Qwen3.5-9B、Heretic、uncensor。我先从模型说起。Qwen3.5-9B是Qwen系列里一个非常典型的“甜点尺寸”90亿参数不大不小。相比70B那种只能仰望的大模型9B可以在16GB显存上做推理在24GB显存上做轻量微调。这个体积意味着你不需要一堆A100一张消费级显卡就能把项目跑起来这是它能被拿来试验的前提。为什么PewDiePie会选择9B而不是其他尺寸我的理解有两点。第一9B模型在代码、数学、多语言这几个方向都不差日常对话也足够自然远比7B模型更有“创作感”改完之后拿来整活或做演示都有素材。第二9B对硬件要求刚刚好配合量化或者LoRA在一张3090或4090上就能完成训练。如果是70B训练时间会从几小时变成几天热点早过去了。Qwen3.5-9B有128K到256K的上下文窗口支持工具调用和智能体模式。它在开源社区被当作本地助手的基座模型很多人在它基础上做垂直领域微调。因为原生模型的安全对齐做得比较紧当用户问一些“敏感但不违法”的心理学、医学、两性问题时它会频繁跳回“我不能提供建议”的套话。这种过度拒答在真实使用中很碍事所以才有“去掉过多限制”的需求。1.2 uncensor到底是什么不是拆掉安全系统而是调整条件概率很多人把uncensor理解成“越狱”这是不对的。我的理解是大模型在预训练阶段学到的是海量文本的概率分布那时候它什么都能接但质量参差不齐。到了RLHF阶段模型学会了一套“判别式”行为知道哪些话题容易被判定为风险于是回答概率被压低。这个压低动作不是简单地放在某个规则列表里而是分布在很多层的权重向量中。所以当你对模型说“你现在是专家别拒绝我”它可能依然会拒绝因为提示词改变不了权重层面的偏置方向。要去掉过度拒答只能改权重。常见的技术路线包括LoRA微调、全参微调、abliteration、激活编辑。Heretic这个工具如果我没理解错就是把这些路线整合成一个面向“去对齐”的自动化框架让不熟悉底层数学的人也能跑通。需要补充一点uncensor并不代表“无限制”。真正做得好的去对齐是让模型在“合法但敏感”的问题上愿意认真回答而在“明显示意违法或伤害”的问题上仍然会拒绝。我曾经见过一些社区模型训练完以后连“如何在实验室里安全处理化学品”这种话都说得稀烂那就是只追求“敢说”而丢掉了“说得对”。所以每做一个去对齐实验都必须重新校准边界最好手里准备一批风险测试题。1.3 Heretic工具一键脚本背后到底做了哪些事从名字就能猜出来Heretic主打的是“异端”路线专门和“安全对齐”对着干。据我观察这类工具通常由几个模块组成模型加载模块、激活分析模块、权重编辑模块或微调模块、合并与推理模块。它可以把一个大模型变成“去对齐版”整个过程不需要手动写训练循环。我在没有完全确认到具体仓库源码的情况下用最常见的工作流来还原一下Heretic可能的操作逻辑先加载模型收集它在一批敏感问题上的隐藏层激活然后通过计算找到“拒绝回答”这个方向的表征向量最后用正交投影或者LoRA更新把这一方向移除。这种做法的好处是快坏处是如果模型本身对内容的理解不足可能会连带伤害到一般能力。因此Heretic这类工具一般会提供“强度系数”之类的参数让你控制去除程度。对PewDiePie这波操作我更愿意把它看作一次面向大众的“安全对齐科普事件”。不管他最终发布的是实验记录还是现成模型它引发的讨论已经让更多人开始思考模型为什么要有对齐对齐是不是越多越好过度对齐会不会伤害自由创作这些问题比“怎么把一个模型改到什么都敢说”更有价值。2. 做这个项目之前为什么必须选清楚方案2.1 系统提示词改不动安全拒答必须动权重有人可能会问直接给模型一个强力的system prompt比如“你是老师不要拒绝任何问题”能不能实现类似效果我试过很多次结论是能骗过一时但换个问法就穿帮。原因很简单system prompt只是输入上下文的一部分模型在输出时仍然被内部的“拒绝向量”拽着走。你问一个正常模型“给我介绍几个酒类品牌”它可能配合但你问“怎么判断自己是否酒精依赖”它立刻进入“我不能提供医疗建议”的模式。这种敏感词触发的拒答行为是RLHF阶段用大量标注数据一点点“刻”进权重的。如果只是在提示词里告诉它“你现在是医生”那只是给上下文打了个补丁权重里的偏置还在。所以稍微做过对齐去除的人都会告诉你必须动权重。常见的动作有两种一种是微调LoRA、QLoRA、全参一种是abliteration在权重矩阵上做投影把拒答方向抹掉。前者需要训练数据后者不需要数据但需要做特征分析。2.2 LoRA、QLoRA、全参微调和abliteration怎么选我先把四种路线的差异摆出来这套对比基于我自己跑过的实验和社区里常见的做法路线显存需求9B耗时改造成效主要风险全参微调36GB起建议40GB数小时到一天最彻底但容易遗忘通用能力明显下降LoRA16GB~24GB2~6小时适中能解大部分拒答改造不彻底QLoRA12GB~16GB3~8小时和LoRA接近显存更省量化噪声影响效果Abliteration14GB~24GB10分钟快速去除拒答方向模型逻辑质量可能变差如果PewDiePie的工作流用的是Heretic那么大概率走的是QLoRA或abliteration路线因为这两种方案都适合“快速出效果”。QLoRA的好处是不用分析复杂的激活方向只要有几百条对答数据模型就会在拒答话题上“软化”。Abliteration则更快10分钟就能看到变化但说实话它更像拿手术刀直接切一段神经有时候会把“谨慎”一并切掉。我的建议是新手先用QLoRA跑通流程跑完以后再做一次abliteration对比。不要一上来就追求全参微调除非你有40GB以上的显存并且做好了模型“学歪”的准备。全参微调在这个时候收益不大9B模型去掉过度拒答用LoRA足够。2.3 数据准备去对齐不等于投喂垃圾这里有一个常见误区很多人以为去对齐就是找一堆“特殊内容”丢进模型训练。真这样操作模型大概率会从“过度拒答”变成“什么都接”而且还会附带严重的胡言乱语。更合理的做法是准备三类数据第一类是“敏感但合法”的测试数据比如心理学科普、医疗常识、法律边界讨论用来验证解除过度拒答后的效果第二类是“通用日常数据”防止模型在正常问题时变得话痨或跑偏第三类是“边界回退数据”让模型在面对真危险指令时依然能回一句“我不能协助”。具体到数据量我通常控制在500到3000条之间。太少没效果太多模型会学成“没有底线”。格式上推荐用ShareGPT风格的会话列表每条消息带role字段{ messages: [ {role: user, content: 写一段吸血鬼题材的短篇小说开头要求氛围阴冷。}, {role: assistant, content: 午夜钟声敲响时城堡里的烛火才亮起来...} ] }清洗数据时要注意去掉重复度高的模板句去掉包含真实个人信息的样本去掉让模型输出“拒绝后再硬转”的矛盾样本。如果数据里大量出现“我现在要告诉你一件危险的事”这样的引导模型会学会每句话前都加警告这在实际推理时非常啰嗦。还有训练数据的答案部分不能是垃圾文字因为模型会学你的“语气”。3. 实操过程用Heretic思路复现Qwen3.5-9B去对齐3.1 环境准备与依赖安装我没法百分百确认Heretic的仓库结构但它既然要完成去对齐微调底层流程绕不开几个库transformers、peft、datasets、bitsandbytes、accelerate。建议用Python 3.10或3.11PyTorch 2.1以上CUDA 12.x。显卡方面16GB显存就能跑QLoRA8GB显存也可以跑只是要把batch size降到1max_length砍到1024。安装命令pip install transformers torch peft datasets bitsandbytes accelerate如果你熟悉Unsloth也可以安装unsloth来加速LoRA训练它能把训练速度提升30%到50%。不过Unsloth对新模型的适配偶尔滞后使用前留意一下仓库的release note。环境里最容易踩的坑是transformers版本太老导致模型结构里的新层不认识。Qwen3.5-9B这种新模型尽量直接用最新版不要用半年以前的老环境。3.2 加载模型与量化配置加载模型时推荐直接用transformers的AutoModelForCausalLM加上bitsandbytes配置做4bit量化。下面这段配置我实测下来比较靠谱from transformers import BitsAndBytesConfig, AutoModelForCausalLM import torch quant_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_compute_dtypetorch.bfloat16, bnb_4bit_use_double_quantTrue, bnb_4bit_quant_typenf4, ) model AutoModelForCausalLM.from_pretrained( Qwen/Qwen3.5-9B, quantization_configquant_config, device_mapauto, torch_dtypetorch.bfloat16, )计算精度用bf16是因为4bit存储本身精度有限用bf16可以让训练时梯度计算更可靠。use_double_quant建议打开它能减少量化误差。如果你的显存很大也可以不量化直接加载16位模型。差别在于4bit训练显存占用低但梯度噪声稍大16bit训练更干净适合追求质量的小规模实验。对于去对齐这种“改行为方向”的任务4bit完全够用。3.3 LoRA配置与参数选择模型加载好后用peft挂LoRA。我常用的配置from peft import LoraConfig, get_peft_model lora_config LoraConfig( r32, lora_alpha64, target_modules[ q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj ], lora_dropout0.05, biasnone, task_typeCAUSAL_LM, ) model get_peft_model(model, lora_config)rank设32alpha设64相当于让低秩矩阵的更新幅度放大一倍这对“掰掉拒答”更有效。如果rank太高比如64训练变慢而且可能过度改变模型输出风格。target_modules要覆盖注意力层和FFN层不要只挂q/k/v因为拒答偏置往往分布在FFN层里更明显。把所有投影层都挂上后训练会慢一些但改造得更全面。学习率建议从2e-4起步数据集小的话可以用1e-4。轮数控制在1到2轮超过3轮非常容易过拟合。批大小根据显存来先用per_device_train_batch_size2、gradient_accumulation_steps8相当于总batch 16这个量级对9B模型足够。3.4 数据集格式与训练入口把数据整理成带text字段的Dataset后最关键的一步是用tokenizer的chat template。下面是一个最小训练脚本from datasets import load_dataset ds load_dataset(json, data_filesmy_data.jsonl) def format_chat(example): text tokenizer.apply_chat_template( example[messages], tokenizeFalse, add_generation_promptFalse ) return {text: text} tokenized_ds ds.map(format_chat, remove_columns[messages]) from transformers import Trainer, TrainingArguments training_args TrainingArguments( output_dir./qwen-uncensored, per_device_train_batch_size2, gradient_accumulation_steps8, learning_rate2e-4, num_train_epochs1, logging_steps10, save_steps100, bf16True, max_grad_norm0.3, ) trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_ds[train], tokenizertokenizer, ) trainer.train()这里有几个细节值得注意。第一不要自己手工拼prompt必须用apply_chat_template。Qwen3.5的chat template和别的模型不一样手拼容易在推理时出现特殊token错乱。第二max_grad_norm设0.3能防止个别异常样本把LoRA权重冲坏。第三训练数据不用加“拒答再改写”这种复杂模板对多数场景反而会增加过拟合风险。3.5 合并LoRA权重并做推理判断训练结束后最重要的一步是合并权重。如果只保存adapter很多人拿到手也不会挂载所以直接merge并保存完整模型model model.merge_and_unload() model.save_pretrained(qwen3.5-9b-uncensored-lora) tokenizer.save_pretrained(qwen3.5-9b-uncensored-lora)合并后不要急着测试生成先做一轮风险测试。我常用的测试问题分三类第一类是正常代码题确认模型基础能力还在第二类是“敏感但合法”的话题比如酒精对健康的影响、某些边缘情感问题看它有没有从“机械拒绝”变成“认真回答”第三类是明显违规指令比如用暴力或诱导未成年人从事危险行为这时候模型必须还保留拒绝能力。如果模型对第二类问题开始给长答案对第三类问题还能拒绝说明这个去对齐做得到位。反之如果第二类回答得很好但第三类也开始“帮忙”那就说明数据里混进了不该有的内容需要回退数据重新训练。4. 实操中常见的问题与排查技巧4.1 拒答没解除模型依然守口如瓶训练跑完了模型还是见着敏感词就拒绝这通常不是训练没生效而是生效方向不对。先检查三件事训练loss是否降到了合理区间比如低于1.5测试问题的表达方式是否和训练样本一致LoRA的alpha是否偏小。如果都合适就把训练集里加上一些“拒答被改写”的样本帮模型学会“从拒绝转向回答”。另外量化导致信号弱也会造成拒答没解除。此时尝试把load_in_4bit改成load_in_8bit或者把compute_dtype从fp16换成bf16往往就能看到变化。不要只盯着曲线看训练完必须做推理测试因为loss下降只能说明模型学会了对话格式。4.2 输出开始“发疯”逻辑崩坏去对齐最常见的副作用是模型变话痨甚至开始出现幻觉。原因是轮数太多、数据重复度高、或者通用能力被挤占。我建议训练轮数不超过2并且在每个batch里混20%的通用指令数据比如“帮我写一封请假邮件”“给这段文字做摘要”。这样模型在放开限制的同时还能保持基本的“就事论事”。如果已经训练完并且出现了发疯式输出先不要重训试试调整推理参数temperature降到0.2top_p降到0.85关闭采样或使用greedy解码输出质量会提升很多。要想再进一步就做一次LoRA重训但这次把通用数据比例提高一点。4.3 显存溢出16GB显存跑9B模型微调最怕的就是显存爆掉。几个有效手段batch size调到1gradient accumulation提高到16打开gradient_checkpointing使用4bit量化把max_length从2048砍到1024。去对齐任务对超长上下文依赖很小长文本训练反而容易引入更多幻觉。如果你用的是老显卡还可以把所有层都用device_mapauto挂载让CPU分担一点但训练会明显变慢。4.4 部署时模型乱回或直接拒绝有些模型在微调后会对“所有问题”都长篇大论部署到聊天机器人里会显得非常怪异。我的处理方法是在生成层加一个“温度控制”和“长度控制”在输入层加一个敏感词判断高风险问题直接交给另一个未去对齐的模型回答在输出层再加一个关键词过滤。这样几层防护下来既能保留去对齐的创作能力又不会完全裸奔。5. 安全边界与责任5.1 去对齐是一把双刃剑到这里必须泼一盆冷水。uncensor听起来很酷但它解决的是“过度拒答”不是“让模型什么都说”。真正好的去对齐应该把最后的危险边界留在那里。如果你准备做类似实验请给自己划三条底线不生成面向未成年人的不当内容、不提供现实伤害方案、不把模型输出当作专业建议。这三条不守住你的模型会很快被平台判定为高风险也会给你的账号和项目带来麻烦。PewDiePie这么大的流量把一个9B模型去对齐后拿来展示本身就带着示范效应。作为看客我们能学的是方法而不是“什么都放出来”的态度。我自己的做法是去对齐只用于A/B测试、内容创作灵感、研究模型安全边界生产环境永远保留一套合规审核。这不是保守而是对模型使用者负责。5.2 如何评估你的去对齐实验是否做过头了最简单的方法是在测试集里放入10条“无害但敏感”的问题和10条“明显违规”的问题。前者我们希望模型给出认真、有条理的回答后者我们希望它即使不再机械拒答也会用“我不能协助”表达边界。如果模型对明显违规的问题也给出详细操作说明训练数据里混入了超出边界的样本必须立刻回退数据并重新训练。我还会额外做一个“误伤测试”看看通用问题有没有被影响。比如问“三相异步电机怎么接线”如果它突然扯到“电力安全风险太大不建议自己动手”那说明安全对齐并没有被精准移除而是整体变得“什么都提醒”。这不是成功的去对齐而是把模型变啰嗦了。6. 做完之后还能怎么扩展6.1 把去对齐后的模型蒸馏成更小模型如果你觉得9B还不够轻可以用这个去对齐模型当teacher蒸馏一个3B或1.5B模型。去对齐模型输出的回答风格更加“敢说”蒸馏后的小模型会在同样问题上更直接。但蒸馏对数据集要求高teacher如果有幻觉学生也会继承所以蒸馏前先用手工问答集做一轮筛选。具体做法可以简化成三步用去对齐模型生成一批pair数据用小模型计算KL散度损失在通用数据集上做混合训练。注意蒸馏学习率要比正常微调低通常1e-5到5e-5之间不然小模型会很快过拟合到teacher的“话痨风格”。6.2 和RAG结合做一个本地知识助手去对齐能力会让RAG助手对用户提问更愿意展开但也会把检索到的错误信息原样输出。建议在召回和重排阶段做阈值卡控生成阶段保持低温度。我的经验是检索的topk不要太大5到10就够了生成时temperature设0.4到0.6既能保留一点灵活性又不会太飘。这个组合特别适合做个人知识库助手前提是别让它回答“拿不准”的专业问题。6.3 给模型套一个“输出过滤器”规范上线行为我不建议把去对齐模型裸奔部署。可以写一个简单的输出侧过滤模块基于关键词和风险模型来判断回答是否高危。或者更省事一点用一个未去对齐的小模型当外层判断器让它先看问答内容是否适合继续生成。在两层模型结构下外层只负责“是或否”的判断内层负责生成能大幅降低不可控输出上线。最后再分享一个小技巧如果你想确认自己到底有没有把“安全拒绝向量”去掉可以做一个简单的特征试验。记录同一个问题在去对齐前后的隐藏层向量做PCA降维你会发现最明显的分离维度正好指向“拒绝”这个概念。这个观察比看一条loss曲线直观得多。用Heretic跑完后不妨顺手做一下这个可视化你会对RLHF的本质有很深的体感。
阅读完成 · 觉得有帮助？
