★ FEATURED ARTICLE 最近圈里都在聊一件事七家公司被点名罪名是同一个动作——“蒸馏”。很多人跑来问我蒸馏到底偷了什么东西怎么就能让几家公司一起上了榜。说实话这个问题的热度比那七家公司的名字本身更有意思。它说明大模型的能力第一次被当成了一种可以被“审计”的资产。我想借这个机会把蒸馏这件事从头到尾掰开讲清楚它到底是怎么运作的所谓“偷走能力”在技术上意味着什么哪些做法算是在规则边缘反复横跳哪些其实是正儿八经的常规工程。文章尽量不堆术语遇到绕不开的地方我会用生活化类比补上。如果你正在做模型压缩、准备微调自己的小模型或者只是好奇“蒸馏”两个字为什么突然变成敏感词这篇应该能帮你把前因后果捋顺。1. 被点名的“蒸馏”先把这个瓜吃明白1.1 七家公司为什么会被盯上先说个结论那份名单在不同平台上传了好几轮具体出处有说是行业观察报告有说是某模型服务商更新的调用监测记录我这里不替大家去抠原始出处了。真正值得关注的是“蒸馏”这个动作第一次被放到了聚光灯下。过去大家聊大模型注意力都在训练数据、算力规模、参数量这些上游指标上蒸馏更像一个藏在工程角落里的优化技巧只在模型压缩的论文里高频出现。但这次点名事件把“蒸馏”和“偷”直接挂钩意味着一件事大模型行业进入了一个新阶段能力本身开始被审计模型的输出行为可以被追踪、比对甚至倒推出“你的模型是不是拿了别人的模型当老师”。从技术角度看这种审计并不是玄学。教师模型的输出有统计特征学生模型如果长期围绕教师模型的问题-答案对做拟合两者在相同输入下的概率分布会高度相似。这种相似性可以做量化比对相似度过高就足以引起怀疑。说白了这不是靠“内部举报”而是靠分布在说话。1.2 “偷走了什么”为什么这么难回答这个问题看着简单答案却让技术人员和规则制定者都很头疼。你拿一个开源模型去微调那是许可范围内的正常操作你拿一个商用的模型接口疯狂提问把问答结果存下来喂给自己的训练集这大概率属于违约而蒸馏恰恰踩在两者之间——它通过构造大量输入输出对把教师模型的能力逐步迁移到另一个模型里到底算借鉴还是算抄袭行业里没有统一答案。难就难在大模型的能力不是一件可以贴标签的实物。它没法定格成一段源码、一个数据库文件或者某几个参数矩阵。蒸馏完成之后你得到的学生模型可能参数量只有老师的几十分之一内部结构完全重写但回答风格、推理偏好、甚至犯错的方式都很像老师。硬要说“偷走了什么”偷走的其实是行为模式和概率分布而不是可以上秤称重的东西。这就像一个徒弟跟在师父身边三年没偷过师父的菜谱却把师父做菜的火候、调味习惯、装盘偏好都学了个七八成。你很难说徒弟“偷”了哪道具体的菜但他确实把师父的手艺带走了。2. 蒸馏到底是怎么“偷”走能力的技术拆解2.1 教师-学生框架logits 里的第二课堂先放下那些争议聊聊蒸馏的基本功。几乎所有蒸馏方法都跑不出知识蒸馏教师-学生框架一个参数量大、已经训练好的教师模型和一个参数量小、待训练的学生模型。学生模型学的不只是正确答案还有教师模型在输出每一个 token 或标签时给出的概率分布。举个直观的例子。假设教师模型做图片分类输入一张猫的照片它输出的标签分布不是简单的一个“猫”而是一串带概率的向量猫 0.8狐狸 0.15狗 0.05。如果只用传统训练方式学生模型只会看到“正确答案是猫”然后拼命把猫的概率拉高。但通过蒸馏学生还能看到“猫和狐狸有点接近和狗差别更大”这层隐藏信息。这里有个关键操作叫温度缩放。直接把教师的 0.8、0.15、0.05 当成学习目标学生很容易学不到小概率背后的差异。把 logits 除以一个温度系数 T比如 4 或 8分布会变得“更平”那些原本只有 0.01 甚至更小的概率也会被放大学生才有机会观察到教师模型的完整知识结构。蒸馏结束后再把温度调回 1学生模型的预测照样会变得锐利。所以说白了教师模型的门并没有被人撬开学生通过几千次、几百万次提问把教师模型在各类输入上的反应模式记录并复刻下来。这就是“黑盒蒸馏”的基本原理也是很多争议的起点。2.2 蒸馏“偷”的是参数吗不是是决策流形很多人直觉上以为蒸馏是把教师模型的权重复制了一份再塞进小模型里。真实情况完全不是这样。教师模型的权重通常是几十 GB 的浮点数矩阵学生模型如果只有几亿参数物理上根本没有空间装下这些权重。蒸馏真正传递的东西是教师模型在输入空间里形成的决策流形。所谓流形你可以把它理解成一个模型对世界结构的“内部地图”哪些输入是相似的哪些答案之间挨得近哪些边界必须严格区分。学生模型不复制地图本身它通过反复看教师的输出自己重建了一张风格相似但路径不同的地图。这也是为什么模型作者很难拿蒸馏产物去做逐位比对两边权重对不上代码也对不上但行为对得上。能力被迁移了痕迹却很难抓。用一个生活类比老面馆的老板收了个徒弟徒弟没有偷走任何配方文档每天就在后厨看老板揉面、醒面、配料、试咸淡。几个月后徒弟独立开的面馆面条口感、汤头风韵和老板有八成相像但你要说徒弟偷了哪一张配方纸条还真找不出来。蒸馏做的事本质上就是这种“观察学习”。2.3 那些并不算“偷”的蒸馏把“蒸馏”一律当成偷窃是这次舆情里最容易误导人的地方。实际操作中大量蒸馏工作是在完全正当的框架下进行的至少可以分成三类。第一类基于开源权重蒸馏。你对开源模型本来就有使用和修改权把教师模型的 logits 导出来训练一个小模型做端侧推理这是典型的模型压缩论文里到处都是没有任何争议。第二类自蒸馏也就是用同一个模型自己当自己的老师把自己更深层的表示教给浅层分支这是提升模型性能的常规手段根本涉及不到外部模型。第三类数据集蒸馏那是把整个数据集的精华浓缩成少量合成样本和“参考某个外部模型”更没关系。真正容易踩线的是把别人的商用模型服务当成免费教师通过大规模调用得到的高质量问答对来训练自己的产品。这种行为有没有问题取决于教师模型的服务条款、数据使用授权和你拿它训练的目的。但至少可以确定蒸馏方法本身是中性技术锅不该由算法背。3. 手把手一次完整的蒸馏实操3.1 准备教师与学生模型前面讲了半天原理现在直接上手跑一个最小可用的蒸馏流程。我用的是 PyTorch 和 Hugging Face Transformers日常做 NLP 模型压缩基本就是这套组合。教师模型我习惯用一个较强的预训练模型比如bert-base-uncased或者某版本的distilbert-base-uncased。注意这里有个细节教师模型最好先在下游任务上做过微调如果你直接拿一个通用预训练模型当教师教出来的学生很可能只学会语言建模不学会任务判断。实操里我一般先把教师模型在目标数据集上跑一轮微调得到一份还算靠谱的 logits 缓存再启动蒸馏。学生模型的选择更宽松一些参数量是教师的三分之一到十分之一都可以。我自己常用的是bert-tiny或者albert-base。学生结构不一定要和教师一样但输入输出接口必须对齐否则后面对齐 logits 会很痛苦。3.2 最小蒸馏代码从 logits 中学习下面的代码是一个典型的知识蒸馏训练脚本骨架import torch import torch.nn as nn import torch.nn.functional as F from transformers import AutoTokenizer, AutoModelForSequenceClassification def soft_target_loss(student_logits, teacher_logits, temperature4.0): student_soft F.log_softmax(student_logits / temperature, dim-1) teacher_soft F.softmax(teacher_logits / temperature, dim-1) return F.kl_div(student_soft, teacher_soft, reductionbatchmean) * (temperature ** 2) def hard_target_loss(student_logits, labels): return F.cross_entropy(student_logits, labels) # 教师与学生模型初始化 tokenizer AutoTokenizer.from_pretrained(bert-base-uncased) teacher_model AutoModelForSequenceClassification.from_pretrained(bert-base-uncased) student_model AutoModelForSequenceClassification.from_pretrained(bert-tiny-uncased) # 前向计算 # inputs, labels 来自 DataLoader with torch.no_grad(): teacher_logits teacher_model(**inputs).logits student_logits student_model(**inputs).logits alpha 0.7 temperature 4.0 loss alpha * soft_target_loss(student_logits, teacher_logits, temperature) \ (1 - alpha) * hard_target_loss(student_logits, labels)这段代码里最容易被忽略的细节是temperature ** 2这个回乘操作。因为 logits 被温度缩放后梯度会跟着变小如果不乘回温度的平方学生模型的学习速度会慢得离谱。很多新手第一次跑蒸馏loss 怎么都不降八成就是漏了这一步。训练循环里还需要把教师模型锁在torch.no_grad()下不然每次前向都会更新教师的权重等于让一个正在考试的老师一边答题一边改答案学生根本没法稳定学习。教师的梯度传播也应该彻底关掉省显存是次要的关键是避免训练信号混乱。3.3 这几个参数实战中直接影响结果参数不只是调个数字它们背后对应着完全不同的训练行为。下面这份总结是我在几个项目里反复调出来的经验值。参数推荐范围作用调参心得温度 T2-8文本任务常用 4控制教师分布被“摊平”的程度T 太小学生只学到最高概率那个标签T 太大所有类别的差异被抹平变成噪声软标签权重 alpha0.5-0.9平衡“模仿教师”和“拟合真答案”的占比教师很强时 alpha 取高一些教师本身一般时 alpha 太高反而把错误放大教师是否冻结必须冻结确保教师输出稳定不冻结会让训练信号漂移学生根本抓不住规律批大小教师可以离线缓存学生尽量大软标签对 batch 内的分布更敏感能用 64 就不必用 16KL 散度在小 batch 下抖动明显蒸馏数据集分布必须靠近真实推理分布决定学生学到的流形覆盖范围只拿互联网问答做蒸馏上线遇到私有格式提问就会崩还有一个值得记住的点教师模型的 logits 最好先缓存到磁盘上不要每次迭代都现算。教师模型大前向推理慢每轮跑一遍会拖慢训练速度好几倍。把训练集的 logits 离线算好存成.pt文件训练时直接加载学生模型只做自己的前向和反向速度能提升一个量级。3.4 蒸馏和微调的区别不少刚开始接触大模型的朋友会把蒸馏和微调混为一谈这里我列个对比表一眼就能分清。对比维度模型蒸馏模型微调学习对象教师模型的概率输出软标签人工标注的正确标签硬标签目标压缩模型规模、迁移能力适配新任务/新领域是否需要大模型做教师需要不需要对标注数据的要求需要教师输出可减少人工标注量需要高质量标注数据训练结果行为接近教师尺寸更小行为接近目标任务尺寸不变典型产出端侧小模型、推理加速模型领域专用接口、业务模型微调像是在同一栋楼里换装潢结构没变风格变了蒸馏是照着原建筑另起一栋小楼外观相近但材料、结构完全不同。这两种方法不冲突实际工业项目里经常先蒸馏再微调用蒸馏省下模型体积再在业务数据上微调修正领域偏差。4. 常见问题排查速查表我踩过的坑4.1 问题一学生模型一直涨不起来损失函数半天不降或者刚降一点就震荡是蒸馏最常见的翻车现场。我排查的顺序一般固定为先看校对的 logits 形状对不对再看温度有没有设得太极端最后才怀疑学习率。形状问题最隐蔽。分类任务里很容易忽略教师和学生的输出类别数是否一致教师如果是多标签输出、学生用的是单标签分类头KL 散度就会在维度不匹配时报错或者直接算出一个无意义的均值。温度方面我见过有人把 T 调到 20结果所有软标签都变成均匀分布学生除了随机猜什么都学不到。T 调到 0.5软标签又变得比硬标签还硬蒸馏的意义就没了一半。4.2 问题二学生模型比教师模型还“聪明”听起来不可思议但当教师模型本身有偏见过拟合时学生反而可能通过软标签把教师的“错误直觉”过滤掉。如果训练集同时包含一部分强标签损失学生偶尔会在个别指标上反超教师。这种情况不需要恐慌。很多论文里报告过“学生超过教师”的现象主要原因是硬标签损失让模型直接面向真实标注优化绕开了教师在部分噪声样本上的错误判断。真正需要警惕的不是“学生超过教师”而是“学生学了一堆教师胡编的内容”。如果你在蒸馏数据里混入了大量教师自己生成的幻觉文本学生就会把这些幻觉当成标准答案学走上线后一本正经地胡说八道。解决办法是给蒸馏样本做一遍置信度过滤把教师 logits 最高概率低于阈值的样本直接丢掉。4.3 问题三蒸馏后泛化能力不升反降你会看到模型在验证集上和教师几乎一模一样换到新场景就彻底失灵。这通常不是蒸馏过程出了问题而是蒸馏数据分布和真实业务分布脱节导致的。教师是在特定语料上训练的如果蒸馏数据集只覆盖了几个固定模板学生学到的流形就是这小小的几块区域。换了个句式、换了种说法输入落到了流形外面模型就开始乱猜。处理办法也比较简单蒸馏数据集里一定要混入一定比例的领域噪声样本、反例样本和边缘样本。哪怕教师回答得不太好只要分布是真实的学生就能学到应对不确定性的能力而不是只在安全区里开无双。4.4 用评测指标“验货”别只看准确率蒸馏项目上线前我会做三件事。第一拿一个未参与训练的中性测试集同时跑教师、学生和基线模型看准确率和 F1确认学生没有明显落后。第二逐样本比对教师和学生输出算出“行为一致性”比例。如果一致性超过九成说明蒸馏效果到位如果只有六成说明学生学到的只是皮毛。第三也是最容易被忽视的随机挑一批教师明显会犯错的样本看学生怎么反应。如果学生完美复刻了教师的错误那说明蒸馏确实到位了如果学生改成了一种新的错误方式那要小心它学的不是教师的能力而是自己脑补出来的另一套逻辑。这三个指标都过了我才会让模型进测试环境。5. 从“偷”到“用”我对蒸馏的看法5.1 蒸馏不是原罪违反规则才是回到开头那个七家公司的话题。我个人在技术层面并不认为“蒸馏”三个字自带原罪真正需要审视的是蒸馏的边界条件。你用一个别人明确允许修改的模型做蒸馏那是高质量工程你把别人的商用接口当成免费数据工厂反复调用几百万次生成训练集再蒸馏出一个竞品那就算没有触犯技术禁忌也大概率违反了用户协议。作为工程师动手前把模型卡、开源许可证、服务条款读一遍是最基本的职业习惯。尤其是那些提供免费额度的平台条款里通常写明了“输出不能用于训练同类型竞争模型”之类的限制别因为没读过就当不存在。我自己做项目时有一条土规矩教师模型服务条款说不允许蒸馏我就不碰允许微调但不允许模型蒸馏的我就老老实实微调明确给了蒸馏许可的再放开手脚压模型体积。边界清晰了干活才有底气。5.2 什么时候我劝你别蒸馏蒸馏很诱人但不适合所有场景。如果你的教师模型还在频繁迭代每周都在更新能力那学生模型就永远追着老师跑前一版刚蒸馏完老师的本领又变了。这时候更适合直接做模型微调或者干脆等教师稳定之后再压缩。如果你需要完全独立的技术栈和可解释性蒸馏也不是好选择。学生模型继承了教师的行为同时也继承了教师的偏见、幻觉和不可解释性。你没法指着学生模型的某个神经元说这就是它判断“猫”的原因。在医疗、金融这类高度敏感的场景黑盒复刻黑盒只会放大责任风险。还有一个很现实的场景预算不紧张推理性能也没到瓶颈。那蒸馏省下来的成本可能还不够抵消维护两套模型、跟踪行为一致性的人力开销。技术不是越高级越好合适才是最好的。5.3 最后再分享一点实操体会我这两年反复验证过一件事蒸馏把推理成本打下来真的很简单难的是搞清楚学生模型到底从教师身上继承了什么、丢掉了什么。你可以在评测集上看到 95% 的行为一致性但换到真实环境那 5% 的偏差可能全集中在最关键的少数案例上。所以在我的项目里蒸馏从来不是一个“跑完脚本就交付”的环节它是模型上线的第一道质检门。每次拿到的蒸馏产物我都会安排一批专人去挑刺专门找教师和学生在边界样本上的分歧再决定是补数据继续蒸还是干脆换个教师。技术永远在更新今天聊的七家公司、温度参数、KL 散度过半年可能又会有新版本。但有一句话随时拿出来都不过时任何一个被你“偷”来的能力最后都要由你自己来承担它犯错的后果。想清楚这一层比争论名单上到底有哪七家要重要得多。
阅读完成 · 觉得有帮助？
