免训练迁移思维链能力：任务向量与任务算术实战解析

最近在折腾大模型推理能力的时候看到一种很有意思的做法——免训练就能把思维链能力从一个大模型迁移到另一个大模型上。听起来像玄学但底层逻辑一旦拆开其实非常朴素任务算术、任务向量、测试时扩展这几个词拼在一起就是一条绕开“必须训练才能改模型”的新路子。我一开始以为是某种黑魔法后来发现它就是模型合集中的参数插值思路换了个皮套在了思维链这个能力维度上。这篇文章我会从原理讲起把做法、配方、实测数据和我踩过的坑全部摊开希望能让同样对“免训练改模型”感兴趣的人少走弯路。1. 为什么要在不训练的情况下谈“思维链能力转移”先说一个绝大多数人都会遇到的实际问题你手上有一个开源模型整体表现不错但一做复杂推理就露怯不会分步思考遇到逻辑题就是直接瞎猜一个答案。你试过在它上面做微调结果发现要么显存爆炸要么指令数据不够要么调完一轮后通用能力崩了——典型的灾难性遗忘。于是你开始想能不能不动这个模型的任何权重让它临时“借用”一下别的模型的思维链能力这个想法在传统NLP时代基本等于做梦。模型的能力是焊死在参数里的你想让它会什么就得拿数据去训。但到了大规模语言模型阶段事情出现了变化模型通常以预训练基座加指令微调的方式存在不同下游能力往往分散在不同模型中而这些模型共享同一套预训练底座。既然底子一样中间层的表征空间就有对齐的可能。如果能把“会思维链”这个能力从A模型里抽出来做成一个向量再加到B模型上理论上B模型就能具备同样的能力——这就是任务算术的雏形。我刚开始听这个思路时也觉得反直觉能力居然能像加减法一样搬运但冷静下来一想这不就是之前研究里常说的模型合并吗很久以前就有人发现把两个模型的能力向量做线性插值可以同时保留两边的本领。任务算术不过是把它更系统化地包装了一遍训练一个任务模型得到它的任务向量然后对向量做加减或加权合并。思维链能力转移只是这个框架下的一个具体应用场景。更让人动心的是“免训练”和“测试时扩展”这两个词。免训练意味着我不需要准备标注好的思维链数据不需要计算资源去做反向传播测试时扩展意味着这个能力转换发生在推理那一刻可以临时组合多个模型的优势不需要重新部署一个新的完整模型。这种灵活度对资源有限的个人开发者来说是巨大的解放。不过也要说清楚适用范围。这里转移的是“思维链行为风格”和“推理路径偏好”而不是某种沉睡在模型记忆里的知识库。也就是说它改变的是模型在生成时是否倾向多步骤推理、中间过程是否连贯、最终答案是否更容易落在合理区间。真正的事实知识仍取决于目标模型自身。这个边界如果想不清楚后面复现时会很容易产生不切实际的预期。2. 任务向量与任务算术这项技术最关键的三块积木要搞懂这条路线先要把三个概念完全吃透基础模型、微调模型、任务向量。基础模型就是那个没被下游指令污染的裸预训练模型微调模型是拿某个特定任务数据继续训练后的模型两者权重之差就是任务向量。假如基础模型的权重是 W_base微调后的权重是 W_ft那么任务向量就是 W_ft 减去 W_base。用大白话解释这个向量代表的是“为了学会这个任务模型参数往哪个方向发生了偏移”。所以任务算术就是把这个偏移拿出来加到另一个模型的权重上去让另一个模型也朝类似的能力方向偏移。思维链转移在这里做的具体事情是源模型经过思维链指令数据微调后其权重相对基础模型的变化被抽出来再以适当的比例加到目标模型上。这里有三块积木需要盯紧。第一块是基座的同源性。如果源模型和目标模型都基于同一个基础预训练模型那么任务向量和目标模型之间的含义是明确可对齐的。否则向量空间不同硬加可能伤害模型概率分布。我见过有人拿不同基座的模型硬试结果输出质量一塌糊涂问题往往出在这个地方。第二块是缩放系数。任务向量不是全量加入的通常需要乘以一个系数这个系数一般落在 0.5 到 1.5 之间。太小没效果太大则会把目标模型的原始能力冲散。第三块是权重归一化。不同的任务模型训练步数不同、数据量不同任务向量的范数差异很大直接统一尺度显得不科学通常会先对任务向量做归一化或标准化处理再合并。我用表格汇总一下三种常见合并方式的特点方便你对照选型合并方式 | 目标 | 使用场景 | 风险点 直接加法原封不动加任务向量| 最大化注入目标能力 | 目标模型权重空间与源模型高度一致 | 容易导致模型过度偏离通用能力下降 缩放加法乘系数后加入| 平衡新增能力与原有能力 | 大多数常规场景 | 系数需要多次筛选成本在推理前 归一化合并 | 消除任务向量尺度差异 | 多个任务向量混合叠加 | 归一化系数设置不当会削弱特定任务强度我自己实际操作时最常使用的是缩放加法配合快速评测。思路很简单先用几个评测样本做网格搜索在小范围把系数试出来再以这个系数合并完整的任务向量最后在完整评测集上跑一遍。整个流程跟超参搜索差不多只不过调的对象是缩放系数而不是学习率。有一个细节很多人容易忽略任务向量是包含“训练过程中形成的偏差”的向量。如果源模型微调时存在明显的过拟合或者用了差异很大的训练超参任务向量里会混入大量噪声而不是真正代表任务能力的信号。所以我在选源模型时会优先看它在公开评测里的稳定性而不是单看训练集上的分数。稳定的源模型提取出的任务向量才更干净合并后的效果才更可控。3. 把 CoT 能力“搬”过去具体操作流程与配方现在进入实操环节。完整的流程可以拆成五步准备基座和源模型、提取任务向量、确定缩放系数、合并权重、验证效果。每一步都有自己的讲究我按自己的习惯逐个说明。我的实验底座选择方式源模型和目标模型必须基于同一个基座。也就是说我选一个基础模型作为原点然后两个模型分别是“基础模型加上思维链微调”和“基础模型加上通用指令微调”。这样它们的公共部分就是同一个预训练底座差异部分分别代表不同能力。我实际用的源模型代号就叫CT2目标模型代号叫T0两者都从一个同源的7B基座出发后面才分道扬镳。提取任务向量的操作不复杂只是需要把模型权重从检查点文件里读出来做矩阵减法。以 PyTorch 为例流程是分别加载两个模型的 state_dict遍历所有参数名对非冻结层做减法保存结果。代码大概长这样import torch base_ckpt torch.load(base_model.pt) finetuned_ckpt torch.load(source_model.pt) task_vector {} for key in base_ckpt: if key in finetuned_ckpt and base_ckpt[key].shape finetuned_ckpt[key].shape: task_vector[key] finetuned_ckpt[key] - base_ckpt[key] torch.save(task_vector, task_vector_cot.pt)这里有一个非常容易踩的坑加载模型时要注意权重转换格式比如 float16 和 bfloat16 的表示差异、前缀名称的差异比如有的模型参数名是 model.layers.0 开头有的是 transformer.h.0 开头。如果两次加载时走的接口不同前缀对不上减法就会全部落空。我建议先打印一两个层名确认对齐再做全量减法。确定缩放系数的关键是先做小样本实验。我会准备一小组思维链类型的评测题目大约二十道就够涵盖数学应用题、逻辑判断、常识推理几个维度然后针对一个候选缩放系数列表比如从 0.3 到 1.2每隔 0.1 试一次。每次合并权重后直接跑这二十道题记录正确率和输出风格。选分数最高的系数作为最终值。合并权重这一步其实就是把任务向量乘以缩放系数再加到目标模型上merged_ckpt {} for key in target_model_ckpt: if key in task_vector: merged_ckpt[key] target_model_ckpt[key] lambda_coef * task_vector[key] else: merged_ckpt[key] target_model_ckpt[key] torch.save(merged_ckpt, merged_model.pt)验证阶段我会做两件事一是跑任务自己的评测集确认能力确实提升了二是跑一两个和任务无关的通用能力评测确认目标模型没有明显崩坏。两件事缺一不可否则你只看到能力注入成功看不到潜在损失。整个流程如果按照我上面给的参数在一个单卡环境下大概需要一两个小时大头主要花在加载模型和多次推理上。相比传统微调需要准备数据、调学习率、算 loss这个流程完全是轻量级的。而且它真正做到的是“迁移一个行为模式”而不是重新学习一套知识。4. 实测复现我拿两个开源模型硬碰硬的结果为了验证这条路线是不是真能用我自己做了个完整实验。这里说明一下出于实验可控性考虑我用的都是开源社区的模型并且刻意选择了同一基座的版本免得变量不受控。实验设计是这样的目标模型 T0 是一个通用指令模型能正常对话但遇到需要多步推理的问题时经常答非所问或只给结论不解释。源模型 CT2 是一个经过思维链数据微调的模型虽然知识量不及 T0 丰富但推理路径非常清晰会先列条件再推步骤再给结论。我先拿到 T0 的原始基线在二十道推理题上正确率大概在 30% 左右而且输出很简短偶尔直接给一个猜测答案。随后我提取 CT2 相对同一基座的任务向量用系数 0.5、0.7、0.9、1.0 分别合并到 T0 上。这里说一下我的预期系数过高可能会让 T0 说话风格被 CT2 完全吞掉连知识问答都变成严谨的“先分析后作答”模式这未必是坏事但确实是一种行为改变。结果很有代表性。系数 0.7 时效果最好推理题正确率从 30% 提到了 55% 左右输出长度明显增加而且中间步骤的逻辑顺序比较清楚。系数 1.0 时推理正确率反而掉回去了我看了下输出发现答案本身没错但模型引入了太多“我先想想”之类的冗余内容甚至偶尔会重复推理把对的答案绕晕。这就是过拟合到思维链风格太深的结果。另外我做了通用能力对照评测用一组不含推理的日常问答来测 T0 合并前后的表现。系数 0.7 时日常问答的分数几乎没有下降说明这个系数下注入的推理风格没有伤到原有能力系数 1.0 时日常问答分数下降了大约 8 个百分点说明风格过度迁移确实带来了副作用。这个结果其实很符合我对任务算术的理解它是一个权衡引入新能力的同时必然会推动原参数分布发生变化关键在找个合适的“度”。我还试过只做部分层的任务向量合并也就是只取模型中间层或后几层的 task_vector 来做加法。结果是如果只作用于后几层推理风格变化明显如果只作用于前几层或嵌入层效果非常微弱。这基本符合目前的认知——推理能力更多体现在高层语义表征的演化过程中而不是词嵌入层面的变化。这种分析虽然不能直接迁移到所有模型上但在选合并范围时是一个有用的参考。实测下来我的结论是任务算术确实能搬思维链能力而且成本极低但效果上限取决于源模型的能力质量和系数选择的精细程度。它不会让一个完全不会推理的模型变成推理大师但能让一个“有推理潜力但没被激发”的模型被快速激活到合理水平。如果你想复现建议从同基座的两个模型开始不要一上来就跨基座硬试。5. 为什么能work随机初始化对齐假设与表征空间的秘密前面讲的都是操作层面但更值得深入一层为什么任务向量加在另一个模型上会有效这就涉及视觉领域“模型合集中的随机初始化对齐假设”在大语言模型上的延伸。这个假设的核心意思很简单如果两个模型从同一个预训练初始化出发再去分别微调那么它们在权重空间里的相对位置变化是“有意义”的。因为它们起点相同微调过程只是让参数沿着各自任务的梯度方向偏移偏移本身就编码了任务特性。你可以把预训练基座想象成一张公共地图两个微调模型则是地图上两个不同城市的位置任务向量就是从一个城市指向另一个城市的路径。当你把路径叠加到另一个非微调模型的权重上时就相当于告诉它沿着这条路径走你会到达一个更擅长思维链的“城市”。当然这只是一种类比真实机制要复杂得多但这种空间直觉能帮助我们理解和设计实验。语言模型权重空间存在一个有趣现象不同模型的神经元排列并非天然对应但任务向量却似乎带着“方向性语义”。比如在一个模型上做“情感分析”得到的任务向量与另一个同基座模型上做“情感分析”得到的任务向量方向往往高度相似。同理思维链能力对应的参数偏移方向也存在一定的跨模型稳定性。只要基座一致这种稳定性就足以支撑能力转移。再说说为什么“免训练”这个概念会让人觉得不靠谱。传统的思路是学习更新参数更新参数必须要算梯度要算梯度必须要损失函数要损失函数必须要标注数据。任务算术把这个链条截断了它直接把“别人学到的参数变化”当作一种资源来使用。本质上它没有绕过训练——源模型还是训出来——但它绕过了目标模型的训练。你不需要目标模型的数据、不需要梯度、不需要反向传播只需要在推理前对权重做一次算术运算。这种“基金先由别人涨自己再定投”的思路听上去不靠谱实际逻辑却是闭环的。测试时扩展在这里的体现也有趣。传统做法是模型部署后能力固定顶多靠提示词工程引导。任务算术则允许你在不同场景下切换不同任务向量需要推理时加载推理向量需要代码时加载代码向量需要严谨风格时加载风格向量。这些操作都发生在推理阶段之前实际上是在“测试时”扩展模型的行为空间而不需要维护多个完整模型实例。不过要强调一点这套机制有效的前提是模型权重空间的可组合性。如果哪天预训练范式变了或者模型架构出现了大规模改动任务向量是否还能保持这种“语义方向性”就不好说。至少在当前这批自回归架构下随机初始化对齐的假设是相当好用的工程启发。6. 最容易翻车的四个地方复现时真实踩过的坑与对策最后把这几个月折腾过程中遇到最典型的四个坑写出来每一个都是我实际翻过车、或者看别人翻车看出来的。先说第一个混用基座。我之前手头有一个模型和源模型不是同基座但因为回复风格很像一时顺手做了一次合并结果生成质量断崖式下跌。原因前面讲过跨基座的任务向量方向不具备对齐基础。最好的对策是老老实实去确认模型的架构参数和初始化方式别偷懒。第二个翻车点是忽略归一化。任务向量的范数在不同源模型之间差异非常大。假如源模型微调步数多任务向量的数值整体偏大直接加就要把目标模型冲垮反之步数少向量偏小加了跟没加一样。我的习惯是先对任务向量做标准化除以它的全局范数再乘以一个可调的目标范数。这样至少保证系数是在一个相对稳定的尺度上做搜索而不是随着源模型训练情况波动。第三个坑是过度关注正确率而忽略风格退化。我遇到过一种情况合并后数学推理正确率提了但对话时变得极其啰嗦每个问题都先来一大段“嗯让我们一步步来看”哪怕用户只是问个天气。这种风格污染很隐蔽因为它不体现在正确率上。对策是在验证阶段加入一组风格评测或者至少人工看一下生成结果的前二十条确认语言习惯没有跑偏。第四个坑是量化与精度上的细微问题。我做实验时曾用 float16 加载权重合并后也直接保存 float16结果某些层出现了数值偏移生成时出现重复片段。排查半天才发现是任务向量里的极少数数值在 float16 下丢失了精度。如果你要做算术合并建议在合并阶段用 float32 计算落盘时再转回 float16这样可以避免很多莫名其妙的问题。除了上面这四个还有一个值得说但不算坑的小提醒不要指望一次合并就能同时注入多种能力。你可以先注入思维链再在合并结果上继续注入另一种任务向量就是把多次任务向量按顺序叠加。但每次叠加都会带来一次额外的磨损效果未必线性。这本质上回到了经典的模型合并困境trade-off 无处不在。实操中我自己一般限制在两种能力以内再多就建议直接训练一个专用模型。回看整个过程任务算术式的思维链能力转移并不是用来替代微调的它更像是一个轻量级的“能力交换协议”。当你想快速验证一个想法、临时增强某个模型维度、或者手头没有训练资源时这条路线的性价比非常突出。但我更喜欢的其实是它带来的思考方式转变模型参数的偏移本身就是一种可操作的资源。沿着这个思路以后可能还会出现更多用“算术”而非“训练”来改造模型的方法。对我个人而言使用这条路线最大的经验是——把所有变量尽量拆开盯基座、系数、归一化、精度每个环节单独控制失败时才不会抓瞎。