★ FEATURED ARTICLE 1. 从“transformers”这个词说起它到底指什么如果你在技术社区里看到有人只甩出一个词“transformers”大概率不是在聊那部科幻电影。这个词在当下的技术语境里指向非常明确——它是一套围绕注意力机制构建的神经网络架构也是过去几年里自然语言处理、计算机视觉、语音识别等领域大量模型的基础骨架。我第一次认真啃这块内容的时候最大的感受是它不像传统循环网络那样按时间步一步步“读”数据而是一上来就让序列里所有位置互相“看”一遍这种设计思路的转变才是它真正值钱的地方。这篇文章想解决的问题很具体很多人知道“transformers”这个词很火也知道它跟大模型有关但真要自己动手跑一个、改一个、或者判断该不该用它时脑子里是一团浆糊。我会从这套架构到底解决了什么痛点讲起把自注意力、多头机制、位置编码这些核心部件拆开揉碎再给出一套可以照着复现的最小实操流程最后聊聊实际落地时那些文档里不会写的坑。不管你是刚入门的学生还是已经用过一些预训练模型但没深究原理的开发者都能从里面拿到能直接用的东西。需要先说明一点下面涉及的具体代码和参数是基于我自己的实践和社区里常见的做法整理的不同版本的工具库在接口上会有差异你照着跑的时候以实际报错为准思路是通用的。2. 为什么循环网络不够用了自注意力要解决的真实痛点2.1 序列建模的老大难长距离依赖与并行化在 transformers 出现之前处理序列数据的主流是循环神经网络及其变体。这类网络的工作方式很像人逐字阅读读第一个词更新一下记忆状态读第二个词再更新一次。这种串行机制有两个绕不开的毛病。第一个毛病是长距离依赖衰减。当序列很长时前面位置的信息要经过很多步才能传到后面中间每经过一次状态更新信息就被稀释一次。结果就是模型对“开头出现过、结尾才需要用到”的信息记不牢。你可以把它想象成传话游戏传的人越多原话越走样。第二个毛病是无法并行。因为第 t 步的计算依赖第 t-1 步的结果你没法把整个序列同时丢给硬件去算。这在 GPU 算力充沛的今天等于白白浪费了硬件能力。序列越长训练越慢这个瓶颈就越明显。2.2 自注意力的核心思路让每个位置直接“对话”transformers 的破局点在于换了一种信息交互方式。它不再让信息沿着序列一步步挪而是让序列里任意两个位置直接建立联系。具体来说对于序列中的每个位置模型会生成三个向量查询Query、键Key、值Value。然后用当前位置的查询去和所有位置的键做匹配算出注意力权重再拿这些权重对所有位置的值做加权求和。这个过程的直观含义是处理某个词的时候模型可以一次性看到全句并决定“我应该把多少注意力分给句子里其他每个词”。距离不再是障碍第一个词和最后一个词之间的交互路径长度是常数级的。同时因为每个位置的计算互不依赖整个序列可以并行处理硬件利用率一下就上来了。注意自注意力本身不包含任何顺序信息。也就是说如果你把句子里的词打乱只要词集合不变自注意力的输出集合也不变。这是它和循环网络最本质的区别之一也是为什么必须额外引入位置编码。2.3 一个生活化类比会议室里的自由讨论我习惯用开会来类比这两种架构。循环网络像逐个人发言的会议每个人只能听到上一个人的总结信息层层转述容易失真而且必须排队发言。自注意力则像一场自由讨论每个人手里都有一份全场名单可以随时点名问任何人问题也可以被任何人点名。谁重要、该听谁的由匹配程度动态决定。这种“全员互联”的机制就是 transformers 表达能力的来源。当然自由讨论也有代价如果会议室里有一万个人每个人都去问一万个人计算量就是平方级的。这就是后面要讲的复杂度问题也是各种优化变体诞生的原因。3. 拆开看内部自注意力、多头机制与位置编码3.1 缩放点积注意力一个公式背后的取舍自注意力最核心的计算可以浓缩成一个公式注意力输出等于 softmax(QK转置除以根号d) 再乘以 V。这里面每个部分都有讲究。Q 乘以 K 的转置得到的是一个“匹配分数矩阵”形状是序列长度乘序列长度第 i 行第 j 列表示第 i 个位置对第 j 个位置的关注程度。除以根号 dd 是每个头的维度这一步经常被忽略但它很关键。当维度 d 比较大时点积结果的方差会变大数值可能很大softmax 之后会变得非常“尖锐”几乎只关注一个位置梯度也会变得很小训练不稳定。除以根号 d 相当于把数值拉回一个温和的范围让 softmax 输出更平滑梯度更健康。softmax 负责把分数变成概率分布保证每个位置对所有位置的注意力权重加起来等于一。最后乘以 V就是按这些权重把各个位置的信息加权汇总。3.2 多头注意力为什么要“分头”看问题如果只做一次注意力模型只能学到一种“关注模式”。但语言里的关系是多种多样的有的位置需要关注语法主谓关系有的需要关注指代关系有的需要关注语义相似性。多头注意力就是把这个过程并行做多次每次用一套独立的 Q、K、V 投影矩阵得到多个不同的注意力结果最后拼接起来再投影一次。你可以理解为同一个会议室里分成了好几个小组每组关注不同的议题最后把各组的结论汇总。头数是个超参数常见的有 8、12、16。头数越多能捕捉的关系模式越丰富但每个头的维度会相应变小计算量和参数量也会变化。实际调的时候头数和每头维度要配合着看不是越多越好。3.3 位置编码给无序的注意力补上顺序感前面说过自注意力本身对顺序不敏感。但语言是有顺序的“猫追老鼠”和“老鼠追猫”意思完全不同。位置编码就是用来注入顺序信息的。最早的做法是用正弦和余弦函数生成一组固定的位置向量直接加到词嵌入上。这种方式的优点是能外推到训练时没见过的更长序列而且不增加参数。后来很多模型改用可学习的位置嵌入效果在某些任务上更好但外推能力弱一些。再往后相对位置编码、旋转位置编码等方案陆续出现核心目标都是让模型更好地理解“谁在前谁在后”以及“相隔多远”。提示位置编码加在输入嵌入上而不是每一层都加。这一点在实现时容易搞错加错位置会导致模型完全学不到顺序信息。3.4 编码器与解码器两种堆叠方式原始 transformers 是编码器-解码器结构。编码器负责把输入序列编码成一堆带上下文的表示解码器负责在生成时逐步产出输出。编码器层里只有自注意力加前馈网络解码器层里除了自注意力还有一个交叉注意力用来让解码器关注编码器的输出同时解码器的自注意力是带掩码的防止看到未来位置的信息。后来很多模型只取其中一部分。比如只保留编码器的结构适合做理解类任务只保留解码器的结构适合做生成类任务。你选哪种取决于你的任务是要“读懂一段输入”还是“续写一段输出”。4. 动手跑一个最小可用的注意力模块4.1 环境准备与依赖选择要亲手验证上面的原理最省事的方式是用现成的深度学习框架。我一般用 PyTorch因为它的动态图写起来直观调试方便。装好框架之后注意力模块本身不需要额外依赖几十行就能写出来。需要提醒的是不同版本的框架在矩阵运算接口上偶有差异比如转置、批量矩阵乘法、掩码填充的写法。你如果照着某份教程跑不通先检查版本再看是不是接口变了。这是新手最容易卡住的地方不是原理问题纯粹是环境问题。4.2 从零实现缩放点积注意力下面这段代码是我常用的最小实现去掉了工程上的各种封装方便看清每一步在干什么。import torch import torch.nn as nn import math class ScaledDotProductAttention(nn.Module): def __init__(self, dropout0.1): super().__init__() self.dropout nn.Dropout(dropout) def forward(self, q, k, v, maskNone): d_k q.size(-1) # 计算匹配分数 scores torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(d_k) # 掩码处理把不该看的位置设成极小值 if mask is not None: scores scores.masked_fill(mask 0, -1e9) # 归一化成注意力权重 attn torch.softmax(scores, dim-1) attn self.dropout(attn) # 加权求和 output torch.matmul(attn, v) return output, attn这段代码里masked_fill那一步是处理填充位置和未来位置的关键。填充位置是指为了对齐批次长度而补的无效位置未来位置是解码器里防止偷看答案用的。把它们的分数设成一个很大的负数softmax 之后权重就趋近于零相当于“屏蔽”掉了。4.3 多头注意力的组装与维度变换单头注意力跑通之后多头就是在它外面套一层维度变换。核心操作是把最后一维拆成“头数乘每头维度”然后调整维度顺序让头数变成一个独立的批次维度这样就能一次性并行算所有头。class MultiHeadAttention(nn.Module): def __init__(self, d_model, num_heads, dropout0.1): super().__init__() assert d_model % num_heads 0 self.d_model d_model self.num_heads num_heads self.d_k d_model // num_heads self.w_q nn.Linear(d_model, d_model) self.w_k nn.Linear(d_model, d_model) self.w_v nn.Linear(d_model, d_model) self.w_o nn.Linear(d_model, d_model) self.attention ScaledDotProductAttention(dropout) def forward(self, q, k, v, maskNone): batch_size q.size(0) # 线性投影并拆头 q self.w_q(q).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) k self.w_k(k).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) v self.w_v(v).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) # 并行计算所有头 out, attn self.attention(q, k, v, mask) # 拼回头并投影 out out.transpose(1, 2).contiguous().view(batch_size, -1, self.d_model) return self.w_o(out), attn这里view和transpose的顺序很容易写错。记住一个原则拆头之后头数维度要放在序列维度前面这样矩阵乘法才会在“每个头内部”独立进行而不是把头混在一起算。写完之后用一个小张量打印形状验证一下比盯着代码猜要靠谱得多。4.4 用一个小例子验证输出光看代码不够得跑一个具体输入看结果。构造一个批次大小为 2、序列长度为 4、模型维度为 8、头数为 2 的输入跑一遍多头注意力检查输出形状是不是回到原来的形状注意力权重矩阵的每一行是不是加起来等于一。mha MultiHeadAttention(d_model8, num_heads2) x torch.randn(2, 4, 8) out, attn mha(x, x, x) print(out.shape) # 期望 torch.Size([2, 4, 8]) print(attn.shape) # 期望 torch.Size([2, 2, 4, 4]) print(attn[0, 0].sum(dim-1)) # 期望接近全 1如果形状对不上八成是拆头或拼头那两步的维度顺序错了。如果权重和不是一检查 softmax 的维度参数是不是设成了最后一维。这两个检查点能帮你快速定位大部分实现错误。5. 训练与推理阶段那些容易翻车的细节5.1 学习率预热为什么不能一上来就用大学习率transformers 训练时学习率调度里几乎都会带一个预热阶段也就是前若干步让学习率从很小线性升到目标值之后再衰减。原因在于注意力模块里的参数在初始化时输出方差对学习率很敏感。如果一上来就用大学习率早期梯度会把参数推到一个很差的区域训练直接发散。预热的步数一般取总步数的百分之几到十分之一具体看任务规模。我自己的经验是小数据集上预热短一点大数据集上长一点。这个参数不值得反复调设一个保守值通常都能跑。5.2 梯度裁剪与数值稳定性注意力计算里涉及 softmax 和矩阵乘法数值范围可能比较大梯度爆炸的风险比普通全连接网络高。常规做法是加梯度裁剪把梯度的范数限制在一个阈值内比如 1.0。这一步在训练循环里加一行就行但少了它训练中途突然出现损失变成 NaN 的概率会明显上升。另外混合精度训练虽然能省显存、提速但在注意力这种数值敏感的地方要小心。如果开了混合精度后出现不稳定先关掉它确认是不是精度问题再考虑用动态损失缩放来缓解。5.3 掩码的正确使用填充掩码与因果掩码掩码用错是新手最常见的 bug 之一而且往往不报错只是效果差很难查。填充掩码用来屏蔽批次里为了对齐而补的无效位置因果掩码用来在解码器里屏蔽未来位置。两者形状和生成方式不同有时候需要组合使用。一个实用的排查方法是把掩码矩阵打印出来看看被屏蔽的位置是不是你期望的那些。如果发现模型在生成时“偷看”了后面的词或者对填充位置分配了注意力基本就是掩码的问题。注意掩码的维度要和注意力分数矩阵对得上。批次维度和头维度通常需要广播写的时候确认一下是否需要 unsqueeze。5.4 显存占用与序列长度的平方关系自注意力的计算和显存占用都随序列长度呈平方增长。序列长度翻倍注意力矩阵的大小变成四倍。这在长文本场景下是硬约束。实际项目里如果序列很长要么用滑动窗口、稀疏注意力等变体要么把长序列切段处理。不要指望靠加显存硬扛平方增长很快会吃掉所有资源。我踩过的一个坑是小规模测试时序列短一切正常换成真实数据后序列变长显存直接爆掉。所以做方案评估时一定要用接近真实长度的数据测一遍峰值显存别只看短序列的表现。6. 从理解到落地选型、微调与常见误区6.1 预训练模型该选哪一类现在很少有人从零训练一个 transformers绝大多数场景是拿预训练好的模型做微调。选型时先看任务类型理解类任务优先考虑编码器结构的模型生成类任务优先考虑解码器结构的模型需要输入输出都是序列的比如翻译可以考虑编码器-解码器结构。然后看规模。参数越多能力通常越强但推理成本和显存需求也越高。如果部署环境受限小模型加好的微调策略往往比硬上大模型更实际。我见过不少项目一上来就追最大的模型结果推理延迟高到没法上线最后还得回退。6.2 微调时的参数设置经验微调的学习率通常比预训练小一到两个数量级因为预训练权重已经在一个不错的区域大步长容易把它破坏掉。批次大小受显存限制可以用梯度累积来模拟更大的批次。训练轮数不宜多很多任务两三轮到五轮就够了轮数多了容易过拟合。一个常被忽略的点是序列截断策略。输入超过模型最大长度时是截头、截尾还是分段对效果影响很大。分类任务通常保留关键部分生成任务要保证上下文完整。这个策略要根据你的数据特点定没有通用答案。6.3 常见误区把注意力权重当解释很多人喜欢把注意力权重可视化然后说“模型关注了这几个词所以它这么判断”。这个推论要谨慎。注意力权重反映的是信息路由的一个侧面不等于模型的决策依据。有研究显示即使把注意力权重打乱模型输出有时也不变。所以可视化可以作为调试参考但别当成严格的解释工具。另一个误区是认为位置编码能完美处理任意长度。实际上超出训练长度的外推能力因编码方式而异用之前最好在目标长度上验证一下。6.4 部署时的性能考量推理阶段注意力模块的优化空间很大。常见手段包括把键和值缓存起来避免重复计算、用量化降低精度换速度、把注意力算子融合减少内存访问。这些优化在不同硬件和框架上收益不同需要实测。我个人的经验是先保证正确性再谈优化。很多性能问题其实来自数据预处理或后处理的瓶颈而不是模型本身。用性能分析工具定位真正的热点比盲目优化模型结构有效得多。7. 我在实际项目里踩过的几个坑第一个坑是位置编码加错层。早期我图省事在每一层都加了位置编码结果模型训练损失下降很慢排查了很久才发现是重复注入导致信号混乱。正确做法是只在输入嵌入上加一次。第二个坑是掩码维度广播错误。有一次解码器生成时总是重复输出同一个词查了半天发现是因果掩码的形状不对广播之后没有真正屏蔽未来位置。这种 bug 不报错只能靠打印中间张量发现。第三个坑是忽略序列长度的平方开销。在一个长文本分类任务里我按短文本的经验设了批次大小结果训练时显存反复溢出。后来把批次调小、配合梯度累积才跑通。教训是任何跟序列长度相关的参数都要用最长样本去验证。第四个坑是微调学习率过大。有次直接沿用了预训练的学习率前几百步损失就炸了。改成预热加小学习率之后训练立刻稳定。这个坑很典型值得每个刚接触微调的人记一笔。这些经验不一定适用于所有场景但如果你刚开始动手照着避开能省下不少时间。transformers 这套架构本身设计得很优雅真正难的是把它用对、用稳而这部分只能靠一次次实践去积累。
阅读完成 · 觉得有帮助？
