★ FEATURED ARTICLE 很多人是被 Transformer 论文开头那个公式一吓就再也不想碰数学了。我见过太多人代码跑得动、模型训得起来但一遇到 QKV、softmax、位置编码就开始含糊。真正的问题从来不是数学太难而是你手里缺一张地图不知道线性代数要学到哪一层概率统计在哪一环参战组合数学为什么也会掺和进来。这篇文章就是我整理了很久的数学路线图从线性代数一路铺到组合数学把每个分支和 Transformer 的对应关系讲透顺带说清楚学到什么程度才算“能用”。这条路线不追求数学系级别的严谨目标是让你能看懂论文公式、能把公式映射到代码、能改模型结构时心里有底。适合三类人刚入坑 NLP、想做注意力机制变体实验、或者读论文时总被公式劝退的朋友。1. 为什么你需要一张“数学地图”1.1 每个数学分支到底用在哪Transformer 不是某个单一数学领域的产物它是一个由多个数学分支拼装起来的系统。没有地图的话你很容易陷入两种极端一种是碰到公式就跳过靠抄代码糊弄过去另一种是过度投入从头啃完整本数学教材结果发现 90% 的内容暂时用不上。我用一张对应表把数学分支和 Transformer 组件的关系列清楚这是整个路线图的骨架数学分支Transformer 里的落点核心概念线性代数词向量、QKV 变换、注意力分数、前馈网络矩阵乘法、张量形状、向量空间概率与统计softmax、采样、损失函数概率分布、最大似然、温度系数微积分与最优化反向传播、参数更新链式法则、梯度、学习率信息论交叉熵损失、KL 散度熵、信息量、分布距离组合数学位置编码、复杂度分析、排列不变性排列、计数、三角恒等式你会注意到每个数学分支都对应着 Transformer 里一个具体的“痛点”。线性代数解释“向量是怎么变成 QKV 的”概率统计解释“为什么输出要过 softmax”信息论解释“训练时的损失函数在算什么”组合数学则能解释一个很隐蔽的问题“模型天生不认顺序位置信息哪来的”1.2 学习顺序背后的逻辑这张地图的顺序不是随便排的。我的建议是先线性代数再概率统计再微积分再信息论最后组合数学。原因很直接前向传播是理解一切的起点。你要先看懂输入从 word embedding 变成 attention 输出的每一步这个过程完全是线性代数然后 attention 输出要变成概率你需要概率统计有了概率要训练模型你需要知道梯度怎么算也就是微积分损失函数的具体形态要靠信息论来理解最后当你去抠位置编码、复杂度这类细节时组合数学才登场。很多人一上来就死磕信息论或组合数学其实顺序反了。先建立“向量如何在网络里流动”的画面再往细节里钻效率至少翻一倍。2. 线性代数看懂 QKV 的第一关2.1 词向量和矩阵乘法一次空间变换Transformer 的一切都从词向量开始。假设一个词的向量维度是 512一个句子有 10 个词那么输入矩阵的形状就是 (10, 512)。这 10 行代表 10 个词512 列代表每个词在语义空间里的坐标。QKV 变换本质上就是三次矩阵乘法X (10, 512) W_Q (512, 64) - Q (10, 64) X (10, 512) W_K (512, 64) - K (10, 64) X (10, 512) W_V (512, 64) - V (10, 64)W_Q、W_K、W_V 都是可学习的线性变换矩阵。它们的作用是把同一批词向量投影到三个不同的空间里Q 空间负责“我要查什么”K 空间负责“我有什么可以被查”V 空间负责“真正要提取的内容”。矩阵乘法在这里的实际含义是对向量做旋转、缩放、拉伸的组合变换。你说的“线性变换”并不是什么高深概念可以用一个生活类比理解同样一个物体从正面拍一张照片、从侧面拍一张照片、从俯视拍一张照片三张照片反映的信息角度不同。W_Q、W_K、W_V 就是三个不同的“相机角度”。2.2 点积、相似度、除以根号 d_k注意力分数的计算是整个 Transformer 里最精华的一步。它的公式是Attention(Q, K, V) softmax(QK^T / sqrt(d_k)) VQK^T 这一步用一句大白话说就是“Q 里的每个向量和 K 里的每个向量做点积”。点积的数学意义是两个向量在方向上有多一致夹角越小点积越大夹角接近 90 度点积趋近于零夹角为钝角点积为负。也就是说点积衡量的是“这个位置的 query 和那个位置的 key 有多匹配”。这个分数越高说明当前词越应该注意到那个词。为什么要除以 sqrt(d_k)这是新手最容易忽略的问题。当向量维度 d_k 比较大时点积的结果会随着维度增大而变得非常大。多个大的数值同时进入 softmax会直接把 softmax 推向极端最大的那个数概率接近 1其他数概率接近 0梯度几乎消失。除以 sqrt(d_k) 本质上是“标准化”把点积的方差拉回到一个稳定区间让 softmax 的输入不会因为维度增大而失控。关于 d_k 是什么可以做一个简化计算如果 Q 里的每个分量都是均值为 0、方差为 1 的随机变量那么两个 d_k 维向量的点积方差就是 d_k。除以 sqrt(d_k) 后方差就回到 1。这就是为什么“除以根号 d_k”不是拍脑袋而是有概率论依据的。2.3 掌握到什么程度才算够用线性代数不需要你学会手算 4x4 矩阵的逆也不需要用代数余子式推导一遍矩阵乘法公式。你需要的是三种能力看到矩阵乘法能立刻说出输出形状。理解点积代表相似度能解释清楚注意力分数为什么是内积。看到权重矩阵的维度能反推出输入输出的向量长度。这些能力完全可以通过“小矩阵手算 大矩阵用代码验证”来练。我常建议朋友拿一个 2x2 矩阵手动算一遍 QK^T再打印出 PyTorch 里的实际结果对比。提示如果你被爱因斯坦求和记号劝退其实可以先跳过。PyTorch 里的 matmul 规则已经帮你处理好了批量乘法你只需要心里清楚“每个 batch、每个 head、每个位置的向量怎么对应”。3. 概率与统计softmax 和不确定性3.1 指数运算把“分数”变成“概率”注意力分数的原始值可以是任意实数有正有负有大有小。但注意力权重应该是一个概率分布每个元素都在 0 到 1 之间所有元素加起来等于 1。这个转换就是 softmax 的职责。softmax 先对每个分数取指数 e^x然后做归一化softmax(z)_i e^{z_i} / Σ_j e^{z_j}为什么要加指数这一步而不是直接用原始分数做归一化我理解有两个原因。第一指数函数能把任何实数映射到正数规避负分数导致的不合理概率。第二指数运算能放大差异原本 2 和 3 只差 1但 e^3 是 e^2 的约 2.72 倍模型对“更匹配”的位置更敏感。把指数这一步换成线性归一化也不是不行但那样模型对细微差异的区分能力会弱很多。指数函数让注意力变成“赢家通吃”但又不完全极端这个平衡点恰恰是训练稳定的关键。3.2 最大似然与交叉熵语言模型在学什么语言模型的任务是预测下一个词。给定之前所有词模型输出一个词表大小的概率分布然后从里面挑概率最高的词。这个任务在数学上是一个分类问题训练目标就来自最大似然估计。最大似然的核心思想是我们要找一组参数使得训练语料里真实出现的下一个词被模型分配到的概率尽可能高。对单个样本如果真实词是 w模型预测它的概率是 p(w)我们希望最大化 p(w)。取 log 后变成最大化 log p(w)再取负变成最小化 -log p(w)。这个 -log p(w) 就叫交叉熵损失。它和信息论里的“消息编码长度”有密切关系真实词越不被模型预期损失越大。我一个很深的体会是只要把“最小化交叉熵”理解成“让模型给真实词更高的概率”Transformer 训练的大部分行为都能解释得通。3.3 采样与温度生成高频里的数学旋钮训练完模型后做文本生成每次从概率分布里选词直接选 argmax 会让输出非常机械总是走同一套路。随机采样又会让输出变得松散。于是 “temperature” 这个概率统计概念被引入。temperature 的操作很简单把 softmax 输入除以一个温度 Tp_i exp(z_i / T) / Σ_j exp(z_j / T)当 T 小于 1 时分数被放大softmax 输出更尖锐高概率词更突出输出更稳定。当 T 大于 1 时分数被压缩概率分布更平滑随机性更强。我调生成参数的经验是T0.7 到 0.9 适合大多数通用文本T0.1 适合代码或数学题T1.2 以上容易产生幻觉。这些看起来是工程经验背后全是概率分布的形态调整。你一旦理解 softmax 输出的“尖锐程度”受温度控制调参就不再是玄学。4. 微积分与优化反向传播的引擎4.1 链式法则梯度是怎么一路传回去的训练 Transformer 的标准套路是反向传播。反向传播的数学支柱是微积分里的链式法则。假设损失是 L模型某一层的输出是 yy 由权重 W 算出来链式法则告诉我们dL/dW (dL/dy) * (dy/dW)这个式子看着简单但放到 Transformer 里会演变成一个很长很长的链损失对 logits 求导logits 对注意力输出求导注意力输出对 value 求导value 对线性层求导一路倒推回 embedding。我在阅读代码时习惯把反向传播理解成“从最后的 loss 出发把误差分配到每个参与计算的张量上”。很多人在这一步被劝退是因为盯着代码里的backward()想不通它怎么知道梯度。实际上你不需要手动实现反向传播只要你理解“链式求导”这件事并且知道梯度是“误差对参数的敏感程度”就足以指导你做各种调试。比如你观察到某个中间层梯度特别大或特别小你能下意识想到这是“这条链上某一段的导数衰减或爆炸了”而不是盯着 loss 曲线干着急。这个能力在做大规模训练调试时会非常值钱。4.2 梯度下降和 Adam为什么“步长”不统一有了梯度参数更新本身是另一门数学分支——最优化。最朴素的方法是梯度下降W W - lr * dL/dW这个式子把参数沿着梯度反方向挪一小步。问题在于Transformer 里不同参数的梯度尺度差异巨大有些权重你希望走得快一点有些权重则容易走过头。所有参数都用同一个学习率效率很低。Adam 优化器就是来解决这个问题的。它不只用当前梯度还维护了梯度的滑动平均并且对每个参数做“自动归一化”梯度大的参数步长被压小梯度小的参数步长被放大。我最初完全看不懂 Adam 那套公式后来从一个简单的角度理解了它Adam 相当于给每个参数装了一个独立的“自适应步长控制器”这也是为什么它成为 Transformer 训练的事实默认配置。你需要掌握的数学程度是能解释清楚“梯度是上升方向所以减梯度是下降”和“为什么不同参数要用不同步长”这两个问题。至于 Adam 公式里一阶动量和二阶动量参数怎么取值直接用默认值就好不需要每一步都手推。4.3 归一化为何在 Transformer 里成了标配Transformer 堆了很多层每一层都有残差连接和 LayerNorm。这在微积分视角下有一个很重要的原因网络越深链式法则乘积越长梯度要么指数级变大要么指数级衰减到零。残差连接让梯度有一条“高速公路”可以直接流回浅层LayerNorm 则把每一层的激活值拉回到均值为 0、方差为 1 的范围内避免数值分布在层层传递中越漂越离谱。你可以这样类比深度网络训练就像是往一条很长的管道里推球摩擦和杂物会让球越推越慢残差连接等于每隔一段就开一个辅助推进器LayerNorm 等于定期把管道里的杂物清干净。这两个设计都是为了让梯度在长链条里能够平稳传递。“梯度消失”在双曲正切激活函数时代是家常便饭Transformer 用 ReLU 加 LayerNorm 加残差本质上是用数学手段对抗多层复合带来的数值不稳定。这些细节看起来是工程实现其实每一步都是微积分在背后站台。5. 信息论交叉熵为什么无处不在5.1 从“信息量”到“熵”如果你统计一份文本里每个词出现的频率会发现有些词几乎不出现有些词到处都是。信息论告诉你一个词携带的信息量和它出现的概率成反比。概率为 1 的词一定会出现携带信息量是 0完全确定没有任何信息概率极低的词一旦出现意外感强信息量就大。量化下来就是信息量 -log p(x)把所有可能事件的概率做加权平均就是熵H(p) -Σ p(x) log p(x)熵衡量的是一个概率分布内部的不确定性。一个均匀分布熵最大因为它“说不准下一个到底是谁”一个集中分布熵最小因为结果几乎确定。理解熵之后模型输出的“困惑度”就能看穿了模型困惑度低说明它输出的概率分布很集中选择很确定模型困惑度高说明它到处犹豫分布平滑。5.2 交叉熵和 KL 散度只差一个常数训练语言模型时我们经常把“交叉熵损失”和“KL 散度”混着提。它们的关系非常简洁交叉熵等于真实分布的熵加上真实分布到预测分布的 KL 散度。H(p, q) H(p) D_KL(p || q)H(p) 是真实分布固有的、跟模型无关的常数。因此最小化交叉熵等价于最小化 KL 散度等价于让模型输出分布尽可能逼近真实分布。语言模型在做的所有事本质上都是让 q 去拟合 p。这个小总结里藏着一个很深的启发你不需要凭空设计损失函数。只要明确“我期望的理想输出分布是什么样”再用交叉熵或 KL 散度去衡量模型预测分布和理想分布的距离损失函数就自然地长出来了。这也解释了为什么机器翻译、文本分类、语音识别这些任务最终都统一到交叉熵这个框架下。5.3 知识蒸馏与对齐KL 散度的其他舞台KL 散度不只是训练语言模型时用。知识蒸馏就是一个典型场景大模型教师和小模型学生同时处理一批数据我们希望学生的输出分布不只在正确答案上和教师一致还要在错误项的分布形态上尽量模仿教师。这个“分布形态对齐”的目标用的就是 KL 散度L KL(学生分布 || 教师分布)当你想让两个模型“在某些维度上行为接近”时KL 散度几乎是标准答案。甚至在偏好对齐阶段模型输出的优化也是通过约束新策略和参考策略之间的 KL 散度来实现的防止模型在训练中飘得太远。信息论在这里不只是一个认识论概念而是被实际写进训练目标的数学工具。我自己的学习建议是把“交叉熵和 KL 散度只差一个常数”这句话背下来然后去跑一次知识蒸馏的小实验理解会非常快。6. 组合数学理解位置编码与注意力复杂度6.1 排列不变性注意力天生“不认顺序”这是很容易被忽略的视角。注意力机制对输入序列做的是“两两交互”每个 token 的 query 和所有 token 的 key 做点积再对所有 value 加权求和。这个过程完全不关心 token 的先后顺序。把“我爱吃苹果”换成“苹果爱吃我”如果不加位置信息Transformer 算出来的表示一模一样。组合数学里的“排列”概念在这里非常关键一个序列的语义高度依赖于词的排列顺序但注意力机制本身对排列是“不变”的。为了打破这种排列不变性必须显式地给每个位置注入位置信息。这解释了一个一直被人忽略的问题为什么“位置编码”不是锦上添花而是 Transformer 能被称作“序列模型”的根基。6.2 位置编码里的三角恒等式位置编码最经典的方案是三角函数的正余弦编码PE(pos, 2i) sin(pos / 10000^(2i/d)) PE(pos, 2i1) cos(pos / 10000^(2i/d))这里最精巧的地方在于三角恒等式。sin(ab) 可以写成 sin(a)cos(b) cos(a)sin(b)这意味着位置 posk 的编码可以由位置 pos 的编码通过一个线性变换计算出来。也就是说模型不需要额外学习就能从 pos 的编码推算出“往前 k 个位置会是什么样”。这种“相对位置”信息被编码进了位置向量的线性结构中。组合数学在这里的作用是为如何“摆放”离散的位置提供结构化思路每个位置都是一个 2i 维的坐标维度越高周期的取值范围越大模型越能区分长远距离。从某种程度上说正余弦位置编码就是一种把离散格子映射到连续坐标系的组合构造。6.3 复杂度里的组合数为什么 n² 让人头疼自注意力的时间复杂度是 O(n²d)这个 n² 不是凭空来的。序列里有 n 个 token每个 token 的 query 要和所有 token 的 key 都算一次点积。也就是说一共要算 n 个 query 与 n 个 key 两两之间的大致 n² 个分数。如果把两两配对写成组合数就是 C(n, 2) 级别约等于 n(n-1)/2用大 O 表示就是 n²。理解这个组合数学背景才能理解论文里那些“稀疏注意力”“滑动窗口注意力”到底在优化什么。它们的本质都是不计算全部 n² 对交互而是从 n² 对里挑出你认为重要的那部分来算。这个“挑出重要的子集”的思路就是典型的组合优化问题。比如某公司提出来的局部窗口注意力就是只允许每个 token 与周围固定窗口内的 token 做注意力交互从 n² 降到了 n×w其中 w 是窗口大小。这背后全是“从全部组合里选子集”的数学直觉。我建议你遇到注意力变体时第一件事先算复杂度是 n²、n×w 还是介于两者之间这能帮你快速判断它到底在做什么类型的取舍。7. 从公式到代码一张张量形状对照表7.1 前向传播的每一步对应什么形状数学公式和代码之间最直接的桥梁就是张量形状。我整理了一份非常实用的对照表第一次从零实现 Transformer 的朋友按这个对照走基本不会迷路步骤公式张量形状输入 token原始文本(B, L)词嵌入X Embedding(input)(B, L, D)位置编码加入X X PE(B, L, D)Q 投影Q X W_Q(B, H, L, D_head)K 投影K X W_K(B, H, L, D_head)V 投影V X W_V(B, H, L, D_head)注意力分数scores Q K^T / sqrt(D_head)(B, H, L, L)softmaxprobs softmax(scores, dim-1)(B, H, L, L)加权求和output probs V(B, H, L, D_head)多头合并concat 线性投影(B, L, D)前馈网络FFN(x) ReLU(xW1b1)W2b2(B, L, D) - (B, L, 4D) - (B, L, D)这里面最容易懵的是 Q/K/V 的形状变化。X 是 (B, L, D)乘以 W_Q 后按多头拆分变成 (B, H, L, D_head)D H × D_head。也就是说多头注意力不是先算完再复制一份而是把 D 维空间切成 H 份每个头分别在不同的子空间里做注意力最后再拼回去。这个“切分-计算-合并”的结构是一个标准的线性代数操作序列。7.2 一套我实测有效的“对照法”我推荐的对照法是拿一个 B2, L4, D8, H2, D_head4 的小例子在 PyTorch 或 NumPy 里把每一步的 shape 打出来和表格逐一对照。整个过程不需要 GPUCPU 就够了。这种练习的价值是它不仅让你明白公式里每个符号对应代码里的哪个张量更重要的是让你养成“看到公式就先想 shape 变化”的习惯。我读新论文时最常用的技巧就是第一步先看那个模型结构图里各个张量的形状如果作者没有给形状我会直接按公式推一遍。这套方法对 Transformer 变体尤其好用Attention 无论怎么改核心形状变化逃不出“B、H、L、D_head”这几个维度的排列组合。一个很容易踩的坑是某些实现会在 softmax 前做 mask把 padding 位置替换成负无穷。你可能看不懂为什么是负无穷而不是零。答案是零在指数运算后是 1不会让概率变成 0只有负无穷经过指数才是零这样那些位置的注意力权重才会被完全清零。理解了指数函数的极限这种写法就变得非常自然了。8. 路线图怎么落地节奏、资源和避坑8.1 我踩过的坑这套路线图不是一开始就有很多坑是我自己踩过之后才总结出来的。第一个坑是死磕证明。我早期一看“为什么 softmax 要取指数”就去啃数学系教材里的凸函数证明结果证明没啃懂注意力机制也没学会。后来发现对于工程师来说先建立“指数函数能放大差异”这个感觉远比看懂严格证明重要。数学证明留给真正做理论的人你的目标是用数学服务模型理解而不是成为数学系毕业生。第二个坑是只看公式不推形状。我见过有人把注意力公式背得滚瓜烂熟但让他写代码时却不知道 QK^T 输出是 (L, L) 还是 (D, D)。这个问题的根源就是没有把公式和张量形状做强绑定。公式里的点积发生在序列维度上还是在向量维度上直接决定了输出形状。建议你自己动手用一个小矩阵走一遍再也不要凭空背公式。第三个坑是跳步。很多人直接上手信息论和组合数学结果发现连 softmax 的分布特性都没建立起来看什么都像空中楼阁。我理解这种焦虑总想着快点把困难的东西啃完。但 Transformer 的各个组件之间是有依赖关系的前向传播链路没打通之前去理解训练和优化只会越看越乱。8.2 推荐的学习节奏如果时间充裕我建议按“两周入门 一个月精通”的节奏来。第一周只看前向传播。死磕第 2 章到第 6 章看完后动手打印所有中间张量的形状把数学符号和代码建立强对应。第二周只看训练。把交叉熵、反向传播、Adam 三个概念串起来跑一个小型语言模型观察 loss 随训练步数下降的曲线。不用追求性能只求“看清训练在做什么”。之后的三到四周沿着论文里的 Transformer 变体逐步展开。每读一篇新论文先用路线图里的数学地图定位它是对应线性代数改了、概率部分改了、还是位置编码的组合结构改了。我给朋友推荐的小技巧是“给数学公式写翻译”。每读到一个公式在旁边用一句话写“人话版”解读比如“除以根号 d_k 是为了防止点积太大把 softmax 推成 one-hot”。别小看这个习惯它逼着你把符号翻译成直觉比反复抄公式有用得多。提示学习组合数学的时候不用专门去刷排列组合的竞赛题。你只需要懂排列组合的基本定义、复杂度分析和三角恒等式的基本操作。如果前面几章的基础打牢了组合数学这部分是最容易快速拿下的。最后再多说一句我之所以把这份路线图从头收拾得这么细是因为我自己当年浪费了太多时间在没有目标的数学轰炸里。真正有帮助的从来不是把数学当成一座必须一口气爬完的山而是把它当成一张随用随查的地图。遇到注意力就看线性代数遇到损失函数就去翻信息论遇到位置编码就回来想想组合数学。这种“按图索骥”的方式学习效率远高于按教材顺序从头啃到尾。如果你按这份路线图走了一遍回头看那些曾经让你头疼的论文公式大概率会觉得原来这些东西早就被这张地图标记过了。
阅读完成 · 觉得有帮助？
