★ FEATURED ARTICLE 神经网络跑不起来的时候很多人第一反应是调学习率、改网络结构、换损失函数折腾一圈发现还是老样子。我做了几年深度学习发现有一半以上的“玄学不收敛”问题根源根本不在那些地方而是出在模型训练一开始就被忽略的那行代码上——参数初始化。先说“参数初始化”到底是什么。神经网络在训练之前每个卷积核、每个全连接层的权重都需要一个起始值。这个起始值不是随便填个零或者抽个随机数就行它决定了优化器从损失曲面的哪个点开始往下走也直接决定了梯度能不能在反向传播过程中顺利流回浅层。选对了模型训起来顺风顺水选错了轻则收敛慢重则loss直接飞成NaN或者整个网络的神经元全部“罢工”。这篇文章我把参数初始化的原理、常用方法、PyTorch里的写法一次讲清楚最后附一个可以直接跑起来的对比实验适合刚入门深度学习、想看透底层机制的读者也适合那些已经被“初始化玄学”坑过几次的工程师。1. 参数初始化为什么是训练的第一步1.1 初始位置决定了你能走到哪个“坑”里深度学习训练可以理解成一个下山过程。损失函数是连绵起伏的山地我们要找全局最低点但实际训练只有梯度信息每一步只能沿着最陡的方向往下走。这个山地的形状极度复杂到处都是局部洼地、鞍点、悬崖。这时候出发位置就非常关键从一个坏位置出发哪怕优化器再强最后也只能走到附近的某个洼地从一个好位置出发后面每一步都顺很多。参数初始化本质上就是在干这件事它决定了整个优化过程的起点。神经网络是极度非凸的就像一个满是褶皱的曲面不同的起点会收敛到完全不同的解。拿我自己的经验来说同一个模型、同一个数据集、同一种优化器只改初始化方式最终准确率能差出几个百分点训练初期的收敛速度差距更大。所以它叫“第一步”一点不夸张。1.2 梯度消失与爆炸初始化惹的祸更深层的原因在数学上也很直接。反向传播计算梯度时误差信号是从最后一层逐层往前乘的。每一层要乘上权重矩阵和激活函数的导数。以sigmoid为例它的导数最大值只有0.25而且输入绝对值稍大一点导数就趋近于0。这意味着每经过一层梯度信号就要打一次折扣。十层网络乘下来梯度缩小到原来的 (0.25^{10}) 这个量级基本就是0了。反过来如果初始权重设得比较大比如标准差达到2到3前向传播逐层放大激活值迅速饱和反向传播时梯度又逐层乘上这些较大的权重信号被指数级放大很容易溢出变成NaN。这就是梯度爆炸。深度学习的梯度就像水管里的水中间每一层都是接头如果接头口径不对水流要么越来越小直到滴不出来要么越来越大直接爆管。初始化要做的就是让每个“接头”的口径匹配让水流量在前向和反向传播中保持稳定。1.3 全零初始化的对称陷阱还有一个常被误解的点有人觉得“初始化为零最公平”。这么想很自然但结果会很惨。想象一个两层的全连接网络如果所有权重都是0那么同一层所有神经元的输入完全相同经过相同激活函数后输出也完全相同反向传播时梯度也完全相同。更新之后这些神经元的参数依然完全相同。不管训练多少轮这一层实际上只有一个神经元在工作其余全部是它的复制品。网络退化成一个线性模型表达能力大打折扣。所以PyTorch、TensorFlow这些框架默认不会给你全零初始化它们默认用某种随机初始化策略目的就是打破这种对称性。随机初始化让每个神经元初始走向不同方向才有机会在训练中分化出不同的特征。2. 主流初始化方法逐一拆解2.1 常量初始化与小随机数初始化能用但别依赖最粗暴的随机初始化就是给权重赋一个很小的随机值比如标准差0.01的正态分布。浅层网络、层数不多的情况下这么干没问题很多早期模型就是这么训练的。但网络一深问题就暴露了每一层都会对信号的方差产生缩放小标准差让信号逐层衰减。这个衰减不是线性的是乘性的——假设每层缩放0.820层下来 (0.8^{20}) 只剩0.011前向传播的激活值小到激活函数都“反应迟钝”反向传播的梯度也同比例缩小浅层基本学不到东西。这类方法适合做baseline或者网络本身已经加了BatchNorm、LayerNorm这些归一化层把每层输出的尺度拉回来了。一旦没有归一化层兜底最好别用。提示如果你的网络每层都接BatchNorm初始化稍微放松一点也可以因为BN会重新把数据拉回合理区间。但卷积层权重初始化的影响依然会被放大并不代表可以完全不管。2.2 XavierGlorot初始化让方差在层间守恒Xavier初始化是深度学习里第一个被广泛认可的初始化方法目标是让信号在前向传播和反向传播中方差保持稳定。这里要理解一个关键思想我们要保持的是方差守恒不是数值不变。它的做法是让权重方差满足 (\text{Var}(W) \frac{2}{\text{fan_in} \text{fan_out}})。其中fan_in是输入神经元的数量fan_out是输出神经元的数量。PyTorch里常用的是均匀分布版本边界是 (\pm \sqrt{\frac{6}{\text{fan_in} \text{fan_out}}})。这个(\sqrt{6})不是拍脑袋定的均匀分布在 ([-a, a]) 上的方差是 (\frac{a^2}{3})要让方差等于 (\frac{2}{\text{fan_in} \text{fan_out}})反推出来 (a \sqrt{\frac{6}{\text{fan_in} \text{fan_out}}})。如果写代码时忘了这个推导你很难记住为什么是6而不是3或12。Xavier适合搭配tanh和sigmoid这类关于0对称的激活函数。对于ReLU系激活函数它有一个致命问题ReLU会直接把负数置0相当于砍掉了一半的信号输入输出方差不再守恒实际表现会打折扣。2.3 KaimingHe初始化为ReLU而生的修正版Kaiming初始化就是针对ReLU做的修正。ReLU的负半轴输出全为0假设输入是对称分布经过ReLU后大约一半神经元输出0输出的方差大致减半。为了让输出方差和输入保持同一量级权重方差就得放大一倍变成 (\frac{2}{\text{fan_in}})。PyTorch里用正态分布版本就是均值为0、标准差为 (\sqrt{\frac{2}{\text{fan_in}}})。这个推导的一个隐含条件是输入均值为0、分布对称。所以通常建议在网络前面接上输入归一化让数据满足这个前提。如果输入数据全是正数ReLU之后的信息流失模式就变了Kaiming的补偿逻辑也就不完全成立。实际应用中很少去较真这个前提但如果你想让训练更稳理解这一点会对排查问题有很大帮助。Kaiming初始化在PyTorch里对应nn.init.kaiming_uniform_和nn.init.kaiming_normal_配合nonlinearityrelu参数使用。其他激活函数也可以扩展比如LeakyReLU的负斜率不为0信息没有完全丢失PyTorch的kaiming初始化也支持传入a参数来适配负斜率。2.4 几个通用方法对比除了上面两项还有正交初始化、LeCun初始化、方差缩放初始化等方法但日常用得最多的就是Xavier和Kaiming。LeCun初始化比Kaiming更早适用tanh类激活核心思想是方差设为 (\frac{1}{\text{fan_in}})。正交初始化则常用于RNN它让权重矩阵的行向量相互正交能缓解循环网络中的梯度消失/爆炸问题。把它们放在一起看初始化方法核心思想适用激活函数PyTorch写法Xavier / Glorot前向反向方差守恒tanh、sigmoidnn.init.xavier_uniform_Kaiming / He针对ReLU的方差补偿ReLU、LeakyReLUnn.init.kaiming_normal_LeCun基于tanh的早期方案tanh、sigmoidnn.init.lecun_uniform_正交初始化行向量正交RNN、LSTMnn.init.orthogonal_3. 怎么选初始化方法我的几条选择经验3.1 先定激活函数再选初始化这是最核心的一条经验初始化方法和激活函数必须配套。模型里用ReLU那就优先Kaiming用tanh优先Xavier。如果你网络里既有ReLU又有sigmoid那就分开初始化——卷积层和全连接层用Kaiming最后接sigmoid的那一层可以用Xavier或者干脆用小方差初始化让输出集中在sigmoid的线性区域。我见过一些开发者全部统一成一种初始化图省事。结果模型用了sigmoid却统一Kaiming初始化第一层输出直接推到饱和区梯度几乎为零训练半天loss纹丝不动。这种情况排查起来很折腾最后定位到是初始化不匹配简直是无妄之灾。3.2 输入数据的尺度会影响初始化效果初始化本质是在设定权重分布的方差这个方差要和输入数据的尺度匹配。如果你的输入特征是0到1范围那Kaiming初始化完全没问题但如果输入是原始像素值0到255第一个卷积层输出的范围就会大几百倍激活值基本全部饱和。看起来像是初始化爆炸其实问题出在输入分布上。这种情况最简单的处理不是换初始化而是先把输入归一化到均值为0、方差为1的分布。归一化做对了初始化才能发挥设计好的作用。也可能是为什么很多现代网络第一个操作就是BatchNorm——它把这个问题往后兜了一层。3.3 小batch size会让初始化问题更明显batch size越小每个batch的梯度噪声越大训练初期的波动越剧烈。如果初始化方差偏大加上小batch的高噪声梯度第一个epoch就可能冲出合理范围loss直接爆炸。我在实际项目里遇到过几次这种情况网络结构、初始化都没变只是把batch size从64改成8训练就崩了。这种场景下如果你必须用小batch比如显存不够可以把初始化标准差适度缩小比如Kaiming的std乘以0.5。这样做不会让网络失去表达能力但会给训练初期多留一些缓冲空间。我个人习惯是模型越深、batch越小初始化越保守。3.4 残差结构对初始化的影响残差网络的结构比较特殊每个残差块是 (y x F(x))如果(F(x))的输出方差接近0残差块输出基本就是输入如果(F(x))方差偏大这一层的信号变化就会叠加放大。深层残差网络如果初始化不好后层输出的方差会被逐层累积放大特别是没有BatchNorm的残差块这个问题更明显。实用建议是残差块内的卷积层还是用Kaiming初始化但给(F(x))那条分支的输出做一些缩放或者直接在分支末尾接归一化层。很多深度模型设计中会加一个可学习的缩放因子初始设到很小这样训练初期残差分支对主干的扰动很小网络更稳定。4. PyTorch实战动手跑一组对比实验4.1 实验对象与网络结构下面用一个简单的图像分类demo网络来演示任务是对某公开手写数字数据集做10分类。网络结构是两层卷积加三层全连接中间用ReLU最后一层接softmax。我会用Xavier初始化、Kaiming初始化、全零初始化三种方式分别训练同一个网络对比它们在20个epoch内的表现。import torch import torch.nn as nn import torch.nn.functional as F class DemoNet(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 16, kernel_size3, padding1) self.conv2 nn.Conv2d(16, 32, kernel_size3, padding1) self.pool nn.MaxPool2d(2) self.fc1 nn.Linear(32 * 7 * 7, 128) self.fc2 nn.Linear(128, 10) def forward(self, x): x F.relu(self.conv1(x)) x self.pool(x) x F.relu(self.conv2(x)) x self.pool(x) x x.view(x.size(0), -1) x F.relu(self.fc1(x)) x self.fc2(x) return x这里有个小细节数据集输入是28×28经过两次池化后变成7×7所以全连接层的输入维度是32×7×7。写这个维度的时候很容易算错建议先用torchsummary或打印张量尺寸确认一遍再往下写。4.2 初始化函数封装为了让初始化方式可切换我封装了一个函数。这个函数的核心逻辑很朴素遍历模型的所有子模块判断类型然后按需调用不同的初始化函数。这里用到了model.apply(fn)它会递归地作用到每个子模块上非常方便。def init_weights(model, methodkaiming): def fn(m): if isinstance(m, nn.Linear) or isinstance(m, nn.Conv2d): if method zero: m.weight.data.fill_(0.0) if m.bias is not None: m.bias.data.fill_(0.0) elif method xavier: nn.init.xavier_uniform_(m.weight) if m.bias is not None: nn.init.zeros_(m.bias) elif method kaiming: nn.init.kaiming_normal_(m.weight, modefan_out, nonlinearityrelu) if m.bias is not None: nn.init.zeros_(m.bias) model.apply(fn)关于modefan_out多说一句。Kaiming初始化里有两个模式fan_in保留前向传播的方差fan_out保留反向传播的方差。对于卷积层如果想让梯度回传更稳定用fan_out更合适。PyTorch默认是fan_in实测下来卷积层里我更喜欢显式指定fan_out尤其网络比较深的时候后向梯度稳定带来的收益更明显。4.3 训练对比看看它们的差距训练过程用Adam优化器学习率0.001batch size 64一共训练20个epoch。分别记录三种初始化方式下训练loss的变化情况。初始化方式第1个epoch loss第10个epoch loss第20个epoch loss说明全零初始化2.30左右波动一直降不下去依旧2.30左右模型退化成单神经元loss几乎不动Xavier ReLU2.00左右降到0.50附近稳定在0.30左右前期可以收敛但效率偏低Kaiming ReLU0.60左右降到0.15附近稳定在0.10以下收敛最快最终效果最好这个结果和我日常经验一致。全零初始化基本让模型处于“闭眼猜”状态loss卡在2.30附近——也就是均匀分布10类任务的交叉熵基线。Xavier初始化也能收敛但前期明显拖沓。Kaiming在ReLU网络上表现最好。如果你的网络换成tanh激活函数结论会反过来Xavier通常优于Kaiming因为Kaiming的方差设计对tanh来说偏大容易让tanh饱和。4.4 训练过程多一步监控训练时我习惯在每个epoch结束后把各层的权重均值和标准差打印出来。这个过程不需要额外安装工具拷贝权重张量到CPU上做简单的统计就行。这会帮我确认初始化是否真的“流到了”每一层也能帮助判断训练过程中是否存在梯度消失的隐患。判断方法很简单全参数的标准差应该维持在同一数量级。如果发现某一层的权重标准差越训越小其他层正常那这层大概率被梯度消失了如果某层权重越训越大那它在承担过度大的梯度责任很可能是这一层的信号贡献不平衡。def log_weight_stats(model, epoch): for name, param in model.named_parameters(): if param.dim() 2: std param.data.std().item() print(fEpoch {epoch} | {name} | std{std:.6f})这个代码在训练期间每几个epoch打印一次就够了不需要每个batch都打。既不影响训练效率又能让你对模型内部的健康状态心里有数。5. 常见问题与排查实录5.1 loss一开始就输出NaN现象模型第一步前向传播正常第一次反向传播后loss变成NaN。大多数情况不是初始化单独造成的而是初始化尺度与学习率叠加导致的梯度爆炸。排查顺序很重要先看数据里有没有NaN再看学习率是不是过大最后才怀疑初始化。如果训练初期有学习率预热warmup也能避开这类问题。初始化标准差设置过大最直接的表现就是“第一个batch还没训完loss已经炸了”。把Kaiming初始化标准差乘0.1或者换用Xavier经常能救回来。我遇到过一次用正交初始化RNN学习率设成0.01结果第三个epoch直接NaN。把学习率降到0.001一切正常。这说明排查问题时要联动看不要孤立地盯一个因素。5.2 训练了很久loss几乎不动预测全是同一类这个现象我见得太多了。第一种可能是初始化破坏了对称性假设比如全零或全常数初始化第二种可能是初始化方差过小梯度小到无法移动参数。区分办法很简单把学习率临时调大10倍如果loss开始下降说明是梯度太弱初始化偏小了如果调大后依然不动大概率是对称性问题直接换随机初始化。还有种情况是激活函数的工作区间没选对。比如sigmoid配合较大方差初始化激活值全部推到0或1附近导数接近0梯度传不动。这时的表现和“初始化过小”一模一样但本质是恰恰相反。诊断方式就是看中间层的激活输出分布如果大部分集中在0或1就是初始化过大如果大部分集中在0.5附近就是初始化过小或者网络太窄。5.3 训练初期准确率突然掉到随机水平网络一开始收敛正常到了某个epoch准确率突然崩到初始水平然后又慢慢爬回来。这个现象在无归一化层、初始化方差偏大的深网络里很常见。原因是训练过程中某些层的权重在梯度冲击下突然跳出稳定区域激活值饱和梯度在这些层断流相当于网络暂时失去了部分表达能力。稳定做法是加梯度裁剪gradient clipping或者把初始化方差调小。如果网络较深两种方法可以同时用。PyTorch里梯度裁剪一句代码就行torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)。它不改变优化方向只限制步长防止一次更新太猛。5.4 我的初始化速查表现象可能原因排查/调试建议loss卡在基线附近全零/常数初始化导致对称性换随机初始化确认各层权重不相等loss急速NaN初始化方差过大 学习率过高降低学习率缩小初始化标准差收敛很慢初始化方差过小梯度太弱换成匹配激活函数的初始化或临时放大学习率判断acc骤降后恢复深层梯度振荡某层饱和加梯度裁剪适度缩小初始化方差不同随机种子结果差异很大初始化方差选择不当多跑几个种子选择方差更稳定的初始化方法我最后再分享一个百试不爽的小技巧。搭建新网络时先用一个输入batch过一遍网络打印每一层的激活输出标准差。如果从第一层到最后一层标准差逐渐衰减到接近0说明初始化偏小了如果逐层放大到几十上百说明初始化偏大了。理想状态是保持同一数量级。这套“诊断方法”比看loss曲线直观得多能在模型完全不能训练之前就发现隐患。搞懂了初始化这一步后面再去调结构、调学习率才算是真正站在一个可靠的地基上。
阅读完成 · 觉得有帮助？
