★ FEATURED ARTICLE 卷积神经网络这个话题写的人太多了但大部分内容要么停在“卷积是提取特征的”这种一句话结论上要么一上来就堆公式看得人云里雾里。我当初学CNN的时候也是这个感受——概念都认识但真到动手搭一个能跑、能收敛、效果还过得去的模型时处处是坑。这篇笔记不打算复述教科书而是把我从“看懂原理”到“跑出结果”这一段路上真正卡住的地方、真正想明白的地方按我自己的理解顺序摊开来讲。核心关键词就是卷积神经网络、卷积核、池化、感受野、特征图、过拟合、批归一化这些词我会在具体场景里一个个拆开。不管你是刚接触深度学习、能跑通全连接网络但对CNN还一知半解还是已经调过几个模型但总觉得“知其然不知其所以然”这篇内容应该都能对上你的需求。我会从“为什么全连接搞不定图像”这个最朴素的疑问讲起一路讲到卷积核参数怎么算、池化到底在丢什么、训练不收敛时该往哪儿查尽量把每一步背后的“为什么”说透。1. 从全连接网络的失效说起图像为什么逼出了卷积1.1 一张图喂进全连接层参数量会炸成什么样很多人学CNN的第一个疑问是我明明有全连接网络为什么图像任务非得换个结构这个问题不搞清楚后面所有设计都像是凭空冒出来的规矩。我拿一个具体数字算给你看算完你就明白这不是“优化”而是“不换就活不下去”。假设输入是一张 224×224 的彩色图三个通道展平之后就是 224×224×3 150528 个输入值。如果第一层全连接只放 1024 个神经元这已经算很克制了光这一层的权重数量就是 150528×1024 ≈ 1.54 亿个参数。这还只是第一层后面还没算。一个模型光第一层就一亿多参数训练时的显存、计算量、过拟合风险全部失控。更关键的是这 1.54 亿个参数里绝大多数是“浪费”的。为什么这么说因为图像有个天然性质相邻像素高度相关而且同一个局部模式比如一条边缘、一个角点出现在图像左上角和右下角时本质是同一个东西。全连接层把每个输入像素和每个输出神经元都单独连一根线等于强迫网络对每个位置单独学一遍同样的模式这是巨大的冗余。这里有个容易被忽略的点参数量爆炸不只是“慢”的问题它直接导致模型极难训练。参数越多需要的样本越多而图像标注成本很高样本量往往跟不上过拟合几乎是必然的。1.2 局部连接与权值共享卷积的两个核心假设卷积神经网络干的事本质上是往网络里注入了两个关于图像的先验假设用这两个假设把参数量砍下来同时把“图像的空间结构”这个信息保留住。第一个假设叫局部连接。它认为一个输出神经元不需要看整张图只看输入的一个小邻域就够了。这符合直觉判断一个像素位置是不是边缘看它周围几个像素足矣没必要看整张图。于是每个输出只连一个 3×3 或 5×5 的小窗口连接数骤降。第二个假设叫权值共享。它认为“检测边缘”这个操作在图像任何位置都该用同一套权重。也就是说同一个卷积核在整张图上滑动走到哪儿都用同一组参数。这一下把参数量从“位置数×窗口大小”压成了“窗口大小”。这两个假设合起来就是卷积层参数量远小于全连接层的根本原因。我拿刚才的例子对比一下一个 3×3 卷积核、输入3通道、输出64通道参数量是 3×3×3×64 1728 个再加64个偏置。对比全连接那一亿多差了五个数量级。这不是调优这是换了个世界观。1.3 卷积运算到底在算什么一次滑动窗口的完整推演概念说完了得落到“它到底在算什么”。我用一个最小例子把卷积的每一步摊开这个例子搞懂了后面所有变体都是在这个基础上加东西。假设输入是一个 5×5 的单通道矩阵卷积核是 3×3步长为1不填充。卷积核从左上角开始盖住输入的 3×3 区域对应位置相乘再求和得到一个标量这就是输出特征图左上角的值。然后窗口向右滑一格再算一次直到滑完整张图。输出尺寸是 (5-3)/1 1 3所以得到一个 3×3 的特征图。这里有个细节新手经常搞混深度学习里的“卷积”严格说是互相关不是数学意义上的卷积数学卷积要把核翻转180度。但框架实现的全是互相关因为核的参数是学出来的翻不翻转对表达能力没影响省一次翻转何乐而不为。你只要记住“对应位置相乘求和”这个操作就行别被名字带偏。多通道的情况再补一句输入3通道卷积核也必须是3通道深度对齐每个通道各自做二维卷积然后把三个通道的结果相加再加偏置才得到一个输出通道的值。想要输出64个通道就用64组这样的三通道卷积核。所以卷积核的形状是(输出通道, 输入通道, 核高, 核宽)这个维度顺序在PyTorch里是铁律写错就是维度报错。2. 输出尺寸、感受野与padding那些必须算清楚的账2.1 输出尺寸公式背后的三个变量搭网络时最常犯的低级错误就是尺寸对不上尤其是到了后面接全连接层的时候特征图展平后的维度算错直接报错。所以输出尺寸公式必须烂熟于心输出尺寸 (输入尺寸 - 卷积核尺寸 2×padding) / 步长 1这个公式里三个变量各有各的作用得分开理解。卷积核尺寸决定单次看多大范围padding决定边缘补多少圈零用来控制输出尺寸和边缘信息保留步长决定窗口每次跳多远步长大于1就是下采样。我建议你养成一个习惯每加一层卷积就在纸上或注释里把这个公式代一遍把输出尺寸写下来。我早期就是懒得算结果网络写到第五层发现尺寸变成负数了因为核比特征图还大回头一层层查浪费半天。现在我的做法是网络定义旁边直接写一行注释记录每层输出形状改结构时一眼就能看出哪里断了。2.2 padding的两种动机保尺寸与护边缘padding不只是为了“让尺寸好看”它有两个实打实的动机理解了这个你才知道什么时候该用、用多少。第一个动机是保持空间尺寸。当你希望卷积前后特征图大小不变比如在残差连接里要相加尺寸必须一致就用padding (核尺寸-1)/2配合步长1。3×3核配padding15×3核配padding2这是最常见的配置。第二个动机是保护边缘信息。不加padding的话边缘像素被卷积核覆盖的次数远少于中心像素——角落的像素只被扫到一次中心的被扫到九次。这意味着边缘信息在深层网络里会被逐渐“稀释”。加padding相当于在边缘补零让边缘像素也能被充分参与运算。补零虽然引入了人为的“假信息”但相比丢失边缘这个代价可以接受。一个实操经验padding补零在浅层问题不大但在深层或者对边缘敏感的任务比如某些检测任务里有人会用反射填充reflect padding替代零填充减少边界处的人为突变。PyTorch里nn.ReflectionPad2d就能做但大多数常规任务用零填充足够了不必过度设计。2.3 感受野为什么堆两层3×3比一层5×5更划算感受野是CNN里最值得讲透的概念之一因为它直接决定了“网络能看多远”也解释了很多结构设计的取舍。感受野指的是输出特征图上一个点对应回原始输入上覆盖了多大区域。单层3×3卷积的感受野就是3×3。但如果堆两层3×3中间不加池化第二层的感受野是5×5堆三层是7×7。规律是堆 n 层 k×k 卷积感受野是n×(k-1)1。那为什么不直接用一层7×7因为参数量和计算量差太多。一层7×7卷积的参数量是 49×C×CC为通道数而三层3×3堆叠的参数量是 3×9×C×C 27×C×C少了将近一半。而且三层堆叠带来了三次非线性激活表达能力更强。这就是VGG网络大量使用3×3小核堆叠的核心原因——用小核堆叠换深度用深度换感受野和非线性性价比远高于用大核。这个结论我当初是背下来的后来自己算了一遍参数量才真正信服。你也可以动手算算算完对“为什么现代网络几乎清一色3×3”会有完全不同的理解。3. 池化层在丢什么下采样的收益与代价3.1 最大池化与平均池化的本质差异池化层常被一句话带过“降维、增大感受野、提供平移不变性”。但我想把“它在丢什么”讲清楚因为这决定了你该选哪种池化、该不该用池化。最大池化在一个小窗口里取最大值。它的隐含假设是这个窗口里最强的响应才是最重要的特征其余可以丢。这在检测“有没有某个特征”时很合理——只要窗口里有边缘最大值就会把它保留下来具体在窗口哪个位置不重要这就带来了局部平移不变性。平均池化取窗口均值它保留的是“整体强度”信息对纹理、背景这类弥散特征更友好但对“有没有”这种判断不如最大池化敏感。两者的取舍本质是你要保留“最强信号”还是“平均强度”。分类任务里最大池化用得更普遍因为它对特征的“存在性”更鲁棒而在一些需要保留整体分布信息的场景比如某些分割、风格迁移任务平均池化或不用池化更合适。3.2 池化带来的平移不变性到底有多强“平移不变性”这个词被用得很泛我得给它划个边界否则容易产生错误预期。池化提供的平移不变性是局部的、有限的。一个2×2最大池化只能保证特征在2×2窗口内平移时输出不变。如果特征平移超过了窗口大小输出还是会变。所以它不是真正的“平移不变”而是“小范围平移鲁棒”。深层网络通过多层池化累积鲁棒范围会扩大但代价是空间分辨率不断下降定位精度变差。这就解释了一个常见现象分类网络可以放心堆池化因为分类只关心“有没有”不关心“在哪”但检测、分割这类需要精确定位的任务就不能无脑池化否则位置信息丢太多框都框不准。现在很多检测网络用步长卷积替代池化来做下采样就是为了在降维的同时保留更多可学习的位置信息。3.3 池化 vs 步长卷积现代网络为什么越来越少用池化这几年一个明显趋势是很多新结构用步长大于1的卷积替代池化层做下采样。这不是跟风背后有实打实的理由。池化是无参数的固定操作它不学习只是机械地取最大或平均。而步长卷积是有参数、可学习的下采样网络可以自己决定“怎么降维最有信息量”。从表达能力上看可学习的下采样理论上限更高。另一个原因是池化会不可逆地丢信息而步长卷积虽然也降分辨率但它是在做一次带下采样的特征变换保留的信息更有结构。当然池化也有它的优势无参数、计算便宜、正则化效果防止过拟合有时还不错。所以这不是“池化过时了”而是“看任务选工具”。分类任务里池化依然好用追求极致表达能力的结构则更倾向步长卷积。我自己的习惯是结构简单、追求训练稳定时用最大池化需要更强表达能力、且数据量够时试试步长卷积往往能涨点。4. 一个能跑通的CNN从结构设计到训练收敛4.1 结构设计的取舍通道数怎么翻倍、深度怎么定光讲原理不动手是假把式。这一节我把一个用于图像分类的CNN从零设计出来重点讲每一步的取舍逻辑而不是甩一段代码了事。结构设计有个被广泛遵循的经验模式空间尺寸减半时通道数翻倍。比如 32→64→128→256。为什么因为下采样让空间分辨率降低单个位置承载的信息变“浓缩”了需要更多通道来容纳这些浓缩后的特征。同时空间尺寸减半让计算量降为四分之一通道翻倍让计算量翻倍两者相抵整体计算量大致可控。这个平衡不是巧合是设计出来的。深度怎么定没有万能答案但有个实用原则从浅开始逐步加深每次只改一个变量。我见过太多人一上来就堆十几层结果不收敛根本不知道是哪层的问题。正确做法是先搭一个3到4个卷积块的浅网络确认能跑通、能过拟合一个小数据集比如几十张图再逐步加深。能过拟合小数据是模型有学习能力的最低证明这一步过了再谈泛化。4.2 批归一化放在激活前还是激活后批归一化BatchNorm的位置是个经典争议点。主流做法是卷积 → BN → 激活也就是BN放在激活函数之前。原因在于BN的作用是把卷积输出归一化到稳定分布而激活函数如ReLU对输入分布敏感先归一化再激活能让激活函数工作在它最有效的区间。也有人试过卷积 → 激活 → BN在某些网络上也能work但主流框架和预训练模型几乎都是前者。我的建议是除非你有明确理由否则跟随主流卷积→BN→激活这个顺序踩坑最少。BN本身的价值在于稳定训练、允许更大学习率、轻微正则化几乎是现代CNN的标配除非batch size特别小比如小于8否则建议都加上。4.3 训练不收敛时的排查顺序这是最实用的部分。模型不收敛新手容易乱改越改越乱。我给一个我实际用的排查顺序从最可能的原因往下排排查顺序检查项典型症状处理方式1数据与标签是否对齐loss不降或乱跳可视化几张图核对标签2学习率是否过大loss震荡或变NaN降10倍重试3输入是否归一化收敛极慢减均值除标准差4网络尺寸是否算错直接报维度错逐层打印shape5是否过拟合小样本小数据都学不会先确保能过拟合这个顺序的核心逻辑是先排除数据和超参的低级错误再怀疑结构。我踩过最冤的坑是标签和图像错位——数据加载时排序不一致模型怎么调都不行最后可视化才发现图和标签对不上。所以现在我的第一反应永远是“先看数据”。一个具体技巧拿10张图、关掉数据增强、把学习率调小看模型能不能把这10张图训到接近100%准确。能说明模型和流程没问题问题在泛化不能说明流程里有硬伤继续往下查。5. 过拟合与正则化让模型记住该记的5.1 Dropout在卷积网络里的正确用法Dropout在卷积网络里的用法和全连接网络不太一样这点很多人没注意。全连接层参数多、冗余大Dropout比如0.5效果明显。但卷积层本身参数量小、权值共享已经是一种正则再加大比例Dropout反而可能伤害特征提取。我的经验是卷积层后面慎用或小比例用Dropout0.1到0.2全连接层分类头可以用大一点0.5。而且现在很多现代网络干脆不用Dropout改用BN加数据增强来正则。所以别把Dropout当万能药它只是工具箱里的一件。5.2 数据增强比调正则化参数更划算如果只能选一种抗过拟合手段我选数据增强。原因很直接过拟合的本质是“数据不够、模型记住了噪声”而数据增强是从源头增加有效样本多样性比在模型端加约束更治本。对图像任务随机裁剪、水平翻转、颜色抖动是性价比最高的三件套几乎无脑加。旋转、缩放要谨慎因为有些任务里旋转会破坏语义比如数字识别里6和9。我的一般策略是先用最保守的增强翻转裁剪跑基线过拟合了再逐步加增强强度而不是一上来堆一堆增强把训练搞难。5.3 早停与模型保存的实操细节早停Early Stopping是最省事的正则化但实操里有个细节容易忽略按验证集指标保存最优模型而不是按训练loss。训练loss一直降是正常的它不代表泛化好。我习惯在每个epoch后算验证集准确率只有超过历史最优才存盘同时记录patience比如连续10个epoch没提升就停。还有个坑验证集指标波动大时单点最优可能是噪声。稳妥做法是存“最近N个epoch平均最优”的模型或者至少把学习率衰减和早停配合用让后期指标更稳。这些细节不写进代码注释过两个月自己都忘了当初为什么这么设。6. 我踩过的几个真实坑与对应心得6.1 输入归一化没做训练慢到怀疑人生早期我有一次搭CNN数据直接除以255就喂进去了结果训练loss降得极慢调了半天学习率也没用。后来才意识到只除以255只是把范围压到0到1但分布中心还在0.5附近没有零均值化。改成减均值除标准差之后收敛速度肉眼可见地变快。这件事让我记住归一化不只是缩放零均值很关键。零均值能让每层输入分布更对称梯度更新更稳定。现在我的标准流程是先算训练集的均值和标准差然后对训练、验证、测试用同一组统计量做标准化绝不用各自的统计量那会造成信息泄漏。6.2 卷积核尺寸写成偶数padding算到崩溃有一次我图省事用了个4×4的卷积核结果padding怎么配都别扭。原因是偶数核没有“中心像素”(k-1)/2算出来是小数padding只能取整导致输出尺寸和输入对不齐后面接残差相加直接报错。这个坑的教训很直接卷积核优先用奇数3、5、7这样有明确中心padding取(k-1)/2就能完美保持尺寸。除非你有特殊设计需求否则别碰偶数核省得给自己找麻烦。6.3 batch size太小导致BN失效BN依赖一个batch内的统计量来归一化batch太小比如2或4统计量噪声极大归一化反而不稳定训练效果可能比不用BN还差。我有次在显存受限时把batch压到4结果训练各种抖查了半天才发现是BN在作怪。处理办法有两个要么增大batch用梯度累积模拟大batch要么换GroupNorm这类不依赖batch统计的归一化。这个细节在显存紧张时特别值得注意别一味压batch size。7. 从分类到更远CNN结构还能怎么延展把基础CNN跑通之后往哪个方向走取决于你的目标。如果继续做分类可以研究残差连接解决深层退化、注意力机制让网络关注重要区域如果做检测分割就要理解特征金字塔、上采样这些结构。但无论往哪走前面这些基础——卷积的局部性与共享、尺寸计算、感受野、池化取舍、归一化与正则——都是绕不开的地基。我个人体会是CNN学到最后拼的不是记住多少种网络结构而是遇到问题时知道该往哪个方向调。结构是死的排查思路和取舍逻辑才是活的。把这篇里的每个“为什么”真正想明白比背十个网络结构图有用得多。
阅读完成 · 觉得有帮助？
