★ FEATURED ARTICLE 图像分类实验是很多人接触计算机视觉的第一个门槛。我印象很深第一次带着这个实验任务去搭CNN的时候光是把“为什么卷积有效”这件事想明白就花了不少时间。等真正跑通之后回头看这个实验的核心价值其实不在于“把准确率刷多高”而是让你把卷积、池化、全连接、反向传播这些抽象概念亲手在代码里验证一遍建立对深度学习流程的完整体感。这篇内容就围绕“基于CNN的图像分类”这个经典实验展开把我在做实验、带实验过程中沉淀下来的关键细节、踩坑经验、调参思路全部理一遍给正在做类似实验的同学一份可以直接参考的实操手册。我自己当时接手这个实验二的时候最直观的感受是课程讲义只会给你一个网络结构图和一段BaseLine代码但你拿去跑大概率会遇到精度上不去、训练发散、显存撑爆这类问题。这些问题光看理论书解决不了必须自己在数据、结构、训练参数三个层面一步步调。所以这篇文章不会只讲原理我会把从数据组织到模型训练、再到结果分析的全过程拆开讲重点放在那些“知道了就能少走很多弯路”的细节上。整个实验下来我最大的体会是CNN分类任务的核心竞争力不是模型有多花哨而是你对数据、损失曲线和每一层输出的敏感度。如果你正在做类似实验或者刚入门图像分类这篇文章可以帮你省掉大量试错时间。1. 实验二到底在训练什么CNN分类任务的核心逻辑拆解1.1 我理解的核心需求实验二的题目叫“基于CNN的图像分类”但不同课程对此的要求差别很大。有的偏重网络结构实现有的偏重准确率指标有的偏重完整训练流程。我做的这个版本要求是给定一套图像数据集自行设计或调整CNN结构完成训练、验证和测试最后提交分类结果报告。先说我对这个实验目标的拆解。表面上是“搭一个神经网络”实际上是在训练四件事理解图像数据在计算机中的表示方式图像本质是像素值组成的张量不同通道代表不同颜色信息CNN要做的就是从这些原始像素里自动提取特征。理解CNN逐层提取特征的逻辑浅层卷积核学习边缘、颜色块中层学习纹理、局部形状深层学习语义化的物体部件这种从具体到抽象的过程是整个视觉任务的基石。理解端到端训练的整体联动损失函数如何把“预测错误”转化为“梯度”梯度如何回传更新每一层卷积核的权重数据增强如何改变训练分布。形成可复现的实验习惯实验报告不只要求结果更要求你的过程可复现、参数有记录、对比有依据。这四点里最后一点在实验中最容易被忽略但实际工作中恰恰最重要。我现在看一个实验报告第一眼看的就是有没有固定随机种子、有没有记录训练集和测试集的预处理方式、有没有把结构变更和精度变化对应起来。没有这些模型结构再复杂也白搭。1.2 CNN的三个关键部件为什么是卷积而不是全连接硬怼很多初学者第一次看到CNN时会问为什么不把图片直接展平然后接全连接层我在实验前也有这个疑问直到我算了一笔账才彻底明白。假设输入是224 x 224的RGB图像展平后是150528个像素值。如果第一层用1024个神经元的全连接层这一层就有1.5亿个参数而且这还只是第一层。这样的网络不仅训练不动也没有任何归纳偏置——它把图像当成一个一维向量完全丢掉了空间结构。CNN的解决方案是让每一层只关注局部区域并且在整个图像上共享同一组卷积核参数。一张224 x 224的图用3 x 3的卷积核、64个输出通道参数量只有3 x 3 x 3 x 64 1728个比全连接少了几个数量级。这个对比不是理论上的小事它决定了你能否在普通显卡上完成训练。除了卷积层CNN还有两个标配部件池化层最常用的是最大池化作用是降低特征图分辨率、扩大感受野、同时保留局部最显著的特征。我对池化的理解是它像图片压缩时的“保留最亮像素”虽然丢了信息但保住了最能激活神经元的那个信号反而让模型更鲁棒。非线性激活卷积本身是线性操作如果不加非线性叠加多少层都等价于一层线性变换。ReLU的出现解决了梯度饱和问题也让网络可以堆得更深。在实验里我倾向于用一个简洁的基线结构而不是一步到位用复杂网络。先把流程跑通再逐步加深加宽最后再谈优化。1.3 实验环境的准备清单实验二的环境配置看起来简单实际上有非常多隐藏的坑。我第一次跑实验的时候光是把环境装对就花了一个下午之后每次帮同学排查环境问题发现翻车点都很类似。这里列一个我实测下来最稳的组合组件我的推荐原因Python3.8或3.9兼容性最稳后续库基本全支持深度学习框架PyTorch 2.x动态图、调试方便学习成本低于其他框架CUDA根据显卡选不要追求最新版稳定优先图像处理库Pillow OpenCV可选基础读写用Pillow足够增强用OpenCV可视化Matplotlib TensorBoard一个看静态图一个看训练曲线这里强调一点安装PyTorch时一定要先确定CUDA版本用对应的安装命令不要在环境里再有更复杂的依赖关系时去动这些底层库。很多人在这一步反复重装环境其实就是因为装完CUDA又装PyTorch版本对不上。2. 动手前的数据准备实验里最容易翻车、却最不该花时间的环节2.1 数据集选择与目录组织实验二一般会指定数据集但如果你可以自选我强烈建议选一个“中等规模、类别均衡”的数据集而不是直接上大规模数据。选数据集的核心逻辑是你是在做实验验证方法不是在刷排行榜数据规模太大只会让单轮训练时间变得难以接受。我自己用的数据集大概是这样10个类别每个类别约1000张图片图片尺寸统一缩放到适当大小。目录结构我推荐这样组织data/ train/ class0/ class1/ ... val/ class0/ class1/ ... test/ class0/ class1/ ...这个结构看着基础却是很多人一开始会犯错的地方——把所有的图片混在一个文件夹里靠文件名去区分标签。用文件夹区分类别代码只需要一行就能拿到标签而且不容易出错。2.2 预处理和增强的“度”在哪里图像预处理的常规操作是缩放、归一化和数据增强。缩放好理解就是把图片统一成模型输入尺寸。归一化更微妙标准做法是每个通道除以255让像素值落到0到1区间更讲究的做法是用数据集的均值和标准差做标准化。我的建议是直接用ImageNet数据集的归一化参数即均值0.485、0.456、0.406标准差0.229、0.224、0.225这样有一个好处如果后续要换用预训练模型迁移学习你的数据分布和模型的预期输入是一致的。数据增强是实验里一个“过犹不及”的典型场景。常见的增强操作有随机水平翻转、随机裁剪、色彩抖动、旋转、缩放等。初学者容易犯的错是一次性加上所有增强结果训练集的分布被改得面目全非模型反而学不到稳定特征。我实际用下来比较稳的增强组合是随机水平翻转 随机裁剪 轻微色彩抖动。随机裁剪相当于一种平移不变性的增强色彩抖动模拟光照变化这两个对绝大多数分类任务都有效。旋转这类操作要慎用因为对不旋转语义不变的类别比如钟表还好但对“6”和“9”这种旋转后会混淆的类别就是灾难。2.3 训练集、验证集、测试集的划分逻辑很多同学在实验里只分训练集和测试集这是个大坑。测试集应该只在最后评估时用一次如果拿它来反复调参就相当于“泄露”了测试信息最终指标会虚高但泛化能力很可能是差的。正确做法是三分法训练集用来更新网络参数验证集用来做模型选择和调参测试集在全部调试结束后一次性评估。比例上我的习惯是训练集占80%验证集和测试集各占10%。如果数据集总量很大验证集比例可以更小。另外划分数据集时一定要固定随机种子。我见过不少实验报告每次运行数据划分都不同导致几次实验之间精度差异很大还误以为是模型随机性造成的。这个问题应该在一开始就堵死import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False这段代码的作用是让整个实验可复现。cudnn.deterministic会强制卷积算法确定化代价是速度略微下降但换来的可复现性非常值得尤其是你需要对比多次实验结果的时候。3. 从零搭建一个能跑的CNN结构我的设计逻辑和代码框架3.1 网络结构设计先保证能收敛再谈效果实验二不太需要你去复现ResNet、VGG这种复杂的结构。我自己的做法是先设计一个足够简单但完整收敛的基线网络让整个训练流程跑通然后再根据验证集的反馈去调整。下面这个结构是我在实验中常用的基线设计逻辑是每个卷积块由“卷积 ReLU 池化”组成特征图尺寸逐层减半通道数逐层翻倍最后通过全局平均池化或展平操作接入全连接层import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(64, 128, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2, 2), ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(128 * 28 * 28, 256), nn.ReLU(), nn.Dropout(0.5), nn.Linear(256, num_classes), ) def forward(self, x): x self.features(x) x self.classifier(x) return x注意全连接层的输入维度计算输入如果是224 x 224经过三次最大池化每次尺寸减半得到28 x 28的特征图通道数为128所以展平后是128 x 28 x 28。这一处算错的话程序会报维度不匹配的错很多人第一次跑模型都卡在这里。3.2 激活函数、损失函数、优化器的组合逻辑这三个组件看起来是独立选择实际是互相配合的。在分类任务里我的标准组合是激活函数隐藏层用ReLU输出层不用激活配合交叉熵损失。损失函数交叉熵损失PyTorch里直接对应nn.CrossEntropyLoss()。优化器Adam或带动量的SGD我会优先用SGDmomentum因为它在小数据上的泛化表现通常比Adam更稳。这里有一个初学者容易困惑的点为什么输出层不接Softmax因为nn.CrossEntropyLoss()在内部已经把Softmax和交叉熵合并在一起计算了如果你在网络输出后又单独加一个Softmax再传给这个损失函数就会变成“双重Softmax”数值上会非常奇怪而且梯度计算可能不稳定。关于优化器参数我的经验是Adam的话学习率从3e-4开始SGD的话学习率从0.01开始比较好同时配上momentum0.9。学习率不是一个随便填的数字它决定了参数更新的步长“太大震荡、太小龟速”这个感受你亲手跑一次就明白了。3.3 训练循环和验证循环的标准写法训练代码本身不复杂但有几个小细节决定了是否能真正训练好。我贴一个接近实际项目的训练循环def train_one_epoch(model, train_loader, criterion, optimizer, device): model.train() total_loss 0.0 correct 0 total 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() return total_loss / total, correct / total训练循环里有几个关键点optimizer.zero_grad()必须在每次前向传播之前调用否则梯度会在多次迭代之间累积导致优化过程震荡。model.train()和model.eval()切换是必须的因为Dropout和BatchNorm在训练和推理时的行为完全不同。很多人只训练不验证或者验证时不切回eval()模式结果验证集指标异常。torch.max(outputs, 1)取的是每个样本预测概率最大的类别索引CrossEntropyLoss的输入是原始logits所以这里不需要Softmax。验证循环和训练循环结构类似但要用torch.no_grad()包裹并且调用model.eval()。no_grad()的意思是告诉PyTorch“这段代码不需要计算梯度”既省内存也加快速度同时保证不会误改模型参数。4. 训练过程实录过拟合、学习率、Batch Size和那些让人头疼的Loss曲线4.1 第一次跑通之后的典型困惑我第一次跑通实验二时满怀期待地看了一眼训练曲线结果发现训练集准确率一路上涨验证集准确率却在某个轮次之后开始震荡甚至下降。这就是最典型的过拟合。过拟合的本质是模型把训练集的噪声也记住了而不是学到可泛化的规律。放到视觉任务里模型可能通过背景、颜色分布这些“捷径”来分类而不是真正的物体形状。这个问题在实验设置里几乎必然出现因为训练数据量相对较小。应对过拟合我的优先级是这样排列的数据增强最有效的正则化手段等于免费扩充训练数据。Dropout在全连接层之间加比例0.3到0.5强迫网络不过度依赖某个神经元。权重衰减weight decay在优化器里加weight_decay参数相当于L2正则化让大权重受惩罚。早停法Early Stopping监控验证集指标连续多个轮次不提升就停止训练保存最佳模型。有一件事我要特别提醒不要只看训练集准确率就去评估模型。训练集准确率接近100%只能说明模型容量够大完全不代表泛化能力。我在检查别人实验报告时会同时要求提交训练曲线、验证曲线和最终测试集结果三者对照才能看出你真正做了哪些调整。4.2 学习率、Batch Size、Epoch数的联动关系这三个参数是训练过程中最常被调整的但它们不是独立变量而是一个互相牵制的系统。学习率决定了参数朝梯度方向迈多大步子。学习率过大损失函数会在低点附近来回震荡甚至直接发散学习率过小训练速度慢到让你怀疑人生。我从实验里总结出来一个经验当损失曲线在初期快速下降之后进入平台期可以考虑把学习率降低一个数量级比如从0.01调到0.001。Batch Size影响的是梯度估计的准确性和训练的稳定性。直观理解Batch Size太小每次算出来的梯度噪声大模型路径曲折Batch Size太大梯度很平稳但容易收敛到尖锐的局部极小值而且显存占用高。我通常从64开始如果显存够就调到128或256然后根据曲线再调整。Epoch数不是越大越好。在实验中我发现模型往往在某个轮次之后验证集指标就不再提升甚至开始过拟合。一个合理的做法是设置一个较大的最大Epoch数比如80但配合早停法让训练在验证集指标连续10个轮次不提升时自动停止。这里可以给出一个我整理过的经验表格现象可能原因优先尝试损失值震荡剧烈学习率太大学习率降低10倍验证集准确率远低于训练集过拟合增强数据、加Dropout训练集准确率很低模型容量不足增加卷积层通道数或层数训练和验证准确率都很低学习率太小或数据预处理问题检查归一化、调大学习率损失出现NaN梯度爆炸或学习率过大降低学习率、检查数据中的异常值4.3 我用过的三个“曲线救命技巧”做实验做多了你会发现光盯数值很容易麻木画图才是真正的关键。以下三个技巧是我每次做图像分类实验都会用到的第一把训练集和验证集的损失画在同一张图上。训练损失持续下降而验证损失开始上升的那一刻就是过拟合开始的时间点早停法应该在这个点附近触发。第二用TensorBoard记录每一层的权重分布。如果某一层的权重长期不变说明这个层可能“死掉”了比如ReLU导致神经元死亡。这时候可以检查学习率是不是太大或者初始化方式是否合适。第三对验证集做预测时保存错误样本的可视化。把分类错误的图片单独输出成网格图旁边标注真实标签和预测标签。这个操作看起来简单但能帮你快速定位问题——比如某两个类别总是混淆或者图片本身标注就有问题。我记得有一次实验模型验证集准确率卡在某个数值上不去怎么调参数都没用。后来一可视化错误样本发现大量混淆集中在两个外观相似的类别上而且训练集里这两个类别的标注本身就存在错标。也就是说数据质量的问题被误当成了模型问题。这个教训让我从此养成了“先看数据再看模型”的习惯。5. 结果评估不能只看准确率混淆矩阵、每类指标和错误分析5.1 准确率之外我还会看的三张表实验报告里最常出现的指标是总体准确率但只用准确率来评价一个分类模型是远远不够的。我自己的习惯是每次实验结束都生成三类分析内容混淆矩阵一个十类分类任务的混淆矩阵能让你一眼看出模型在哪两个类别之间最容易搞混。排查方法也简单如果混淆集中在一块区域说明这些类别的视觉特征确实相近可以考虑细化网络结构或增加对应类别的训练数据。每类别的精确率Precision和召回率Recall这两个指标在类别不均衡时尤其重要。如果你的数据集里某个类的样本特别少即使总体准确率看起来不错那个稀有类别的召回率可能惨不忍睹。Top-1和Top-5准确率在某些任务里多个类别本身有重叠语义Top-1错误不代表模型没学到特征。Top-5指标能体现模型的“候选能力”。这三个分析加在一起才构成一个完整的评估视角。我也把评估代码做成一个通用函数每次实验结束直接复用from sklearn.metrics import confusion_matrix, classification_report import seaborn as sns import matplotlib.pyplot as plt def evaluate_model(model, test_loader, device, class_names): model.eval() all_preds [] all_labels [] with torch.no_grad(): for images, labels in test_loader: images images.to(device) outputs model(images) _, preds torch.max(outputs, 1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.numpy()) cm confusion_matrix(all_labels, all_preds) sns.heatmap(cm, annotTrue, fmtd, xticklabelsclass_names, yticklabelsclass_names, cmapBlues) plt.xlabel(Predicted) plt.ylabel(True) plt.show() print(classification_report(all_labels, all_preds, target_namesclass_names)) return cm这段代码输出的内容可以直接放进实验报告作为分析小节。5.2 卷积层可视化验证模型到底学到了什么评估模型时除了看指标我还会把卷积层的输出图可视化出来。这一步不是为了好看而是为了验证一个关键问题模型提取的特征是否符合直觉。方法很直接取一张测试图片输入模型把第一层卷积的输出特征图按通道画出来。你会发现有些通道对边缘响应强烈有些通道对颜色敏感这正对应了理论里“浅层学习低层特征”的描述。到深层卷积层时特征图变得抽象且稀疏很多通道看起来是黑的这是因为ReLU把负响应直接置零了只有对特定模式有响应的位置才有非零值。看到这个现象你会更理解为什么CNN被称为“自动特征提取器”。5.3 最终测试心态和操作上的提醒到了最后测试阶段有一个原则必须守住测试集只用一次。做完测试、拿到准确率之后如果又回去调参数、再跑一次测试那这次测试就不再是“未知数据”上的结果了。我在实验时会把测试结果单独记录包括测试时用的数据预处理方式、模型权重文件路径和随机种子。这样整个实验才是可复现的报告里的每一个数值都能追溯到具体的配置。这也是实验二真正想训练你的能力之一——严谨的工程习惯。6. 记录实验细节的习惯从做完到讲清楚我后来回头看自己做过的一系列实验发现一个很有意思的现象一次实验做完真正沉淀下来的不是模型准确率而是你记录下来的那些配置、分析和反思。状态好的时候我会把实验笔记写成四段式第一段目的。这次的网络结构调整是为了解决什么问题是想缓解过拟合还是想提高某类别的召回率。第二段改动。具体改了哪些参数、哪些层改动前后发生了什么变化写清楚是代码级的信息。第三段观察。训练曲线的变化是怎样的验证集的指标变化是怎样的有没有意外的现象。第四段下一步。根据这次观察如果继续做的话最值得尝试的方向是什么。这四段笔记看起来简单但比任何调参技巧都值钱。因为你调参的时候会遇到大量“改了一个参数、跑了一次实验”的情况如果没有记录三天后你根本想不起来自己动了什么、效果如何。我见过太多同学在实验里来回反复最后报告写得像撞运气其实就是败在了没有记录。实验二作为整个课程系列的第二个任务它的核心价值恰恰在于这些实验基本功的养成。这个阶段学到的东西后面做目标检测、图像分割时都会用到。就我自己而言正是从这个实验开始我建立了“结构决定上限、数据增强决定下限、调参决定是否逼近上下限”的整体认知。现在我拿到任何一个图像分类任务第一反应不再是赶紧搭模型而是先按这个框架把问题拆清楚。最后再分享一个小技巧整个实验最有成就感的一刻不是测试集准确率刷到多高而是你把一张真实的、模型从未见过的图片喂进去看到它输出正确标签的那一刻。在那之后你对CNN的很多疑虑都会消失因为你已经亲手验证了整条流水线的真实性。这是任何讲义和网课都替代不了的体验。
阅读完成 · 觉得有帮助？
