★ FEATURED ARTICLE 简介这份资源是面向深度学习入门者与计算机视觉方向学习者的面部表情识别系统完整项目源码基于卷积神经网络实现可用于课程设计、毕业设计或算法练手。项目采用fer2013人脸数据集覆盖图像获取、预处理、特征提取与分类判别等完整流程支持从本地图片导入或调用摄像头拍摄对图片和视频进行分析并可在不同模型间切换对比效果。压缩包共47个文件约12.18MB包含5个Python脚本、1个hdf5模型权重文件、1个UI界面文件以及png、jpg、gif等测试图片与演示素材另有mp4演示视频、docx问题记录和ppt项目展示便于理解工程结构与运行效果。目前已有936人学习下载。读者可从中获得可运行的源码框架、训练好的模型文件、界面交互实现及测试样例快速复现表情识别流程并在此基础上二次开发。1. 拿到一份 CNN 表情识别源码先别急着 pip install你从群里、网盘或者某个资源站下到一个压缩包名字叫「基于深度学习卷积神经网络实现的人脸面部表情识别系统项目源代码.zip」。解压之后大概率是这么一副样子一个train.py、一个model.py、一个dataset.py、一个requirements.txt外加一个checkpoints空目录和一份 README。很多人第一反应是pip install -r requirements.txt然后python train.py结果十分钟内必翻车——要么 CUDA 版本对不上要么数据集路径写死成作者本机的D:/data/fer2013要么torchvision版本把transforms的接口改了。这份源码真正要解决的问题是把一张人脸图片映射到 7 类离散情绪生气、厌恶、恐惧、开心、悲伤、惊讶、中性。它适合两类人一类是想拿现成工程跑通一个端到端 CV 项目、把「深度学习环境配置」和「卷积神经网络源码」这两件事一次性搞明白的入门者另一类是已经会训模型、但想看看别人怎么组织数据增强、怎么做推理封装、怎么把模型塞进一个可交互界面的熟手。这篇文章不假设你手上就是某个特定仓库而是按这类项目最常见的结构把「怎么读、怎么改、怎么跑通、坑在哪」讲清楚你对着自己的压缩包逐条核对即可。2. 先看懂这份源码里的 CNN 到底在算什么2.1 从一张 48×48 灰度图到 7 个概率值表情识别项目里最经典的骨干是 FER2013 上跑出来的小 CNN输入通常是 48×48 单通道灰度图。为什么是灰度而不是彩色因为表情的本质是肌肉形变带来的纹理和几何变化颜色信息贡献很小砍掉两个通道能让参数量和显存占用直接降到三分之一这在「深度学习环境」只有一张消费级显卡的时候很关键。卷积神经网络在这里做的事说白了就是逐层把「像素」抽象成「边缘」再抽象成「眼睛形状」「嘴角弧度」这类局部模式最后用全连接层把这些模式拼成一个 7 维向量接 Softmax 得到概率。一个典型的前向结构长这样Conv(3×3, 64) → BN → ReLU → Conv(3×3, 64) → BN → ReLU → MaxPool(2×2)重复四到五次通道数从 64 翻到 128、256、512最后AdaptiveAvgPool或者Flatten接两层全连接。你在model.py里看到nn.Sequential一长串基本就是这个套路。判断它是不是「正经」实现看三个点有没有 BatchNorm没有的话训练极不稳定、池化是不是用MaxPool而不是AvgPool表情的判别性特征在局部极值上、最后有没有 DropoutFER2013 只有三万多张图不加 Dropout 必过拟合。2.2 读源码时先定位这五个函数不要从头到尾读效率太低。打开model.py和train.py用编辑器搜索这五个名字五分钟就能摸清整个工程搜索关键词作用你要确认的事class Net/class Model网络定义输入通道数、输出类别数、是否有预训练权重加载def forward前向传播张量维度变化有没有写死的 batch sizetransforms.Compose数据增强是否包含RandomHorizontalFlip表情左右翻转是安全的CrossEntropyLoss损失函数类别是否平衡有没有传weighttorch.save/state_dict权重保存存的是整个模型还是只存参数transforms.Compose这一项特别值得盯。很多源码里写了RandomRotation(15)和ColorJitter前者对表情是合理的头部轻微倾斜后者对灰度图基本是废操作甚至有害。如果你看到RandomHorizontalFlip的p0.5放心用如果看到RandomVerticalFlip直接删掉——把脸倒过来训模型学到的全是噪声。2.3 数据集目录结构决定了你要改哪一行FER2013 有两种常见组织方式。一种是原始 CSV一列emotion加一列pixels2304 个空格分隔的灰度值另一种是已经切好的图片文件夹形如data/ ├── train/ │ ├── angry/ │ ├── disgust/ │ ├── fear/ │ ├── happy/ │ ├── sad/ │ ├── surprise/ │ └── neutral/ ├── test/ │ └── ...同上七类绝大多数源码用的是第二种配合torchvision.datasets.ImageFolder。ImageFolder会按文件夹名的字母序自动生成class_to_idx所以你的类别顺序是angry0, disgust1, fear2, happy3, sad4, surprise5, neutral6。这个顺序必须和推理时输出的 argmax 映射一致否则你会得到「明明在笑却识别成生气」的玄学结果。我一般会在dataset.py顶部把CLASSES [angry,disgust,fear,happy,sad,surprise,neutral]显式写死然后在推理脚本里 import 同一个列表杜绝顺序错位。3. 把环境配到能跑依赖、CUDA 与最小验证脚本3.1 requirements 里最容易打架的三个包requirements.txt通常只写torch、torchvision、numpy、opencv-python、Pillow、matplotlib。真正会打架的是前三者的版本组合。PyTorch 和 torchvision 是强绑定关系装错一个就是ImportError: cannot import name xxx from torchvision。稳妥做法是不用pip install -r而是去 PyTorch 官网的安装命令生成器选好 CUDA 版本拿到一行命令直接装。比如 CUDA 11.8 环境下# 先卸掉可能存在的旧版本避免残留 pip uninstall -y torch torchvision torchaudio # 按官方组合安装cu118 对应 CUDA 11.8 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 其余依赖单独装opencv 用 headless 版避免 GUI 依赖 pip install numpy opencv-python-headless Pillow matplotlib tqdm装完立刻验证不要等到跑训练才发现问题import torch import torchvision print(torch:, torch.__version__) print(torchvision:, torchvision.__version__) print(cuda available:, torch.cuda.is_available()) print(device count:, torch.cuda.device_count()) if torch.cuda.is_available(): print(device name:, torch.cuda.get_device_name(0)) # 做一次真实的前向确认 cuDNN 能加载 x torch.randn(8, 3, 48, 48).cuda() conv torch.nn.Conv2d(3, 16, 3, padding1).cuda() print(forward ok:, conv(x).shape)这段脚本的关键在最后三行。torch.cuda.is_available()返回 True 不代表 cuDNN 能正常工作有些环境驱动版本偏低会在第一次卷积时才报CUDNN_STATUS_NOT_INITIALIZED。跑一次真实卷积能把这类问题提前暴露。如果cuda available是 False先别怀疑代码去查显卡驱动版本和 CUDA 版本是否匹配nvidia-smi右上角的CUDA Version是驱动支持的上限不是你装的版本。3.2 用 20 行脚本确认数据管道通了在正式训练前单独把 DataLoader 拉出来跑一遍看一个 batch 的形状和标签分布。这一步能挡掉 80% 的「训练不收敛」问题from torchvision import datasets, transforms from torch.utils.data import DataLoader train_tf transforms.Compose([ transforms.Grayscale(num_output_channels1), # 强制单通道和模型输入对齐 transforms.Resize((48, 48)), transforms.RandomHorizontalFlip(p0.5), transforms.ToTensor(), transforms.Normalize(mean[0.5], std[0.5]), # 单通道只给一个值 ]) ds datasets.ImageFolder(data/train, transformtrain_tf) loader DataLoader(ds, batch_size64, shuffleTrue, num_workers2) print(classes:, ds.classes) print(class_to_idx:, ds.class_to_idx) print(total:, len(ds)) imgs, labels next(iter(loader)) print(batch shape:, imgs.shape) # 期望 [64, 1, 48, 48] print(label range:, labels.min().item(), labels.max().item()) print(pixel range:, imgs.min().item(), imgs.max().item()) # 归一化后约在 [-1, 1]参数说明Grayscale放在Resize前面还是后面都行但一定要在ToTensor之前Normalize的mean/std必须和输入通道数一致单通道写两个值会直接报错num_workers在 Windows 上设大于 0 有时会卡死遇到卡死就改回 0。如果batch shape打出[64, 3, 48, 48]说明Grayscale没生效或者被后面的 transform 覆盖了去检查Compose里的顺序。如果pixel range打出[0, 1]说明Normalize没起作用模型收敛会变慢但不算致命。3.3 训练循环里必须盯住的四个量train.py里那个for epoch in range(epochs)循环你至少要打印四个量训练 loss、训练 acc、验证 loss、验证 acc。只看训练 loss 下降就以为成了是新手最常见的翻车点。FER2013 上一个正常的小 CNN 大概在第 20 到 30 个 epoch 达到验证准确率 65% 到 68%再往上就很难了——这个数据集本身标注噪声大人类标注一致率也就 65% 左右所以别指望冲到 90%。for epoch in range(epochs): model.train() for imgs, labels in train_loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() out model(imgs) loss criterion(out, labels) loss.backward() optimizer.step() # 验证阶段务必切 eval关掉 BN 和 Dropout 的随机性 model.eval() correct total 0 val_loss 0.0 with torch.no_grad(): for imgs, labels in val_loader: imgs, labels imgs.to(device), labels.to(device) out model(imgs) val_loss criterion(out, labels).item() * imgs.size(0) pred out.argmax(dim1) correct (pred labels).sum().item() total labels.size(0) print(fepoch {epoch} | val_loss {val_loss/total:.4f} | val_acc {correct/total:.4f})model.eval()和torch.no_grad()这两句是必须的。前者让 BatchNorm 用滑动统计量而不是当前 batch 的统计量后者省显存并加速。如果你发现验证 acc 在 10% 附近晃7 类随机猜是 14%八成是忘了model.eval()或者标签和输出对不上。学习率我一般从 1e-3 起步配 Adam如果前 5 个 epoch 验证 loss 不降反升直接砍到 1e-4。4. 从训练到推理把模型接进一个能用的界面4.1 保存与加载只存 state_dict训练完保存模型别用torch.save(model)存整个对象那样加载时必须能 import 到原来的类定义换个目录就废。标准做法是只存参数# 保存 torch.save(model.state_dict(), checkpoints/fer_cnn.pth) # 加载推理脚本里 import torch from model import Net # 必须能 import 到同一个类 device torch.device(cuda if torch.cuda.is_available() else cpu) model Net(num_classes7).to(device) state torch.load(checkpoints/fer_cnn.pth, map_locationdevice) model.load_state_dict(state) model.eval()map_location这个参数是后悔药在 GPU 上训的权重拿到只有 CPU 的机器上加载不加它会报Attempting to deserialize object on a CUDA device。加上之后无论在什么设备上都能正确映射。4.2 推理时的预处理必须和训练完全一致这是最隐蔽的坑。训练时用了Grayscale Resize(48) Normalize(0.5, 0.5)推理时少做一步结果就全乱。我一般把预处理单独抽成一个函数训练和推理共用from PIL import Image import torch from torchvision import transforms infer_tf transforms.Compose([ transforms.Grayscale(num_output_channels1), transforms.Resize((48, 48)), transforms.ToTensor(), transforms.Normalize(mean[0.5], std[0.5]), ]) CLASSES [angry, disgust, fear, happy, sad, surprise, neutral] def predict(image_path, model, device): img Image.open(image_path).convert(RGB) # 统一转 RGB 再交给 Grayscale tensor infer_tf(img).unsqueeze(0).to(device) # 补 batch 维度 with torch.no_grad(): logits model(tensor) prob torch.softmax(logits, dim1) conf, idx prob.max(dim1) return CLASSES[idx.item()], conf.item()unsqueeze(0)补的是 batch 维度模型永远按[N, C, H, W]处理单张图就是[1, 1, 48, 48]。convert(RGB)是为了兼容 PNG 带 alpha 通道或 CMYK 模式的图先统一成三通道再让Grayscale降维避免Image.open直接给出单通道导致后续 transform 行为不一致。4.3 接摄像头或界面时的帧率与置信度过滤如果源码里带了demo.py或app.py通常是用 OpenCV 读摄像头逐帧检测人脸再送模型。这里有两个工程细节一是别每帧都推理隔 3 到 5 帧推一次中间帧复用上次结果帧率立刻从 8 提到 25 以上二是加置信度阈值低于 0.5 的直接显示「不确定」比强行输出一个错误表情体验好得多。import cv2 cap cv2.VideoCapture(0) frame_id 0 last_label, last_conf neutral, 0.0 while True: ok, frame cap.read() if not ok: break frame_id 1 if frame_id % 4 0: # 每 4 帧推理一次 # 这里接人脸检测器裁出人脸区域再送 predict last_label, last_conf happy, 0.87 # 占位替换为真实推理 text f{last_label} {last_conf:.2f} if last_conf 0.5 else uncertain cv2.putText(frame, text, (20, 40), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2) cv2.imshow(fer, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()人脸检测器用 OpenCV 自带的 Haar 级联就够cv2.data.haarcascades haarcascade_frontalface_default.xml不用额外装模型。裁出来的人脸区域直接送predict注意 Haar 返回的框可能贴边往外扩 10% 再裁能减少边缘截断导致的误判。5. 避坑与排查那些让准确率原地踏步的细节5.1 训练 loss 一直不降先查标签映射现象跑了十几个 epoch训练 loss 在 1.9 附近不动准确率 14% 左右。原因ImageFolder的class_to_idx和你推理时用的CLASSES顺序不一致或者数据集文件夹名有拼写差异比如suprise少个 r导致某一类被拆成两类、另一类为空。解决训练前打印ds.class_to_idx和推理脚本里的CLASSES逐字比对不一致就改CLASSES去对齐class_to_idx而不是反过来。5.2 验证准确率远低于训练准确率现象训练 acc 到 90%验证 acc 卡在 55%。原因过拟合或者训练集和验证集有分布差异。FER2013 的 test 集和 train 集采集条件不同验证低是正常的但差 35 个点就过头了。解决先加数据增强RandomHorizontalFlip、RandomAffine小角度旋转再把 Dropout 从 0.2 提到 0.5最后考虑加weight_decay1e-4。如果还不行检查验证集是不是混进了训练集数据泄漏用文件名的 md5 去重一遍。5.3 CUDA out of memory 但显存明明够现象batch size 设 32 就 OOM但nvidia-smi显示显存只用了 2G。原因要么是num_workers开太大每个 worker 都复制了一份数据到显存要么是验证阶段忘了torch.no_grad()计算图一直累积。解决先把num_workers降到 2确认验证循环里有with torch.no_grad():再考虑用torch.cuda.empty_cache()手动清一次。如果还 OOM把 batch size 减半同时把学习率也减半保持梯度尺度一致。5.4 推理时结果全是同一类现象随便给什么图输出都是happy。原因预处理不一致最常见的是推理时没做Normalize或者Normalize的 mean/std 和训练时不同。模型对输入尺度很敏感训练时输入在 [-1, 1]推理时输入在 [0, 1]分布偏移直接让输出塌缩到某一类。解决把训练和推理的 transform 抽成同一个函数用同一个对象杜绝手写两份。5.5 换自己的数据集后准确率暴跌现象用 FER2013 训的模型拿自己拍的照片测准确率不到 30%。原因域偏移。FER2013 是网络爬取的、分辨率低、多为正面大头照你自己拍的光照、角度、背景都不同。解决要么用自己的数据微调最后两层冻结前面的卷积层只训全连接要么在训练时加入更强的增强模拟你的场景。微调时学习率设 1e-4只跑 5 到 10 个 epoch别把预训练特征冲掉。6. 把 65% 再往上推几个我实际用过的技巧FER2013 的准确率天花板摆在那但工程上还有几个能实打实提点的做法。第一个是类别权重。七类里disgust只有几百张happy有七千多张不平衡会让模型偏向多数类。在CrossEntropyLoss里传weight按类别频率的倒数计算disgust的权重能到 9 左右验证集上disgust的召回率会明显改善整体准确率通常能提 1 到 2 个点。import numpy as np # 假设各类样本数如下按你的实际数据替换 counts np.array([3995, 436, 4097, 7215, 4830, 3171, 4965], dtypenp.float32) weights counts.sum() / (len(counts) * counts) # 频率倒数归一化 weights torch.tensor(weights, dtypetorch.float32).to(device) criterion torch.nn.CrossEntropyLoss(weightweights)第二个是测试时增强TTA。推理时把原图和水平翻转后的图各跑一次两个 softmax 概率平均再取 argmax。这个操作不增加训练成本推理只慢一倍在 FER2013 上稳定提 0.5 到 1 个点。第三个是余弦退火学习率torch.optim.lr_scheduler.CosineAnnealingLR配合 Adam比固定学习率更容易收敛到好的局部最优。技巧预期提升额外成本适用阶段类别权重1~2%几乎为零训练水平翻转 TTA0.5~1%推理翻倍推理余弦退火0.5~1%几乎为零训练自己数据微调视场景而定需标注数据部署前最后说个我自己的习惯每次改完一个变量只跑 5 个 epoch 看验证 loss 的下降斜率斜率不对就立刻回退别等跑完 50 个 epoch 才发现方向错了。表情识别这个方向数据质量比模型结构重要得多与其堆层数不如把数据清洗和增强做扎实。希望帮到你。本文还有配套的精品资源点击获取
阅读完成 · 觉得有帮助？
