★ FEATURED ARTICLE CNN-LSTM这个组合在Matlab里怎么搭、图像分类到底该怎么喂数据一直是后台被问得比较多的问题。很多人第一反应是CNN不是已经能分类图像了吗为什么还要加LSTM然后又卡在Matlab的sequenceInputLayer、sequenceFoldingLayer这些层上文档翻了几页也不知道序列数据到底应该组织成什么样。这篇文章我就用一次完整的落地过程把这件事讲清楚从“什么场景才需要CNN-LSTM”开始到数据怎么准备、网络怎么搭、参数怎么调最后附上我踩过的一些坑。我不会讲大而全的理论尽量给可以直接抄走的东西。1. CNN-LSTM到底在解决什么问题1.1 CNN负责“看”LSTM负责“记顺序”CNN的强项是空间特征提取。卷积核在图像上滑动通过局部感受野捕获边缘、纹理、形状等信息再通过池化逐步抽象。给你一张猫的照片CNN能判断出“有猫耳”“有猫须”“有猫身”最后拼出一个“这是猫”的结论。LSTM的强项是序列建模。它内部有三个门遗忘门决定丢掉什么历史信息输入门决定吸收什么新信息输出门决定当前时刻输出什么。这套机制让它可以记住一条序列里前后的依赖关系尤其是“前面说了什么会影响后面怎么判断”的情况。图像分类里加LSTM本质上是把“空间特征”和“顺序特征”揉在一起。CNN先把每一帧或每一个图像块变成特征LSTM再沿着时间或顺序维度去学“这些特征按这个顺序出现意味着什么”。1.2 哪些图像分类任务真的需要LSTM不是所有图像分类都需要LSTM。普通静态图、单张照片直接用CNN就是最优解强行加LSTM反而又慢又难收敛。真正适合CNN-LSTM的是那些“图像本身带有顺序结构”的任务常见的有三类场景为什么要用LSTM典型例子视频帧分类单帧信息不完整动作/状态依赖前后帧手势识别、动作分类、视频片段分类图像切成块/行序列顺序本身就是语义的一部分票据分类、长文档版面分析、手写整行识别时序信号转图像后再分类频率特征图是连续的时间依赖明显把一维信号做短时傅里叶变换成频谱图再分类如果你手里的就是一张普通猫图、普通车图那直接trainNetwork跑CNN就行不需要LSTM。这个判断很重要后面所有方案设计都建立在“数据有顺序结构”这个前提上。2. 动手准备工具箱、数据和“图片变序列”2.1 工具箱与硬件要求要在Matlab里做这件事核心依赖是Deep Learning Toolbox跑LSTM必须要它。如果你打算用GPU训练还需要Parallel Computing Toolbox。这两个缺一个代码会直接在某个环节报“未定义函数或变量”。硬件方面我用过的经验是CPU可以跑但CNN-LSTM比普通CNN更容易让你等到没脾气。尤其图像序列输入每个观测是一个四维数组数据量和计算量都翻倍了。入门的话建议至少有一块显存4GB以上的N卡6GB会更从容。我在实际项目里一个MiniBatchSize8、序列长度16、图像大小32×32×3的实验在8GB显存上训练大概几分钟一个epochCPU跑大概要慢七八倍。2.2 数据组织cell数组 categorical标签这是新手最容易懵的地方。trainNetwork对序列数据的格式有严格约定输入X必须是numObservations×1的cell数组每一个cell里面是一个“一个观测的完整序列”。比如你做视频帧级别的分类一个观测就是一段视频里面包含T帧图像。那么这个cell的内容就是一个四维数组[高度 宽度 通道数 帧数]也就是H×W×C×T。注意帧数是第四维不是第三维。标签Y用categorical类型每一行对应cell数组的一行。我习惯先写一段模拟数据验证网络结构numObservations 200; sequenceLength 16; imgSize 32; X cell(numObservations, 1); for i 1:numObservations % 每个观测是一个图像序列H×W×C×T % 这里用随机数仅为验证结构真实数据请替换为实际图像 X{i} rand([imgSize imgSize 3 sequenceLength]); end Y categorical(randi([1 5], numObservations, 1));这段代码能跑通基本保证数据格式没大问题。真实训练可别用随机数我当时为了测试网络结构写了个随机数据Demo训练到loss完全不降才反应过来——分类随机数据本来就该不降。2.3 如何把一张图拆成序列如果你做的是“单张图像分块序列分类”就得先把一张图切成多个块再按顺序组成序列。比如做文档版面分类可以把票据图像从上到下切成若干行块行的顺序天然就有语义。img imread(模拟票据图像.jpg); img im2gray(img); % 如果后面用单通道CNN img imresize(img, [64 256]); % 统一尺寸 numBlocks 8; blockHeight floor(size(img, 1) / numBlocks); seq zeros([blockHeight size(img, 2) 1 numBlocks], uint8); for t 1:numBlocks rows (t-1)*blockHeight 1 : t*blockHeight; seq(:, :, 1, t) img(rows, :); end X{1} seq;这里我为什么要切成“横条”而不是“竖条”因为文档阅读顺序从左到右、从上到下横条方向的行块更接近真实阅读顺序。如果任务是动物轮廓识别行块未必合适改为重叠滑窗的方形patch会更合理。序列怎么切取决于任务的语义顺序是什么。3. 在Matlab里把CNN-LSTM搭起来3.1 路线AsequenceFoldingLayer CNN LSTM这是Matlab里最“原生”的CNN-LSTM写法核心思路先把序列数据折叠成一批独立图像走完卷积池化再展开回序列最后进入LSTM。直接看完整网络定义inputSize [32 32 3]; numClasses 5; layers [ sequenceInputLayer(inputSize, Name, input) % 将序列折叠为批量图像 sequenceFoldingLayer(Name, fold) convolution2dLayer(3, 16, Padding, same, Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling2dLayer(2, Stride, 2, Name, pool1) convolution2dLayer(3, 32, Padding, same, Name, conv2) batchNormalizationLayer(Name, bn2) reluLayer(Name, relu2) maxPooling2dLayer(2, Stride, 2, Name, pool2) % 展开回序列形式 sequenceUnfoldingLayer(Name, unfold) % 每个时间步展平成特征向量 flattenLayer(Name, flatten) lstmLayer(128, OutputMode, last, Name, lstm) dropoutLayer(0.5, Name, drop) fullyConnectedLayer(numClasses, Name, fc) softmaxLayer(Name, prob) classificationLayer(Name, output) ]; lgraph layerGraph(layers); % 关键连接folding层输出的minibatch大小到unfolding层 lgraph connectLayers(lgraph, fold/miniBatchSize, unfold/miniBatchSize); analyzeNetwork(lgraph);这段代码里有几个必须注意的地方第一sequenceFoldingLayer会把序列的每一帧当成独立样本送进卷积层所以CNN部分只处理单帧不需要感知序列。等卷积池化完sequenceUnfoldingLayer再把结果恢复成“每个观测对应一个序列”的结构。第二connectLayers(lgraph, fold/miniBatchSize, unfold/miniBatchSize)这行是整个方案的灵魂。如果不连会直接报错提示你unfold层的miniBatchSize没有指定。这个报错我见过很多次因为folding层在折叠时知道当前batch里有多少样本展开层需要这个信息才能正确还原序列边界Matlab不会自动推导必须手动连接。第三flattenLayer放在unfold之后作用是把每个时间步的多维特征图压成一维向量这样LSTM才能处理。顺序反了或者漏了LSTM层会报“输入维度不是特征维度”之类的错误。训练部分options trainingOptions(adam, ... InitialLearnRate, 1e-3, ... MiniBatchSize, 8, ... MaxEpochs, 20, ... Shuffle, every-epoch, ... ValidationData, {XValidation, YValidation}, ... ValidationFrequency, 10, ... Plots, training-progress, ... Verbose, false); net trainNetwork(X, Y, lgraph, options);这里有个关键经验MiniBatchSize的最小单位是“序列”不是“帧”。如果你的MiniBatchSize8那就意味着每个iteration实际送入GPU的图像帧数是8×16128帧显存压力成倍放大。我第一次用序列数据训练时没意识到这点把MiniBatchSize32直接怼上去6GB显存还没跑完一个iteration就OOM了。预测很简单YPred classify(net, XTest); accuracy mean(YPred YTest);3.2 路线B预训练CNN提特征 独立LSTM如果你手头数据量比较小或者想先把“CNN部分”固定下来快速验证LSTM是否有效可以用这条路线先用预训练CNN把每一帧变成特征向量再把特征向量序列喂给一个单独的LSTM网络。我一般用resnet18做特征提取器取全连接之前的全局池化层输出baseNet resnet18; featureLayer pool5; % resnet18全局池化层输出512维特征 featureSeq cell(size(X)); for i 1:numel(X) T size(X{i}, 4); featMat zeros(512, T); % 特征维度 × 序列长度 for t 1:T frame X{i}(:, :, :, t); feat activations(baseNet, frame, featureLayer); featMat(:, t) feat(:); % 把特征向量放入对应时间步 end featureSeq{i} featMat; end拿到featureSeq之后网络就非常简单了lstmLayers [ sequenceInputLayer(512, Name, seqIn) % 必须与特征维度一致 lstmLayer(128, OutputMode, last, Name, lstm) dropoutLayer(0.5, Name, drop) fullyConnectedLayer(numClasses, Name, fc) softmaxLayer(Name, prob) classificationLayer(Name, output) ]; netLSTM trainNetwork(featureSeq, Y, lstmLayers, options);这条路线代码量小很多而且训练速度快一个数量级因为CNN部分完全不需要反向传播。它的缺点也很明显CNN特征不是针对你这个任务学出来的上限通常比端到端低一截。我的用法是先用路线B跑通流程、确定LSTM确实有用再切到路线A做端到端精调。这样可以大大减少调参时的排查范围。3.3 数据维度匹配的核心经验不管哪条路线我最想强调的就一件事序列维度永远不在cell数组的shape里而是在cell内部数组的第四维或特征矩阵的列上。新手报错“输入大小与层不匹配”时不要先怀疑网络结构先检查数据维度。我用过的一个排查顺序% 打印第一个观测的尺寸 disp(size(X{1})); % 打印序列长度 disp(size(X{1}, 4)); % 打印网络输入层期望尺寸 disp(inputSize);路线A下sequenceInputLayer期望的输入大小是[高度 宽度 通道数]它默认接收的cell内部数据是四维最后一位是时间步。如果你把T维放到了第二维或者第三维跑起来必报错。路线B下sequenceInputLayer期望的输入大小就是一个标量也就是特征维度。cell内部数据必须是特征维度 × 序列长度的二维矩阵。如果搞成序列长度 × 特征维度看起来没问题训练的时候会突然来一句“维度不匹配”。3.4 超参数组合经验参数建议范围我实际踩过的坑LSTM隐藏单元数64~256128起步最稳不是越大越好学习率1e-3左右LSTM对学习率很敏感超过1e-2基本不收敛MiniBatchSize8~32单位是序列注意实际帧数是它的T倍Dropout0.3~0.5序列模型比CNN更容易过拟合序列长度8~32太短学不到顺序太长LSTM首尾信息衰减池化层2~3组图像尺寸小的话池化太多会把分辨率打没我自己比较常用的起步组合是LSTM 128、学习率0.001、dropout 0.5、序列长度16、MiniBatchSize 8。先跑20个epoch看趋势收敛趋势对了再去调参数。别一上来就追求最优参数先把训练跑通。4. 常见问题与排查实录4.1 训练loss不下降或震荡先排除数据问题分类随机数据loss不降是正常的。排除之后重点看学习率。CNN-LSTM的loss曲线比纯CNN更容易出现锯齿状震荡通常是因为学习率偏高。我的经验从0.01换到0.001震荡会明显缓解如果0.001还不稳再往下降到0.0005。另外一个隐蔽原因sequenceFoldingLayer后的CNN部分有BatchNorm层当MiniBatchSize太小比如2或4时BatchNorm在单batch内统计均值方差会很抖导致loss上下乱跳。这种情况我建议要么去掉BatchNorm要么把MiniBatchSize提上去。4.2 GPU显存不足这个问题在路线A里最容易出现。记住我前面说的MiniBatchSize的单位是“序列”GPU实际处理的是“序列数×序列长度”这么多帧。你把MiniBatchSize16、序列长度16时相当于一次载入256张图。最快的排查方法把MiniBatchSize直接降一半如果能跑说明就是显存问题。另外把输入图像从64×64改成32×32显存占用会成倍下降很多公开小数据集本身就支持降到32×32精度损失并没有想象中那么大。4.3 sequenceFoldingLayer相关报错最典型的就是“unfold”层找不到对应的“fold”层或者需要指定miniBatchSize。这基本就是少写了那一行connectLayers。我在实际项目中见过有人把折叠层去掉、直接把图像序列塞给卷积层结果报“卷积层不支持序列输入”。记住二维卷积层本身不支持时间维它只能处理折叠之后的四维数据。4.4 过拟合严重CNN-LSTM的参数量比纯CNN大LSTM那部分的记忆容量很容易把训练集背下来。训练进度图里出现训练准确率接近100%、验证准确率停在70%左右就是过拟合信号。我的应对顺序先加dropout到0.5再早停ValidationPatience设成5最后才考虑减小LSTM单元数。很多时候问题不在网络太大而是数据量太少。如果数据只有几百个序列建议先上路线B用预训练CNN做特征提取能显著减小可学习参数。4.5 验证集维度对不上有人会在划分数据集时直接对原始图像集做splitEachLabel然后忘记对序列数据也要做同样划分。序列数据的X是cell数组Y是categorical数组划分时要把下标对齐idx randperm(numel(X)); numTrain floor(0.8 * numel(X)); XValidation X(idx(numTrain1:end)); YValidation Y(idx(numTrain1:end)); X X(idx(1:numTrain)); Y Y(idx(1:numTrain));顺手提醒划分之前记得rng固定随机种子否则每次结果都不一样。“这次效果好下次跑又不灵”的灵异事件多半是因为忘了固定随机数种子。4.6 预测结果全偏向某一类在类别不平衡的数据集上模型很容易把所有样本都预测成多数类。LSTM在序列数据上比CNN更容易出现这种“偷懒”行为因为它能快速学到“输出多数类就能把loss压得比较低”这个捷径。我试过最有效的方法是给classificationLayer接上ClassWeights。Matlab的classificationLayer支持通过classes配合权重或者自己在自定义训练循环里改loss。如果不想写自定义循环先对少数类做简单的过采样——比如把少数类序列重复几遍也会有一些效果。5. 最后分享一点实操体会写完这些说句实在话CNN-LSTM在Matlab里的“难”有一半不是算法本身的难而是数据组织方式和内置层的连接规则让人绕晕。你先跑通路线B再切路线A思路会清晰很多。另外我个人的建议是所有新结构都先用模拟数据或公开小数据集跑通结构再上真实业务数据。结构没跑通就上真实数据你分不清是数据问题还是网络问题。等结构确认无误再去处理数据增强、类别不均衡这些进阶问题。如果你手里的图像序列特别长——比如超过50帧——可以考虑把LSTM换成GRU或者双向LSTM训练会更快一点对长序列的记忆也不一定更差。结构换起来也简单lstmLayer改成bilstmLayer或gruLayer就行。所有经验里我觉得最值钱的一条是遇到问题先看维度再看数据最后才动网络结构。
阅读完成 · 觉得有帮助？
