★ FEATURED ARTICLE 做轻量级网络调参这两年Mobilenet_v2的alpha和depth_multiplier是我被问得最多的一对参数。很多人一上来就把它们当成了同一种东西以为都是“把通道数按比例缩小”结果改着改着模型就炸了。其实alpha是全局宽度缩放作用于整个网络每一层的输出通道而depth_multiplier是深度卷积的单层内部乘数控制的是depthwise卷积层每个输入通道映射出多少个输出通道。两者作用层级完全不同改错位置或者组合方式不合适轻则精度下降重则直接维度对不上报错。这里我把这两个参数彻底拆开讲一遍包括计算规则、组合选型、训练部署影响还有我实际项目中踩过的几个坑希望能帮你少走点弯路。适合正在做模型轻量化替换、边缘设备部署或者刚刚开始看Mobilenet_v2结构源码的开发者。1. 先弄清Mobilenet_v2的结构骨架参数才不容易搞混1.1 倒残差模块到底在做什么Mobilenet_v2的核心结构是倒残差模块和传统残差网络那种“先降维再升维”的思路正好反过来。它的顺序是先用一个1x1卷积把低维输入升到高维然后过一个3x3的深度卷积再用另一个1x1卷积降回低维。如果输入输出维度一致再叠加一条残差短接线。传统残差模块是两头宽中间窄倒残差模块则是两头窄中间宽所以经常被叫成“bottleneck”结构。这个设计的好处在于深度卷积本身参数很少真正的计算量大多集中在两端的1x1卷积上。升维让网络在高维空间做特征变换投影回低维又控制整体计算量。在实际网络定义里bottleneck中间层的通道数一般是输入通道的6倍这个6倍就是常见的扩展系数。alpha调整时会跟着这个扩展系数一起缩放。1.2 两个参数分别挂在结构的哪个环节你把这个结构拆开之后alpha和depth_multiplier的位置就很明确了。alpha作用在整个block的输出通道上注意是“整个block的输出”不是某一个卷积层。比如原始block定义是输入64通道中间膨胀到384输出64通道alpha等于0.5之后输入会变成32通道中间变成192输出变成32。这个缩放是全局的网络每一层包括第一层普通卷积、中间的bottleneck块、最后的分类层都会跟着缩。depth_multiplier的位置则在更底层的深度卷积那里。深度卷积的特点是每个输入通道只对应一个卷积核只产生一个输出通道所以它本身不改变通道数。如果你把depth_multiplier设成2那就等于说每个输入通道要用两个独立的卷积核分别映射出两个输出通道这一层的通道数就翻倍了。这个参数在标准Mobilenet_v2里默认就是1绝大多数时候没人在动它因为它一改后面紧接着的1x1逐点卷积的输入维度也要跟着改牵一发动全身。但它在某些场景下确实有用后面会细说。2. alpha和depth_multiplier的计算规则含具体数值示例2.1 alpha的全局缩放路径alpha的计算逻辑是对网络定义好的每一层通道数统一做一次乘法再做一次四舍五入。假设某个位置原始输出通道是64alpha取0.5那实际就是32。但alpha取0.25时64乘0.25等于16没问题问题是如果原始通道是3比如第一层普通卷积的输入是3通道RGB图像3乘0.25等于0.75四舍五入之后是1。有些实现里还会强行加一个最小值下限防止某些中间层通道变成0。这里有一个非常容易被忽略的点alpha缩小后bottleneck中间的扩展通道也一样要缩。一个原始通道为64、扩展系数为6的block中间理论通道数是384。alpha取0.5时中间不是384减半到192那么简单正确计算过程是原始输出64先乘alpha得到32再由32乘扩展系数6得到192。也就是说扩展系数乘在缩放后的通道数上整个网络在中高维空间里的实际通道总量会缩得很明显。具体算一组数据可能更直观。原始Mobilenet_v2靠前的block配置是输入32、输出16扩展通道96稍靠后的block配置是输入64、输出32、扩展通道192。alpha取0.5之后输入为32的block输入实际16输出实际8中间扩展层实际48输入为64的block输入实际32输出实际16中间扩展层实际96你会发现当alpha小于1时网络每一层都变窄最后分类层前面的特征图通道数也会变小。这个变化不是均匀线性下降而是越靠深层、扩展系数越大的位置绝对值下降越多。所以很多研究里其实不太建议alpha低于0.5再往下降网络中间层只有几十个通道表达能力会明显吃紧。2.2 depth_multiplier的局部通道翻倍depth_multiplier的计算更简单它只作用在depthwise卷积层。对于一个输入通道数为C的三维卷积层输出通道数就是C乘以depth_multiplier。默认depth_multiplier取1时输出端还是C个通道卷积核的总数是C个每个输入通道各配一个核。如果取2卷积核总数变成2C个输出通道变成2C。举例来说一个输入是64通道的特征图经过一个3x3的depthwise卷积depth_multiplier取1输出就是64通道参数数量约等于64乘3乘3也就是576个。如果depth_multiplier取2输出就是128通道卷积核数量变成128个参数数量约等于128乘3乘3即1152个。注意这里的参数量计算没有考虑偏置实际加偏置会多一点但量级关系不会变。这个参数会影响后续层吗一定会。因为depthwise层的输出通道变了下一个逐点卷积层的输入通道自然而然也要跟着变。如果你手动改depth_multiplier但没同时调整后续层定义模型在构造时就会报维度不匹配的错误。这也是为什么绝大多数基于Mobilenet_v2的工程实现都把depth_multiplier默认写死为1不是它没用而是改起来牵涉面大收益又不像alpha那样直接。2.3 两个参数的本质区别用一张表说清楚对比维度alphadepth_multiplier控制对象所有层的输出通道数单个depthwise卷积层的通道映射数作用范围整个网络特定卷积层默认值1.01常见取值0.25、0.5、0.75、1.01、2、4对参数量影响近似平方级变化近似线性变化对特征表达能力影响整体变宽或变窄局部增加或减少特征冗余修改复杂度通常一个全局参数就能完成需要同步修改后续卷积输入定义这两个参数之所以容易混淆是因为在视觉上都表现为“通道数变多或变少”。但alpha像是一条马路的车道总数你决定这条路修几车道depth_multiplier则是每条车道上允许几排车并行。前者是宏观尺度的缩放后者是微观结构里一个特定卷积核的工作方式变化。3. 参数选型与组合直接给配置建议3.1 常见组合和对应表现我在模拟项目X里做过几次针对端侧图像分类的调参扫描把alpha和depth_multiplier做成组合对比参考配置和结果大致如下。先说明一下下面的数值只是数量级参考不同数据集、不同分辨率下会有波动但相对关系是稳定的。配置组合参数量量级相对计算量相对精度表现适用场景alpha1.0depth_multiplier1高高基准精度优先硬件算力宽松alpha0.75depth_multiplier1中高中高略降精度和速度兼顾alpha0.5depth_multiplier1低低明显下降内存受限速度优先alpha0.5depth_multiplier2中低中低恢复一部分内存受限但特征表达能力不足alpha0.25depth_multiplier1极低极低通常较差极限压缩场景需配合蒸馏有一个趋势需要单独强调alpha从1.0降到0.5模型参数量的下降是非常陡的差不多会缩到原来的四分之一左右因为卷积层的权重规模同时受输入和输出通道影响通道减半等于两端都减半连乘之后就是平方级下降。计算量同样近似按alpha的平方下降。相比之下depth_multiplier从1提到2整体参数量增加没有那么大因为depthwise卷积在整个网络里的参数占比本来就不高但它能恢复一部分因为通道变窄而损失的特征冗余。3.2 按场景选型别只盯着参数表实际部署的时候不是参数越小越好。就拿alpha来说为了把模型塞进一个内存只有两百多兆的设备里我一度把alpha压到0.25结果精度掉得离谱后来又费劲做蒸馏才勉强拉回来。如果一开始就选alpha0.5加depth_multiplier1配合输入分辨率降一点效果反而更稳。选型建议可以这么看。设备内存极其紧张并且任务比较简单比如只有十个类别以内的分类那alpha0.25是能接受的。任务类别多特征区分度要求高alpha至少0.5起步。想要在alpha0.5的基础上补精度优先考虑depth_multiplier2而不是把alpha往上拉到0.6或0.75因为alpha一旦升上去整个网络所有层都变宽计算量和内存是全面上涨而depth_multiplier只加在depthwise层涨的部分相对有限。如果你用的是带硬件加速的推理芯片尤其是对卷积算子有专门优化的平台alpha0.75再配depth_multiplier1往往比alpha1.0配更小的输入分辨率更划算。反之如果目标平台CPU比较弱、内存带宽也一般模型能不能跑得快很大程度上取决于计算总量和访存量那alpha降到0.5然后配合深度乘数调整综合体验更好。3.3 在模型定义代码里这两个参数通常落在哪里很多开源框架的预训练模型库都会预留alpha对应的入口参数。比如通过某个基础函数加载Mobilenet_v2时可以传入宽度乘数传入0.5之后整个网络所有层的通道数都会自动重新计算不需要你手动改任何卷积定义。这是因为框架内部已经把网络搭建过程参数化每一层的输出通道都是用基础通道数乘alpha算出来的。depth_multiplier就不一样了。绝大多数封装好的backbone模型并不会在顶层暴露这个参数因为它牵涉到结构重排。如果确实需要改得自己重写网络定义。大致思路是在depthwise卷积层实例化的时候把depth_multiplier赋值进去然后同步修改后面逐点卷积的输入通道数。举个例子如果一个block的depthwise层输出原来是64通道你把depth_multiplier设为2之后输出变成128通道那紧随其后的1x1卷积输入也要改成128否则运行时会报错。那具体怎么改很多工程里会这样处理先读取上一层输出的实际通道数作为当前层输入再根据当前层的depth_multiplier计算出本层输出继续传给下一层。用代码表达就是这么一段逻辑# 定义一个深度卷积层depth_multiplier作为关键参数 depthwise_layer DepthwiseConv2D( kernel_size3, depth_multiplier2, # 这里控制每个输入通道对应几个输出通道 paddingsame ) # 当前输入通道数为64 input_channels 64 output_channels input_channels * 2 # depth_multiplier2 时输出128 # 后续逐点卷积的输入通道必须跟着改 pointwise_layer Conv2D( filtersexpected_output_channels, kernel_size1, input_shape(None, None, 128) # 和上面深度卷积输出对齐 )这段只是结构示意。实际的主流框架里你不需要手写这两个层而是改网络配置文件或者调用扩展参数。但理解这个关系之后你在排查维度不匹配的报错时会快很多不至于一脸懵地看堆栈信息。4. 修改参数后训练和部署环节会发生什么4.1 预训练权重不能想当然地复用这是很多新手最容易踩的雷。alpha1.0的Mobilenet_v2有公开预训练权重你把alpha设为0.5之后网络每一层卷积核数量都变了权重矩阵的形状完全不同。举个例子原网络第一个普通卷积层输出是32通道权重形状是32乘3乘3乘3alpha0.5之后该层输出变成16通道权重形状是16乘3乘3乘3。矩阵形状都不一样加载的时候框架会直接报错有些框架会提示“shape mismatch”或者“unexpected key”。就算报错被你用“仅加载相同层名称”的方式绕过去了中间那些通道数不匹配的层也只能重新随机初始化。这意味着你的模型等于从零开始训练只是开头几层碰巧有点预训练信息整个训练收敛速度会比正常情况慢不少。所以在设计实验的时候如果打算用alpha缩放后的模型基本就要做好从头训练的准备或者用一个同结构的alpha1.0模型做教师进行蒸馏。蒸馏这里多说一句。alpha缩得越小学生模型的容量越低单纯从头训练很容易欠拟合。用一个大模型做教师把soft label教给alpha0.5甚至0.25的学生模型通常能比直接从头训练高出好几个点的精度。我在多个分类项目里都是这么干的比调各种学习率省事得多。4.2 对批归一化和量化的影响修改alpha之后批次归一化层的统计量也会变化。每个卷积层输出通道减少对应的BN层参数数量也跟着减少。这本身不是一个报错点但会影响训练稳定性。通道数越小的网络BN层在不同batch之间统计量的抖动会相对更明显所以我个人习惯在alpha小于0.5时适当增大batch size如果硬件的显存不允许就把BN的动量调大一点点比如从默认的0.99调到0.95左右。这只是一种工程经验不同框架默认值略有差异具体数据集上要跑几组对比再定。至于量化部署alpha小的模型在int8量化之后往往更容易出现精度抖动。原因也不复杂通道数少意味着每个通道承载的信息更密集某一个通道的量化误差被放大之后对结果的影响更显著。这种情况下把depth_multiplier从1提到2即使alpha维持低位也能在一定程度上增加特征表达的冗余减少量化误差的冲击。这不是一个能保证绝对有效的公式但在实际项目里值得当作一个补救手段去试。4.3 从头训练时的几个参数经验如果你确认要使用某个alpha值的小模型并且从头训练有几点可以分享。一是学习率不要照搬大模型的配置。通道窄的小模型收敛行为和大模型不一样一般在同样的数据集上alpha0.5的学习率可以比alpha1.0略微调高一点因为每层参数少同一步更新带来的梯度变化更平稳。二是epoch数可能需要增加。小模型更容易欠拟合适当延长训练轮数比堆更多技巧管用。三是在数据增强上可以稍微加强一些因为模型容量小更强的增强策略能帮助它学到更鲁棒的特征。这里放一个我自己常用的初始配置作为参考具体数值要根据数据集调整但方向是对的# 示意配置以图像分类任务为例 batch_size 128 initial_lr 0.05 weight_decay 4e-5 epochs 120 # 学习率衰减策略 lr_schedule [30, 60, 90] decay_factor 0.1如果你要走蒸馏路线配置会有变化。student模型的学习率通常比teacher要低一些蒸馏温度我习惯设在4到6之间。温度太低soft label里包含的类别间相似性信息不明显温度太高loss会被拉得过平滑反而不容易收敛。alpha0.5左右时用温度4的实验效果在多数场景下都不会太差。5. 常见问题与排查技巧实录5.1 问题速查表常见现象可能原因排查与解决方式模型构建时报维度不匹配修改depth_multiplier后后续逐点卷积的输入通道没有同步调整打印每一层的输入输出形状确认depthwise输出通道是否等于后续卷积输入通道加载预训练权重时参数名对不上alpha改变导致层权重shape不一致框架拒绝加载改用同alpha结构从头训练或用大模型蒸馏小模型alpha很小但某一层输出变成0部分实现只做round没有通道数下限保护在通道计算之后加max函数例如max(1, round(channels * alpha))模型计算量变小了但实际运行速度没变快平台内存带宽或算子调度成为瓶颈FLOPs下降不等于时延下降用性能分析工具测每一层真实耗时不要只盯着FLOPsdepth_multiplier设了2但模型输出没变化有些封装没有真正把该参数传进深度卷积层属于“假改”打印summary确认那一层的输出通道是否翻倍没有就手动重写网络定义alpha减小后精度掉得比预期严重得多网络容量下降简单从头训练扛不住尝试蒸馏或把depth_multiplier适当调大补特征冗余5.2 一些踩坑记录和我的习惯做法我印象最深的一次是在模拟项目X上做车辆分类。当时为了压缩模型体积把alpha从0.5再降到0.25内存是省下来了但准确率直接掉了快十个百分点。后来我不是急着把alpha调回去而是保持alpha0.5把depth_multiplier从1提到2再配合蒸馏最终在模型体积只增加不到两成的情况下把精度追回到了原大模型九成以上的水平。这个经验让我意识到alpha和depth_multiplier不是两个互相独立的按钮它们是可以搭配着用于“空间换性能”的一对组合。当alpha压缩过猛导致特征表达不足时depth_multiplier可以小幅度地补回来而不是把所有希望都押在alpha上。关于通道数下限的问题我再多说一句。alpha0.25时原始网络里一个输出为3层的普通卷积计算出来大约就是0.75四舍五入到1而某些网络层在原理上是不适合只有1个通道的会导致表达能力几乎消失。所以我后来养成了一个习惯做参数组合扫描之前先把所有层的实际通道数全部打印出来人工过一遍确认没有哪一层输出等于0或者小于2。这一步只要十秒钟却经常能帮我提前发现配置不合理的地方。最后再分享一个小技巧。如果你要在同一个数据集上连续试好几个alpha值建议把每个组合的模型结构定义存成独立的配置文件而不要在同一个网络定义里反复改全局变量。这样出问题的时候可以直接用配置文件核对每一层参数定位快得多。这个小习惯在项目节奏很快的时候尤其管用省下来的排查时间足够你多跑一两组实验了。
阅读完成 · 觉得有帮助？
