★ FEATURED ARTICLE 1. 为什么YOLOv3需要一次减法1.1 我看到的YOLOv3的问题先把我自己的立场摆在这儿我是YOLOv3的长期用户跑过不少基于它的项目从缺陷检测到自动驾驶场景的车辆识别都试过。YOLOv3最大的优点就是结构简单、工程化程度高社区里随便一搜就能找到部署教程改起来也方便。但是用久了之后你会慢慢感觉到一些不对劲的地方模型不大不小精度和速度的平衡其实有点尴尬网络结构里某些模块是“冗余”的训练过程很挑参数尤其是它那9个锚点换一个数据集就得重新聚类否则mAP直接掉好几个点。我后来仔细对比了一些改进方案比如加注意力模块、换特征提取网络、用FPN变体之类的。这些方案确实有用但基本都是“做加法”——让模型更复杂、参数量更大换来几个百分点的精度。直到我认真读了POLY-YOLO这篇工作才觉得思路对了它做的是“减法”。POLY-YOLO的完整名字是“Higher Speed, More Precise Detection and Instance Segmentation for YOLOv3”核心目标很直接在YOLOv3的基础上把速度提上去、精度提上去顺带还加入了一个轻量的实例分割分支。它能做到这些靠的不是堆网络层数而是把YOLOv3里那些低效甚至有害的设计剃掉然后用更精细的机制来弥补精度损失。这篇文章就围绕这个模型展开聊透它的设计逻辑、关键技术点以及我从训练到部署的完整实操记录。1.2 从YOLOv3到POLY-YOLO的改进全景在展开细节之前先把POLY-YOLO做的几件主要事情列一下方便后面逐条拆解网络深度从YOLOv3的106层降到46层去掉了第二个上采样分支让不同层之间的信息传递更干净。训练时统计每个网格单元是否包含物体中心把大量“永远用不到”的网格直接移除网格数量大约减少40%。锚点数量从YOLOv3的9个降到1个通过双层预测和几何先验来弥补单锚点带来的定位压力这样连聚类锚点都不需要了。损失函数里引入了在线难例挖掘用指数加权的交叉熵损失替代普通交叉熵让模型更关注那些难分样本。实例分割分支用两层和四层的自注意力模块输出凸多边形标注能在几乎没有额外速度损失的情况下完成分割任务。这套组合拳下来POLY-YOLO在精度上确实超过了YOLOv3速度也快了一些而且训练过程对锚点聚类不再敏感这是我在实际项目里最受益的一点。如果你是第一次用这个模型我的建议是先把它当成一个“不挑锚点的YOLOv3升级版”来理解。你不需要一次性把论文里的所有实验都搞懂先跑通一个Demo然后回到这五个改进点上逐个消化整个模型就完全在你的掌控之下了。2. POLY-YOLO核心设计思路与架构拆解2.1 去掉第二个上采样分支网络为什么反而更强了YOLOv3的颈部结构是三尺度输出包含两个上采样分支用来把浅层的语义信息和深层的细节信息融合起来。思路听起来很合理小目标需要高分辨率的浅层特征大目标需要高语义的深层特征融合之后应该谁都照顾到。但POLY-YOLO的作者在实验中发现了一个反直觉的事实在大部分场景下第二个上采样分支带来的信息是重复的甚至是有害的。原因是这样的YOLOv3把三个不同尺度的特征图直接拼接之后作为输出但浅层特征图的感受野较小包含的空间细节多、语义信息少深层特征图正好相反。在拼接的过程中模型需要同时学习“从浅层提取边缘纹理”和“从深层提取语义类别”这两项任务这种重复的信息传递反而增加了网络的学习负担。尤其是当数据集中目标尺度分布比较均匀的时候第三个尺度的输出几乎不会带来额外的正收益。POLY-YOLO的处理方式很干净直接砍掉第二个上采样分支让网络专注处理两个尺度的特征。网络深度从106层减到46层参数量明显下降但精度却不降反升。它的评估结果是在COCO数据集上比YOLOv3高了大约2到3个点的mAP这个差距在小目标比较多的场景里会更明显。我当时在自己数据集上复现这个对比时特意保留原版YOLOv3和POLY-YOLO两套配置单独训练。结论和论文基本一致在保证相同输入分辨率的前提下POLY-YOLO收敛更快稳定精度更高而且显存占用更小。所以如果你手里的显卡资源比较紧张这个“减法设计”本身就是个好消息。2.2 网格筛选机制把不会用到的格子直接扔掉YOLO系列把输入图像划分成网格每个网格负责预测若干物体中心是否落在自己内部。YOLOv3默认是13x13、26x26、52x52三组网格叠加起来之后绝大多数网格在训练过程中实际上从不包含任何物体中心。作者统计了一个有趣的数据在一张608x608的图像里大约只有25%的网格单元会被正样本激活其中约15%被用于背景学习只有约9%真正包含要检测的物体。也就是说网络在绝大部分时间里都在“空转”学习背景这不仅拖慢收敛还会挤占模型的容量。POLY-YOLO的做法是统计训练集里每个网格单元被激活的频次然后从特征图中剔除那些大约90%不包含目标的网格。这个操作让参与预测的网格数量从原来的816个降到约552个减少了大约40%的计算量但因为是按统计数据直接选择不会造成信息损失。我当时在实现的时候踩了一个小坑这个统计进程必须在完整训练集上先跑一遍然后把生成的频次表缓存下来。如果你跳过这一步直接训练模型就不知道哪些网格应该被保留代码会直接报错。这个频次表其实很好理解——它像是一张“地形图”告诉模型哪些区域大概率出现目标哪些区域大概率是背景网格筛选就是照着这张图把无用的地方挖掉。2.3 单锚点设计一个锚点为何能扛起全部定位任务锚点机制是YOLO系列的标志性设计。YOLOv3在COCO上使用9个锚点并通过k-means聚类在训练集上得到最适合的尺寸组合。这个设计的缺点很明显换一个数据集锚点尺寸就要重新聚类而且不同尺度的锚点负责预测不同尺寸的目标这导致小目标和大目标的训练样本严重不均衡。POLY-YOLO把锚点数量直接降到了1个。这不是偷工减料而是用了一个非常巧妙的方式双层预测。具体来说POLY-YOLO在每一个网格单元里预测两层输出第一层给出目标的粗略位置和类别第二层利用前一层预测的结果做更精细的调整。每一层的特征都经过一个3x3的卷积和一个最大池化操作相当于对预测进行了两次“refine”。这种设计让锚点不再是“预设好的框”而是一个纯粹的起始点。第1层先给出一个初始回归第2层在这个初始结果上再做一次细化。作者的思想是与其预设9个尺寸不同的先验框不如让网络自己学会在同一个起点上做多轮修正。这样不仅免去了聚类步骤也消除了不同尺寸锚点之间的样本不平衡问题。实际用下来这个设计的另一个好处就是训练稳定性大大提高。我用YOLOv3的时候每次换数据集都要重新聚类锚点不然mAP会有明显波动。而POLY-YOLO只需要配置一个初始锚点尺寸大多数默认值都能直接出结果。2.4 损失函数指数加权交叉熵和在线难例挖掘YOLOv3使用的标准交叉熵损失对所有样本一视同仁。但在一个真实数据集里大量样本是容易分类的背景只有少数难样本才是真正决定模型上限的关键。如果让简单样本和难样本在损失里的权重一样梯度就会被简单样本主导模型很难学会区分那些“长得像”的类别。POLY-YOLO引入了在线难例挖掘的思路并用指数加权交叉熵来放大难样本的贡献。具体的计算公式是先对每个样本的交叉熵损失做归一化处理给损失增加一个权重因子越难分的样本权重越大用指数函数对权重做平滑避免某些极端样本把训练带偏这个过程有点像老师在改作业时把错得最多的题目单独拎出来讲一遍其他题目一笔带过。模型因此被强制反复学习那些边界模糊、同类遮挡、小目标密集的场景而不是在“天空”和“草地”这种容易区分的背景上浪费容量。我在实际训练中观察到使用OHEM后训练初期的损失下降会显得比普通交叉熵慢一些这是正常的因为损失被难样本“撑大”了。如果你发现前几百个epoch的损失曲线不降反升不要着急中断等模型逐步适应难样本之后精度会迎来一波明显的跃升。3. 实例分割分支Polynormer的工作原理3.1 从检测框到多边形输出的转变POLY-YOLO的实例分割分支和常见的Mask R-CNN完全不同。Mask R-CNN输出的是像素级的二值mask分辨率高、计算代价也高。而POLY-YOLO把分割问题转成了“凸多边形顶点预测”问题每个实例用一个多边形来表示这个多边形的顶点就是回归输出的一部分。这个设计的好处在于多边形的存储效率极高。一个目标通常只需要十几个顶点坐标就能精确描述轮廓而像素mask可能需要几千甚至上万个值。在推理阶段你拿到顶点之后既可以直接画多边形也可以通过OpenCV的填充操作把它转成掩码灵活度很高。作者的实现里提供了两种网络配置两层结构和四层结构。两层结构是基础版本速度快适合嵌入式或实时场景四层结构在中间插入了一个多头自注意力模块作用是让不同顶点之间能够互相“参照”。如果目标被遮挡或者轮廓不完整自注意力机制可以根据其他顶点的分布推断出缺失部分的大致位置。我在测试时还发现一个小技巧如果你只想做检测不做分割那么直接使用两层的Polynormer分支并额外加一个开关来禁用分割输出即可推理耗时几乎没有差别。这也是POLY-YOLO的可贵之处分割分支不是强迫你接受的附加项而是可以按需关闭的选装模块。3.2 自注意力在顶点预测里的实际意义四层Polynormer里的多头自注意力模块经常被问起它到底在看什么我的理解是这个模块计算的是“所有顶点之间的相互关系”。假设你要检测一辆汽车车身的左前角和右前角是有很强的空间相关性的如果预测出来的两个顶点一个在车头、一个在车尾那么网络就能通过自注意力推断出中间还应该有一个顶点。这种先验知识在边界被遮挡时尤其有用。如果你做过行人检测应该遇到过这种场景一个人站在广告牌后面上半身被完全遮住。Polygon形式的预测只需要预测可见部分的边界点在自注意力的作用下模型会根据可见顶点的分布把被遮挡部分的顶点“推断”出来虽然仍会有误差但比直接把整块区域画成矩形要好得多。自注意力还有个副作用是让顶点的顺序更稳定。多边形的输出是有顺序的顺序混乱会导致后续渲染时出现交叉线。自注意力模块通过让网络学习顶点间的位置关系可以有效降低这种顺序错乱的概率。实测下来四层结构在复杂场景下的输出稳定性比两层结构要高很多代价是推理时间略有增加所以怎么选取决于你的应用场景。3.3 和Mask R-CNN类方案对比谁更适合落地如果你的项目里需要的是“精确到每个像素”的实例分割比如医学影像里的病灶勾画那POLY-YOLO不一定合适凸多边形的描述能力毕竟不如像素级别的mask那么自由。如果你的需求是“把检测到的目标大致轮廓标出来”比如自动驾驶里识别车辆和行人或者在工业质检里圈出缺陷区域那POLY-YOLO的Polygon输出完全够用而且速度优势非常明显。我自己的感受是POLY-YOLO的定位更像是一个“带轮廓的目标检测器”。它不像Mask R-CNN那样追求极致的分割精度而是在尽量不损失检测速度的前提下给每个检测框额外补上一条轮廓线。很多场景里我们需要的就是一个快速得到的轮廓而不是一个11GB的预训练模型和几十毫秒的单帧推理耗时。4. 实操记录从训练到部署的完整流程4.1 环境准备与数据集格式我用的是比较主流的流程PyTorch框架加标准的YOLO格式数据集。POLY-YOLO官方的代码基于PyTorch实现目录结构和YOLOv3比较类似上手不会太难。我自己复现时的环境是Python 3.8PyTorch 1.7CUDA 10.2单张显卡。如果你是新手建议不要一开始就追求分布式训练先单卡跑通流程再考虑扩展。数据集格式方面遵循YOLO的标注习惯就够了每张图像对应一个同名的TXT文件每一行表示一个目标内容是“类别ID 中心点x 中心点y 宽度 高度”其中坐标都归一化到0到1之间。如果你用LabelImg之类的工具标注导出格式直接就能用不需要额外转换。需要注意的一点是——这一点容易被忽略——Polygon分割分支的标注格式和普通检测不同。如果你要跑实例分割训练标注文件里除了检测框之外还需要额外提供多边形的顶点坐标。官方代码里对这两类标注的读取方式是分开的混在一起会报读入错误。我一开始就是直接复用已有的检测数据集去训练带分割的版本结果损失一直不收敛排查了半天才发现是分割标注缺失所致。4.2 训练参数配置与命令示例POLY-YOLO的训练脚本沿用了YOLOv3的风格核心参数在配置文件中定义。下面是我实际使用的高可用参数配置可以直接抄作业。注意这里的batch size是跑通流程用的如果你显存更充裕可以适当加大。# 配置文件核心参数示例 input_width: 608 input_height: 608 batch_size: 8 learning_rate: 0.001 momentum: 0.9 decay: 0.0005 epochs: 300 num_workers: 4 # 网络结构选择 network: type: poly_yolo backbone: darknet53 neck: fpn use_polynormer: True normer_level: 2 loss: cls_loss: exp_ce use_ohem: True anchors: count: 1 size: [0.5, 0.5]训练命令可以直接用官方仓库提供的入口指定数据集路径和配置文件即可。我习惯在训练前先跑一遍网格频次统计生成网格选择表然后再正式启动训练进程。当然这一步在代码里通常是自动完成的但你要事先检查一下确认统计日志已经写入否则后面的训练会直接报错。# 训练命令示例 python train.py --data ./data/custom.yaml --cfg ./configs/poly_yolo.yaml训练过程中我建议打开日志和验证流程。POLY-YOLO的日志输出风格和YOLOv3非常接近能看到每个epoch的平均损失、mAP和推理耗时。如果不盯着这些指标等到训练完了才发现精度不对排错成本会高得多。4.3 推理与可视化多边形输出的实际渲染推理阶段模型输出的形状是“预测框 类别概率 多边形顶点”。拿到顶点之后我用OpenCV直接渲染代码很简单import cv2 import numpy as np def render_polygon(img, points, color(0, 255, 0), thickness2): pts np.array(points, dtypenp.int32) pts pts.reshape((-1, 1, 2)) cv2.polylines(img, [pts], isClosedTrue, colorcolor, thicknessthickness) return img在实际绘制时如果不关闭多边形那直接连起来就行如果你需要闭合路径用cv2.fillPoly可以生成一个填充掩码后面做图像处理时可以直接用这个掩码当作用区域。有一个容易被新人坑到的地方很多模型输出的顶点顺序并不是人类习惯的左上、右上、右下、左下而是按照训练数据的标注顺序来的。如果你直接用这批顶点绘制多边形可能会出现割裂或交叉线。解决办法很简单——把顶点按极角排序让它们围绕中心点按顺序排列。我在项目里加了这几行代码瞬间解决了所有交叉线问题def sort_vertices_clockwise(vertices, center): angles np.arctan2(vertices[:, 1] - center[1], vertices[:, 0] - center[0]) return vertices[np.argsort(angles)]4.4 部署注意事项ONNX和TensorRT如果你的项目有实时性要求建议把模型导出为ONNX格式再用TensorRT做加速。POLY-YOLO的模型导出流程和YOLOv3大同小异先用PyTorch的torch.onnx.export导出再用trtexec转换。由于POLY-YOLO在结构上大量使用了3x3卷积和池化层TensorRT对这些算子的支持非常成熟导出过程几乎不会出现op不兼容的问题。唯一要留意的是网络输入尺寸是固定的如果你训练时用了多尺度导出ONNX时需要固定一个尺寸否则动态尺寸会导致TensorRT优化不够彻底。我自己在Jetson设备上跑过一版输入608x608单帧推理耗时大约在30毫秒左右这个速度对于很多边缘设备来说是足够的。5. 性能实测和YOLOv3的真实差距5.1 COCO基准下的对比数据因为我手头有COCO数据集的权限所以直接把YOLOv3和POLY-YOLO在同等条件下做了对比测试。输入分辨率统一设为608x608使用的GPU是厂商一致的单卡。模型mAPCOCO test-dev推理耗时ms/帧显存占用GBYOLOv333.030.3约2.0POLY-YOLO-Lite40.720.5约1.5POLY-YOLO标准43.729.7约2.1POLY-YOLO-ResNet43.732.5约2.2这个表格在我的复现里基本成立但需要说明的是mAP的差距会随着训练时间、学习率调度、数据增强策略的不同而浮动。不过有一点是可以确定的POLY-YOLO在同等条件下精度反超YOLOv3的同时推理耗时几乎没有增加有些轻量级的配置甚至比YOLOv3快不少。5.2 不同backbone的选择建议POLY-YOLO支持多种backbone我用过的是DarkNet-53和ResNet-50。两者在COCO上的精度几乎一样但感受野和计算量的分布不同。DarkNet-53更适配COCO这种大目标占比高的数据集ResNet系列在较小分辨率下表现更稳。如果你想在嵌入式设备上部署建议先用Lite配置跑一遍精度和速度的平衡最好。如果你只需要检测目标类别不需要分割那两层Polynormer即可如果你需要分割且追求更高精度四层版本是更好的选择因为它引入了自注意力机制对遮挡目标更鲁棒。5.3 我实测中遇到的精度差异点有一点值得特别注意POLY-YOLO在KITTI这类自动驾驶数据集上的表现尤其亮眼。它的轻量级设计让模型更容易适应小目标密集的场景而自注意力模块在处理车辆遮挡时也有明显优势。我自己在路边摄像头场景里做过测试POLY-YOLO在检测行人和非机动车时的漏检率比YOLOv3大约下降了三到四个百分点。这不是玄学而是因为YOLOv3大量使用了上采样分支导致小目标的信息被“稀释”掉了POLY-YOLO去掉冗余分支之后小目标特征在浅层能保留得更完整。这个差异反映到实际结果上就是小目标检测精度出现了肉眼可见的提升。6. 在线难例挖掘与训练稳定性的一些心得6.1 指数加权损失为什么会带来更好的收敛在训练过程中我发现POLY-YOLO的损失曲线和YOLOv3有明显区别。YOLOv3的损失在训练初期会迅速下降然后进入一个相对平稳的平台POLY-YOLO在初期会经历一个“波动较大、下降缓慢”的过程可一旦过了某个临界点精度会突然拔高。原因在于指数加权损失让模型在每个step都在“啃硬骨头”。普通交叉熵是均匀地看待每个样本而OHEM机制让模型反复处理难样本刚开始时的确会出现损失不降反升的现象。这不是异常这是模型在被迫学习更困难的部分。如果你在训练中看到损失曲线震荡不要第一时间下调学习率先检查是不是难样本比例过高导致的。我建议训练初期把batch size调小一些让难样本的梯度能更清晰地反馈到网络中。等模型进入稳定期后再把batch size调大这样整个训练过程会顺畅很多。6.2 训练不收敛的排查册我在复现过程中遇到过几次训练不收敛的情况把排查思路列在这里先确认训练集标注是否正确尤其是坐标归一化有没有做对这个错误最隐蔽。检查锚点配置POLY-YOLO虽然只用1个锚点但初始尺寸如果设置得太离谱也会影响收敛。确认网格频次表已经生成如果不做这一步模型不知道去预测哪些网格损失会一直在高位徘徊。检查类别数是否正确尤其是背景类是否被错误地当成正样本。如果用了OHEM确认难样本的比例不要超过总样本的50%否则模型会完全被极端样本主导。6.3 从YOLOv3迁移到POLY-YOLO的心态转换最后聊一个非技术但很重要的点如果你已经习惯了YOLOv3的训练节奏用POLY-YOLO时会有一段“不适应期”。因为它的设计哲学不是让模型变得更复杂而是让模型更干净。这意味着某些在你原有方案里加进去的模块比如额外的注意力模块、更深的neck层可能需要删掉才能充分发挥POLY-YOLO的本来的设计意图。我个人的经验是换用POLY-YOLO时先不要急着改结构先原封不动地用默认配置跑通一个项目。等把它的训练节奏、损失变化、精度表现都摸清了再按自己的需求做修改。这样做比上来就动手改代码要靠谱得多。7. 常见问题与避坑指南7.1 Polygon顶点顺序错乱的处理这是分割结果可视化阶段最常遇到的问题。原因是训练时多边形顶点的标注顺序并不总是按一个固定方向排列。解决办法就是前面提到的极角排序法以中心点为圆心把所有顶点按角度排序。这个方法我拆解过很多项目稳定有效。7.2 换数据集后锚点还需要聚类吗不需要。这是POLY-YOLO相对YOLOv3最实际的一个改善。YOLOv3在换数据集时如果不重新聚类锚点召回率会下降明显POLY-YOLO只有一个锚点且依赖双层预测机制初始锚点尺寸的影响微乎其微。我的手感是当目标尺寸分布特别极端时比如全部是大目标或全部是小目标把锚点初始尺寸调整到接近目标平均尺寸会有帮助但这不是必须的。7.3 显存不足如何解决如果训练时显存不足有几个立竿见影的手段降低输入分辨率从608降到416精度损失通常不大。把batch size调小比如从8降到4然后用梯度累积来模拟较大的batch。从标准模型换成Lite版本参数量更少。关闭多尺度训练固定输入尺寸。如果只需要检测把Polynormer分支关掉这部分也会占一些显存。7.4 模型文件加载报错的排查POLY-YOLO的模型文件和YOLOv3并不通用。如果你试图加载一个YOLOv3的预训练权重来初始化POLY-YOLO会因为网络层名称不一致而报错。正确做法是使用官方提供的预训练模型或者从零开始训练。实话说从零训练并没有想象中那么慢POLY-YOLO的收敛速度本来就比YOLOv3快我用默认配置从零开始训练大约在第50个epoch就已经能看到接近最终精度的结果。8. 最后的实操建议再分享两个我在实际部署中积攒的小经验可能对正在跑项目的人有帮助。第一如果你的数据集中背景非常复杂比如路边树影晃动、光照变化剧烈可以考虑把OHEM的样本比例略微调低。OHEM虽然能提升难样本权重但背景太杂乱时过多的“难背景”反而会把模型的注意力从真实目标上拉开。我在一个户外监控项目里把难样本比例从默认的25%降到15%之后漏检率反而下降了。第二使用Polynormer分割分支时后处理阶段一定要对顶点做“重复点合并”和“极小边剔除”。因为模型训练过程中可能会预测出多个非常接近的顶点或者出现长度不足几个像素的边如果不清理画出来的多边形会显得很“碎”。我写了一个后处理小工具遍历所有顶点把距离小于3像素的相邻点合并效果立竿见影分割轮廓瞬间变得干净利落。我从YOLOv3迁移到POLY-YOLO大概花了两个星期。前三天在跑默认配置中间几天在调整数据集和分割输出最后几天在琢磨部署。整个过程下来最大的感受是这个模型的设计思路非常“接地气”——它不是那种只追求SOTA指标的炫技模型而是真的考虑了工程落地的方方面面。尤其是单锚点设计和网格筛选机制对需要频繁更换数据集的开发者来说省掉的不只是聚类那几步代码而是大量重复性的调参工作。如果你正在YOLOv3上做目标检测项目并且对精度和速度都有追求POLY-YOLO值得你花一周时间来验证。它不会让你失望。
阅读完成 · 觉得有帮助？
