★ FEATURED ARTICLE 1. 小目标检测的痛点与Stitcher的切入逻辑做过目标检测的人都有一个共识大目标好做小目标难搞。所谓小目标一般指在图像中像素面积小于32×32的目标或者按照COCO数据集的定义面积小于32²的目标。这类目标在实际场景中极其常见——航拍图像里的车辆、监控画面中的行人、遥感影像中的船只、工业质检中的微小瑕疵都属于小目标的范畴。小目标检测难难在几个地方。第一小目标本身携带的信息量就少经过骨干网络的多次下采样之后特征图上的响应可能只剩下一两个像素甚至直接消失。第二小目标在数据集中往往数量不均衡标注成本高导致模型训练时正样本太少。第三现有的检测头设计大多是为中等和大目标优化的小目标在特征金字塔的高层特征图上几乎没有有效响应。围绕小目标检测业界已经提出了不少方案多尺度训练、特征金字塔增强、高分辨率特征保持、数据增强中的Mosaic和MixUp、锚框尺寸调整等等。这些方法各有各的效果但普遍存在一个矛盾——要么改动大、训练成本高要么提升有限、不够稳定。Stitcher这个思路的有趣之处在于它没有去动检测器的核心架构也没有引入复杂的注意力模块而是从图像拼接这个非常朴素的角度切入用一种“简单而有效”的方式提升小目标的检测表现。它的核心逻辑可以这样理解既然小目标在单张图里太小、特征太弱那我能不能把多张图拼在一起让模型在训练时“看到”更多的小目标同时通过拼接改变目标的相对尺度分布迫使模型学会更好地处理小目标这个想法听起来简单但背后涉及的细节并不少怎么拼、拼几张、拼接后标注怎么处理、训练策略怎么调整、推理时又该怎么还原——每一步都有讲究。接下来我会从设计思路、核心细节、实操流程和踩坑经验几个维度把这个方法拆开讲清楚。2. Stitcher的核心设计思路拆解2.1 为什么选择“拼接”而不是“放大”面对小目标检测最直觉的方案是把图像放大。比如把输入分辨率从640×640提升到1280×1280小目标在像素层面就变成了原来的四倍面积理论上更容易被检测到。但这条路有几个现实问题显存占用呈平方级增长推理速度大幅下降而且很多小目标的语义信息并不会因为简单放大而增加——放大只是插值不会创造新的细节。Stitcher选择的是另一条路在不改变单张图像分辨率的前提下把多张图像拼接成一张大图送入网络。这样做的好处是单张图像的分辨率没有变小目标的绝对像素面积没有变但模型在一次前向传播中能看到更多的小目标实例。更重要的是拼接改变了图像中目标的尺度分布——原本一张图里可能只有几个小目标拼接之后一张大图里有几十个小目标模型在训练时收到的正样本信号更强了。这里有一个关键点需要理解Stitcher并不是简单地把图片拼在一起就完事了。如果只是随机拼接会出现几个问题。第一拼接边界处可能出现目标被截断的情况导致标注不准确。第二不同图像之间的语义上下文被强行混合可能引入噪声。第三拼接后的图像尺寸如果太大反而会增加计算负担。所以Stitcher在拼接策略上做了针对性的设计后面会详细展开。2.2 拼接如何影响特征金字塔的响应要理解Stitcher为什么有效需要稍微深入一点特征金字塔的工作原理。现代检测器如YOLO系列、Faster R-CNN、RetinaNet通常使用FPN或PANet结构从骨干网络的不同阶段提取多尺度特征。浅层特征图分辨率高、感受野小适合检测小目标深层特征图分辨率低、感受野大适合检测大目标。小目标的问题在于它们在浅层特征图上的响应虽然位置准确但语义信息太弱容易被背景噪声淹没。而在深层特征图上小目标经过多次下采样后可能只剩一个点甚至完全消失。Stitcher通过拼接多张图像实际上是在不改变网络结构的前提下增加了浅层特征图上小目标的数量和密度。当一张大图里有几十个小目标时浅层特征图上的正样本区域变得密集损失函数中小目标对应的梯度贡献增大模型自然会更关注这些小目标。另外拼接还会带来一个副作用图像的整体尺寸变大了但网络的下采样倍率没变所以深层特征图上的空间分辨率相对提高了。举个例子原本640×640的输入经过32倍下采样后是20×20的特征图拼接成1280×1280后变成40×40。这意味着深层特征图能保留更多的空间信息对小目标的定位精度也有帮助。2.3 与Mosaic增强的异同说到拼接很多人会想到Mosaic数据增强。Mosaic是YOLOv4中提出的一种方法把四张图拼成一张每张图随机缩放、随机裁剪、随机排布。Stitcher和Mosaic有相似之处但目标和实现方式有明显区别。Mosaic的主要目的是增加数据多样性、提升模型泛化能力它通过随机缩放和裁剪引入了大量的尺度变化和上下文变化。而Stitcher的核心目标是提升小目标检测它的拼接策略更注重保持小目标的完整性和标注准确性不会像Mosaic那样激进地裁剪和缩放。具体来说Mosaic中每张图都会被缩放和裁剪小目标可能在缩放后变得更小甚至消失。而Stitcher通常会保持每张子图的原始分辨率只做简单的网格拼接或自适应拼接确保小目标不会被进一步缩小。此外Stitcher在拼接时会处理边界问题避免目标被截断这一点比Mosaic更精细。从训练策略上看Mosaic通常在训练前期使用、后期关闭而Stitcher可以作为持续的训练策略也可以根据数据集特点灵活调整拼接数量和方式。3. 核心细节解析与实操要点3.1 拼接数量的选择与显存权衡拼接几张图是Stitcher落地时第一个要回答的问题。常见的选项是2×24张、2×12张、3×39张。拼接数量越多单次前向传播中看到的小目标越多正样本信号越强但显存占用和计算量也会增加。这里需要算一笔账。假设单张输入是640×640batch size是8。如果不拼接一次迭代处理8张图显存占用大约是8×640×640×3。如果改成2×2拼接每张拼接图是1280×1280batch size可以降到2因为每张拼接图包含4张子图等效于8张子图显存占用大约是2×1280×1280×3和原来差不多。但如果batch size保持8不变显存占用就是原来的4倍大多数消费级显卡扛不住。所以实操中的常见做法是拼接后适当降低batch size保持等效的子图数量不变。比如原来batch size16、单图640×640改成2×2拼接后batch size4等效子图数量还是16。这样显存占用基本持平但模型在一次前向传播中看到的目标分布更密集了。如果显存充裕可以尝试2×2拼接、batch size8等效子图数量32训练信号更强但要注意学习率可能需要相应调整。我的经验是拼接数量从1增加到4时学习率可以适当降低20%到30%因为等效batch size变大了梯度更稳定不需要那么大的步长。3.2 标注处理与边界截断问题拼接图像时标注的处理是最容易出错的环节。假设你有两张图A和BA中有一个目标在右下角B中有一个目标在左上角。如果直接拼接A的右下角和B的左上角相邻两个目标可能紧挨在一起甚至重叠。更糟糕的是如果目标正好在拼接边界上可能被截断成两半标注框也会被切成两个不完整的框。Stitcher的处理策略通常包括以下几个步骤筛选可拼接图像在拼接前检查每张图中是否有目标靠近边界。如果目标边界框与图像边界的距离小于某个阈值比如10个像素这张图就不参与拼接或者只参与特定方向的拼接。调整拼接布局如果必须拼接可以通过调整子图的位置让边界附近没有目标的区域相邻。比如把目标密集的区域放在拼接图的中心边缘区域留给背景。重新计算标注拼接后所有子图的标注框坐标需要根据拼接布局进行平移。如果子图在拼接图中的偏移是(dx, dy)那么标注框的坐标从(x1, y1, x2, y2)变成(x1dx, y1dy, x2dx, y2dy)。处理截断目标对于被截断的目标有两种处理方式。一种是直接丢弃不参与训练另一种是保留可见部分但标注框只覆盖可见区域。前者更干净后者能保留更多样本但可能引入噪声。我的建议是如果截断面积超过原目标面积的30%直接丢弃如果小于30%可以保留但要在训练时降低这部分样本的权重。注意拼接后的标注文件需要重新生成不能直接复用原始标注。建议写一个专门的脚本处理坐标变换并且在可视化工具中逐张检查确保没有漏标或错标。3.3 拼接布局的自适应策略固定的网格拼接如2×2实现简单但不够灵活。如果子图的长宽比差异很大或者目标分布不均匀固定网格可能导致大量空白区域或目标过于拥挤。Stitcher的一个改进方向是自适应拼接布局。自适应拼接的核心思想是根据子图中目标的分布动态决定拼接的位置和方向。比如如果图A的目标集中在左半部分图B的目标集中在右半部分那么可以把A放在左边、B放在右边让目标区域相邻减少空白。如果图A的目标在底部图B的目标在顶部可以上下拼接。实现自适应拼接需要几个步骤首先统计每张子图中目标边界框的分布计算目标区域的质心和范围然后根据质心位置将子图分类为“目标偏左”“目标偏右”“目标偏上”“目标偏下”等类别最后根据类别匹配拼接伙伴让目标区域尽量靠近拼接图的中心。这种策略的收益是拼接后的图像中目标密度更高空白区域更少模型的有效感受野利用率更高。代价是实现复杂度增加需要额外的计算和逻辑判断。如果项目时间紧可以先从固定2×2拼接做起等 baseline 跑通后再尝试自适应策略。3.4 训练阶段的拼接调度Stitcher不是在所有训练阶段都必须开启。实际上根据数据集的特点和模型的状态可以设计一个拼接调度策略。在训练初期模型还在学习基本的特征表示此时拼接可能会引入过多的噪声和复杂性反而不利于收敛。一个常见的做法是前10到20个epoch使用单图训练让模型先建立稳定的特征提取能力然后在中期开启拼接增强小目标的训练信号在最后几个epoch关闭拼接让模型在原始数据分布上做微调避免对拼接图像过拟合。另一种策略是根据验证集上的小目标AP来决定是否开启拼接。如果小目标AP低于某个阈值说明模型在小目标上表现不佳此时开启拼接进行针对性增强如果小目标AP已经不错可以降低拼接频率或关闭拼接把训练资源留给其他难点。实操心得拼接调度不需要太复杂我通常用简单的分段策略——前20% epoch单图中间60% epoch拼接最后20% epoch单图微调。这个策略在多个数据集上都比较稳定不需要频繁调参。4. 实操过程与核心环节实现4.1 数据准备与拼接脚本编写假设你有一个标准的目标检测数据集标注格式是YOLO格式每行是class_id x_center y_center width height坐标归一化到0到1。下面是一个拼接脚本的核心逻辑用Python实现。import cv2 import numpy as np import os import random def load_image_and_labels(img_path, label_path): img cv2.imread(img_path) h, w img.shape[:2] labels [] if os.path.exists(label_path): with open(label_path, r) as f: for line in f: parts line.strip().split() if len(parts) 5: cls, xc, yc, bw, bh map(float, parts) labels.append([cls, xc, yc, bw, bh]) return img, labels, w, h def check_boundary(labels, threshold0.02): 检查是否有目标靠近边界threshold是归一化距离 for cls, xc, yc, bw, bh in labels: x1 xc - bw / 2 y1 yc - bh / 2 x2 xc bw / 2 y2 yc bh / 2 if x1 threshold or y1 threshold or x2 1 - threshold or y2 1 - threshold: return True return False def stitch_images(images, labels_list, layout2x2): 将多张图拼接成一张大图返回拼接图和变换后的标注 if layout 2x2: rows, cols 2, 2 elif layout 2x1: rows, cols 1, 2 elif layout 1x2: rows, cols 2, 1 else: raise ValueError(Unsupported layout) h, w images[0].shape[:2] canvas np.zeros((h * rows, w * cols, 3), dtypenp.uint8) new_labels [] for idx, (img, labels) in enumerate(zip(images, labels_list)): r idx // cols c idx % cols canvas[r*h:(r1)*h, c*w:(c1)*w] img for cls, xc, yc, bw, bh in labels: # 转换到绝对坐标 abs_xc xc * w c * w abs_yc yc * h r * h abs_bw bw * w abs_bh bh * h # 转换回归一化坐标相对于拼接图 new_xc abs_xc / (w * cols) new_yc abs_yc / (h * rows) new_bw abs_bw / (w * cols) new_bh abs_bh / (h * rows) new_labels.append([cls, new_xc, new_yc, new_bw, new_bh]) return canvas, new_labels这个脚本的核心逻辑是加载子图和标注检查边界拼接图像然后重新计算标注坐标。实际使用时还需要加上随机采样、异常处理、可视化检查等环节。4.2 与检测框架的集成Stitcher本身不是一个独立的检测器而是一种数据增强和训练策略需要集成到现有的检测框架中。以YOLO系列为例集成步骤大致如下修改数据加载器在Dataset类的__getitem__方法中不再返回单张图像和标注而是随机采样多张图像调用拼接函数返回拼接后的图像和标注。调整数据增强流水线拼接后的图像尺寸变大原有的随机缩放、随机裁剪等增强操作需要相应调整。比如如果原来有随机缩放缩放范围可以适当缩小避免拼接后的小目标被进一步缩小。修改训练配置根据拼接数量调整batch size和学习率。如果使用2×2拼接batch size可以降到原来的1/4学习率降低20%到30%。验证集不拼接验证集和测试集保持原始图像格式不进行拼接以确保评估结果反映真实场景下的性能。如果使用的是MMDetection、Detectron2等框架集成方式类似主要是自定义Dataset和DataLoader。需要注意的是拼接后的图像尺寸可能不是32的整数倍而很多检测器的骨干网络要求输入尺寸能被32整除。解决办法是在拼接后做一次padding或resize确保尺寸合规。4.3 训练参数配置与调优下面是一组基于实际项目经验的训练参数配置假设使用YOLOv5或YOLOv8作为基线数据集是航拍小目标检测数据集。参数单图训练基线Stitcher 2×2拼接说明输入尺寸640×6401280×1280拼接后尺寸翻倍Batch size164等效子图数量保持16初始学习率0.010.007降低30%学习率调度cosinecosine保持不变Warmup epoch35拼接后需要更长warmup训练总epoch100100保持不变拼接调度无前20%关中间60%开后20%关分段策略权重衰减0.00050.0005保持不变数据增强MosaicMixUp关闭Mosaic保留MixUp避免与拼接冲突这里重点解释几个参数的选择理由。学习率降低30%是因为等效batch size虽然没变但拼接后每张图的信息密度更高梯度更稳定不需要那么大的步长。Warmup延长到5个epoch是因为拼接图的尺寸更大模型需要更多时间适应新的输入分布。关闭Mosaic是因为Mosaic和Stitcher的拼接逻辑有冲突同时使用可能导致小目标被过度缩放或裁剪。4.4 推理阶段的处理训练时使用拼接推理时怎么办有两种方案。第一种方案是推理时也拼接。把测试图像按照训练时的拼接方式拼在一起送入网络得到检测结果后再按照拼接布局拆分把每个子图的检测框映射回原始坐标。这种方案的好处是训练和推理的输入分布一致模型不需要适应两种模式。缺点是推理时需要等待多张图凑齐才能拼接实时性差而且如果测试图像数量不是拼接数量的整数倍最后几张图需要特殊处理。第二种方案是推理时单图。训练时用拼接增强推理时用单图。这种方案的好处是推理简单、实时性好缺点是训练和推理的输入分布不一致可能导致性能下降。为了缓解这个问题可以在训练的最后几个epoch关闭拼接让模型在单图分布上做微调这就是前面提到的拼接调度策略中的最后20%单图微调。我的经验是如果应用场景对实时性要求高优先选择第二种方案配合最后的单图微调性能损失通常在1到2个AP以内。如果对精度要求极高、实时性要求不高可以选择第一种方案但需要处理好图像凑齐和结果拆分的问题。5. 常见问题与排查技巧实录5.1 拼接后小目标AP反而下降这是最常见的问题之一。理论上拼接应该提升小目标检测但实际操作中可能发现小目标AP不升反降。原因通常有以下几个标注错误拼接后的标注坐标计算错误导致模型学到错误的位置信息。排查方法是可视化拼接图和标注框逐张检查。目标被截断边界处的目标被截断标注框不完整模型学到不完整的特征。解决办法是加强边界检查丢弃或特殊处理截断目标。学习率过大拼接后等效batch size变化但学习率没有相应调整导致训练不稳定。解决办法是降低学习率延长warmup。拼接数量过多4张拼接可能已经足够9张拼接可能导致单张子图的分辨率被压缩小目标反而更小。解决办法是减少拼接数量或者保持子图原始分辨率、增大拼接图尺寸。排查时建议做一个消融实验分别用单图、2×1拼接、2×2拼接训练三个模型对比小目标AP的变化。如果2×1有提升但2×2下降说明拼接数量过多如果都没有提升说明问题出在标注或训练参数上。5.2 显存溢出与训练速度下降拼接后图像尺寸变大显存占用和计算量都会增加。如果遇到显存溢出可以尝试以下措施降低batch size保持等效子图数量不变。使用梯度累积模拟更大的batch size。使用混合精度训练减少显存占用。如果框架支持使用更高效的注意力机制或轻量级骨干网络。训练速度下降是必然的因为单次前向传播处理的像素更多了。但如果下降幅度过大比如超过50%需要检查是否有其他瓶颈比如数据加载速度跟不上、拼接脚本效率太低等。优化数据加载可以使用多进程、预取、缓存等技巧。5.3 拼接边界处的误检拼接边界处容易出现误检因为两个子图的背景在边界处突然变化模型可能把这种变化当成目标特征。解决办法有几个在拼接边界处做羽化处理让过渡更自然。在训练时对边界区域的目标降低权重或者直接忽略边界区域的检测结果。使用自适应拼接布局让边界处尽量是背景区域避免目标靠近边界。实操心得我在处理航拍图像时发现拼接边界处的误检主要出现在建筑物边缘和道路交叉口。后来在拼接时加了一个简单的规则——如果子图的边界区域有目标就把这张子图旋转180度再拼接让目标远离边界。这个技巧简单但有效误检率下降了大约15%。5.4 小目标标注质量的影响Stitcher的效果高度依赖标注质量。如果原始数据集中小目标的标注本身就不准确拼接后标注误差会被放大。比如一个目标在原始图中标注偏了5个像素拼接后坐标变换可能让偏差变成10个像素模型学到的位置信息就更不准了。所以在使用Stitcher之前建议先做一轮标注质量检查。重点检查小目标的标注框是否紧密贴合目标、是否有漏标、是否有误标。如果标注质量差先修标注再上Stitcher否则效果可能适得其反。5.5 不同数据集的适配策略Stitcher不是万能的它的效果和数据集特点密切相关。根据我的经验以下几类数据集使用Stitcher效果比较明显小目标占比高、分布密集的数据集如航拍、遥感、监控。图像背景相对简单、目标与背景对比度高的数据集。单张图像中目标数量较少、但总体目标数量多的数据集。而以下几类数据集使用Stitcher可能效果有限小目标占比低、以大中目标为主的数据集。图像背景极其复杂、目标与背景难以区分的数据集。单张图像中目标已经非常密集的数据集拼接后目标过于拥挤反而增加检测难度。所以在上Stitcher之前先分析数据集中小目标的占比和分布特点判断是否适合。如果不确定可以先在小规模数据上做对比实验再决定是否全量使用。6. 影响范围与扩展思考Stitcher的价值不仅限于小目标检测。它的核心思想——通过输入层面的拼接改变目标分布和特征响应——可以扩展到其他相关任务。在密集目标计数任务中Stitcher可以帮助模型在一次前向传播中看到更多的目标实例提升计数精度。在语义分割任务中拼接可以增加小物体的像素级训练信号改善小物体的分割边界。在遥感图像分析中拼接可以把多个小区域的图像合并处理减少重复计算提升处理效率。从工程角度看Stitcher的实现成本低、与现有框架兼容性好不需要修改网络结构也不需要重新设计损失函数。这使得它非常适合作为现有检测流程的一个增强模块快速集成、快速验证。当然Stitcher也有它的局限性。它不能创造新的信息只能改变信息的组织和呈现方式。如果小目标在原始图像中本身就模糊不清、特征极弱拼接也无法让模型学到不存在的特征。在这种情况下可能需要从数据采集端入手提升图像分辨率或改进成像条件。我在实际项目中的体会是Stitcher最适合作为小目标检测优化方案组合中的一环和更高的输入分辨率、更好的数据增强、更精细的标注配合使用。单独使用Stitcher提升幅度通常在2到5个AP之间如果和其他策略组合使用提升幅度可以更大而且更稳定。最后分享一个小技巧在拼接时保留一定的随机性比如每次迭代随机选择拼接数量和布局可以进一步提升模型的泛化能力避免对特定拼接模式过拟合。
阅读完成 · 觉得有帮助？
