★ FEATURED ARTICLE 文章目录论文主要贡献论文创新点问题方法SSVOD整体框架基于师生网络端到端架构Flow-warped Feature Set Generator光流扭曲特征集生成器鲁棒伪标签筛选损失函数实验消融实验结论论文信息论文题目SSVOD: Semi-Supervised Video Object Detection with Sparse Annotations论文作者Tanvir Mahmud,Chun-Hao Liu,Burhaneddin Yaman, Diana Marculescu发表会议WACV 2023代码链接https://github.com/enyacgroup/SSVOD.git论文主要贡献本文提出了SSVOD这是一个端到端的半监督视频目标检测框架它利用视频的运动动态通过稀疏注释来利用大规模未标记帧。为了在多组帧中选择性地整合稳健的伪标签本文引入了来自邻近帧的光流扭曲预测用于时间一致性估计。具体而言本文在一组估计预测上分别引入了基于跨交并比cross-IoU和跨KL散度cross-KL-divergence的选择方法以分别获取用于边界框和类别标签的稳健伪标签。为了平衡伪标签中的确认偏差和不确定性噪声本文提出了基于置信度阈值的硬伪标签和软伪标签组合方法。该方法在ImageNetVID、Epic-KITCHENS和YouTube-VIS数据集上相比现有方法取得了显著的性能提升。论文创新点提出一个端到端的半监督视频目标检测框架 SSVOD利用视频的运动动态特性结合稀疏标注来利用大规模未标注帧。引入来自邻近帧的光流扭曲预测用于时间一致性估计。引入了基于跨交并比cross-IoU和跨KL散度cross-KL-divergence的选择方法以分别筛选出用于边界框和类别标签的稳健伪标签。提出基于置信度阈值的硬伪标签和软伪标签组合方法平衡伪标签中的确认偏误和不确定性噪声。问题1.监督式视频目标检测的良好性能高度依赖标注帧的数量2.尽管视频帧间存在很强的关联性但为每个视频的大量帧标注数据不仅成本高、耗时长而且往往存在冗余3.现有的静态图像半监督技术难以利用视频本身固有的时间运动动态特征。三种训练策略对比直观展示了视频目标检测在不同标注方式下的差异以及 SSVOD图 c的核心思路a 密集标注性能最好绿色块输出最准确稳定但成本高b 稀疏标注有监督训练策略未标注的关键帧完全不参与训练也不利用参考帧的运动信息性能差绿色块数量少输出不稳定c 稀疏标注通过光流扭曲生成伪标签让模型也学习这些帧的特征成本低性能好方法半监督视频目标检测SSVOD概述SSVOD整体框架基于师生网络端到端架构教师由学生的EMA权重更新对弱增强的未标注帧生成原始伪标签学生同时训练强增强的未标注帧和标注帧核心通过光流扭曲挖掘视频时间特征经三重筛选得到硬/软伪标签实现伪标签的精准生成。Flow-warped Feature Set Generator光流扭曲特征集生成器SSVOD中「光流扭曲特征集生成器」的详细流程图展示如何把视频的运动信息变成模型能利用的特征是SSVOD区别于静态图像方法的核心模块。光流估计Flow Estimator输入关键帧t 参考帧t-10/t10。操作用光流估计器计算关键帧与参考帧之间的运动轨迹彩色的光流图特征扭曲图中的W模块输入参考帧的视觉特征。上一步得到的光流场。操作根据光流把参考帧的特征移动到关键帧的对应位置得到光流扭曲关键特征。参考特征聚合Reference Aggregator输入得到的扭曲后关键特征。所有参考帧的原始特征集合 。操作将“扭曲后的关键特征”与“原始参考特征”进行聚合融合多帧信息。输出最终的Flow-warped Feature Sets光流扭曲特征集每个特征集都包含关键帧自身特征 对齐后的参考帧特征。训练阶段每组帧仅使用2个参考帧控制计算开销不会无限制引入大量参考帧。鲁棒伪标签筛选经初始置信度阈值过滤后通过三阶段筛选生成高质量硬/软伪标签跨IoU筛选计算关键帧与参考帧预测框的平均IoU保留高重叠度的伪边界框x I o U ( k ) 1 2 i ∑ j − i i I o U ( o k t , o k t j ) xIoU(k)\frac{1}{2 i} \sum_{j-i}^{i} IoU\left(o_{k}^{t}, o_{k}^{tj}\right)xIoU(k)2i1j−i∑iIoU(okt,oktj)o k t o_{k}^{t}okt代表t tt时刻关键帧第k kk个物体o k t j o_{k}^{tj}oktj是参考帧扭曲后匹配到的对应物体2 i 2i2i为参考帧总数量。计算得到平均跨I o U IoUIoU当x I o U ζ I o U xIoU\zeta_{IoU}xIoUζIoU保留该伪边界框。跨KL散度筛选对上述边界框计算类别概率的平均散度保留低差异的类别标签得到硬伪标签x D i v ( k ) 1 2 i ∑ j − i i D K L ( o k t , o k t j ) xDiv(k)\frac{1}{2 i} \sum_{j-i}^{i} D_{KL}\left(o_{k}^{t}, o_{k}^{tj}\right)xDiv(k)2i1j−i∑iDKL(okt,oktj)通过跨I o U IoUIoUd得到候选框之后计算类别分布之间KL散度平均值。当x D i v η d i v xDiv \eta_{div}xDivηdiv代表多帧类别预测高度一致生成硬伪标签。置信度感知软筛选对未通过前两步但置信度达标的预测生成软伪标签。L s o f t t D K L ( P s t d , c l s t , P s o f t t ) \mathcal{L}_{soft }^{t}D_{KL}\left(P_{std,cls }^{t}, P_{soft }^{t}\right)LsofttDKL(Pstd,clst,Psoftt)P s t d , c l s t P_{std,cls}^{t}Pstd,clst学生网络输出类别概率P s o f t t P_{soft}^{t}Psoftt教师输出软伪标签概率分布使用 KL 散度做蒸馏不使用强one‑hot监督。损失函数L L c l s s u p L b b o x s u p L c l s u n s u p L b b o x u n s u p L s o f t u n s u p \mathcal{L}\mathcal{L}_{cls }^{sup }\mathcal{L}_{bbox }^{sup }\mathcal{L}_{cls }^{unsup }\mathcal{L}_{bbox }^{unsup }\mathcal{L}_{soft }^{unsup }LLclssupLbboxsupLclsunsupLbboxunsupLsoftunsup学生网络的总损失融合标注集监督损失类别边界框、未标注集硬标签损失类别边界框和未标注集软标签蒸馏损失KL散度通过多损失协同训练保证检测精度与泛化能力。实验在稀疏标注场景下对比 SSVODOurs与其他半监督 / 监督方法的性能直观证明 SSVOD 的优越性消融实验不同视频目标检测器的消融实验。SSVOD方案在各种检测器上均比有监督基线有持续改进。不同损失组件对伪标签影响的消融研究。三者协同效果显著不同数量未标记关键帧影响的消融研究。性能随未标注帧数量增加而提升在 SSVOD 框架下额外引入大规模无标注静态图像数据可在原有基础上进一步提升 1.9 个 mAP。进阶组件消融实验核心验证升级光流估计器与基础检测器可进一步提高 SSVOD 的性能。结论本文中提出了一种新颖的半监督学习框架SSVOD以克服现有有监督视频目标检测方法在稀疏标注方面的局限性。与在最先进的视频检测器上简单集成现有半监督图像技术不同SSVOD利用帧组的时间特征空间基于运动一致性来搜索稳健的伪标签。此外SSVOD被证实具有检测器不变性能够通过改进的有监督基线来提升性能。我们提出的用于边界框回归、硬标签分类和软标签蒸馏的三阶段伪标签选择在很大程度上促进了最终的性能提升。通过有效利用视频中的未标记帧SSVOD仅使用超过95%的稀疏标注就能达到密集监督性能的约98%显著优于其他基线。
阅读完成 · 觉得有帮助？
