★ FEATURED ARTICLE 论文题目Sonata: Self-Supervised Learning of Reliable Point RepresentationsSonata可靠点云表征的自监督学习会议CVPR 2025源码GitHub - facebookresearch/sonata: [CVPR25 Highlight] Official repository of Sonata: Self-Supervised Learning of Reliable Point Representations · GitHub摘要本文探讨一个问题是否存在一种可靠的点云自监督模型即使在数据有限、计算资源较少的条件下也能通过简单的线性探测服务于不同的三维任务我们发现现有三维自监督学习方法在采用线性探测评估表征质量时表现不足。我们推测原因在于所谓的“几何捷径”geometric shortcut它使表征退化为低层次的空间特征。这是由点云数据的稀疏性引发的三维领域特有挑战。为此我们采用两项关键策略模糊空间信息、增强模型对输入特征的依赖并通过自蒸馏整合约 14 万份点云数据构建 Sonata。Sonata 简单且直观却能学习到强大而可靠的表征零样本可视化展现了语义聚类能力最近邻关系则表明模型具备较强的空间推理能力。Sonata 在参数效率和数据效率方面表现突出ScanNet 上的线性探测准确率从 21.8% 提升至 72.5%达到此前方法的三倍以上在仅使用 1% 数据的情况下相比以往方法性能接近翻倍。完整微调进一步刷新了室内和室外三维感知任务的最优结果。一、研究背景与核心问题1.1 点云自监督学习缺的不是预训练任务而是可靠表征图像领域的 DINO 系列证明冻结编码器、仅训练线性头也能获得有意义的语义预测。点云领域却有明显落差。此前 PointContrast、MSC 等方法虽然能在微调后改善下游任务但冻结编码器进行 ScanNet 语义分割线性探测时PointContrast 只有 5.6% mIoU基于 PTv3 的 MSC 也只有 21.8%作为参照PTv3 从头训练可达到 77.6%。这说明下游微调有效不代表冻结特征本身有足够语义。论文 Figure 1Sonata 的五个主要性质——感知性能、自蒸馏、线性探测、语义感知与空间推理Figure 1 强调除微调成绩外更要考察冻结表征的语义可分性、点间对应与跨任务可用性。作者因此将线性探测作为可靠性标准。1.2 几何捷径模型学会了“位置”却没有学会“语义”论文 Figure 2以沙发扶手上的点为查询点对比 CSC、MSC 与 Sonata 的特征相似度Figure 2 非常直观CSC 的相似度主要反映表面法向MSC 容易依赖点的高度而 Sonata 能把不同位置的沙发扶手关联起来。前两者看似完成了特征匹配实际上可能只是在使用便宜且易得的几何线索。作者将这种现象称为Geometric Shortcut几何捷径。论文 Figure 3移除输入特征后二维图像与三维点云的信息残留差异为什么三维问题更突出二维图像去除像素特征后规则网格通常不暴露场景内容点云去除颜色等特征后坐标仍保留物体形状。点云算子又必须利用这些坐标组织邻域因此“遮住特征”并不等于“遮住几何”。这解释了为什么模型可以迅速降低自监督损失却未真正形成高层语义表征。二、Sonata 的整体框架让困难视图向稳定教师学习论文 Figure 5Sonata 的教师—学生自蒸馏流程Sonata 使用 PTv3 作为主干并采用非对称的教师—学生结构。训练时对同一个场景执行空间裁剪、旋转、形变及颜色增强生成2 个全局视图、4 个局部视图和 2 个掩码视图。其中全局视图由教师编码信息更少的局部视图、掩码视图由学生编码。论文实际采用的全局采样范围为场景点数的 40%–100%局部采样为 5%–40%。关键不是直接比较两组无序点而是依据增强前的原始空间位置寻找对应点再要求学生在信息不足时预测教师给出的表征分布。Figure 5 中的蒸馏项可用交叉熵形式示意不代表完整损失这里的与分别表示对应点经教师、学生分支得到的预测分布k表示分布维度。学生需要让自己的预测接近教师而教师参数通过学生参数的指数移动平均EMA更新提供相对稳定的学习目标。训练还借鉴 DINOv2采用 Sinkhorn–Knopp 分布中心化、KoLeo 正则化和聚类分配机制避免仅靠简单对比点对或重建预设几何属性。整个过程是完整视图提供目标 → 局部遮挡视图制造信息缺口 → 对应点自蒸馏逼迫学生寻找更概括性的线索。但只提高难度不够网络若仍能读取精细坐标捷径便仍然存在。三、核心设计减少坐标捷径同时保留多尺度信息3.1 去掉 Decoder在较粗尺度上学习而非回到原始点分辨率论文 Figure 4层次化主干中Encoder 与 Decoder 各阶段的 PCA 特征对比传统点云 U-Net 通过上采样与跳跃连接恢复点级特征虽利于监督分割却使自监督目标重新接触局部坐标。Figure 4 显示编码器不同尺度的特征更分散、多样解码器输出则逐渐向特定任务需要的结构集中。Sonata 因此在预训练阶段直接移除分层 Decoder只对较粗尺度的 Encoder 特征施加蒸馏约束。它减少参与蒸馏的点数将特征维度从 96 提至 512并通过分层池化扰动局部坐标关系。后续消融证明这一步远比普通结构精简重要ScanNet 线性探测 mIoU 从 20.7% 跃升至 60.4%。需要注意Decoder-free 指的是预训练框架下游仍然可以按需添加解码器或进行完整微调。3.2 无参数 Feature Up-casting取回多尺度上下文去掉 Decoder 也会损失细节及跨尺度上下文。Sonata 采用Feature Up-casting进行补偿沿编码时保存的池化映射将粗尺度特征逐级映射回前一层并与该层特征拼接。它不需要额外学习一个解码网络却能同时利用粗层的语义上下文和较细层的信息。关键在于控制回传深度。回传太少信息不充分回传太多又会重新暴露局部几何捷径。Figure 6 中两次 up-casting 的线性探测结果为 63.1%优于一次的 62.6% 和三次的 57.1%。这说明多尺度细节并非越多越好表征丰富度与几何泄漏之间需要权衡。3.3 Masked Point Jitter重点打乱被遮挡点的空间线索普通增强对点坐标施加标准差为 0.005 的高斯扰动对输入特征被掩码的点Sonata 使用更强的 0.01 扰动。因为这些点无法依赖自身特征模型最容易退回到空间坐标寻找答案。针对性地扰乱其几何布局可以削弱这种捷径而不必把整个场景坐标全部破坏。3.4 Progressive Scheduler让任务难度随训练逐步增加作者没有一开始就使用极端遮挡而是在前 5% 的训练进程中将mask size 从 10 cm 增至 40 cm、mask ratio 从 30% 增至 70%。这样先建立特征依赖再提高难度避免一开始就迫使模型依赖廉价几何线索。教师温度也逐步由 0.04 增至 0.07权重衰减由 0.04 增至 0.2配合 EMA 稳定训练。四、规模化预训练与评价协议论文 Table 1Sonata 预训练数据的来源及划分数据规模同样重要。Table 1 显示Sonata 汇集 ScanNet、ScanNet、S3DIS、ARKitScenes、HM3D、Structured3D 与 ASE 等真实和仿真场景总量约 14 万份点云。自监督训练不依赖语义标签减少了对人工标注规模的限制。论文 Table 2不同点云预训练方法使用的数据量对比与 PointContrast 相比Sonata 的场景规模约为86.7 倍相较 PPT 约为 5.9 倍。训练端同时将 PTv3 编码器扩大至约 1.08 亿参数并用 Layer Normalization 替代 Batch Normalization改善多数据集联合训练的适配性。论文报告训练共 200 个 epoch使用 32 张 GPU、总 batch size 为 96。这里的“参数高效”主要指下游适配时可冻结大部分参数并不意味着大规模预训练本身不需要计算资源。评价时作者明确区分三种协议Linear Probing冻结编码器只训练不足总参数 0.2% 的线性层Decoder Probing冻结编码器仅训练约 13% 参数的轻量 DecoderFull Fine-tuning解冻完整下游网络。三者分别衡量表征直接可用性、轻量适配能力与完整任务性能不能混为一谈。五、实验结果与消融分析5.1 参数效率冻结特征能否直接分割论文 Table 5ScanNet、ScanNet200、ScanNet 与 S3DIS 上的参数效率对比这张表直接检验论文主张。在 ScanNet 语义分割上MSC 使用 PTv3 时的线性探测只有21.8% mIoUSonata 达到72.5%约为前者的 3.3 倍只训练 Decoder 则达到 79.1%。在 S3DIS Area 5 上Sonata 线性探测也达到 73.4%。可见无需更新主干预训练表征就有较强语义。不过 ScanNet200、ScanNet 这类类别更细、类别数更多的数据集仍较难表明表征的细粒度类别区分能力并未完全解决。5.2 与 DINO 特征互补点云并非只是图像的低配版本论文 Table 3Sonata 与 DINOv2DINOv2.5 的线性、Decoder 探测及特征融合对比图像特征通过相机位姿与深度信息映射到点云后DINOv2 在 ScanNet 上的线性探测为63.09% mIoUSonata 为72.52%。将 Sonata 与 DINOv2.5 特征结合还能达到76.44%ScanNet200 的融合结果为 36.96%高于 Sonata 单独使用时的 29.25%。这说明纯三维训练得到的信息不是图像特征的简单重复跨模态融合存在明确收益。论文 Figure 7DINOv2、Sonata 及其融合特征的零样本 PCA 可视化Figure 7 给出了定性解释DINOv2 更擅长纹理、颜色等视觉细节Sonata 更能区分空间结构两者融合后表现出更好的整体一致性与局部细节。因此Sonata 的优势是补足三维结构理解而不是完全取代二维视觉基础模型。5.3 数据效率标注不足时收益更加明显论文 Table 4有限场景比例与每场景有限标注点数下的 ScanNet 语义分割只有1% 训练场景时PTv3 从头训练得到 25.8% mIoUSonata 完整微调达到45.3%提升 19.5 个百分点即便只做线性探测也有 43.6%。当每个场景仅提供 20 个标注点时Sonata 完整微调为 70.5%高于从头训练的 60.1%。这说明预训练在标注稀缺时尤其有价值。5.4 下游泛化室内语义、实例与室外激光雷达论文 Table 6室内语义分割的完整微调性能完整微调后Sonata 在 ScanNet 达到79.4% mIoU在 S3DIS 6-fold 达到82.3%ScanNet200 与 ScanNet 分别为 36.8% 和 43.7%。这验证了它不仅适合线性探测也能成为常规点云分割网络的有效初始化。论文 Table 7ScanNet、ScanNet200、ScanNet、S3DIS 的室内实例分割对比在实例分割上Sonata 完整微调于 ScanNet 的mAP50 为 63.9%ScanNet200 的 mAP50 为35.6%。冻结编码器、仅训练线性头时ScanNet 仍有 53.9% mAP50表明特征还含有实例区分信息。论文 Table 8nuScenes、Waymo、SemanticKITTI 室外语义分割结果Sonata 将同一预训练思路迁移至室外 LiDAR通过这三个室外数据集的联合训练在完整微调后分别取得81.7%、72.9%、72.6% mIoU高于表中的监督预训练 PPT 基线。这里应区分“方法可迁移到室外”与“一个权重直接统一覆盖室内室外”论文采用了面向室外数据的联合预训练并未完成真正的室内外统一模型。5.5 逐步消融提升究竟来自哪里论文 Figure 6从 MSC 到 Sonata 的逐步设计与规模扩展消融路线Figure 6 比简单的“去掉模块性能下降”更有解释力。把 MSC 改为教师—学生蒸馏、加入局部视图后线性探测也只有20.7%移除 Decoder便跃升至60.4%说明真正的瓶颈是几何信息泄漏。此后适量 up-casting、masked point jitter、渐进式遮挡策略进一步改善性能最后叠加 LN、学习率权重衰减调整、14 万数据及更大模型最终达到72.5%。因此突破主要先来自表征学习位置与几何捷径的处理而最终上限又受益于训练规模。六、总结与思考Sonata 最值得记住的并非某个单独的网络模块而是一个评估与设计思路不要只问自监督预训练能否帮助完整微调更要问冻结后的点特征本身是否包含可直接利用的语义。点云的坐标既是不可或缺的结构信息也是潜在捷径在粗尺度施加目标、针对性扰动掩码点并逐步增加任务难度能让网络减少对低层几何线索的依赖。论文也明确指出了后续方向借助更多对象级数据强化细粒度语义探索室内室外统一预训练利用视频生成的点云继续扩展数据并通过跨模态蒸馏结合 Sonata 与 DINOv2。从方法设定上看模型仍依赖大规模预训练且复杂类别集合上的线性探测与完整微调存在差距。因此Sonata 的贡献是让可靠的三维基础表征更进一步而不是宣称线性探测已经在所有任务上替代完整微调。
阅读完成 · 觉得有帮助？
