★ FEATURED ARTICLE 【免费下载链接】INSID3[CVPR 2026 Oral] INSID3: Training-Free In-Context Segmentation with DINOv3项目地址https://gitcode.com/gh_mirrors/in/INSID3点击查看免费下载INSID3 是一个基于冻结 DINOv3 骨干网络的免训练training-free上下文分割方法CVPR 2026 Oral。本文将深入 INSID3 的原理内核如何发现 DINOv3 特征中隐藏的位置偏差并借助SVD 子空间投影在训练完全免调用的前提下将其干净去除让跨图像特征匹配更可靠。什么是 INSID3一张参考图学会分割任意目标INSID3 的思路非常简单给模型一张参考图以及它的掩码它就能在未训练的情况下把目标图中对应的物体分割出来。整个过程只用一个冻结的 DINOv3 编码器——不微调、不训练分割解码器、不依赖辅助模型。但作者在研究中发现DINOv3 的强大特征里藏着一个暗坑——它不只对语义内容敏感还对像素的绝对位置敏感。这会直接干扰跨图像的相似度计算。发现暗坑DINOv3 的位置偏差现象作者做了一个直觉实验在参考图中取鸟尾巴上的一块 patch计算它与目标图中所有 patch 的相似度得到一张相似度热力图。理想情况下高响应区域应该只有目标图中鸟尾巴对应的部位。结果却出现了两处强响应① 目标图中正确的尾巴部位②图像左侧一大片与语义完全无关的区域。换句话说patch 在参考图左侧这件事本身就会让 DINOv3 在目标图的左侧产生高分响应。这就是位置偏差positional bias特征向量里混入了绝对坐标的信息。对于分割、语义匹配这类需要跨图像比较同一个物体的任务这种偏差是致命的干扰项。SVD 揭秘位置偏差藏在一个低维子空间里那么问题来了位置信息究竟混在特征向量的哪些方向上INSID3 给出了一个优雅的发现路径构造无语义图像取一张全黑零值图像——它不含任何物体、纹理等语义信息网络看到的内容只剩下坐标本身。提取并归一化特征让冻结的 DINOv3 处理这张图得到稠密特征图。SVD 分解把特征矩阵按通道展开并去均值后做奇异值分解SVD前几个主成分就勾勒出特征中稳定存在的低维位置子空间。直觉上可以这样理解全黑图像的特征差异 100% 来自位置因此 SVD 提取出的主方向几乎纯粹编码了patch 在图里的坐标。这一子空间在大量低语义内容图像上都非常稳定——这正说明位置偏差是 DINOv3 特征的一种系统性结构而非随机噪声。三步投影把位置偏差投影掉发现位置子空间后去除它的方式极其干净把特征向量投影到位置子空间的正交补上保留语义方向、抹掉坐标方向。INSID3 用三个步骤实现核心代码见 models/insid3.py第一步构建位置基。_build_positional_basis方法对归一化的零图像特征做 SVD取前svd_components个左奇异向量作为位置基 B默认 500 维可通过 opts.py 中--svd-comps参数调整。第二步构造正交投影矩阵。利用基向量两两正交的性质投影矩阵可以写成 $P_{\perp} I - BB^{\top}$无需对原特征做任何假设。第三步投影并重新归一化。_debias_features将每张图的所有 patch 特征左乘 $P_{\perp}$再按通道做 L2 归一化得到去偏特征。之后 INSID3 的候选定位、相似度计算全部在去偏空间中进行。整个过程完全免训练位置基在模型初始化时一次性算好推理时只是一次矩阵乘法几乎不增加开销。效果验证匹配精度肉眼可见的提升去偏是否真的有效作者在 SPair-71k 语义对应关键点跨图匹配任务上做了消融对比inference_keypoint_matching.py 即可复现加--debiased开关即可切换版本PCK0.05PCK0.10PCK0.15PCK0.20DINOv3-Base 原始特征30.146.855.661.2DINOv3-Base 去偏特征33.752.662.568.7四个阈值下全面领先。下面用船头关键点匹配的例子直观感受参考图左侧是船目标图右侧是帆船原始特征把参考图中船头右侧位置的点匹配到了目标图的右侧——几乎完全被位置牵着走而去偏后的特征则正确命中了目标帆船的船头部位。这正是跨图像匹配语义而不是匹配坐标的直接体现。小结与预告本文梳理了 INSID3 的第一块基石发现DINOv3 特征存在系统性的位置偏差跨图相似度会被绝对坐标干扰解释位置信息稳定地聚集在一个低维子空间里可用无语义图像 SVD 提取去除将特征投影到位置子空间的正交补$I - BB^{\top}$免训练、低成本显著提升跨图匹配精度。去偏之后的特征只是故事的开头——INSID3 如何利用稠密特征的聚类结构做种子 聚合式分割我们下篇见。赞分享【免费下载链接】INSID3[CVPR 2026 Oral] INSID3: Training-Free In-Context Segmentation with DINOv3项目地址https://gitcode.com/gh_mirrors/in/INSID3点击查看免费下载相关推荐TripoSR基于单图像的高效3D重建技术架构解析TripoSR基于单图像的高效3D重建技术架构解析 在计算机视觉和图形学领域从单张二维图像重建三维几何结构一直是一个具有挑战性的问题。传统方法往往依赖多视图人工智能计算机视觉3D渲染Apache Openmeetings最新特性解析v6.1.0版本WebRTC稳定性提升全揭秘Apache Openmeetings最新特性解析v6.1.0版本WebRTC稳定性提升全揭秘 Apache Openmeetings是一款功能强大的开源视频音视频即时通讯协同办公Supra-microBench对比对设计深度解析group accuracy如何一键消除答案偏置与位置偏差Supra microBench对比对设计深度解析group accuracy如何一键消除答案偏置与位置偏差 Supra microBenchSupra μ模型评测人工智能数据集创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
