GeoSeC

GeoSeC语义证据如何进入几何区域原论文GeoSeC: Geometric-Semantic Collaborative Learning for Weakly Supervised Remote Sensing Image SegmentationGeoSeC 面向遥感图像的弱监督语义分割。它的出发点是CLIP 能提供类别语义但类别响应往往只覆盖少数高置信位置SAM 的特征包含形状与空间结构却不直接知道类别。GeoSeC 先从 CLIP 响应中提取可靠语义再借助 SAM 特征把类别信息扩展到图像其他位置。整体流程是SEP 提取语义证据 → GRT 将语义分配到几何区域 → SGCE 对齐并增强两种响应。!1. SEP从稀疏类别响应提取语义原型SEP 在冻结的 CLIP 编码器不同层之间加入轻量跨模态交互融合多层视觉与文本特征得到类别语义激活图M s M_sMs​。它不是简单取原生 CLIP 最后一层的图文相似度。随后方法按阈值筛选M s M_sMs​中高置信位置并在这些位置读取 SAM 的视觉特征。高置信位置只用于挑出有类别依据的特征不代表它们已经覆盖完整目标。方法再按类别聚类局部簇的代表向量称为region cue表示一种局部外观同一类别的 region cues 聚合成kernel cue表示类别层面的总体特征。两者共同构成后续使用的局部语义证据。2. GRT用最优传输扩展类别语义初始语义证据只来自少数位置。GRT 将整张图的 SAM 特征与 region cues 比较距离较近的特征更适合分到对应区域C o s t i j ∥ x i − R j ∥ 2 . \mathrm{Cost}_{ij}\lVert x_i-R_j\rVert_2.Costij​∥xi​−Rj​∥2​.这里x i x_ixi​是图像位置i ii的 SAM 特征R j R_jRj​是第j jj个 region cue。方法还利用 region cue 与所属 kernel cue 的关系衡量局部原型的可靠性再以最优传输求出分配矩阵T ∗ T^*T∗。可以把T i , j ∗ T^*_{i,j}Ti,j∗​理解为“位置i ii分给区域j jj的权重”。它让语义证据能够覆盖原本没有类别标签的 SAM 特征同时受特征相似性和区域结构约束。有了传输结果后GeoSeC 会从扩展后的区域重新收集 region/kernel cues并用指数移动平均融合前后两轮证据。最后计算每个 SAM 特征与更新原型的相似度再用T ∗ T^*T∗对区域响应加权M g ( c ) ∑ k T c , k ∗ ⊙ M g ( c , k ) . M_g(c)\sum_k T^*_{c,k}\odot M_g^{(c,k)}.Mg​(c)k∑​Tc,k∗​⊙Mg(c,k)​.因此prototype similarity 表示“这个位置像不像该区域原型”传输权重则约束“这个位置应如何归属到区域”。阈值筛选、聚类和 GRT 各司其职筛选找种子聚类形成原型GRT 才负责把语义分配扩展到全图。3. SGCE让语义图与几何区域互相校正SGCE 对比语义激活图M s M_sMs​和几何区域图M g M_gMg​通过一致性损失训练轻量的适配部分使类别响应保留语义辨别力同时更符合区域结构。它不是单纯把两张图相加论文还比较了不同的一致性加权策略并使用自适应权重调节不同位置的贡献。GeoSeC 冻结 CLIP 与 SAM 编码器但整体属于弱监督训练方法包含可学习的交互/适配部分和一致性优化“骨干冻结”不等于“training-free”。CLIP 给出类别线索SAM 提供几何特征GRT 用语义原型和最优传输把类别线索分配到全图区域SGCE 再协调语义与几何响应。相关论文[[ETF]]同样结合类别语义扩展与空间结构但其几何部分主要修正伪标签和 GeoSeC 的最优传输区域分配不同。