★ FEATURED ARTICLE 1. 3DGS异常显示问题的整体拆解与祛除思路1.1 为什么“异常显示”在3DGS里是个绕不开的坎做3D Gaussian Splatting后面统一简称3DGS的朋友大概率都遇到过这样的场景训练完一圈视角一转天上飘着一坨半透明的“幽灵云”或者远处突然冒出一片灰蒙蒙的雾状物再或者某些角度下模型边缘出现诡异的黑色斑块。这些都不是你训练参数调错了而是3DGS这套表示方法本身的结构性副作用。3DGS的核心是把场景表达成一堆带位置、协方差、颜色和不透明度的三维高斯球。渲染的时候这些高斯球按深度排序后做alpha混合。问题就出在这个“混合”上——只要某个高斯球的不透明度opacity没有被压到足够低它就会在最终图像里留下痕迹。而训练过程中为了拟合复杂的背景和光照优化器会倾向于在一些“不该有东西”的地方也塞进高斯球比如天空区域、镜头边缘、甚至相机背后。这一篇是“祛除异常显示”系列的第八篇前面几篇分别聊过基于不透明度阈值裁剪、基于密度控制的重建、基于深度先验的过滤等思路。这一篇的重点落在两个更“工程化”的手段上用Gaussian Sky做天空区域的显式建模与分离以及用Mask2Former做语义掩码来指导异常高斯的剔除。这两个手段一个偏几何、一个偏语义配合起来能覆盖掉大部分让人头疼的异常显示。1.2 异常显示的三种典型形态与成因在动手之前得先把“异常”分类清楚不然一刀切很容易误伤正常的高斯球。根据我自己的项目经验异常显示大致分三类第一类是天空伪影。表现为天空区域出现不规则的灰白斑块、条纹或者本该通透的天空变得浑浊。成因是3DGS没有“天空”这个概念它只能用高斯球去拟合天空的颜色而天空往往是无限远、无纹理的优化器就会用少量大尺度、低不透明度的高斯球去糊弄结果就是从某些角度看过去这些球叠在一起形成了可见的伪影。第二类是漂浮物floaters。表现为场景中悬浮着一些与主体无关的小团块尤其在物体边缘、遮挡边界附近特别多。成因是密度控制densification阶段梯度大的区域会被不断分裂出新的高斯球而遮挡边界处的梯度天然就大于是就在那里堆了一堆“解释不清”的球。第三类是边缘黑边/白边。表现为物体轮廓外围有一圈颜色异常的细边。成因是alpha混合时前景高斯球和背景高斯球的排序或权重计算出现偏差尤其在视角变化剧烈时更明显。这三类里天空伪影和漂浮物是可以通过“语义几何”联合手段大幅压制的边缘问题更多要靠渲染管线的排序优化本篇重点放在前两类。1.3 整体祛除方案的设计逻辑我采用的方案是“先分离、再剔除、后微调”的三段式流程。第一步用Gaussian Sky把天空区域单独建模让天空的高斯球和场景的高斯球在表示上就分开第二步用Mask2Former对训练图像做语义分割生成天空、建筑、植被等类别的掩码用这些掩码去约束哪些区域允许存在高斯球第三步在训练后期做一轮不透明度重加权把那些“语义上不该存在、但几何上又没被裁掉”的高斯球压下去。这个流程的好处是每一步都有明确的物理或语义依据不是拍脑袋调阈值。Gaussian Sky解决的是“天空该长什么样”的问题Mask2Former解决的是“哪里不该有东西”的问题两者互补。下面逐层展开。2. Gaussian Sky给天空一个独立的表示空间2.1 Gaussian Sky的核心思想Gaussian Sky这个思路说白了就是承认“天空和地面物体是两种东西”然后用不同的参数化方式去表达它们。传统3DGS把所有高斯球一视同仁位置在近处还是远处、尺度大还是小都用同一套优化逻辑。但天空的高斯球有个特点它们通常尺度极大、距离极远、不透明度极低而且数量不需要很多。Gaussian Sky的做法是引入一个**天空球壳sky dome**的概念把天空的高斯球约束在一个以场景中心为球心的大半径球面上或者约束在一个半球面上如果场景是地面视角。这样天空的高斯球就不会乱跑到场景内部来也就不会在近处形成可见的伪影。具体实现上有两种常见做法。一种是在初始化时就把天空区域的高斯球位置固定在球壳上训练时只优化它们的颜色和协方差不优化位置。另一种是给天空高斯球加一个位置正则项让它们的位置向球壳靠拢。前者更硬、更稳定后者更灵活但需要调正则权重。我一般先用硬约束跑一版看看效果如果天空过渡不自然再换软约束。2.2 天空球壳的参数选择与计算球壳半径怎么定这个不能拍脑袋。我的经验是先统计训练相机的位置分布算出相机到场景中心的平均距离然后取这个距离的5到10倍作为球壳半径。比如相机平均距离场景中心3米那球壳半径就取15到30米。太小了天空会显得“贴脸”太大了高斯球的尺度会爆炸渲染时容易出现数值不稳定。球壳上的高斯球数量也要控制。一般取场景总高斯球数量的5%到10%就够了。天空本身纹理少不需要那么多球去拟合。我试过用2%也能出不错的效果但边界过渡会稍微生硬一点。这里有个细节球壳上的高斯球协方差矩阵要初始化得比较“扁”也就是沿着球面切向的方差大、法向的方差小。这样它们更像是一层薄薄的“天空贴片”而不是一个个球。这个初始化如果做得好后续训练收敛会快很多。2.3 天空与场景的边界处理天空和场景交界的地方是最容易出问题的。如果天空球壳和场景高斯球在边界处没有平滑过渡就会出现一条明显的“天际线”看起来像贴图没贴好。我的处理办法是在边界区域做一个混合权重。具体来说对于位置靠近球壳但又不完全在球壳上的高斯球根据它们到球壳的距离计算一个混合系数距离越近越偏向天空表示距离越远越偏向场景表示。这个混合系数在训练时作为不透明度的乘子让边界处的高斯球不透明度平滑衰减。另外Mask2Former生成的天际线掩码可以在这里派上用场。把天空掩码的边界做一次高斯模糊得到一个软边界然后用这个软边界去调制天空高斯球的不透明度。这样天空和场景的过渡就自然多了不会出现硬边。注意天空球壳的半径一旦设定训练中途不要随意改。改了之后所有天空高斯球的位置都要重新映射容易导致训练震荡。如果确实需要调整建议重新初始化天空部分再继续训练。3. Mask2Former语义掩码的生成与训练要点3.1 为什么选Mask2Former而不是别的分割模型语义分割的模型选择很多DeepLab、SegFormer、Mask2Former都能做。我选Mask2Former的理由有三个第一它对“stuff”类天空、道路、植被这种没有固定形状的区域的分割效果明显好于纯实例分割模型第二它的mask decoder结构对边界比较敏感天际线这种细长边界能分得比较准第三它的预训练权重在常见数据集上覆盖了天空、建筑、植被等类别迁移到3DGS场景时微调成本低。当然如果你手头有SAM2之类的工具也可以用来做辅助。但SAM2更偏交互式分割批量处理大量训练图像时不如Mask2Former省心。我的流程是先用Mask2Former跑一遍所有训练图像得到每张图的语义掩码然后把掩码投影到3D空间去约束高斯球。3.2 Mask2Former的训练数据准备这里有个坑Mask2Former的预训练权重是在通用数据集上训的直接拿来用天空可能分得还行但一些特定场景的类别比如某种特殊建筑、某种植被可能分不准。所以如果场景比较特殊建议自己标一批数据做微调。标数据不用标太多每个类别有个几十张图就够了。标注的时候注意两点一是天空的边界要标仔细宁可多标一点天空不要把建筑边缘标进天空二是对于“不确定”的区域比如树冠和天空的交界可以单独标一个“忽略”类别训练时不计损失。微调Mask2Former的时候学习率要调小一般是预训练学习率的十分之一。因为模型已经学得不错了微调只是让它适应你的场景分布学太快反而会破坏原有的特征。3.3 掩码从2D到3D的投影与高斯球约束拿到2D掩码后怎么用它约束3D高斯球核心思路是对于每个高斯球找到它在哪些训练视角下可见然后看这些视角下它投影位置对应的掩码类别。如果大多数视角下它都落在“天空”掩码里那它大概率是个天空高斯球如果它落在“建筑”掩码里那它应该被保留。具体操作上我用一个简单的投票机制。对每个高斯球遍历所有可见它的训练视角统计它落在各个语义类别里的次数取最多的那个类别作为它的语义标签。然后根据标签决定处理方式天空标签的高斯球交给Gaussian Sky模块去管理背景类比如远处的山标签的高斯球保留但降低不透明度上限前景类标签的高斯球正常保留。这个投票机制有个细节视角的权重应该和该视角下高斯球的投影面积挂钩。投影面积大的视角投票权重高投影面积小的视角权重低。这样能避免一些边缘视角的噪声干扰。提示投影计算量不小尤其是高斯球数量上万、训练视角上百的时候。建议用CUDA写个并行kernel来做比Python循环快两个数量级。如果不想写CUDA用PyTorch的向量化操作也能凑合但显存占用会高一些。4. 实操流程从环境配置到异常祛除的完整链路4.1 CUDA环境与依赖版本的对齐3DGS和Mask2Former都对CUDA版本比较敏感。我踩过的坑是3DGS的CUDA光栅化器要求CUDA 11.8以上而Mask2Former的某些算子又对CUDA版本有上限要求。如果版本对不上要么编译报错要么运行时报“no kernel image is available”。我的建议是统一用CUDA 11.8或12.1这两个版本它们对两边的兼容性都比较好。显卡驱动版本要跟上40系卡比如4060Ti建议驱动版本在550以上。安装的时候先装CUDA Toolkit再装cuDNN最后装PyTorch。PyTorch的版本要和CUDA版本对应比如CUDA 11.8就配PyTorch 2.1或2.2。验证安装是否成功可以用下面这段代码import torch print(torch.__version__) print(torch.version.cuda) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))如果torch.cuda.is_available()返回True且CUDA版本和你装的一致那就没问题。如果返回False先检查驱动再检查PyTorch版本是否匹配。4.2 3DGS训练数据的准备与相机位姿3DGS需要的是多视角图像加相机位姿。位姿一般用COLMAP跑出来也可以用其他SfM工具。这里的关键是位姿要准位姿不准的话后续掩码投影会错位异常祛除就会误伤。我一般会先跑一遍COLMAP然后用3DGS自带的脚本做一次位姿优化。优化的时候注意如果场景里有大量天空COLMAP的特征点会集中在天空区域导致位姿估计偏向天空。这时候可以先用Mask2Former把天空区域遮掉再跑COLMAP位姿会准很多。数据集的目录结构建议按3DGS的标准来data/ scene_name/ images/ sparse/ 0/ cameras.bin images.bin points3D.bin如果自己制作数据集图像分辨率不要太高一般长边1600到2000就够了。太高了训练慢而且对异常祛除的精度提升有限。4.3 训练流程与异常祛除的介入时机3DGS的训练一般跑30000步左右。异常祛除的介入时机很关键太早了会干扰正常的高斯球生长太晚了异常已经固化了不好改。我的经验是分三个阶段介入第一阶段训练开始到5000步不做任何异常祛除让高斯球自由生长把场景的基本结构建起来。第二阶段5000步到15000步开始用Mask2Former的掩码做软约束。具体做法是在损失函数里加一项语义一致性损失让落在“不该有东西”区域的高斯球不透明度受到惩罚。这个惩罚权重不要太大一般是主损失的0.1到0.3倍。第三阶段15000步到训练结束启动Gaussian Sky模块把天空高斯球分离出去同时对残留的漂浮物做一轮硬剔除。硬剔除的标准是语义标签为天空但位置不在球壳附近的高斯球直接删掉不透明度低于阈值且语义标签为背景的高斯球也删掉。这个三阶段流程我跑过好几个场景效果比较稳定。天空伪影基本能压掉八成以上漂浮物能压掉六成左右。剩下的那些要么是语义分割本身分错了要么是几何上确实难以区分需要手动后处理。4.4 关键参数与代码片段语义一致性损失的实现大概是这样def semantic_loss(gaussian_opacity, semantic_mask, sky_mask): # gaussian_opacity: [N, 1] # semantic_mask: [N, ] 每个高斯球的语义标签 # sky_mask: 布尔标记哪些是天空标签 sky_opacity gaussian_opacity[sky_mask] # 天空高斯球的不透明度应该偏低 loss_sky torch.mean(torch.relu(sky_opacity - 0.3)) # 非天空区域的高斯球不透明度不应该异常低 non_sky_opacity gaussian_opacity[~sky_mask] loss_non_sky torch.mean(torch.relu(0.1 - non_sky_opacity)) return loss_sky 0.5 * loss_non_sky这段代码的逻辑是天空高斯球的不透明度超过0.3就惩罚非天空高斯球的不透明度低于0.1也惩罚。阈值是根据经验定的不同场景可以微调。Gaussian Sky的球壳初始化def init_sky_gaussians(num_sky, radius, center): # 在球壳上均匀采样 phi torch.acos(1 - 2 * torch.rand(num_sky)) theta 2 * torch.pi * torch.rand(num_sky) x radius * torch.sin(phi) * torch.cos(theta) center[0] y radius * torch.sin(phi) * torch.sin(theta) center[1] z radius * torch.cos(phi) center[2] positions torch.stack([x, y, z], dim1) return positions球壳半径radius按前面说的取相机平均距离的5到10倍。center一般取场景点云的中位数位置。5. 常见问题与排查技巧实录5.1 天空区域出现“黑洞”或“过曝”这是最常见的问题。黑洞通常是因为天空高斯球的不透明度被压得太低alpha混合后背景透出来变成了黑色。过曝则是天空高斯球的不透明度太高叠在一起超过了1。排查思路先看天空高斯球的不透明度分布。如果大部分都低于0.05那就是压太狠了把语义损失的天空阈值从0.3调到0.5试试。如果大部分都高于0.8那就是初始化的时候不透明度给太高了重新初始化时把天空高斯球的初始不透明度设成0.1左右。还有一个可能是球壳半径太小天空高斯球离相机太近投影面积过大。把半径调大1.5倍看看。5.2 Mask2Former分割结果不稳定有时候同一张图跑两次分割结果不一样尤其是边界区域。这通常是模型推理时的随机性导致的。解决办法是在推理时固定随机种子并且用测试时增强TTA把原图、翻转图、多尺度图的分割结果平均一下边界会稳定很多。如果某些类别的分割一直不准比如把远处的山分成了天空那就要考虑微调模型了。微调的时候把这些错分的样本加进训练集标上正确的标签跑个几百步就能纠正过来。5.3 高斯球数量爆炸导致显存不足3DGS训练到后期高斯球数量可能从几万涨到几百万。加上Mask2Former的掩码投影计算显存很容易爆。我的应对策略是第一在密度控制阶段设置一个上限比如场景高斯球最多50万天空高斯球最多5万到了上限就不再分裂。第二掩码投影用半精度fp16计算能省一半显存。第三如果还是不够把训练图像的分辨率降一档或者把训练视角采样一部分出来做掩码投影不用全量。注意降低分辨率或采样视角会影响异常祛除的精度属于不得已的手段。优先还是优化代码和用更省显存的算子。5.4 训练后期出现“闪烁”伪影闪烁伪影表现为相邻帧之间某些区域的颜色或亮度跳变。这通常是高斯球的排序不稳定导致的尤其在天空和场景交界处。解决办法是在渲染时对高斯球做一次深度平滑把深度相近的高斯球合并成一个“超级高斯”再排序。另外把天空高斯球和场景高斯球分开渲染最后再合成也能减少闪烁。这个改动对渲染管线有侵入性但效果立竿见影。5.5 常见问题速查表问题现象可能原因排查方法解决手段天空黑洞天空不透明度太低统计天空高斯球不透明度分布调高语义损失阈值天空过曝天空不透明度太高同上降低初始不透明度分割不稳定推理随机性固定种子重跑加TTA微调模型显存不足高斯球过多看nvidia-smi设上限用fp16闪烁伪影排序不稳定逐帧对比深度平滑分开渲染漂浮物残留语义标签错误可视化标签手动修正掩码6. 一些实操心得与后续可扩展的方向6.1 关于阈值选择的经验所有涉及阈值的参数包括不透明度阈值、语义损失权重、球壳半径都没有“万能值”。我的做法是先用一组保守值跑一遍然后可视化异常区域根据可视化结果微调。一般调两三轮就能找到比较合适的值。另外不同场景的最优阈值差异很大。室内场景的天空区域小球壳半径可以小一点室外大场景的天空区域大球壳半径要大天空高斯球数量也要多。不要指望一套参数打天下。6.2 关于计算资源的权衡Mask2Former的推理和掩码投影都是计算密集型的。如果显卡显存有限比如8G建议把掩码投影放在训练前一次性算完存成文件训练时直接读。这样训练时的显存压力会小很多。代价是掩码不能随训练动态更新但对于大多数场景来说静态掩码已经够用了。如果显存充裕比如24G以上可以把掩码投影放在训练循环里每几千步更新一次。这样能适应高斯球位置的变化异常祛除效果会更好。6.3 后续可以尝试的扩展一个方向是把Gaussian Sky和神经辐射场NeRF里的天空模型结合起来。NeRF里有一些专门做天空建模的技巧比如用环境贴图或者球谐函数来表示天空这些思路可以借鉴到3DGS里来让天空的表示更紧凑。另一个方向是用时序信息来做异常祛除。现在的方案是基于单帧掩码的如果场景是视频序列可以利用帧间的连续性来更准确地判断哪些高斯球是异常的。比如一个高斯球在连续多帧里都出现在天空区域那它大概率是异常如果只是偶尔出现可能是噪声。还有一个方向是自动化调参。现在阈值都是手动调的如果能用一个小的代理模型去预测最优阈值就能省去大量试错时间。这个代理模型可以用少量场景的训练日志来训输入是场景的统计特征高斯球数量、天空占比、相机分布等输出是推荐的阈值组合。这些方向我自己也在摸索有些已经跑通了初步实验有些还在想法阶段。等有比较成熟的结果了再在后续的系列里展开聊。
阅读完成 · 觉得有帮助？
