★ FEATURED ARTICLE 1. 项目背景与核心问题拆解1.1 这个方向到底在解决什么问题从一组普通的二维图片出发把画面里的目标物体还原成三维点云这件事在计算机视觉里属于“跨模态重建”的经典命题。传统做法要么依赖多视角立体匹配需要精确的相机标定和稠密视角覆盖要么依赖深度传感器硬件成本直接拉满。而这篇工作走的是另一条路——无监督学习只用一堆没有标注、没有位姿信息的图片集合直接学出三维结构。我第一次接触这个思路的时候直觉反应是“这怎么可能”。因为二维到三维本身就是一个病态问题一张图对应无数种三维解释。但仔细想想人眼其实也在做类似的事你看几张不同角度的椅子照片脑子里自然就浮现出一个三维的椅子并不需要知道每张照片拍摄时相机站在哪里。这篇论文的核心洞察就在这里——如果模型能从大量图片中学会“同一类物体在不同视角下应该长什么样”那它就能反过来推断出三维结构。适合读这篇笔记的人我大致分三类一是做三维重建、点云处理方向的研究生想了解无监督路线的最新进展二是做自动驾驶、机器人感知的工程师需要从低成本图像数据中快速获取三维信息三是对生成模型、隐式表示感兴趣的技术人想看看怎么把二维图像先验迁移到三维空间。不管你是哪一类核心逻辑都是相通的。1.2 为什么“无监督”这三个字这么关键有监督的三维重建本质上是在学一个映射输入图片加标注好的三维模型输出预测点云。问题在于三维标注数据极其昂贵。一个精细标注的CAD模型人工成本可能几百到上千元大规模数据集更是只有少数几家机构能负担。而无监督路线直接把标注需求砍掉了只用图片集合本身作为训练信号。这里的“无监督”并不是说什么信号都不用而是不依赖成对的三维真值。模型利用的是图片之间的几何一致性、轮廓一致性、以及从大规模自然图像中学到的形状先验。打个比方有监督学习像是老师手把手教你画三维图每画一笔都告诉你对不对无监督学习像是给你一堆同一物体的不同角度照片让你自己琢磨出它的三维形状没人告诉你标准答案。从工程落地角度看这个方向的价值在于数据获取成本骤降。你只需要用手机围绕一个物体拍几十张照片不需要任何标定板、不需要深度相机、不需要人工建模就能得到一个粗糙但可用的三维点云。对于电商展示、文物数字化、逆向工程初筛这些场景吸引力非常大。1.3 2020年前后的技术脉络2020年这个时间节点很微妙。当时NeRF还没完全爆发隐式神经表示正在酝酿点云生成方面PointNet系列已经成熟但大多依赖三维监督生成对抗网络在二维图像生成上已经打得火热往三维迁移是自然趋势。这篇工作正好卡在几个技术浪潮的交汇处无监督学习 点云表示 多视角几何一致性。往前看有基于体素的方法但分辨率受限于显存有基于网格的方法但拓扑变化难处理有基于点云的方法灵活但无序性带来训练困难。这篇论文选择点云作为输出表示理由很直接点云最接近原始传感器数据没有结构化假设表达能力强而且后续可以直接喂给PointNet类网络做下游任务。往后看2021年之后隐式表示如 occupancy network、SDF逐渐成为主流点云生成的关注度有所下降。但在2020年那个节点用无监督方式直接从图片集合回归点云仍然是一个很有勇气的尝试。它的很多设计思路比如多视角一致性约束、轮廓匹配损失后来被隐式表示方法继承并发扬光大。2. 核心方法拆解与设计逻辑2.1 整体架构从图片集合到点云的完整链路整个系统的输入是一个图片集合里面包含同一类物体的多个视角图像但没有相机参数、没有三维模型、没有点对应关系。输出是一个三维点云表示该物体的形状。中间的核心模块我拆成三块来理解第一块是二维特征提取。用卷积网络把每张图片编码成一个特征向量这个特征向量需要包含足够的信息来推断三维形状。这里的关键是网络不能只记住某一张图的纹理而要学到与视角无关的形状表示。常见做法是共享权重的编码器配合某种池化操作来聚合多视角信息。第二块是三维形状生成。从聚合后的特征向量出发用一个生成网络输出点云坐标。点云通常表示为N×3的矩阵N是点数3是xyz坐标。生成网络可以是全连接网络也可以是图卷积网络取决于是否要建模点之间的局部关系。第三块是可微渲染与损失计算。这是无监督学习的关键。模型生成点云后需要把它投影回二维平面与输入图片的轮廓或前景掩码做对比。如果投影结果和真实轮廓对不上就产生梯度回传更新网络参数。整个链路必须是可微的否则梯度传不回去。注意可微渲染的精度直接决定训练能否收敛。投影过程如果太粗糙梯度噪声会很大如果太精细计算开销又受不了。实际实现时通常会在轮廓级别做匹配而不是像素级颜色匹配因为轮廓对视角变化更鲁棒。2.2 为什么选择点云而不是体素或网格这个选择背后有很实际的工程考量。体素表示把三维空间切成小格子每个格子标记是否被占据。优点是结构规整可以直接用三维卷积缺点是分辨率一高显存就爆炸。256×256×256的体素网格光是存储就要16MB训练时还要算梯度根本扛不住。网格表示用顶点和面片描述表面优点是轻量、适合渲染缺点是拓扑变化难处理从图片直接回归网格顶点连接关系非常困难。点云的优势在于无结构、轻量、灵活。一万个点也就120KB存储表达一个物体的形状绰绰有余。而且点云对拓扑变化天然友好不管物体有几个洞、几个分支点云都能表示。缺点也有点是无序的同一个形状可以有不同的点排列顺序这给损失函数设计带来麻烦。另外点云没有表面连接信息渲染时需要先做表面重建或者用splatting方式近似。这篇论文选择点云我推测还有一个原因与下游任务的兼容性。点云可以直接输入PointNet、PointNet等成熟网络做分类、分割、配准。如果输出是隐式场还得再走一步marching cubes才能得到网格多一道工序。对于追求端到端流程的工作点云是更直接的选择。2.3 无监督信号从哪里来这是整篇论文最核心的设计。没有三维真值模型怎么知道生成的形状对不对答案是利用二维投影的一致性。具体来说有几种常见的无监督信号第一种是轮廓一致性损失。把生成的点云按某个假设的视角投影到二维平面得到投影轮廓然后与输入图片的前景掩码做IoU或Chamfer距离。如果投影轮廓和真实轮廓吻合说明三维形状在至少这个视角下是对的。多个视角同时约束形状就被逐步逼真。第二种是多视角特征一致性。同一物体的不同图片经过编码器后得到的特征应该相似。这个约束促使编码器忽略视角差异提取形状相关的本质特征。实现上可以用对比学习拉近同一物体不同视角的特征距离推远不同物体的特征距离。第三种是点云正则化。比如Chamfer距离的变体用来约束点云分布均匀、不聚成一团。还有拉普拉斯平滑让相邻点坐标不要跳变太剧烈。这些正则项不依赖三维真值纯粹从点云本身的几何性质出发。实操心得轮廓一致性损失对掩码质量非常敏感。如果输入图片的背景没有干净地去掉投影轮廓就会包含大量噪声训练很容易跑偏。我试过用现成的分割模型先做一轮前景提取效果比直接端到端训练稳定得多。2.4 训练策略与收敛技巧无监督训练最大的挑战是优化 landscape 复杂容易陷入局部最优。模型可能学会一种“万能形状”不管输入什么图片都输出差不多的点云因为这样至少能保证平均损失不太差。要避免这种情况需要几个技巧配合一是渐进式训练。先固定视角假设让模型学会在简单设定下重建再逐步放开视角约束。这类似于课程学习从易到难。二是多样性正则。在损失函数里加一项鼓励不同输入图片生成的点云有差异。如果所有输出都趋同这一项会惩罚模型。三是学习率调度。无监督训练的梯度噪声比有监督大学习率需要更保守。我一般用余弦退火初始学习率设1e-4训练中期降到1e-5后期再降到1e-6。四是批大小选择。批太小梯度方差大批太大显存吃不消。折中方案是用梯度累积等效批大小控制在32到64之间比较稳。3. 实操复现与关键环节实现3.1 数据准备与预处理复现的第一步是准备图片集合。理想情况下每个物体有20到50张不同视角的图片覆盖360度。图片分辨率不用太高256×256足够太高反而增加计算负担。背景要尽量干净如果原始图片背景杂乱需要先做前景分割。我常用的预处理流程是这样的先用一个轻量分割模型把前景抠出来得到二值掩码然后把图片和掩码一起缩放到256×256最后做归一化像素值减均值除标准差。掩码也归一化到0到1之间方便后续计算IoU。import cv2 import numpy as np def preprocess_image(img_path, mask_path, size256): img cv2.imread(img_path) mask cv2.imread(mask_path, 0) img cv2.resize(img, (size, size)) mask cv2.resize(mask, (size, size)) img img.astype(np.float32) / 255.0 img (img - np.array([0.485, 0.456, 0.406])) / np.array([0.229, 0.224, 0.225]) mask (mask 127).astype(np.float32) return img, mask注意掩码的阈值选择会影响轮廓质量。我试过固定阈值127也试过Otsu自适应阈值后者在光照不均的图片上更稳。如果掩码边缘有毛刺可以做一次形态学开运算去掉小噪点。3.2 网络结构搭建编码器我推荐用ResNet-18的前几层去掉最后的全连接输出一个512维特征向量。为什么不用更深的网络因为无监督训练数据量通常不大太深的网络容易过拟合而且训练慢。ResNet-18在表达能力和训练效率之间平衡得比较好。生成器用全连接网络输入是聚合后的特征向量输出是N×3的点云坐标。N一般取2048或4096。层数不用太多三层隐藏层足够每层512个神经元激活函数用ReLU。最后一层用tanh把坐标限制在-1到1之间方便后续投影。import torch import torch.nn as nn class PointGenerator(nn.Module): def __init__(self, feat_dim512, num_points2048): super().__init__() self.num_points num_points self.fc nn.Sequential( nn.Linear(feat_dim, 512), nn.ReLU(), nn.Linear(512, 512), nn.ReLU(), nn.Linear(512, num_points * 3), nn.Tanh() ) def forward(self, feat): out self.fc(feat) return out.view(-1, self.num_points, 3)投影模块需要定义一个假设的相机模型。最简单的是正交投影直接取xy坐标忽略z。透视投影更真实但需要估计相机距离。我建议先用正交投影跑通流程再换透视投影提升精度。3.3 损失函数设计与权重调参损失函数是复现的核心。我一般用三项加权求和轮廓损失、Chamfer正则、多样性正则。轮廓损失用IoU的负数或者二值交叉熵。IoU对轮廓整体形状更敏感交叉熵对边界像素更敏感。我实测下来两者结合效果最好IoU占0.7权重交叉熵占0.3。Chamfer正则用来约束点云分布。计算生成点云中每个点到最近邻点的距离取平均如果太小说明点聚团了如果太大说明点太散。目标是把平均最近邻距离控制在点云尺度的1%到5%之间。多样性正则用不同输入特征之间的点云距离。如果两个不同物体的特征生成的点云几乎一样就惩罚。实现上可以用负的Chamfer距离作为奖励项。def compute_loss(points, masks, feats, lambda11.0, lambda20.1, lambda30.05): # 轮廓损失 proj points[:, :, :2] # 正交投影 proj_mask render_mask(proj) # 可微渲染 iou_loss 1 - compute_iou(proj_mask, masks) bce_loss F.binary_cross_entropy(proj_mask, masks) contour_loss 0.7 * iou_loss 0.3 * bce_loss # Chamfer正则 nn_dist compute_nn_distance(points) chamfer_reg torch.abs(nn_dist.mean() - 0.02) # 多样性正则 diversity_loss -compute_pairwise_chamfer(points, feats) return lambda1 * contour_loss lambda2 * chamfer_reg lambda3 * diversity_loss实操心得三个损失项的权重需要仔细调。轮廓损失太大点云会过度拟合轮廓内部结构空洞Chamfer正则太大点云会变成均匀球面失去形状细节。我一般先固定lambda11.0调lambda2从0.01到0.5找到轮廓清晰且点分布均匀的平衡点最后再加lambda3。3.4 训练过程监控与调参记录训练过程中要盯几个指标轮廓IoU、点云最近邻距离分布、损失下降曲线。轮廓IoU在验证集上应该稳步上升如果震荡剧烈说明学习率太大或者批太小。最近邻距离分布应该接近正态如果出现双峰说明点云有聚团和空洞并存的问题。我记录过一次典型训练初始学习率1e-4批大小16训练200轮。前50轮轮廓IoU从0.3升到0.6中间50轮升到0.75后100轮缓慢升到0.82。Chamfer正则项在前30轮下降很快之后稳定在0.005左右。多样性正则一直保持在较低水平说明模型没有坍缩到单一形状。如果训练到100轮IoU还低于0.5大概率是掩码质量有问题或者投影假设和实际视角偏差太大。这时候需要回头检查数据预处理或者放宽投影约束比如允许模型自己学一个视角变换。4. 常见问题与排查技巧实录4.1 训练不收敛的几种典型表现第一种是损失震荡不下降。最常见原因是学习率太大梯度更新步子迈得太猛模型在最优解附近来回跳。解决办法是把学习率降一个数量级或者加梯度裁剪把梯度范数限制在1.0以内。第二种是损失下降但IoU不升。这说明模型在优化损失函数但优化方向和重建质量不一致。可能是损失函数权重不合理比如Chamfer正则太大模型只顾着把点排均匀忘了对齐轮廓。这时候要重新调权重或者换一种正则形式。第三种是损失突然变成NaN。通常是梯度爆炸或者数值不稳定。检查点云坐标有没有超出tanh范围检查投影渲染有没有除零操作。加一个极小值eps到分母上能避免大部分NaN问题。注意无监督训练的随机性比有监督大同样的代码跑两次结果可能差很多。建议固定随机种子跑三次取平均再判断方法是否有效。4.2 点云质量差的排查思路点云质量差通常表现为形状模糊、细节丢失、点分布不均、有离群点。排查顺序我一般从数据到模型再到损失。先看输入图片和掩码。如果掩码边缘粗糙投影轮廓就会带噪声生成的点云边缘也会毛糙。解决办法是换更好的分割模型或者对掩码做后处理。再看生成器容量。如果生成器太小表达不了复杂形状点云就会欠拟合。可以增加隐藏层神经元数量或者加一层残差连接。但也不能太大否则过拟合训练集验证集IoU反而下降。最后看损失函数。如果点云有离群点说明Chamfer正则不够强或者多样性正则太强把点推散了。调低多样性权重调高Chamfer权重通常能改善。4.3 视角假设与实际不符怎么办这是无监督三维重建的经典难题。训练时假设了一个投影视角但实际图片的拍摄视角可能和假设不一致。如果偏差小模型能通过调整点云形状来补偿如果偏差大训练直接崩。我试过两种解决方案。一种是视角估计加一个轻量网络从图片特征预测视角参数投影时用预测的视角而不是固定假设。这相当于把视角也纳入无监督学习但增加了训练难度。另一种是视角不变损失不要求投影轮廓和输入掩码完全对齐而是要求投影轮廓的某种变换不变性。比如轮廓的Hu矩对旋转缩放不敏感。这样模型不需要知道精确视角也能学到形状。实测下来视角估计方案精度更高但训练更不稳定视角不变损失更鲁棒但重建精度上限低一些。如果数据视角变化不大固定视角假设也能work前提是做好数据筛选。4.4 常见问题速查表问题现象可能原因排查方法解决措施损失震荡不降学习率过大打印梯度范数降学习率加梯度裁剪IoU不升损失权重失衡分别打印各项损失重调权重检查掩码质量损失变NaN数值不稳定检查除零和log零加eps检查tanh范围点云聚团Chamfer正则太弱统计最近邻距离增大Chamfer权重点云太散多样性正则太强检查多样性损失值降低多样性权重形状模糊生成器容量不足对比训练集和验证集IoU增加网络宽度或深度边缘毛糙掩码质量差可视化掩码边缘换分割模型或后处理视角偏差大投影假设不符可视化投影轮廓加视角估计或换不变损失4.5 独家避坑技巧第一个技巧是先用合成数据验证流程。拿几个已知三维模型的物体渲染出多视角图片跑一遍无监督训练。如果合成数据都跑不通真实数据更没戏。合成数据的好处是你可以随时对比真值快速定位问题。第二个技巧是分阶段训练。第一阶段只优化轮廓损失让点云大致对齐第二阶段加入Chamfer正则让点分布均匀第三阶段加入多样性正则防止坍缩。分阶段比一锅炖收敛更稳。第三个技巧是可视化中间结果。每训练10轮把生成的点云投影到几个固定视角和输入图片并排显示。肉眼观察比看损失曲线更直观能发现很多数值指标反映不出来的问题。第四个技巧是控制点云数量。2048个点对于简单物体够用复杂物体可能需要4096甚至8192。但点数越多训练越慢显存占用越大。我一般从2048开始如果细节丢失严重再加倍。5. 影响范围与扩展思考5.1 这个方向能用在哪些实际场景最直接的应用是电商三维展示。商家用手机围绕商品拍一圈上传图片后台自动生成三维点云用户可以在网页上旋转查看。相比请专业团队做三维建模成本从几千块降到几乎为零。当然精度会差一些但对于展示用途足够。第二个场景是文物数字化。很多文物不能搬动也不能用激光扫描可能损伤表面只能拍照。无监督三维重建可以从照片集合中恢复出粗略形状用于存档和虚拟展览。精度要求高的场合可以再用其他方法精修。第三个场景是机器人抓取。机器人需要知道物体的三维形状才能规划抓取位姿。传统方法用深度相机但深度相机在透明、反光、黑色物体上效果很差。用多视角RGB图片做无监督重建可以作为深度相机的补充提升鲁棒性。第四个场景是逆向工程初筛。工业上经常需要从实物反推CAD模型。传统流程是扫描、点云处理、曲面拟合每一步都要人工干预。无监督重建可以快速给出一个粗糙点云作为后续精修的起点节省大量时间。5.2 方法的局限性与改进方向最大的局限是精度上限受限于无监督信号。没有三维真值模型只能通过二维投影间接学习很多三维细节比如凹槽深度、薄壁厚度在二维投影上体现不明显模型就学不到。要突破这个上限要么引入少量三维监督做微调要么设计更强的几何先验。第二个局限是对输入图片要求高。需要同一物体的多视角图片背景干净光照均匀。如果图片来自互联网视角杂乱、背景复杂、光照多变重建质量会大打折扣。预处理环节的鲁棒性是个大问题。第三个局限是计算资源需求大。虽然比有监督方法省了标注成本但训练时的计算开销不小。生成器要输出几千个点投影渲染要做可微光栅化反向传播的显存占用比普通分类网络高好几倍。消费级显卡跑起来比较吃力。改进方向我比较看好两个一是结合隐式表示用occupancy network或SDF替代点云表达更精细渲染也更自然二是引入自监督预训练用大规模图片预训练编码器再在小规模物体集合上微调减少对数据量的依赖。5.3 从这篇工作延伸出的技术路线沿着无监督三维重建这条线后续发展出了几个有意思的分支。一个是单视角重建只用一张图片推断三维形状。难度更大但应用场景更广。核心思路是用大规模三维数据预训练一个形状先验推理时用图片特征去检索和变形这个先验。另一个分支是神经辐射场用隐式函数表示三维场景渲染质量极高。虽然原始NeRF需要多视角图片和精确位姿但后续工作已经放宽了这些约束往无监督方向走。和这篇论文的思路异曲同工只是表示形式不同。还有一个分支是跨类别泛化训练时见到的物体类别和测试时不同。这要求模型学到的是通用的形状先验而不是记住某个类别的特定形状。实现上需要更强的正则化和更大的训练数据多样性。我个人在实际操作中的体会是无监督三维重建目前更适合做“粗模”生成精度要求高的场合还是得靠有监督或传统方法。但它的低成本优势太明显了随着表示能力和训练技巧的进步精度差距会逐渐缩小。如果你手头有大量图片但缺三维标注这个方向值得投入时间试试。
阅读完成 · 觉得有帮助？
