★ FEATURED ARTICLE 1. 一段特性视频背后手机建模到底换了哪条路鸿蒙 7 那条“拍一圈实物就变 3D”的特性视频我反复看了好几遍。第一感觉是这不就是端侧 3DGS 重建吗但真正让我感兴趣的不是“能变 3D”这个结果而是整个处理过程没有出现常见的“上传中”等待也没有那种“拍了二十张照片回去用电脑跑一晚上”的割裂感。以前要做这种实物建模标准流程大概是固定好物体关掉会晃的灯光拿相机绕一圈拍二十到四十张照片然后把照片拷进电脑用摄影测量或是神经渲染那套流程去跑。中间任何一个环节出问题比如某张照片虚了、背景里有反光、物体表面太“顺滑”导致特征匹配失败整组数据可能就废了。最难受的是你没法在现场立刻知道结果往往要等几十分钟甚至几个小时才发现有个角度没覆盖到又得重新搬东西、重新拍。这种体验对普通用户来说太不友好所以以前“自己扫描建模”基本只存在于小圈子里。摄影测量要求操作者懂构图、懂重叠率、懂控制点神经辐射场那一类方案又对显卡显存和训练时间有要求。鸿蒙 7 端侧重建想解决的正是把这条链路压缩到“打开相机、绕一圈、看着半成品在屏幕上慢慢成型、直接导出”的程度。1.1 以前拍一圈是“拍完再上传”现在拍一圈是“边拍边建”我理解里的端侧重建核心变化不是“不用电脑了”这么简单而是把重建流程从“先采集后计算”改成了“边采集边计算”。你拿着手机围绕物体走动时视觉里程计已经在追踪相机的移动轨迹系统会实时判断哪些画面足够清晰、哪些角度有足够的视差然后一边接收新画面一边更新模型。这个交互节奏非常关键。过去你拍完一组照片能不能建模是“开盲盒”现在你绕着物体走完大半圈如果发现某个侧面一直没对焦成功现场就能补一圈。等于把“事后失败”变成了“过程校正”这对实物建模的体验提升是质的改变。实际操作中还有一个容易被忽略的点边拍边建能在手机端快速生成一个“半成品预览”用户看到的是当前已经收敛的高斯场景虽然还很粗糙但已经能判断轮廓和局部细节是否有明显空洞。这一点对于新手尤其重要能大大减少“扫完之后发现模型缺了一块”的情况。1.2 端侧重建真正解决的三个问题第一是隐私。很多需要建模的东西是在自己家里、工位或者商店里用户对把视频上传到云端会天然有顾虑。端侧重建让所有关键帧、姿态计算、高斯优化都留在设备本地数据根本不出手机。对家居产品、商品样品、线下门店陈列这类场景这一点价值很大。第二是时间。云上建模再快也有网络往返。手机端重建虽然受限于 GPU 算力但优势在于“就地优化”绕完一圈马上能看到结果不满意立刻补拍。以我实际跑类似管线的经验关键帧数量控制在两三百张以内时通常能在几十秒到两三分钟内完成一次可接受的端侧精修这个时间尺度完全改变了工作流。第三是成本。多数个人创作者没有高端显卡也不想为偶尔一次的建模去租云端 GPU。把轻量化的 3DGS 优化跑到手机 GPU 和 NPU 上等于让每个人手里都有一台“口袋级重建设备”。1.3 这条路线适合哪些人不适合哪些人适合的人群很明确电商和商品内容创作者鞋、包、小家电、玩具、手办绕一圈就能生成可旋转展示图省去拍摄多角度白底图的成本。收藏爱好者把老物件、模型、纪念品做成数字归档占不了多大存储空间还能随时查看。3D 打印玩家想逆向复制一个现有零件或原型扫描网格后进三维软件修整即可。AR 内容设计师做一个摆在桌面上的虚拟道具扫描比手工建模快太多。不适合的情况也很明显。透明玻璃杯、纯镜面金属、毛发、极细的线材这类物体是 3DGS 的天敌。大范围外景、有行人和车辆在动的场景也不适合用“绕圈拍”的方式做端侧重建因为姿态估计会被动目标干扰。另外如果你要做的是毫米级精度工业检测手机端重建目前还达不到那个量级别拿它当专业三维扫描仪用。2. 3D 高斯泼溅不是“点云变密”是一团糊状物在自我修正很多人在视频里看到“扫描出立体图”会以为这就是把照片匹配成的稀疏点云加密了一百倍。其实 3DGS3D Gaussian Splatting三维高斯泼溅的思路完全不是这样。它关注的不是“把点填满”而是“用无数个半透明小雾团叠出一个能骗过眼睛的连续表面”。2.1 一个高斯就是一粒“带雾的光点”先打个比方。想象你把一串圣诞彩灯挂起来每个灯不再是一个单纯的光点而是一小团边缘柔和的雾状光晕。每个光晕有自己的位置、长轴短轴、朝向、透明度、颜色。几百万个这样的光晕按正确位置叠在一起从某个角度看向它们整体轮廓就像一个有体积的物体。在 3DGS 里这一小团“光晕”就是一个三维高斯函数。它由几类参数决定中心位置、协方差也就是旋转和缩放决定椭球的形状和方向、不透明度还有颜色信息。颜色通常不只是简单的 RGB还会用球谐系数去近似表示不同视角下的颜色变化所以你能看到陶罐上的高光会随着视角移动而微微变化而不是一块死板的贴图。把这些高斯画到屏幕上不是传统渲染里那种“一个三角形一个三角形地画”而是把它们投影成屏幕上的二维椭圆再按深度从近到远做透明混合。因为每个高斯都是显式的、可独立修改的对象所以它天然就比隐式神经表示更容易做局部修正和交互编辑。2.2 渲染、对比、反向调整优化循环的三板斧端侧重建最核心的循环其实是“渲染一张图和真实拍摄的图做对比再把误差传回去改参数”。具体来说系统从某个相机位姿出发把所有高斯投影到画面上渲染出一张“当前模型视角下的图”。这张图跟实际拍到的照片之间一定存在差异比如颜色不对、轮廓糊了、前景和背景混在一起。这个差异会被计算成一个损失值接下来通过可微渲染器把损失对每个高斯参数的梯度算出来再去更新高斯的坐标、尺度、旋转、不透明度和颜色系数。一开始这些高斯只是一团乱糟糟的云经过几十到几百轮迭代每一团雾都会被推到自己该待的位置尺寸也被压缩或扩张到刚好覆盖物体表面。每过一段迭代系统还会做一次“自适应密度控制”在细节不足的地方克隆出新的高斯来补充在过于庞大的高斯所在区域把它拆成好几个小的在透明度过低的高斯处把它们删除。这也是为什么扫描过程中你能看到模型从“一团毛玻璃”慢慢变成“有棱角的实物”。2.3 为什么在手机端选 3DGS而不是 NeRF 或传统网格用一句话概括NeRF 渲染太贵传统网格流程太碎3DGS 刚好同时踩中了“有限算力能跑”和“效果足够好”这两个点。传统摄影测量那套流程先做 Structure from Motion 得到稀疏点和相机位姿再做多视立体匹配得到密集点云最后才进行表面重建和纹理映射。每一步都可能引入误差而且纹理映射处理不好的时候模型表面会像蒙了一层模糊的塑料布。它更适合输出标准网格模型但过程慢、参数多。NeRF 的好处是渲染出来的新视角很真但它是隐式表示需要用一个多层感知机去存整个场景渲染时要沿每条光线采样很多点计算量非常大。把训练和推理都压到手机端目前来说还太吃力更别提把模型导出成一个方便后续编辑的网格。3DGS 走的是另一条路每个高斯本身就是一个“显式”的渲染单元光栅化过程可以做瓦片式并行手机 GPU 刚好擅长这种并行任务。优化过程也不需要像 NeRF 那样逐条光线去追完整积分它只关注“当前能看到的那些像素是怎么由一坨高斯混合出来的”所以训练和推理都明显更轻。下表是我自己在选择方案时常用的判断逻辑对比项传统摄影测量/网格重建NeRF3DGS重建结果三角网格 贴图隐式体积场显式高斯集合可再烘焙成网格计算开销中高依赖稠密匹配高体积渲染很贵中等光栅化并行度高端侧部署难度管线长较难难相对可行实时渲染能力取决于网格复杂度一般好后续编辑友好度好差比较好所以端侧重建选 3DGS 不是偶然而是它最适合当前手机硬件形态的工程选择。3. 从按快门到出模型端侧重建在手机里到底跑了哪些流程这一段我不会照着官方视频去吹“一秒出片”而是尽量把这类端侧重建管线在手机里实际会经历的步骤拆开讲。不同厂商的工程实现会有差异但大方向通常都跑在这条链路上。3.1 边拍边定位姿态估计是地基任何多视角重建的前提是知道每一张画面是从哪个位置、朝哪个方向拍的。这个信息叫相机姿态是整个模型对齐的地基。手机绕物体移动时视觉里程计会持续提取画面中的特征点通过相邻帧之间的特征匹配来推算相机的相对运动。除此之外手机里的惯性测量单元IMU会提供加速度和角速度帮助判断运动是否连续。把视觉信息和惯性信息融合起来就能在“边走边拍”的情况下实时估算出相机轨迹。这一步如果没做好后面所有高斯都会叠错位置模型会像喝了酒一样扭曲。所以拍摄时通常要求物体保持静止相机缓慢移动画面里不要出现大面积运动模糊。拍的时候最好不要离物体太近距离太近会造成视角变化过大特征点容易被跟丢。3.2 关键帧筛选不是每帧都能进优化器视频每秒几十帧如果每一帧都拿去优化手机算力根本扛不住。端侧重建会做关键帧筛选只挑那些“又清晰、又有足够新视角”的画面进入重建流程。筛选条件通常包含画面清晰度够不够有没有运动模糊当前关键帧和已有关键帧之间的视角变化是否足够大太相近的画面提供不了新信息画面里的特征点数量是否足够纯色区域往往会被淘汰光照是否明显突变如果前后两帧曝光差异太大会给优化器带来误导。一个合理的关键帧集合一般是这样构成的应当保留的画面应当淘汰的画面清晰、焦点准确的画面有运动模糊的画面视角变化足够的画面与上一帧几乎重复的画面物体完整在画面中的画面物体被手或工具遮挡的画面光照均匀且稳定的画面曝光突然变化或出现大面积阴影的画面3.3 稀疏点变成高斯团再靠“分裂与克隆”补细节有了关键帧和相机位姿系统就可以通过多视角三角化算出一些稀疏的三维点。这些点通常只覆盖物体轮廓和纹理丰富的区域离一个完整的 3D 模型还差很远。在 3DGS 里这些稀疏点会被当作初始高斯的中心。每个高斯起初可以设置成一个不大不小的椭球颜色则取对应视角下拍摄到的颜色。接下来进入迭代优化通过渲染和反向调整让高斯不断移动、缩放、改变透明度。优化过程中还有一个常见技巧叫“渐进式细节提升”。先在低分辨率下跑一个粗糙版本让整体轮廓先立起来再切到更高分辨率补细节。这样做的原因是低分辨率下优化器不容易被高频纹理带偏能更快找到正确的全局形状高分辨率阶段再专注打磨边缘和图案。3.4 优化迭代和模型导出拿到的文件到底是什么迭代到一定程度后模型会收敛成一个由几十万到几百万个高斯组成的场景。这个“高斯场”可以直接保存成通用的点云格式也可以导出为带高斯参数的渲染场景格式。手机端此时能做的导出通常有两种一种是直接保留高斯场。这种文件适合支持高斯泼溅渲染的引擎和 AR 应用优点是视觉效果接近原始扫描视角相关的高光变化也保留得比较完整。缺点是它不是一个闭合曲面不能直接拿去 3D 打印传统三维软件也不能直接编辑它的拓扑。另一种是把高斯场“烘焙”成三角网格。做法是把高斯中心当作密集点云经过表面重建和纹理烘焙生成一个带贴图的常规三维模型。这种模型能被普通三维软件打开方便做减面、补洞、重新拓扑。缺点是烘焙过程会损失部分细节尤其是半透明和细腻高光。如果你只是想做交互展示优先尝试第一种如果你是要做 3D 打印或者放进游戏场景那就得走第二种。3.5 端侧算力紧张时的常见取舍策略手机 GPU 再强也赶不上桌面显卡所以端侧重建一定会在某些地方做妥协。常见的策略包括限制高斯总数量。不是越多越好而是控制在当前机型内存带宽能承受的范围内太多高斯反而会让每轮迭代变慢。混合精度计算。位置和尺度这类参数可以保留较高精度颜色和透明度这类参数可以压缩到半精度甚至更低的表达。分窗优化。不是一次拿所有关键帧做全局优化而是滑动窗口式地选取相邻一组关键帧先局部收敛再逐步整合全局。低分辨率预演。先用一个较小的渲染分辨率把大轮廓定下来再局部高分辨率精修。这个策略前面提过是端侧最常用来节省算力的手段。这些取舍意味着端侧重建不会是“一次拍完就完美”但它能做到“现场判断能不能修、需要补哪个角度”这已经比传统离线流程实用太多。4. 实测一圈下来最容易毁掉扫描效果的五个细节聊原理归原理真正拿实物扫过之后你会发现最大的坑不是系统算法不够强而是你选的拍摄对象和拍摄方式本身就在给系统出难题。4.1 反光材质会让高斯“学歪了”我把一个亮面的陶瓷杯放在桌面上绕了几圈发现高光区域在模型里形成了一层奇怪的“漂移感”。原因很简单反光点会随视角变化不断改变位置和亮度视觉里程计拿这些反光当成稳定特征点去匹配等于被会跑的靶子骗了优化器也觉得那个位置好像有一团颜色在变最后索性糊了一片高光。对策是让表面尽量变成漫反射。比较直接的办法是用可水洗的消光喷剂在表面喷一层均匀的哑光层扫描完再清理掉。如果是临时测试也可以用纸巾或美纹纸贴在反光最严重的区域给系统提供稳定纹理。实在不行就把灯光调暗并换成大面积柔光让高光面积缩小、位置相对稳定。4.2 纯色、无纹理表面找不到特征点纯白马克杯、单色布面、磨砂黑外壳这些是端侧重建最容易“劝退”的物体。特征点少姿态估计就虚三角化出来的稀疏点稀稀拉拉高斯优化没有足够约束很容易把表面画成“塌陷的一团”。处理思路不是给物体强行加纹理而是让背景和台面提供足够的空间线索。把杯子放在一张有报纸或花布垫着的桌面上或者旁边放几个有明显图案的盒子系统就能通过背景特征稳定住相机位姿然后再利用物体轮廓和阴影区推断形状。如果想扫得更精细可以在物体表面临时贴几个彩色标记点扫描后在三维软件里用画刷修掉。4.3 光照只要变一次模型就“记仇”3DGS 会把颜色信息直接写进高斯参数里这意味着它默认“光照在整个拍摄过程中保持不变”。如果你绕到一半人挡住了光或者窗外太阳从云里钻出来你会发现模型上会出现一块“被刻下来的明暗变化”。我自己踩过的坑是在窗边扫一个有渐变色的摆件扫到一半阳光出来了结果模型侧面多了一道永远抹不掉的硬阴影颜色也变得不自然。正确做法是选择均匀的散射光环境比如室内朝北的窗边或加了柔光罩的台灯。拍摄过程中不要走动到光源和物体之间也不要在物体表面制造会动的影子。4.4 拍摄轨迹绕圈半径、俯拍角度和重叠率很多第一次用的人以为“拍一圈”就是真的只绕一圈其实远远不够。只做同一高度的环绕扫描物体顶面和底部信息都是缺的模型很容易变成一个上大下小的“罐头”。比较稳的拍摄方式是先平视高度绕一圈再把手机抬高到大约 45 度俯视角度补绕一圈如果可能的话把物体垫高从下方仰视再补一圈。每次转身幅度不要太大保证相邻画面有 70% 以上的重叠。绕圈半径也不要太近否则画面边缘的物体部分会频繁出框关键帧筛选时大量画面被淘汰。还有一个容易被忽略的点转速要慢。很多人习惯像拍视频一样边走边拍但端侧重建需要的是“连续中带点停顿”的采集节奏。我在测试时会刻意把移动速度降到每秒大概挪动 10 厘米左右让每一帧都有足够时间摆脱运动模糊。4.5 透明、半透和极薄物体别指望一拍就成玻璃杯、透明塑料瓶、纱巾、耳机线这些物体对 3DGS 来说几乎是无解的。光线穿过物体时会发生折射和反射系统看到的位置根本不是物体的真实表面极细的线材在画面上只占几个像素姿态估计和后期重建都很难抓住它。如果你必须做这类物体比较现实的办法是找替代方案透明杯子就灌入有色液体或者喷一层哑光涂层细线就尽量贴近其他有纹理的背景让系统至少把整体轮廓收住。不要指望连续拍几圈就能让透明物体稳定成型这是物理层面的约束不是算法暂时不行。5. 模型拿到手之后清理、修复和三条实际玩法扫描完成只是第一步。拿到的模型距离“能用”通常还要经过导出、清理和格式转换这几步。5.1 先搞清楚你导出的是“会发光的高斯”还是“可编辑网格”如果你选择的是高斯场文件你得到的不是一个传统三维模型而是一个带着大量半透明椭圆参数的场景。它在支持高斯泼溅的渲染器里表现很好但普通应用并不认这种格式。如果你选择的是网格导出通常会得到带贴图的常用三维格式文件进入传统工作流就没太大障碍。我的建议是如果只是为了看效果和做 AR 展示直接导高斯场即可画面质量通常更好如果要进三维软件继续编辑就选网格导出。很多扫描场景最终文件其实不大但不要只看网格大小贴图分辨率才是体积大头。5.2 用普通三维软件也能做的清理流程网格模型拿回来后大概率带着少量浮空碎片、表面小孔和边缘噪点。可以在常见的开源三维处理软件里按这个顺序处理先用“按连通分量选择”把主体之外飘着的小碎片删掉再对表面孔洞做一次自动补洞接着用平滑和紧缩算法把表面噪点压掉最后重新展 UV 并烘焙一张干净的漫反射贴图。如果你要保留高斯场文件清理方式就不是修拓扑而是删除那些透明度过低、几乎看不见的高斯以及在空间上远离主体的孤立高斯。这一步能明显减小文件体积也不会损伤视觉质量。5.3 三条落地路径AR 展示、商品图、3D 打印先说 AR。扫描好的模型放进 AR 场景里并不是直接丢进去就完事。要注意尺度统一最好在扫描时放一把尺子或在物体旁边放一个已知尺寸的参照物这样导出后才能在 AR 里真实摆放。再说商品图。用扫描模型做“白底旋转展示视频”比实际拍摄快得多。把模型导入三维软件打好两到三盏柔光摆一个缓慢旋转的动画渲染出的视频既没有环境反射干扰也能多角度展示产品细节。对于电商场景这个玩法几乎能替代一部分实物拍摄。最后是 3D 打印。打印要求模型必须是水密的闭合网格这往往需要处理底面。扫描时物体放在桌面上底面基本是拍不到的你需要先在软件里把底面封起来再检查有没有非流形边和反向法线。如果打印精度要求高还建议对模型做一次减面重拓扑避免从高斯烘焙出来的网格出现过度密集的碎片面片。5.4 丢失的底面与文件体积几个容易忽略的收尾问题底面缺失是最常见的“扫描后遗症”也是最容易补的。如果是普通摆件直接在软件里加一个平面封底稍微内缩一点避免插穿表面如果是需要展示底部细节的零件就只能在扫描阶段把物体垫高让相机从下方补一圈。文件体积方面高斯场文件如果包含球谐系数几十万颗高斯就可能达到几十甚至上百兆。导出前留意一下有没有“轻量化”选项压缩掉多余高阶系数和低透明度高斯。网格加贴图的形式通常更省压缩适中时几兆到十几兆就能满足普通展示用途这也是为什么做电商展示我更推荐用网格方案。最后分享一个我自己长期养成的习惯扫描完先别急着删拍摄视频把关键帧回放慢速检查一遍看看有没有连续丢帧或者大面积虚焦的段落。如果有立刻补一圈比等模型全部导完之后再回软件里修要省太多时间。反正现在端侧重建讲究的就是“即时反馈”该补就补别把麻烦留给后面的自己。
阅读完成 · 觉得有帮助？
