★ FEATURED ARTICLE 【免费下载链接】marigold-v2-0项目地址https://ai.gitcode.com/hf_mirrors/huawei-bayerlab/marigold-v2-0点击查看免费下载Marigold V2是由 HUAWEI Bayer Lab 联合 EPFL 与博洛尼亚大学发布的单目深度估计模型SIGGRAPH Asia 2026它基于 Qwen-Image-Edit-2509 扩散 Transformer仅用 LoRA 可选 VAE 解码器微调就达到了当前领先的零样本深度、法线与反照率估计水平。更难得的是所有模型都在单张 32GB 显卡上训练完成。本文带你从训练数据、损失函数到最终权重完整拆解这套两阶段训练流程。 项目速览一个基座模型多模态输出Marigold V2 的架构思路很轻——不动基座模型只训练可插拔的小权重LoRA同一套方法同时覆盖三种任务模态输出关键训练手段深度depth对数/线性/逆深度两阶段训练 SinkLoss法线normals相机坐标系单位法向量角度损失 iREPA SinkLoss反照率albedo线性 RGB 反照率L1 iREPA每个任务对应仓库中的一个权重目录例如深度主线模型的最终权重在 depth/Log-stage2/trainables.safetensors完整清单可见 README.md 中的 Checkpoints 表格。 训练数据约 7.4 万张合成图就够了深度学习的直觉是数据越多越好但 Marigold V2 证明了高质量合成数据的效率深度Hypersim Virtual KITTI 2约74k 张图沿用 Marigold V1 的打包格式透视深度see-throughLayeredDepth-Syn 数据集的第 8 层专门学习透过玻璃看几何法线与反照率Hypersim这套数据规模对普通研究者非常友好——单卡 32GB GPU 即可完成全部训练这也是本文32GB 训练秘诀的由来。️ 第一阶段iREPA 对齐 多损失打基础Stage 1 的目标是让模型先看懂几何损失函数由四部分构成Latent MSE在扩散模型潜空间内做回归稳定训练L1 损失直接约束重建误差梯度损失约束几何边缘让深度图不糊边iREPA改进版表示对齐损失Representation Alignment把扩散模型中间特征向预训练图像编码器特征拉近显著加速收敛、提升几何质量。Stage 1 产出的权重是 depth/Log-stage1/trainables.safetensors它是 Stage 2 与透视变体layered的共同起点。 第二阶段SinkLoss 与 VAE 解码器微调Stage 2 在 Stage 1 基础上继续微调两个核心动作SinkLoss针对仿射不变深度设计的损失。Marigold V2 的深度输出天然带有每张图未知的缩放和平移scale shiftSinkLoss 让模型在这种自由度下依然能稳定收敛使输出可以直接用于零样本评测VAE 解码器微调深度是密集回归任务对像素级精度敏感因此同步微调了 VAE 解码器权重以VAE.*键保存在同一文件中而不只是 LoRA。两者叠加后得到论文主模型Log-stage2对数参数化深度也是代码库的默认检查点。 消融视角Log、Uniform、Disparity 三种参数化仓库同时发布了三种深度参数化的消融权重方便对比研究检查点参数化说明depth/Log-stage2对数深度随距离增大两阶段论文主模型depth/Uniform-base线性深度V1 风格Stage 1 配方30k 步depth/Disparity-base逆深度随距离减小Stage 1 配方 VAE 解码器微调30k 步每个目录还配有 layered 变体如 depth/Log-layered在 LayeredDepth-Syn 第 8 层上继续训练能预测玻璃后方的几何。 权重与文本嵌入仓库里有什么仓库是纯推理权重包inference_only_checkpoints每个目录只有一个 trainables.safetensors内部键为component.parameter形式Diffuser.*LoRA 权重含 VAE 微调时还有VAE.*。另一个小巧思在 qwen_text_embeddings/每个模态预计算了 prompt 嵌入与掩码如qwen_edit_2509_qwen_depth_prompt_embeds.pt推理时完全不需要加载基座的文本编码器进一步省显存。manifest.json 记录了所有文件的大小与 SHA-256 校验和下载完整性可自验。 单卡 32GB 训练秘诀与显存预算Marigold V2 对硬件非常友好关键数字如下训练所有模型均在单张 32GB GPU上完成推理1024² 约 17GB2048² 约 29GB 显存24GB 卡即可跑 1024²。秘诀可以归纳为三点LoRA 只训小权重——基座 Diffusion Transformer 冻结可训练参数极少显存主要留给激活而非梯度预计算文本嵌入——省掉文本编码器的常驻开销合成数据规模克制——74k 张图让单卡也能在合理步数内收敛消融模型仅 30k 步。如需在本地获取权重可直接克隆本仓库git clone https://gitcode.com/hf_mirrors/huawei-bayerlab/marigold-v2-0推理、评测与训练代码位于官方代码仓库运行时会把本权重仓库与基座模型下载到其assets/目录。 零样本成绩为什么值得看使用Log-stage2权重、Pixel-Perfect Depth 协议的零样本结果AbsRel ↓ / δ1 ↑%数据集NYUv2KITTIETH3DScanNetDIODE深度3.6 / 98.05.4 / 97.42.8 / 99.23.7 / 97.95.2 / 97.1法线与反照率同样领先法线在 NYUv2 上平均角误差 16.6°反照率在 Hypersim 上 PSNR 20.78。 关键文件路径速查项目说明与检查点表格README.md文件校验清单manifest.json论文全文LFSassets/paper/Marigold V2.pdf论文主模型权重depth/Log-stage2/trainables.safetensors法线权重normals/trainables.safetensors反照率权重albedo/trainables.safetensors预计算文本嵌入qwen_text_embeddings/许可证LICENSE权重为 Apache 2.0基座模型遵循其自身协议总结Marigold V2 的两阶段配方——Stage 1 用 iREPA 对齐 多损失打好几何基础Stage 2 用 SinkLoss 兼容仿射不变输出并微调 VAE 解码器——证明了小数据、小可训练参数、单卡 32GB也能做出 SOTA 级别的单目深度估计。对新手而言这是一套非常值得复现与拆解的训练范式。赞分享【免费下载链接】marigold-v2-0项目地址https://ai.gitcode.com/hf_mirrors/huawei-bayerlab/marigold-v2-0点击查看免费下载相关推荐SoundCloud音乐下载终极指南如何用scdl轻松收藏高品质音乐SoundCloud音乐下载终极指南如何用scdl轻松收藏高品质音乐 你是否在SoundCloud上发现了一首惊艳的独立音乐却苦于无法下载保存作为全球最大CLI音频网页爬虫终极美化指南3步打造你的个性化Obsidian知识库终极美化指南3步打造你的个性化Obsidian知识库 还在为Obsidian单调的界面而烦恼吗想象一下你的知识库不仅功能强大还能像艺术品一样美观——这就文档教程知识管理58.2B Token训练数据揭秘NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr的数据构造与两阶段训练58.2B Token训练数据揭秘NVIDIA Nemotron 3.5 Super VL 120B A12B NVFP4 LiLiCorr的数据构造与两阶段人工智能大模型推理模型多模态模型量化上一篇Qwerty Learner把背单词和键盘肌肉记忆结合的开源英语打字练习工具下一篇如何快速备份QQ空间面向普通用户的完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
