★ FEATURED ARTICLE 人工智能计算机视觉【免费下载链接】Video-Depth-Anything-Large-MLX项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Video-Depth-Anything-Large-MLX点击查看免费下载Video-Depth-Anything-Large-MLX是一个运行在 Apple Silicon 上的视频深度估计模型它是字节跳动 CVPR 2025 Highlight 论文 Video Depth Anything 的 MLX 移植版。它能对任意长度的视频做单目深度估计输出每一帧一致的深度图depth maps为 Apple 设备上的 3D 重建、视频编辑、机器人感知等场景提供了轻量高效的深度估计方案。一、这个项目是做什么的传统的单目深度估计模型逐帧独立推理帧与帧之间容易出现抖动同一物体在相邻两帧的深度忽远忽近导致后续 3D 重建出现撕裂。Video Depth Anything 的核心价值就在于时序一致性temporal consistency 输入一段普通视频channel-last 的(B, T, H, W, 3)张量 输出与视频帧一一对应的深度序列(T, H, W) float32✂️ 支持任意长度视频内部通过 scale/shift 窗口对齐策略把长视频切段推理后无缝拼接本仓库 model.safetensors 是 fp32 权重文件约 1.4GB由官方 PyTorch checkpoint 转换而来。官方使用说明见 README.md。二、核心架构全解析三大模块如何分工 整个模型可以概括为一句话DINOv2 负责看得懂DPT 负责算得准AnimateDiff 风格时序模块负责帧帧不抖。2.1 DINOv2 骨干自监督视觉特征提取器配置文件中encoder: vitl表明骨干网络采用了ViT-Large结构的 DINOv2。DINOv2 是 Meta 提出的自监督视觉 Transformer无需人工标注即可学到极其鲁棒的语义特征它输出的不仅是这是什么物体还包含丰富的几何线索遮挡、尺度、透视关系作为 Large 级别规格它在特征表达能力和推理速度之间取得了较好平衡2.2 DPT 解码头从特征到稠密深度图DPTDense Prediction Transformer是 Depth Anything 系列经典的深度回归头features: 256特征通道数out_channels: [256, 512, 1024, 1024]多层特征逐级上采样融合让低分辨率的全局语义与高分辨率的局部细节互补经过多层 decoder 融合后输出稠密的逐像素相对深度图 注意metric: false表示这是非度量模型——输出的是相对深度相对远近关系而非以米为单位的绝对距离。它也因此启用了 scale/shift 窗口对齐来保证长视频的一致性。2.3 AnimateDiff 风格时序运动模块一致性的关键 ⏱️这是该架构最出彩的部分。时序运动模块借鉴了 AnimateDiff文生视频模型的设计思路在骨干特征之外额外插入一组时序运动模块temporal motion modules专门建模帧与帧之间的运动关系num_frames: 32模型以 32 帧为一个窗口处理时序上下文在相邻窗口之间共享运动信息pe: ape采用绝对位置编码Absolute Positional Encoding标记帧位置让模型知道当前处于视频的哪个时刻正是这组模块使得相机运动和物体运动在深度图上表现为平滑连续的过渡而不是逐帧跳变。三、关键配置速读3 个文件看懂模型规格 文件关键内容作用config.jsonvitl、features: 256、num_frames: 32、pe: ape定义骨干规格与 DPT 时序结构preprocessor_config.jsoninput_size: 518输入统一缩放到 518×518model.safetensorsfp32 权重约 1.4GB实际模型参数LFS 存储四、快速上手从克隆到跑出深度序列 1️⃣ 克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/Video-Depth-Anything-Large-MLX2️⃣ 安装依赖并推理依赖mlx-vlm核心入口是VideoDepthPredictor与read_video_frames完整示例见 README.md。极简调用流程from mlx_vlm import load from mlx_vlm.models.video_depth_anything.generate import ( VideoDepthPredictor, read_video_frames, ) model, processor load(mlx-community/Video-Depth-Anything-Large-MLX) predictor VideoDepthPredictor(model, processor) frames, fps read_video_frames(input.mp4, max_len300, target_fps15) depths predictor.infer(frames) # (T, H, W) float32 深度序列max_len300控制最多处理帧数target_fps15控制采样帧率可根据视频时长和显存灵活调整。五、实用小贴士与注意事项 ⚠️尺寸要求H 和 W 必须是14 的倍数ViT patch 结构决定输入会先缩放到 518见 preprocessor_config.json精度表现权重为 fp32。GPUMetal fast-math下输出与 PyTorch 参考实现约 1% 相对误差CPU 下可做到约 1e-5许可证CC-BY-NC-4.0仅限非商业用途与源 checkpoint 一致商用前请务必确认授权不是文本生成模型它输出的是逐帧深度图float32 数值不要按 LLM 方式调用六、总结Video-Depth-Anything-Large-MLX 用DINOv2 DPT AnimateDiff 风格时序模块的组合把任意长视频的时序一致单目深度估计搬进了 Apple 的 MLX 生态。对新手来说只需记住三点它是深度估计模型不是生成/文本模型时序一致性来自 32 帧窗口 运动模块而非简单平滑输入尺寸对齐 14 的倍数输出即得逐帧深度序列无论是做视频 3D 化、背景擦除还是动作理解这都是 Mac 上一套开箱即用的深度估计基础设施。赞分享人工智能计算机视觉【免费下载链接】Video-Depth-Anything-Large-MLX项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Video-Depth-Anything-Large-MLX点击查看免费下载相关推荐Upsonic 评测子系统实战指南LLM-as-a-Judge 评分、延迟与内存剖析和工具调用可靠性断言Upsonic 评测子系统实战指南LLM as a Judge 评分、延迟与内存剖析和工具调用可靠性断言 Upsonic 是一个用 Python 构建自主 ATorchTitan RL 可观测性指标从类型化 Metric 延迟归约到 vLLM 引擎级 OpenTelemetry 指标TorchTitan RL 可观测性指标从类型化 Metric 延迟归约到 vLLM 引擎级 OpenTelemetry 指标 本文基于 TorchTitan人工智能计算机视觉深度学习DA3Mono-LARGE-MLX 网络架构完整解析DinoV2 ViT-L/14 DPT 解码器如何搞定单目深度估计DA3Mono LARGE MLX 网络架构完整解析DinoV2 ViT L/14 DPT 解码器如何搞定单目深度估计 DA3Mono LARGE MLX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
