★ FEATURED ARTICLE 人工智能大模型医疗健康机器人媒体生成计算机视觉【免费下载链接】Cosmos3-H-Dreams项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos3-H-Dreams点击查看免费下载Cosmos3-H-Dreams是 NVIDIA 推出的实时、动作条件驱动的手术世界模型专为 CMR Surgical Versius 机器人系统设计。它接受一帧内窥镜图像和28 维动作向量序列作为输入自主生成手术内窥镜视频让世界模型精准跟随双臂机器人的每一条指令。本文面向新手用户用最少公式讲清输入结构、运行方式与落地步骤。 什么是 Cosmos3-H-Dreams把它理解为一台手术场景模拟器输入一张内窥镜相机帧 最近的机器人指令历史 未来一段时间的双臂运动控制指令即 28 维动作向量流输出一段按指令演化出来的内窥镜视频默认 72 帧 / 10 Hz / 7.2 秒832×480 分辨率用途手术机器人策略评估、交互式遥操作世界模型探索、机器人胆囊切除的合成数据生成模型基于 Cosmos3-H-Embodied-Nano 微调并蒸馏而来总参数约 15.17B通过 Self-Forcing 因果蒸馏只需每潜帧 4 步去噪即可流式生成视频详见 README.md 的 Model Architecture 章节。 核心输入28 维动作向量逐维拆解28 维动作向量是这套系统的灵魂——它完整描述了双臂机器人在 1 个 100 ms 时刻10 Hz的全部控制状态。结构如下14 维 × 双臂 28 维维度范围含义数量左臂 0–13 / 右臂 14–27每臂 14 维左右臂各占一半28├─ anchor-relative translation相对锚点的平移3├─ anchor-relative 6D rotation6D 旋转表示比四元数更连续6├─ jaw夹爪开合1├─ electrosurgical energy active电外科能量开关0/11├─ thumbstick button摇杆按键0/11└─ thumbstick axes摇杆双轴缩放后2几个新手容易踩坑的预处理细节姿态通道是相对量历史与未来指令都以条件帧的姿态为基准表达且做过分位数归一化并截断到 ±1.5二值控制能量、摇杆按键只要该 100 ms 步内被按下过一次即为 1内部零填充到 64 通道对应 CMR Versius 具身域 25共 32 个域电外科能量、摇杆按键、摇杆轴是相对上一代模型20 维新增的 8 维让能量烟雾、镜头控制等细节也能被建模动作历史最多 16 步1.6 秒动作历史是可选的0–16 步但必须是真实、连续的过去指令不能拼接或伪造。历史与条件帧会一次性预填充进 KV cache为后续流式生成提供记忆起点。 输入输出速查表项目规格图像输入RGB 单帧推荐 16:9 比例模型内部为 832×480动作向量28 维 × (最多 16 步历史 72 步未来)10 Hz默认输出72 帧未来视频7.2 秒每 4 帧0.4 秒为一个流式块输出格式mp4H×W×T 视频长轨迹通过继续自回归或周期性重新锚定真实帧实现⚙️ 运行机制KV Cache 4 步去噪推理过程非常经济适合实时交互条件帧 动作历史 →一次性写入 KV cache之后每个潜帧消费4 个未来动作向量0.4 秒生成 4 个新视频帧每个潜帧仅4 步去噪2 步版本可进一步提速在单张 NVIDIA Blackwell RTX PRO 6000 上可稳定跑到30 FPS4 步/ 43.2 FPS2 步Max-Q 版本约 20–31 FPSDGX Spark 以 512×288 降级分辨率运行约 16.9 FPS。 获取模型权重当前仓库已内置蒸馏后的学生模型权重位于 checkpoints/exp15/ 目录权重文件说明checkpoints/exp15/c3-h-d_2-step_model_bf16.safetensors2 步去噪版本速度最快约 43 FPScheckpoints/exp15/c3-h-d_4-step_model_bf16.safetensors4 步去噪版本质量更稳约 30 FPS两个文件旁均附带.sha256校验文件下载后可自行验证完整性。BF16 精度在 Blackwell / Hopper 架构的 NVIDIA GPU 上验证过实时运行。如需获取完整项目含运行时代码仓库可使用git clone https://gitcode.com/hf_mirrors/nvidia/Cosmos3-H-Dreams.git⚠️ 使用边界这些场景模型会失灵根据 EXPLAINABILITY.md 的官方说明请务必在以下边界内使用只支持 Versius 胆囊切除场景且画面中恰好可见 2 个器械典型为左臂夹钳 右臂钩摇杆驱动的镜头运动平移/缩放/旋转在训练中被排除复现可能不准左臂电外科能量事件在训练中很少见烟雾等效果可能不可靠快速运动或长自回归会累积漂移建议定期用真实帧重新初始化生成的视频看起来合理 ≠ 指令被精确执行建议用受控动作探针做行为验证 新手建议先跑 2 步权重确认链路通畅再切换到 4 步权重评估质量rollout 超过 30 秒时务必做重新锚定。️ 安全与合规提示模型不用于诊断、术中引导或机器人直接控制策略结果必须经物理系统验证后方可临床使用见 SAFETY_and_SECURITY.md使用受NVIDIA Open Model License约束商用与非商用均允许但需遵守许可条款数据隐私政策详见 PRIVACY.md偏差子卡见 BIAS.md 参考文件文件内容README.md模型卡架构、输入输出、训练数据、性能表EXPLAINABILITY.md可解释性子卡原理与已知局限checkpoints/exp15/2 步 / 4 步蒸馏权重bf16config.jsonHugging Face 查询配置文件LICENSENVIDIA Open Model License 全文赞分享人工智能大模型医疗健康机器人媒体生成计算机视觉【免费下载链接】Cosmos3-H-Dreams项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos3-H-Dreams点击查看免费下载相关推荐深入 Cosmos-H-Dreams 的 44 维统一动作空间dVRK 双臂 20D 动作向量与零填充机制详解深入 Cosmos H Dreams 的 44 维统一动作空间dVRK 双臂 20D 动作向量与零填充机制详解 Cosmos H Dreams 是 NVIDICosmos3-H-Dreams 完全概览NVIDIA 实时手术世界模型让机器人手术看得见未来Cosmos3 H Dreams 完全概览NVIDIA 实时手术世界模型让机器人手术看得见未来 Cosmos3 H Dreams 是 NVIDIA 开源人工智能大模型医疗健康机器人媒体生成计算机视觉Cosmos3-H-Dreams 动作表示详解锚点相对混合编码、电刀能量与摇杆控制如何嵌入世界模型Cosmos3 H Dreams 动作表示详解锚点相对混合编码、电刀能量与摇杆控制如何嵌入世界模型 Cosmos3 H Dreams 是 NVIDIA 面向人工智能大模型医疗健康机器人媒体生成计算机视觉创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
