★ FEATURED ARTICLE 人工智能基础模型媒体生成自动驾驶计算机视觉【免费下载链接】Cosmos3-Nano-Sim-Auto项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos3-Nano-Sim-Auto点击查看免费下载Cosmos3-Nano-Sim-Auto 是 NVIDIA Cosmos3 系列的 16B 参数交互式驾驶模拟世界模型能在文本提示 World Scenario MapWSM控制条件下同步生成最多 11 路相机视频与 LiDAR 点云支持闭环驾驶仿真与多传感器合成数据生成。如果你想为自研车体定制一套「专属相机阵列」本文带你走完后训练 蒸馏的完整进阶路线。一张图看懂从 Cosmos3-Nano 到 Sim-Auto 的两步之路Cosmos3-Nano-Sim-Auto 并非一步到位而是经过两次关键升级详见 README.md阶段起点动作产出第一步后训练Cosmos3-Nano用多传感器驾驶数据视频 文本 LiDAR做后训练Cosmos3-Nano-Transfer-Auto第二步因果蒸馏Transfer-Auto因果蒸馏causal distillation为少步模型Cosmos3-Nano-Sim-Auto 后训练让模型学会「多相机 LiDAR 联合生成」蒸馏则把它压缩成可以实时、自回归滚动推理的快速模型。仓库内的 model_index.json 记录了推理管线类Cosmos3NanoSimAutoPipeline与具体检查点sim_auto_joint_stage3_sfdmd_mads_alliter_000001800config.json 中同样保留了这份指纹信息可用于校验权重完整性。蒸馏的代价与回报固定 4 步采样器蒸馏后模型被「锁死」在固定的 4 步去噪采样器上这是它与普通扩散模型最大的不同固定时间步t_list [1.0, 0.9375, 0.8333, 0.625]见 scheduler/scheduler_config.jsonguidance 固定为 1推理默认参数480p、30fps、guidance 1.0写在 checkpoint.json 的inference_defaults中已蒸馏标记modular_model_index.json 中is_distilled: true并直接给出distilled_sigmas。换来的是什么分块自回归的实时性。模型每次只生成 3 帧frames_per_chunk: 3见 checkpoint.json并利用滚动 KV 缓存ring: cache_chunks 2 / sink_chunks 1缓存历史帧上下文——你的驾驶输入一变下一块视频就随之改变这正是闭环仿真的核心能力。 吞吐量参考单 GPU无 LiDAR720p1 路相机时 GB200 可达 10 fps、H100 约 4.7 fps11 路全开时 GB200 约 0.74 fps。相机越多越慢选型时请权衡。定制相机阵列先读懂 11 路标准相机配置默认的 Hyperion 8.1 相机阵列包含 11 路视角 1 路 128 线激光雷达每个传感器在模型内部都有一个「视角嵌入 ID」可在 checkpoint.json 的rig_view_embedding中查到传感器视角传感器视角camera_front_wide_120fov前广角 120°camera_left_fisheye_200fov左鱼眼 200°camera_front_tele_30fov前长焦 30°camera_right_fisheye_200fov右鱼眼 200°camera_cross_left/right_120fov侧向 120°camera_rear_fisheye_200fov后鱼眼 200°camera_rear_left/right_70fov后侧 70°lidar128 线雷达360° 环视camera_rear_tele_30fov后长焦 30°LiDAR 侧细节128×1808 距离图、10 fps、pandar128 标定见 lidar_vae/config.json。你的车体不一样两步定制路线 README 给出了官方的定制路径后训练 Transfer-Auto用你自研车体的多相机 LiDAR 数据对 Transfer-Auto 做后训练让模型适配你的相机布局因果蒸馏 Sim-Auto再把蒸馏流程跑一遍得到针对你车体的少步实时模型。配套的视频 VAE16× 空间压缩 / 4× 时间压缩48 通道隐变量见 vae/config.jsonLiDAR VAE 见 lidar_vae/config.json文本编码基于 Qwen2 分词器text_tokenizer/。这些编码器通常冻结你主要调整的是主网络权重。输入输出速查表项目说明文本场景描述天气、光照、时段同时承载相机配置WSM 控制每个选中视角一同步 MP4车道线 物体框体渲染由 AV 策略或方向盘接口生成LiDAR 控制与相机对齐的高精地图距离图序列生成 LiDAR 时必需可选 RGB / LiDAR 条件首帧 RGB 图像、初始实测 LiDAR 扫掠输出视频每路相机一个 MP4480p/720p10–30 fps输出 LiDAR距离 强度图可转为带逐点强度的 3D 点云⚠️ 帧数需满足4k1如 297 帧服务端只取每路 RGB 视频的第一帧作为外观初始条件。上手与部署建议运行环境Linux NVIDIA GPUH100/H200/B200/GB200 等 Hopper、Blackwell 架构推荐用 vLLM-Omni 容器服务化部署首次启动会自动下载检查点本地获取git clone https://gitcode.com/hf_mirrors/nvidia/Cosmos3-Nano-Sim-Auto权重为 6 分片 safetensors清单见 transformer/diffusion_pytorch_model.safetensors.index.json安全红线该模型不是安全认证部件绝不能作为生命关键决策的唯一依据详见 safety.md 与 explainability-Cosmos3-Nano-Sim-Auto.md。常见问题 FAQQ1为什么 guidance_scale 和步数不让改蒸馏检查点固定了 4 步 SDE 采样器与 guidance1改动会破坏蒸馏效果请保持默认。Q2输出视频如何按相机拆开返回的是一个 camera-major 的拼接 MP4第 1 路 297 帧 第 2 路 297 帧……用 FFmpeg 按帧区间 trim 即可分别导出。Q3自定义车体一定要两步都做吗是的——后训练解决「看得懂你的相机布局」蒸馏解决「跑得快、能闭环」两者缺一不可。Q4多传感器联合生成质量有保证吗官方在 FID/FVD、BEV JSD、物体检测 F1 等指标上均优于对比基线见 README.md 的评测表但复杂场景仍可能出现时序不一致请结合自身用例做验证。赞分享人工智能基础模型媒体生成自动驾驶计算机视觉【免费下载链接】Cosmos3-Nano-Sim-Auto项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos3-Nano-Sim-Auto点击查看免费下载相关推荐Habitat-Sim一键配置指南打造你的专属AI训练场Habitat Sim一键配置指南打造你的专属AI训练场 还在为复杂的3D模拟器安装而头疼吗别担心今天我将带你轻松搭建Habitat Sim环境让你的A人工智能具身智能机器人物理引擎3D渲染Cosmos3-Nano-Sim-Bimanual后训练指南把世界模型适配到你自己机器人的具身配置含LoRA调优Cosmos3 Nano Sim Bimanual后训练指南把世界模型适配到你自己机器人的具身配置含LoRA调优 Cosmos3 Nano Sim Bim人工智能大模型基础模型媒体生成具身智能强化学习Hello 算法用回溯与对角线索引解决 N 皇后问题Hello 算法用回溯与对角线索引解决 N 皇后问题 本文基于 hello algo 仓库中“回溯算法”章节的 n 皇后问题文档 https://link.g人工智能基础模型媒体生成自动驾驶计算机视觉上一篇Machine Learning Yearning 中文版数据可用性对模型性能的影响分析下一篇Hyperf 编程须知全局变量限制、容器单例、协程上下文与线上部署要点创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
