★ FEATURED ARTICLE 人工智能具身智能机器人【免费下载链接】cosmos3-nano-libero10-sdg-export-S_all项目地址https://ai.gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-S_all点击查看免费下载cosmos3-nano-libero10-sdg-export-S_all是 NVIDIA 将 Cosmos3-Nano 后训练为 LIBERO-10 机器人策略VLA的检查点导出。本文带你彻底看懂 VLA 模型如何看见并动手domain_aware动作 IO 投影器如何在动作向量与语言模型隐空间之间双向转换action2llm与llm2action各自负责哪一半工作以及 rectified flow 扩散采样如何把隐状态变成可执行的动作序列。 这个仓库里装的是什么这不是一个代码仓库而是一份可加载的 VLA 策略权重导出包包含文件作用README.md策略元信息训练数据、迭代数、成功率config.json完整模型配置架构、动作生成参数model-0000X-of-00007.safetensors× 7bf16 模型权重分片EMA 权重约 30 GBmodel.safetensors.index.json全部权重参数 → 分片的映射索引checkpoint.json训练检查点的来源信息export_manifest.json导出过程与处理器来源清单关键信息来自 README.md该策略cellS_all在379 条真实 LIBERO-10 演示 1137 条重风格合成演示上训练 2000 步全局 batch 2048在标准场景取得94.5% ± 1.2%成功率在扰动场景随机光照、纹理、相机抖动仍有87.1% ± 1.2%。权重为 EMA 平滑版本checkpoint.json 中use_ema_weights: true可由cosmos-framework的 policy server 直接加载。 VLA 动作生成全景图Cosmos3-Nano 的架构是一个模型两种能力由 config.json 指定为omni_mot_model机器人观测(图像/视频) → VAE 编码为视觉 latent 指令文本 状态 → Qwen3-VL-8B 语言主干 ↕ 生成专家层 (MoT: Mixture-of-Transformers) ↕ 动作序列 ← llm2action 解码 ← 隐状态 ← action2llm 编码 → 观测动作语言/理解分支config.json 显示主干是Qwen/Qwen3-VL-8B-Instruct负责看懂场景、听懂指令。生成分支每个 Transformer 层都带一套*_moe_gen权重如 model.safetensors.index.json 中的mlp_moe_gen与理解层交错让同一个骨干既能推理又能生成。动作生成方式不是逐 token 自回归而是rectified flow 扩散config.json 中scheduler_type: unipc把整段动作轨迹当成一个连续信号去噪采样出来——这正是为什么需要专门的动作 IO 投影器。 核心domain-aware action IO 投影器配置中的两行参数config.json定义了动作 I/O 的形态action_gen: true, action_io_projector_type: domain_awaredomain_aware的含义是投影器按具身域embodiment domain区分不同机器人本体。同一套 VLA 要同时服务机械臂、人形、四足等不同身体各本体的动作维度、含义完全不同因此投影器会为每个本体域维护独立的投影路径。配套参数num_embodiment_domains: 32config.json最多支持 32 种具身域每个域有独立的投影器参数槽位max_action_dim: 64config.json动作向量上限 64 维覆盖从 7-DoF 末端执行器到全身多关节的常见配置。在权重索引中可以直观看到这对IO 投影器就是两个小型全连接投影头输入方向action2llmmodel.safetensors.index.jsonfc.weightbias.weight输出方向llm2actionmodel.safetensors.index.json旁边还有同构的vae2llm/llm2vae视觉 latent 的 IO 投影model.safetensors.index.json说明 Cosmos3 把动作和视频统一成了同一种范式外部模态 → 投影进 LLM 序列空间 → LLM 融合 → 投影回模态空间。 action2llm 与 llm2action 各自做什么可以把一次策略推理拆成三步第 1 步 —— 观测编码vae2llm相机画面经 VAEconfig.jsonWan2.2 VAE时序压缩 4 倍、空间压缩 16 倍压成低维视觉 latent再由vae2llm投影到语言模型隐空间与指令文本 token 拼成一条序列。第 2 步 —— 双向投影action2llm动作 → LLM把动作这一连续模态编码为可被注意力机制读取的 token。训练时它让模型见过目标动作序列从而学会状态与动作的对应关系推理时它也承担噪声/条件动作的注入。llm2actionLLM → 动作反过来把 LLM 融合完所有信息后的隐状态解码回动作空间作为扩散去噪网络的输出头。第 3 步 —— 去噪出动作rectified flow动作头输出的不是最终动作而是如何把噪声一步步改造成动作。训练采样时刻服从logitnormal分布config.json动作损失权重高达10.0config.jsonaction_loss_weight说明训练目标的重心就是动作要准视频生成能力vision_gen: true在此策略中被弱化load_weights_from_pretrained: false从 checkpoint.json 的实验覆盖项可见。⚙️ 影响动作质量的关键配置参数位置说明action_io_projector_typeconfig.json#L16投影器模式此处为domain_awarenum_embodiment_domains: 32config.json#L93支持的具身域数量上限max_action_dim: 64config.json#L80动作向量最大维度action_loss_weight: 10.0config.json#L126动作损失放大 10 倍优先保证控制精度state_t: 300config.json#L157状态/动作时序建模的最大步长量级train_time_action_distribution: logitnormalconfig.json#L143训练时噪声时刻的采样分布use_ema_weights: truecheckpoint.json#L16导出的是 EMA 平滑权重推理更稳 如何拿到并使用这份策略克隆导出包仓库为只读镜像git clone https://gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-S_all核对完整性7 个 safetensors 分片 model.safetensors.index.json总参数量 15,173,136,576约 31.5 GB见 model.safetensors.index.json。加载运行用cosmos-framework版本 v1.2.2的 policy server 加载config.json 分片权重即可对外提供动作预测服务处理器Qwen3VLProcessor已在导出中打包export_manifest.jsonbundled: true无需额外下载 tokenizer。对比解读README 特别提醒——本 cellS_all属于受控合成数据研究的一个实验格只应与它的对照组 cell 放在一起比较2.5 个百分点以内的差异在训练种子波动范围内。❓ 常见问题FAQQ为什么叫 S_all它是实验命名中的某个数据混合配置本 cell 使用了全部 3 种重风格styles 1-3命名规则来自上游实验配方详见 README.md。Q训练数据在仓库里吗不在。LIBERO-10 原始数据位于nvidia/LIBERO_LeRobot_v3重风格数据由官方配方重新生成README.md。Qdomain-aware 和单一投影器的本质区别单一投影器把所有机器人共享同一套动作↔隐空间映射domain_aware则为每个具身域最多 32 个保留独立投影参数让不同本体的动作语义互不干扰这是多机器人统一 VLA 的关键设计。Q这是微调LoRA产物吗不是。config.json 中lora_enabled: false这是一份全参数后训练后的完整权重导出。 小结cosmos3-nano-libero10-sdg-export-S_all展示了新一代 VLA 的动作生成范式视觉 latent 与动作都通过 domain-aware 投影器action2llm / llm2action进出统一的 Transformer 隐空间再用 rectified flow 扩散把隐状态解码成完整动作轨迹。32 个具身域、64 维动作上限与 10 倍动作损失权重共同保证了它在 LIBERO-10 上 94.5% 的高成功率与对视觉扰动的鲁棒性。理解了这三个组件你就掌握了 Cosmos3 系列用世界模型做机器人策略的核心机制。赞分享人工智能具身智能机器人【免费下载链接】cosmos3-nano-libero10-sdg-export-S_all项目地址https://ai.gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-S_all点击查看免费下载相关推荐aws-cli 创建 CodeArtifact Domain 完全指南create-domain 命令详解与源码级原理aws cli 创建 CodeArtifact Domain 完全指南create domain 命令详解与源码级原理 导读 本文围绕 aws cli 仓库中开发工具云原生运维LingBot-VLA核心代码精讲Flow Matching动作生成与AdaNorm时间条件化原理LingBot VLA核心代码精讲Flow Matching动作生成与AdaNorm时间条件化原理 LingBot VLA 是一个务实Pragmatic的图像如何变成TokenMuse-Glimmer-30B视觉投影器Projector原理详解图像如何变成TokenMuse Glimmer 30B视觉投影器Projector原理详解 Muse Glimmer 30B bf16 是开源多模态大模型上一篇BetterJoy完全指南5步解锁Switch手柄的PC游戏潜力下一篇终极Flash浏览器指南如何在现代系统中免费运行经典Flash内容创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
