首页 / 资讯中心 / 文章详情

VLA落地真机:OpenDM在AgileX COBOT Magic与DOS-W1的相机架设与机型改造完全指南

VLA落地真机:OpenDM在AgileX COBOT Magic与DOS-W1的相机架设与机型改造完全指南 ★ FEATURED ARTICLE
VLA落地真机OpenDM在AgileX COBOT Magic与DOS-W1的相机架设与机型改造完全指南【免费下载链接】opendmAn Open-World Foundation Model for General-Purpose Embodied Intelligence.项目地址: https://gitcode.com/gh_mirrors/op/opendmOpenDMDM0.5是面向开放世界具身智能的视觉-语言-动作VLA模型支持在 AgileX COBOT Magic 双臂机器人与 Dexmal DOS-W1 真机上部署。本指南将带你用最少改动完成相机架设与机型适配让 VLA 模型快速落地真机。为什么相机架设决定 VLA 落地效果DM0.5 通过「主视角 左右腕部」共 3 路图像输入来理解环境并输出动作。相机的高度、角度、视野直接决定了模型看到的信息质量因此官方对真机的相机架设做了统一标准主视角相机安装高度离地 177.2 cm主视角相机与竖直铝型材的夹角27.5°这套参数在两款机型上完全一致是复现官方效果的关键。完整改动记录见 docs/zh/robot_platforms.md。机型对照COBOT Magic 与 DOS-W1 如何映射到代码在 OpenDM 代码中两款真机分别映射为以下机型类型定义于 opendm/constants/robot.py真机平台代码机型类型状态/动作维度维度构成AgileX COBOT MagicAloha14 维左臂 6 关节 左夹爪 右臂 6 关节 右夹爪Dexmal DOS-W1DOS W114 维同上两者的 14 维 state 描述一致6 关节 夹爪 × 2 臂这意味着同一套三路图像推理服务可以服务两种本体只需在请求中指定对应的robot_type选择归一化 profile。AgileX COBOT Magic 相机改造3 处关键改动基础机型沿用 AgileX COBOT Magic 原厂配置OpenDM 只改了 3 处腕部相机更换左右两条执行臂的臂上眼相机均更换为 RealSense D405 深度相机替代原厂腕部相机。定制长版支架D405 使用项目定制的长版相机支架3D 打印源文件STEP 格式已开源realsense-d405-wrist-camera-bracket-long.step可直接导入建模软件查看结构。主视角相机调整沿用原厂位于两条执行臂之间的铝型材相机架仅将安装高度调整为离地177.2 cm相机与竖直铝型材夹角调整为27.5°。其余硬件、配件和安装方式均沿用原厂方案不需要额外采购或改装。Dexmal DOS-W1 相机架设只改 2 个数值DOS-W1 的改造更简单——完全沿用原厂相机及相机架设方案只需调整两个参数主视角相机安装高度调整为离地177.2 cm相机与竖直铝型材夹角调整为27.5°。除这两项外腕部相机、支架、走线全部保持出厂状态是两款机型中改造成本最低的一台。 提示两台机器的主视角参数177.2 cm / 27.5°保持一致是为了让「Head 视角」在不同本体上产生可迁移的视觉分布这正是 DM0.5 跨本体泛化能力的基础。架设完成后启动真机推理服务相机架好后用 script/dm05_launcher.sh 启动三路图像推理服务即可script/dm05_launcher.sh \ --exp opendm/exp/dm05_exp.py \ --task inference \ --model-config.model-name-or-path ./checkpoints/DM05 \ --model-config.chunk-size 50 \ --inference-config.output-action-dim 14 \ --inference-config.image-prompts Head Left wrist Right wrist \ --inference-config.port 7891关键点3 路图像按Head→Left wrist→Right wrist顺序上传必须与相机实际位置一致output-action-dim设为14对应双臂 14 维状态请求中通过observation.robot_type指定AlohaCOBOT Magic或DOS W1DOS-W1服务会自动选择对应的归一化 profile。HTTP 接口、fast backend 加速和常见问题排查见 docs/zh/dm05_inference.md。进阶接入 RoboChallenge 真机评测如果目标是参加 RoboChallenge Table 30 v2 真机评测OpenDM 内置了完整的推理客户端 third_party/robochallenge_inference/直接支持aloha与w1两种机型配置cd third_party/robochallenge_inference python execute.py --config-name generalist/aloha user_id... submission_id... run_id... python execute.py --config-name generalist/w1 user_id... submission_id... run_id...机型级默认参数action horizon、TensorRT engine 等定义在 third_party/robochallenge_inference/configs/default.yamlw1单任务配置见 third_party/robochallenge_inference/configs/generalist/w1.yaml完整流程参考 docs/zh/dm05_robochallenge.md。常见问题清单问题排查要点模型表现与官方差距大核对主视角高度 177.2 cm、夹角 27.5° 是否精确到位腕部视角与训练数据不一致COBOT Magic 需换 D405 并安装定制长支架勿用原厂腕部相机动作输出抖动/偏移检查robot_type是否匹配机型归一化 profile 是否选错state 维度报错双臂 14 维顺序为「左臂 6 关节 左夹爪 右臂 6 关节 右夹爪」勿颠倒总结照抄官方参数即可快速复现VLA 落地真机的门槛很大程度上来自相机架设这一「硬件细节」。OpenDM 给出的答案非常克制COBOT Magic 换 3 处D405 ×2 主视角参数DOS-W1 只调 2 个数值高度 夹角其余全部沿用原厂方案。按 docs/zh/robot_platforms.md 的参数逐项核对再启动三路图像推理服务就能让 DM0.5 在你的真机上跑起来。【免费下载链接】opendmAn Open-World Foundation Model for General-Purpose Embodied Intelligence.项目地址: https://gitcode.com/gh_mirrors/op/opendm创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
阅读完成 · 觉得有帮助?
咨询建站