★ FEATURED ARTICLE 【免费下载链接】molmoact2Official Repository for MolmoAct2项目地址https://gitcode.com/gh_mirrors/mo/molmoact2点击查看免费下载想验证 MolmoAct2 机器人策略到底好不好用却不想先搭一台真机MolmoAct2 官方仓库内置了sim_eval模块在 ManiSkill 仿真环境中对 MolmoAct2-DROID 和 MolmoAct2-BimanualYAM 微调模型做零样本zero-shot闭环测试——相机画面和关节状态实时喂给推理服务器策略返回的动作直接在虚拟机器人上执行全程无需真实硬件。本教程带你从零跑通这套流程搭环境、下资产、起服务、跑评估、看结果。为什么先做仿真评估MolmoAct2 是 Ai2 开源的动作推理模型家族基于 Molmo2-ER 视觉-语言骨干接上 flow-matching 连续动作专家后可以直接输出机器人关节动作。官方为 DROID Franka 和 Bimanual YAM 两种机器人形态提供了开箱即用的微调模型。但真机部署有几个天然门槛硬件贵一套 YAM 双臂需要两条机械臂、多目 Intel RealSense 相机和支架参考构型如下调试慢相机标定、通信链路、动作尺度任何一个环节出问题都要反复排查不可复现每次失败都可能是偶然因素仿真评估的价值正在于此sim_eval在 ManiSkill 里重建了与真机一致的传感器视角和关节控制接口模型看到什么、输出什么与真机推理服务器完全相同只是执行端换成了物理引擎。成功率高不代表真机一定行但仿真中失败的策略真机上也别指望——所以它是部署前最便宜的一道过滤器。sim_eval 模块结构一览整个模块就 4 个部分逻辑非常清晰目录 / 文件作用sim_eval/run_eval.py评估入口解析命令行参数、驱动闭环循环sim_eval/inference/client.pyDroidClient / YAMClient负责与推理服务器/act接口通信sim_eval/inference/common.py相机字段、状态维度、关节状态/动作的适配转换sim_eval/robots/Franka DROID 与 Bimanual YAM 的 ManiSkill 机器人定义sim_eval/tasks/内置的 Put-Everything-In-Box 任务环境sim_eval/scripts/download_assets.py一键下载机器人 URDF / MJCF 网格资产第一步准备环境并下载机器人资产仿真资产Franka 的 URDF 网格、YAM 的 MJCF 文件不随仓库提交需要先克隆仓库并初始化依赖git clone https://gitcode.com/gh_mirrors/mo/molmoact2 cd molmoact2 uv sync # 安装 Python 依赖 uv run python sim_eval/scripts/download_assets.py资产会下载到 sim_eval/assets/ 目录下如果之前下载过想重新拉取加一个--force参数即可。第二步启动 MolmoAct2 推理服务器sim_eval采用远程策略模式仿真这边只管发画面和状态推理在另一台 GPU 上完成。官方提供了两个 FastAPI 服务器均暴露统一的/act接口服务器对应模型默认端口相机数状态维度examples/droid/host_server_droid.pyMolmoAct2-DROID80002external wrist8examples/yam/host_server_yam.pyMolmoAct2-BimanualYAM82023top left right14以 YAM 为例模型约 22 GB先下载缓存再启动uv run hf download allenai/MolmoAct2-BimanualYAM uv run python examples/yam/host_server_yam.py --host 0.0.0.0 --port 8202 --dtype bfloat16DROID 端同理把脚本换成 examples/droid/host_server_droid.py、模型换成allenai/MolmoAct2-DROID、端口改为 8000 即可。建议先用curl http://服务器地址:8202/act做一次健康检查返回{status:ok,...}说明服务就绪。 小建议优先用bfloat16精度显存占用远低于 float32而两者在评估场景下效果差别很小。第三步运行 ManiSkill 零样本评估服务就绪后一条命令即可开始闭环评估# Bimanual YAM 任务 uv run python -m sim_eval.run_eval \ --policy-type remote-yam \ --remote-url http://host:8202/act \ -e BimanualYAMPutEverythingInBox-v1 # DROID 任务 uv run python -m sim_eval.run_eval \ --policy-type remote-droid \ --remote-url http://host:8000/act \ -e DroidPutEverythingInBox-v1运行后会发生什么评估器会逐集episode执行如下循环从 ManiSkill 环境取出当前相机帧和关节状态sim_eval/inference/common.py 中的 adapter 会自动把仿真状态维度转换为服务器期望的格式连同语言指令put everything into the box一起发给推理服务器拿到动作序列后逐步执行直到任务成功、失败或到达步数上限常用参数速查参数默认值说明-p/--policy-typeremote-yam选择remote-droid或remote-yam--remote-url—/act接口完整地址必填-e—一个或多个 ManiSkill 环境 ID-n10每个任务评估多少集--max-episode-steps800单集最大步数--language-instruction按任务默认覆盖语言指令文本--save-videoTrue是否保存回滚视频读懂评估结果results.json 与回滚视频每次运行的产物都写在sim_eval/outputs/时间戳/下results.json核心指标一目了然包括每个任务的success_rate成功率、avg_reward、avg_steps平均完成步数以及逐集的success明细videos/ 目录每集第三人称回滚视频mp4失败时直接看视频找原因比看日志高效得多frames/ 目录每个相机在初始时刻的输入帧方便核对模型当时看到的画面看结果时的两个实用技巧成功率是多次运行的均值单集失败很正常建议-n调大比如 20 集再下结论视频里重点看夹爪接触物体瞬间的动作是否自然这往往直接对应真机表现内置任务与扩展新任务目前内置两个把东西全放进盒子任务环境 ID机器人任务内容DroidPutEverythingInBox-v1Franka FR3 Robotiq 夹爪抓取乐高积木 网球 → 放入开盖纸盒BimanualYAMPutEverythingInBox-v1Bimanual YAM双臂协作完成同样的收纳任务任务实现分别在 sim_eval/tasks/droid_tasks/droid_put_everything_in_box.py 和 sim_eval/tasks/yam_tasks/bimanual_put_everything_in_box.py成功判定是所有物体中心点落入盒内且低于盒沿。想加自己的任务三步走在sim_eval/tasks/形态_tasks/下新建文件继承BaseEnv并用register_env注册环境在父目录__init__.py中加一行 import让任务被自动发现在 sim_eval/run_eval.py 的DEFAULT_LANGUAGE_INSTRUCTIONS里登记默认语言指令机器人形态本身也支持扩展新形态只需在 sim_eval/inference/client.py 中继承_MolmoActHTTPClient声明 schema、状态适配器和动作适配器三个类属性即可通信与动作缓冲逻辑全部复用。常见问题Q仿真成功率很高真机上就一定行吗A不保证。仿真没有感知噪声、通信延迟和动力学偏差真机还受相机标定与动作尺度影响。官方提示仿真回滚、动作限幅是部署前的安全校验手段真机操作务必保留急停和人工监督。Q评估时服务器响应慢怎么办A给服务器加--cuda-graph参数动作专家调用可提速约 2 倍额外占用约 2 GB 显存。Q可以一次评估多个任务吗A可以。-e参数支持传多个环境 ID评估器会依次跑完并输出跨任务的整体mean_success_rate。小结MolmoAct2 的sim_eval模块让验证机器人策略这件事的成本大幅下降一次资产下载、一个推理服务器、一行评估命令你就能在 ManiSkill 里拿到成功率、回滚视频和逐集明细。跑通零样本基线之后无论是筛选微调起点、做消融实验还是排查策略失败原因都有了可靠的仿真闭环基础。赞分享【免费下载链接】molmoact2Official Repository for MolmoAct2项目地址https://gitcode.com/gh_mirrors/mo/molmoact2点击查看免费下载相关推荐Wechaty 微信机器人框架新升级5 大变化告别频繁掉线与登录崩溃Wechaty 微信机器人框架新升级5 大变化告别频繁掉线与登录崩溃 副标题从 Puppet Service 协议网关到 talker 新 API手把手搭后端即时通讯ManiSkill机器人仿真平台从零构建高性能机器人学习环境ManiSkill机器人仿真平台从零构建高性能机器人学习环境 ManiSkill是一个功能强大的开源机器人仿真平台为研究人员和开发者提供了构建、测试和验证机机器人强化学习具身智能【免费下载】 ManiSkill 机器人仿真环境快速入门指南ManiSkill 机器人仿真环境快速入门指南 ManiSkill 是一个基于 SAPIEN 构建的机器人仿真环境为机器人操作任务提供了高效的仿真平台。本文将机器人强化学习具身智能上一篇pandoc --citeproc 实战用 Chicago 全注释样式full note渲染脚注引用与参考文献下一篇Posting在终端里打造现代 API 客户端的完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
