EasyWAM-Hidden-Wan22鲁棒性测试LIBERO-Plus八维扰动基准表现深度分析EasyWAM-Hidden-Wan22 是基于 Wan2.2-TI2V-5B 视频扩散底座构建的**世界动作模型World Action Model**检查点发布。本文以 LIBERO-Plus 八维扰动鲁棒性基准为核心深度拆解它在各类环境干扰下的真实表现并附上检查点下载与评测的完整操作方法。一、EasyWAM-Hidden-Wan22 是什么一句话理解让机器人先想象再行动。架构核心EasyWAM-Hidden 使用一个独立的 Action DiT单向条件化在 Video DiT 的中间特征上推理时保留未来视频预测将其作为**隐藏视觉条件hidden visual conditioning**来引导动作生成️底座模型Wan2.2-TI2V-5B 文生视频扩散模型本仓库内容详见 README.md文件说明libero_hidden_wan22.ptLIBERO 全参数检查点libero_hidden_wan22_lora_128.ptLIBERO LoRA 检查点rank 128 / alpha 128libero_dataset_stats.jsonLIBERO 数据集归一化统计量state / action 的 min、max、均值、标准差等⚠️新手必读LoRA 检查点不包含完整的 Wan2.2 主干权重加载或评测前需先下载并配置好 backbone 权重路径否则会报错。二、快速认识 LIBERO 与 LIBERO-Plus 两个基准在分析数据前先花 30 秒弄清两个概念LIBERO机器人操作任务的经典基准覆盖 Spatial、Object、Goal、LIBERO-10 四个套件每个任务跑 50 次报告任务成功率%LIBERO-Plus面向鲁棒性的扰动基准对 LIBERO 环境沿八个维度施加系统性干扰官方表格列出其中七个维度扰动维度干扰内容Background更换/干扰场景背景Camera改变相机视角Language改写任务语言指令Layout调整物体摆放布局Light改变光照条件Noise叠加图像噪声Robot改变机器人外观为什么要测鲁棒性在干净环境中各家模型成功率普遍 95%分差不明显一旦换个视角、换个背景模型差距才真正暴露出来——这正是 LIBERO-Plus 的价值所在。三、LIBERO 标准测试98.8% 平均分领跑全参数检查点对比相同 Wan2.2-TI2V-5B 底座 为本仓库发布架构模型SpatialObjectGoalLIBERO-10Avg.EasyWAM-Unified98.498.899.298.098.6EasyWAM-MoT97.099.296.694.096.7EasyWAM-MoT-Joint98.298.097.696.897.7EasyWAM-MoT-IDM99.099.298.897.498.6EasyWAM-Hidden99.2100.097.898.298.8✅ 全参数下 EasyWAM-Hidden 以98.8平均分夺冠Object 套件拿到满分 100.0Spatial 达 99.2说明标准场景下几乎没有短板。LoRARank 128对比模型SpatialObjectGoalLIBERO-10Avg.EasyWAM-Unified91.298.891.866.287.0EasyWAM-MoT96.899.697.490.095.9EasyWAM-Hidden98.099.889.486.693.5 注意一个细节LoRA 版 Hidden 在LIBERO-1086.6和 Goal89.4上明显掉档平均分 93.5 低于 MoT 的 95.9——预算有限时LoRA 路线值得按场景权衡。四、LIBERO-Plus 八维扰动表现深度分析以下是全参数检查点在 LIBERO-Plus 各扰动维度上的成功率%模型BackgroundCameraLanguageLayoutLightNoiseRobotAvg.EasyWAM-Unified72.354.893.783.497.072.079.079.0EasyWAM-MoT64.545.571.480.194.778.571.571.7EasyWAM-MoT-Joint60.947.389.780.592.468.975.973.3EasyWAM-MoT-IDM62.252.094.182.093.267.878.075.3EasyWAM-Hidden59.357.093.284.395.070.883.777.6 总体排名77.6 分仅次于 Unified 的 79.0按平均分排序Unified 79.0 Hidden 77.6 IDM 75.3 Joint 73.3 MoT 71.7。Hidden 与第一名仅差 1.4 分但它的优势集中在特定维度。 Hidden 表现最强的维度结构化扰动维度Hidden对比最佳解读Camera57.0五模型最高次高 IDM 52.0全部模型最难的维度仅 45~57 分Hidden 领先第二名 5 分Layout84.3五模型最高次高 Unified 83.4物体换位后仍能稳定完成任务Robot83.7五模型最高领先 Unified 4.7 分换个机器人外观几乎不受影响Light95.0全场第二Unified 97.0光照维度整体接近饱和差距可忽略这 4 个维度的共同点都属于几何 / 结构层面的变化视角、空间布局、机械臂外观。预测未来视频作为隐藏条件的设计恰好让模型学到了更强的空间结构表征因此抗这类扰动的能力突出。⚠️ 值得留意的短板Background 与 NoiseBackground59.3为五个模型中最低Unified 高达 72.3。不过 Background 是所有 WAM 的共同难点——五个模型全部跌破 80 分属于行业级难题而非 Hidden 独有的缺陷Noise70.8略低于 Unified72.0和 MoT78.5对叠加噪声的敏感度偏高Language93.2与最强 IDM94.1仅差 0.9 分指令改写下的语言鲁棒性保持在第一梯队 一句话解读结果EasyWAM-Hidden 用未来视频预测 隐藏视觉条件换来了结构类扰动下的全场最佳Camera / Layout / Robot代价是在 Background 这类纹理级扰动上没有换来对应优势——背景不变性是当前世界动作模型的共同下一个突破口。五、如何下载检查点并跑通评测第 1 步下载检查点hf download OpenMOSS-Team/EasyWAM-Hidden-Wan22 \ libero_hidden_wan22.pt \ libero_hidden_wan22_lora_128.pt \ libero_dataset_stats.json \ --local-dir ./checkpoints第 2 步安装 EasyWAM 并配置环境先安装 EasyWAM 代码库按官方 backbone 指南准备 Wan2.2-TI2V-5B 依赖再按 LIBERO 评测指南搭建模拟器。第 3 步运行评测默认协议为四个套件、每任务 50 次试验# 全参数检查点 python experiments/libero/run_libero_manager.py \ tasklibero_easywam_hidden_wan22 \ ckpt./checkpoints/libero_hidden_wan22.pt \ EVALUATION.dataset_stats_path./checkpoints/libero_dataset_stats.json # LoRA 检查点注意使用对应的 _lora 任务配方 python experiments/libero/run_libero_manager.py \ tasklibero_easywam_hidden_wan22_lora \ ckpt./checkpoints/libero_hidden_wan22_lora_128.pt \ EVALUATION.dataset_stats_path./checkpoints/libero_dataset_stats.json 多卡机器可追加MULTIRUN.num_gpusgpu-count参数把评测任务分布到多张 GPU 上并行执行。六、选型建议速查表你的场景推荐选择追求综合性能上限全参数 libero_hidden_wan22.ptLIBERO 均分 98.8LIBERO-Plus 均分 77.6训练 / 微调预算有限LoRA rank 128 检查点注意需自备 Wan2.2 backbone 权重重点关注相机视角 / 布局鲁棒性 EasyWAM-Hidden 是五个模型中的最优选重点关注背景变化鲁棒性当前 Unified 的 72.3 领先Hidden 的 59.3 仍有差距七、总结✅标准 LIBERO全参数 EasyWAM-Hidden 以 98.8% 均分登顶Object 套件满分✅LIBERO-Plus 鲁棒性77.6 均分全场第二在 Camera57.0、Layout84.3、Robot83.7三个结构化扰动维度上全面领先⚠️待改进Background 维度59.3是最大失分点Noise 维度也落后于头部对手数据文件所有基准表格来源见 README.md评测所需的归一化统计量在 libero_dataset_stats.json 中其中 state 为 8 维、action 为 7 维均提供了 min/max、分位数与均值/标准差先想象、再行动的隐藏条件机制在结构化扰动下展现了当前最稳的抗干扰能力——如果你需要一台在视角变化、物体换位场景下依然可靠的机器人策略模型EasyWAM-Hidden-Wan22 值得放进你的备选清单。创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
阅读完成 · 觉得有帮助?