)
★ FEATURED ARTICLE 前言SuperMimic的核心它不是直接微分 MuJoCo而是从仿真器日志学习一个确定性的可微代理模型训练在同一循环中交替完成“采集数据—拟合世界模型—通过想象轨迹改进策略”重点来了原论文公式、概念很多咋一看 不好懂为方便大家更好的理解我先尽可能用通俗易懂的话 解释下之后再看下文 便会顺畅很多简言之SuperMimic从物理仿真器记录的数据中学出一个可微的世界模型再让策略在这个“想象世界”里练习计算策略参数的更新方向具体而言当前策略控制机器人在 MuJoCo 中行动把仿真器产生的交互数据存入 Replay BufferSuperMimic 用这些数据训练世界模型使其学会预测 “执行这个动作后状态会如何变化、能获得多少奖励”接着暂时冻结世界模型让当前策略在其中向前想象 32 步由于世界模型可微系统可以沿着这 32 步想象轨迹反向传播梯度计算各步动作如何影响回报并据此更新策略参数这个沿时间反向求梯度的过程就是BPTT改进后的策略继续在 MuJoCo 中行动把新的交互数据存入 Replay BufferSuperMimic 再从缓冲区采样数据继续训练世界模型然后进入下一个循环总之当前策略在 MuJoCo 中行动 → 交互数据写入 Replay Buffer → 用缓冲区数据继续训练世界模型 →暂时冻结世界模型在其中想象 32 步并用 BPTT 计算策略梯度、更新策略→ 改进后的策略再回到 MuJoCo 采集数据所以仿真器负责提供真实交互数据世界模型负责提供高效、可求导的练习场世界模型与策略在同一个训练循环中交替更新、持续改进不必让所有策略试错都发生在昂贵的物理仿真中第一部分 SuperMimic: Scaling Humanoid Whole-Body Controlwith One Differentiable World Model1.1 引言与相关工作1.1.1 引言人形机器人有望在为人类设计的环境中运行但要实现这一点就需要能够覆盖多样化人体运动的全身控制器这些运动包括行走、舞蹈、下蹲以及平衡恢复等基于物理的运动模仿通过训练强化学习策略来追踪从大规模动作捕捉mocap数据集中提取的参考运动片段[1]从而解决这一问题[2]现有系统通过两种方式来扩展这一思路要么将众多针对单个片段的专家策略蒸馏为一个控制器[3]要么在一个大型动作库之上训练一个通用策略 [1]在这两种情况下更加多样化的动作库都会带来更强大的控制器。然而随着动作覆盖面的扩大这两种方法的计算代价也都会显著增加例如最先进的跟踪器SONIC[1] 的训练时间约为在 128 块 GPU 上运行 168 小时总计约 21,000 个 GPU 小时。尽管参考动作本身不同但它们共享相同的人形混合刚体动力学。无模型强化学习并未显式建模这一共享结构而是反复通过含噪的模拟器 rollout 来估计动作后果。因此扩展到更多动作在本质上就等同于扩展计算量对此来自UC Berkeley的研究者Qiayuan Liao Yiyang Shao∗ Junfeng Long∗ Kevin Zakka Roberto Horowitz Pieter Abbeel† Koushil Sreenath†提出了SuperMimic其paper地址为SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model其项目地址为supermimic.github.io其github地址为目前暂未开源但github上已有不少复现毕竟现在AI编程太过强大了具体而言SuperMimic 通过一个从已记录的模拟器状态转移中学习得到的、可微分的单一世界模型来解决这一低效问题对短暂的想象 rollout 执行时间反向传播Backpropagation-through-time,BPTT即可通过该学习模型获得解析形式的策略梯度从而使一个动力学模型得以在整个动作捕捉mocap库上摊销学习成本由于这些梯度来源于学习得到的模型而非对模拟器本身求导SuperMimic 依然能够兼容刚体模拟器包括那些具有非光滑接触以及非可微实现的模拟器在单块 GPU 上SuperMimic 只用 3 小时就超过了 SONIC 已发布 checkpoint 的归一化回报并将 GPU 计算小时数减少了超过 1000 倍§4.1在一个包含 129,514 个动作的基准测试中SuperMimic 在单块 GPU 上运行 3 小时时有 25 个动作失败而在两块 GPU 上运行9.8 小时后则全部成功相比之下SONIC 已发布的 checkpoint 有 179 个动作失败附录F————在数据集长度增加 264 倍的情况下世界模型的预测误差保持稳定而 SuperMimic 达到固定回报所需的计算量仅缓慢增长。学习得到的策略能够迁移到真实的 Unitree G1 机器人上。在对下游接口的初步研究中用强化学习训练得到的速度编码器优于蒸馏基线方法1.1.2 相关工作第一对于大规模基于物理的运动跟踪基于物理的运动模仿通过在富含接触的刚体动力学环境下学习控制器使其能够复现参考动作DeepMimic [2] 通过无模型强化学习展示了具有高度表现力的人物技能PHC [11] 则将这一范式扩展到大规模动作集并具备鲁棒的恢复能力SONIC [1] 进一步表明在扩大量化的动作数据、策略容量以及训练算力后可以得到能够迁移到仿人硬件的一般型控制器上面 这些结果确立了运动跟踪作为实现广泛全身行为覆盖的一条切实可行的路径。然而训练这些大规模运动跟踪器需要大量的模拟器 rollout 和巨大的计算开销而SuperMimic通过学习一个在所有动作间共享的可微分动力学模型来缓解这一瓶颈使得策略改进可以利用解析梯度而不是依赖无模型的 rollout 估计第二对于用于运动控制的可学习可微分动力学SuperTrack [12] 通过一个可学习的、可微分的模拟器替代模型来优化运动控制策略ControlVAE [6] 联合学习动力学模型、潜在技能表示以及生成式控制器而 MoConVQ [13] 则将基于可学习模型的训练扩展到离散运动表示并在数十小时的数据上进行训练SuperDyno [14] 将可微分神经动力学扩展到数万段运动片段的规模这些方法共同证明了在可扩展的虚拟角色控制中引入可学习动力学与解析策略梯度的有效性SuperMimic 在这一方向上进一步推进实现了在单块 GPU 上对大规模仿人追踪器的训练以及其从仿真到真实的部署其世界模型以模拟器上下文为条件而部署时的 actor 则使用带噪的本体感知观测和目标输入§3.2。作者评估了模型精度、rollout 吞吐量以及可微分策略更新如何影响训练效率以及在运动覆盖范围不断扩大的过程中预测误差的变化行为§4.1–4.2并展示了最终控制器的物理部署效果§4.4第三对于基于模型的策略优化与机器人部署Dreamer [15] 和 DreamerV3 [16] 通过学习潜在动力学用于基于想象imagination-based的演员–评论家actor–critic学习而 TD-MPC[17] 将短视距规划与终端价值预测相结合DayDreamer [18] 展示了在真实物理机器人上直接进行世界模型学习SHAC [19] 利用可微分仿真进行短视距的演员–评论家更新这为SuperMimic 的由评论家自举critic-bootstrapped目标提供了动机解析梯度analytic-gradient机器人控制同样可以将简化的可微分代理模型与高保真前向仿真器结合使用正如在四足机器人行走控制中的应用所示 [20]SuperMimic 从仿真器的状态转移中学习其代理模型并通过短期的想象 rollout 进行反向传播同时保持与标准刚体仿真器的兼容性当然作者也在论文最后有提到该工作仅基于仿真器的动力学。世界模型只从仿真器的状态转移中学习。真实机器人数据可以用来对其进行细化而其可微分性则可以用于系统辨识RWM [21] 和 RWM-U [22] 证明了在学习得到的神经模拟器中训练的策略可以迁移到真实机器人上。二者都在想象的 rollout 上使用 PPO 来优化策略RWM-U 还额外采用带有不确定性惩罚的离线优化相比之下SuperMimic 则通过对其学习到的动力学进行回报的可微分优化来训练策略。RWM 和 RWM-U 在来自其他策略的轨迹上预训练世界模型。而 SuperMimic 则相反它在训练过程中用自身策略收集到的数据来拟合世界模型第四对于可复用的运动表示与下游控制可复用控制器将运动跟踪连接到下游目标接口表1NPMP [5] 和 PhysicsVAE [7] 从专家行为中学习潜在的运动表征PULSE [8] 和LATENT [10] 则使用已学习的运动表征来进行下游强化学习MaskedMimic [9] 通过运动补全支持部分身体和多模态目标而BeyondMimic[3] 则使用引导式扩散来实现目标SONIC[1] 通过跟踪奖励和潜在对齐损失将目标编码器与其跟踪器进行联合训练。ControlVAE [6] 在冻结技能控制器的情况下通过其学习到的模型来优化下游任务策略SuperMimic 在同一个动力学模型下附录 B联合训练目标特定的编码器和共享解码器。目标接口既可以优化参考跟踪奖励也可以优化其自身的任务奖励作者认为他们的初步研究同时训练一个速度接口和一个动作跟踪接口并分别基于每个目标函数进行训练§4.51.2 SuperMimic的完整方法论1.2.1 SuperMimic 训练循环SuperMimic 在一个多技能动作库上训练单一的、基于目标条件的全身控制器并支持多种目标接口。它在一个可微分的世界模型中刻画共享的人形动力学并通过短暂的虚拟回放imagined rollouts来提升策略。训练过程在一个循环中交替进行三个阶段图2首先当前策略从仿真器中收集状态转移数据并存入重放缓冲区First, the current policy collects simulator transitions into a replay buffer其次作者将可微分世界模型拟合到来自重放缓冲区的短时间窗口数据上Second, we fit thedifferentiable world modelto short replay windows.第三在冻结的世界模型中通过反向传播虚拟回报来改进策略每一次回放都以重放缓冲区中的某个状态为初始状态类似于Dyna 方法 [23,24]Third, the policy is improved bybackpropagating an imagined returnthrough the frozen world model, with each rollout seeded from a replay-buffer state in the Dyna style [23, 24].在整个训练过程中缓冲区、模型和策略都会被持续更新因此动力学学习与控制能力是同步提升的而不是分成相互独立的阶段算法A.1附录D。来自早期策略的状态转移在拟合世界模型时仍然有效因为动力学与收集这些数据的策略无关作者将目标条件部分可观测马尔可夫决策过程POMDP记为并使用紧凑记号表示状态、目标和动作状态给出本体感觉观测和终止信号当为终止状态时其取值为1在状态下的动作会产生回报和下一状态策略是确定性的并且参数化了一个归一化的关节设定点对于运动跟踪是从参考运动中读取的————在数据收集期间模拟器执行带噪动作其中动作噪声并且重放缓冲区存储该已执行的带噪动作噪声拓宽了用于拟合世界模型的动作范围它只服务于模型拟合是可选的回报使用软生存权重且从而得到其中折扣因子模拟器记录硬终止而学习到的模型预测终止概率这使得在想象rollout 中的生存权重保持可微。全篇中带帽符号表示模拟器量在世界模型中的对应量作者还将观测分解为其中是无噪声观测已知观测噪声在世界模型之外进行采样。附录A 给出了完整的空间和回报默认的接口是全参考full-reference运动跟踪。其他目标接口例如速度与运动跟踪共享相同的已学习动力学模型并与运动跟踪联合训练见附录 B1.2.2 学习一个可微分的世界模型模拟器的关节多刚体动力学是已知的但模拟器本身不需要提供梯度因此SuperMimic 学习一个可微的代理模型来获得策略梯度它为第 §3.3 节中的 BPTT 更新提供预测值和雅可比矩阵由此得到的解析策略梯度是仿真中期望回报代理函数的梯度由于模拟器中的随机性来源是已知的世界模型保持为确定性的它以每个回合的仿真上下文摩擦系数、标定偏移以及躯干质心为条件并预测无噪声观测世界模型由一个已学习的动力学模型以及奖励、观测和终止termination头部组成每个头部要么通过学习获得要么通过解析方式计算如下图所示作者在以k 步自回归回放窗口(k 8) 上拟合网络权重这些窗口以已记录状态为初始并在已记录动作上向前滚动通过最小化其中解析头没有损失项。这里是模拟器回报是模拟器终止标签BCE 是二元交叉熵1.2.3 通过世界模型学习策略在每次策略更新期间作者保持世界模型的权重不变并在长度为H 32 步的想象轨迹上优化和。评论器估计超过第H 步之后的回报因此模型只需要在这H 步之内是准确的。这个想象地平线超过了作者用于拟合模型的k 步重放窗口§3.2。在实践中学习到的模型在无限长的滚动预测中仍然保持稳定因为k 步自回归拟合会训练模型去纠正其自身的预测误差每个想象的rollout 从重放缓冲区状态开始并带有其记录的仿真上下文在步骤模型生成作者重新加入传感器噪声然后策略执行动作在想象的rollout 上的策略目标为对于动作追踪奖励是BeyondMimic 动作追踪奖励[3]去除了其自碰撞惩罚附录A世界模型是可微的因此BPTT 通过世界模型关于和的Jacobian在H 个想象步长上计算一阶梯度————相比之下PPO 将动力学视为一个黑箱它使用采样动作的优势对随机策略的得分进行加权这是一个似然比估计BPTT 则是对每个动作的回报进行求导因此在短期范围内其梯度方差要小得多评论器critic拟合为仅基于想象轨迹、沿时间反向计算得到的广义优势估计generalizedadvantage estimation回报[25]其中递归从开始即评论家对超出时间范围回报的估计。目标在每次rollout 中只计算一次并在拟合期间保持不变策略和评论者的更新共同构成了一个短视野的actor-critic 框架具有SHAC [19] 的风格它通过可微分模拟器进行反向传播。SuperMimic 用生存权重替代了SHAC 中对episode的硬终止并且它的评论者没有指数移动平均目标网络先前使用解析梯度训练的运动跟踪控制器通常省略评论者只优化H 步的奖励和[12,6]。在没有评论者的情况下训练可以达到类似的名义跟踪回报但这种未引导unbootstrapped的目标更加短视。评论者在受到扰动之后就变得很重要此时恢复或平衡奖励可能位于超出想象窗口的范围内§4.31.3 实验结果作者声称他们表明与 PPO 训练流水线相比SuperMimic 在扩展性方面具有更优的表现识别出支撑这种扩展性的世界模型特性在真实的 Unitree G1 机器人上展示了迁移效果并报告了一项关于下游目标接口的初步研究所使用的仿真器为 MuJoCo Warp它是 MuJoCo[26] 的 GPU 实现且作者报告的所有成本均是在 Lambda 按需实例上的 NVIDIAH10080GB SXM5GPU 上测得的此外作者声称他们在多个随机种子下进行了训练发现训练过程非常稳定作者将其归因于运动跟踪在每一步都提供的稠密奖励因此图表中不再单独展示不同种子之间的差异归一化回报简称回报被定义为在完整的一个 episode 中每一步奖励的非折扣和再除以该和可能达到的最大值因此一个过早终止的策略会得到较低的分数1.3.1 SuperMimic 以远少于 SONIC 的 GPU 训练时长实现 SONIC 级别的跟踪效果作者将 SuperMimic 与 SONIC 进行对比。SONIC 是一个已发表的、在 128-GPU 集群上训练的PPO 流水线。两种方法都建立在BeyondMimic的动作跟踪建模方式之上 [3]因此 SONIC 是目前可获得的最接近的已发表比较对象但仅使用 1 张 GPU 训练 3 小时内SuperMimic 即超过了公开的 SONIC checkpoint 的归一化回报见图 3(a)在包含 129,514 段动作的共享基准上SuperMimic 失败的动作数量也少于 SONIC在单卡训练 3 小时后仅有 25 段失败在两卡训练 9.8小时后失败数为 0而 SONIC 公开的 checkpoint 失败数为 179见附录 F且作者对“3 小时”的说法持保守态度从该时间点起此后每一个 SuperMimic 的 checkpoint 在回报和失败动作数这两个指标上至少领先 SONIC 达到“SONIC 与 SuperMimic 最佳结果之间差距的一半”。因此相比SONICSuperMimic 在墙上时间上节省了超过 50 倍在 GPU 小时数上则节省了超过 1000 倍对于计算核算该比值将 SONIC 报告的在 7 天内使用 128 块 NVIDIA L40 GPU约 21,000 GPU-小时的开销与在一块 NVIDIA H100 上运行 3 小时、且在此时间内 SuperMimic 超过 SONIC 已发布检查点checkpoint回报的结果进行比较二者在实际墙钟时间上相差约 56×50×在 GPU-小时上相差约 7200×1000×。这 3 小时覆盖了完整的训练循环训练结束后的检查点评估不计入其中SuperMimic 在 BONES-SEED [27]SONIC 数据的公开子集中共 264.56小时的运动数据上进行训练约为 SONIC 的 611 小时数据量的 2.3× 较少两者使用的 GPU 型号也不同在峰值吞吐量上一块 H100 仅提供 L40 的 0.74× fp32 性能但在张量核心性能上则是 L40 的 5.5×两种运行各自利用到多少峰值性能尚不得而知。尽管如此数据规模上 2.3× 的差异以及至多 5.5× 的峰值 GPU 吞吐量差异都远不足以解释 GPU-小时上 1000× 的巨大差距图4(a) 在 LAFAN1 数据集 [28] 上给出了一个受控对比实验基线方法 PPO-Sim 是在模拟器中训练的 PPOPPO-Sim 与 SuperMimic 在动作数据、观测空间、奖励函数、终止条件、领域随机化、Actor 和 Critic 网络规模以及评估协议上完全一致它使用 BeyondMimic 的 PPO 超参数设置 [3]并在每块 GPU 上运行 8192 个并行环境是 SuperMimic 的两倍PPO-Sim 从采样得到的模拟器 rollout 中估计其策略梯度SuperMimic 则通过世界模型的 rollout对其“想象”回报进行反向传播SuperMimic 在一块 GPU 上用时 1.2 小时即可在评估中达到 0.82 的回报。在18 小时的训练预算内PPO-Sim始终达不到这一水平。其最终回报在一块 GPU 上为 0.60在四块 GPU 上为 0.70在八块 GPU 上为 0.72因此从四块增加到八块 GPU 几乎没有带来提升图3(b, c)显示对于 SuperMimic随着数据集长度增加为达到目标回报所需的 GPU 小时数增长缓慢而在同一组实验设置下世界模型的预测误差保持稳定第4.2节将这两种趋势都归因于使用同一个世界模型对不同动作之间共享的动力学进行摊销建模1.3.2 学习得到的世界模型的性质这些结果依赖于学习得到的世界模型 fω 的三个性质随着运动库的扩展其精度能够保持并且其展开rollout过程既快速又可微首先一个模型对运动库进行摊销在图 3(c) 中随着数据集从 1 小时扩展到 264 小时世界模型的 8 步预测误差始终保持在 0.007 到 0.011 之间每一个动作都由同一个人形机器人执行因此新增的片段为这一共享的身体与接触动力学提供了更多证据而不是对模型容量提出新的需求。这与达到目标回报所需算力增长缓慢的现象相一致§4.1其次利用“想象”可以加速 rollout在策略优化过程中rollout 的执行速度决定了每次更新的计算成本图 5(a) 显示在实际使用的 batch 大小时世界模型的运行速度比 MuJoCo Warp 快超过 10倍并且在 64k 个并行环境下最高可快至 62 倍最后一阶梯度只需要更少的想象步数作为一种机制消融实验图5(b) 单独考察了一阶策略更新带来的收益SuperMimic 以大约少 64× 的想象步数就能达到 PPO-WM 的最优回报因此收益不仅仅来自回合rollout速度1.3.3 引入评论器critic以支持更短的时间视野和推搡恢复能力图4(b, c) 对比扫过带有和不带有评论器的H在没有评论器的情况下训练在H ≤16 时失败加入评论器后H 16 的表现与无评论器时H 32 相当而H 32 最快达到0.82 的回报将H 从64 提高到128 几乎使达到该回报的时间增加了三倍并且降低了最终回报H 128 是能在H100 上容纳的最长时间跨度。在相同回报下评论器仍然会改变行为在仿真中在0.5-4 m/s 的速度推搡下保持静态T 形姿势时带评论器的策略会在0.5-2.4 s 内稳定下来无评论器的策略则永远不会稳定即使在0.5m/s 下也会持续跌跌撞撞并且在4 m/s 时会跌倒1.3.4 真实机器人迁移一个通用运动跟踪器在真实的 Unitree G1 机器人上部署无需针对每个动作进行单独调参Figure 6这四个动作涵盖了行走运动蹦跳式跳跃、带有躯干与四肢与地面充分接触的全身接触型运动侧滚以及体操动作90◦翻转和原地360◦翻转1.3.5 下游任务RL 编码器 vs. 蒸馏基线SuperMimic 将下游目标编码器与运动跟踪接口进行联合训练共享同一个解码器和世界模型附录 B作者对下游接口的研究仍然是初步的作者声称作者通过世界模型在一个速度跟踪回报上训练一个速度编码器作者将其与蒸馏基线进行比较该基线是一个在运动跟踪回报上训练的速度编码器其指令从参考动作中读取图 7 在覆盖速度空间的 672 个步进响应上对两者进行评估附录 G在其中的 650 个响应上RL 编码器具有更低的稳态误差而在 15 个响应上则是蒸馏编码器更优只有蒸馏编码器会发生跌倒而且仅出现在七个几乎没有动作库数据的高速转弯情形中// 待更第二部分 MorphMimic基于形态条件的世界模型以及不同本体之间的策略共享1.1 引言与相关工作1.1.1 引言全身运动追踪将人类参考运动转换为人形机器人行为并支持基于追踪策略构建的遥操作和指令接口[1], [2]。目前可用的人形机器人平台数量不断增加且许多平台在尺寸和运动学布局上相似但全身追踪器通常是针对单一机器人进行训练的 [1], [2]因此更换具身实体时需要重新训练或进行适配[3]。如果控制器能够将具体具身形式作为输入那么新的人形机器人就可以复用为其他机器人开发的运动库、训练流程以及指令接口。这样在某一台机器人上收集的经验便可以惠及其他机器人在不同仿人机器人之间共享同一个控制器是很困难的因为即便具有相似的运动学结构其物理特性也可能不同。关节轴方向、符号约定、中立姿态、肢体长度、比例—微分PD增益以及力矩上限都存在差异因此同样的控制动作在不同机体上会产生不同的运动当策略是通过世界模型来学习时这一问题会更加棘手SuperMimic [2] 通过对学习得到的动力学模型进行短时间滚动预测并对其反向传播来训练一个跟踪器。因此预测误差不仅会影响到想象轨迹还会影响到策略梯度而共享的模型必须对每个机器人都具有足够好的预测精度以保证该梯度仍然有用此前的跨具身方法会在策略上进行条件化使其依赖于硬件描述 [4]通过具备形态感知的编码或语义关节对齐来共享运动策略 [5]–[7]在不同机器人本体之间通过形态对世界模型进行条件化 [8]、[9]或通过包含机器人特定模块的方式迁移并联合训练类人跟踪器 [3]、[10]作者在这一设定下通过在所有类人机器人之间共享一个可微分的世界模型和一个完整的跟踪策略来加以解决MorphMimic 将具身形态视作同一个世界模型与同一个策略的输入见图 1其paper地址为MorphMimic: Morphology-Conditioned World Model and Policy Sharing Across Humanoids其项目地址为lzyang2000.github.io/morphmimic其GitHub地址为github.com/lzyang2000/morphmimic具体而言其首先通过一个规范化布局将各机器人关节按照运动学功能进行映射并为每个关节设置特定的符号与偏移量从而统一到一个通用的关节顺序和一组被跟踪的刚体上。描述执行机构、几何结构与质量分布的物理描述符用来对世界模型、评价器critics以及策略解码器进行条件化网络权重在各机器人之间共享而归一化统计量、参考动作以及重放数据则保持为机器人特定的这样一旦有新的 humanoid 符合该布局就可以通过一个关节映射、一个物理描述符以及重定向后的动作将其加入系统一个对齐损失会将对应的重定向帧在不同机器人之间的潜在指令拉向它们的跨机器人均值。一个针对骨盆、脚踝和手腕的五点编码器学习重现其所属机器人的完整动作潜在表示并通过共享的解码器来驱动每一个机器人。其他接口也可以针对同一潜在空间进行控制两种接口都使用基于位置无关目标position-freetargets的方式并从关节编码器和惯性测量单元IMU获取反馈。作者在三套训练库共有的 128,786段动作片段上评估了四种共享配置。在全部六种“机器人–接口”组合上每一种共享配置的平均回报与单机器人专家策略的差距都在 0.02 以内作者声称统一训练的一次运行消耗了 16.3 个 GPU 小时而三个专家策略合计为 13.9个 GPU 小时得到的策略能够在真实的 G1 机器人上完成舞蹈、行走以及实时遥操作图 51.1.2 相关工作首先对于跨载体控制策略在不同机器人本体之间共享控制策略由来已久。Chen 等人[4] 提出将通用策略条件化在一个对机器人硬件进行编码的向量上。Shared Modular Policies [11] 在不同本体之间复用执行器级控制器并通过消息传递来协调各个模块MetaMorph [12] 在模块化机器人设计中训练形态条件 Transformer并将其迁移到未见过的形态上在动态足式运动方面GenLoco [13] 将动作模仿与程序生成的四足机器人形态相结合并通过利用传感器和动作历史来推断机体实现向未见过的仿真和真实机器人上的迁移URMA [5] 通过基于注意力的观测编码和按关节条件化的动作解码在具有不同关节配置的具体形体之间共享同一个运动策略Bohlinger 等人 [6]在 50 种足式机器人上采用极端的“具体形体随机化”Embodiment Randomization扩展了这一思路其中包括对未见过的人形机器人和四足机器人的零样本迁移XHugWBC [7] 将语义关节对齐与符合物理的一致形态随机化相结合以实现跨人形机器人的运动控制MS-PPO [14] 在图策略中编码了由单个机器人形态对称性所引起的排列与符号翻转并在Unitree Go2 和 G1 上的运动任务中使用对称等变的 actor 与对称不变的 critic作者将显式的形态条件应用于具有固定语义关节布局的全身追踪并使用在几何与执行机构驱动/致动上条件化的解码器。同一套物理描述符也对学习到的动力学进行条件化其次对于跨形体的全身跟踪跨不同机器人本体实现全身跟踪同样需要一种能够在机器人之间关联运动的指令表示Any2Any [3] 通过运动学对齐以及对对动力学敏感的策略模块进行参数高效的自适应将一个预训练的人形机器人追踪器迁移到新的机体上X-WBC [10] 通过联合训练一个共享的时序骨干网络与各机器人特定的指令编码器、本体感觉编码器和动作解码器。它对来自机器人、人类以及稀疏运动输入的指令 token进行对齐将所请求的运动与特定机器人的执行过程区分开来在 MorphMimic 中目标编码器和动作解码器在不同机器人之间是共享的相应的重定向帧用于监督运动潜变量的对齐而五点编码器学习重建每个机器人的完整运动潜变量从而使得稀疏目标也能使用共享的解码器最后对于用于策略学习的世界模型世界模型提供了另一种在不同实体躯体之间共享信息的方式PWM [15] 通过可微的多任务世界模型来学习策略MS-HGNN [16] 将运动学结构和形态对称性融入到用于机器人动力学的异质图网络中QWM [8] 基于物理形态对递归潜在世界模型进行条件化通过想象展开来学习四足运动策略并报告在留出的四足形态上实现零样本迁移WestWorld [9] 使用具备系统感知的专家混合模型和基于形态的结构嵌入在多种多样的机器人系统上扩展轨迹世界模型SuperMimic[2] 将可微的世界模型学习应用于人形机器人的全身跟踪并支持附加的指令编码器MorphMimic将这一设定从单一躯体扩展到多个类人机器人通过共享状态空间动力学模型和跟踪策略并结合统一表示、形态条件化以及指令对齐来实现在这两种指令接口中均使用基于形态条件的动作解码器1.2 MorphMimic的完整方法论MorphMimic 遵循 SuperMimic 的交替循环流程模拟器数据收集、世界模型拟合以及通过想象 rollout 进行的策略更新 [2第 3.1–3.3 节]。图 2 展示了在不同机器人之间共享的这一循环与具体机器人相关的细节与常数给出了在附录 B 中1.2.0 问题表述令表示具身为其状态为作用于个身体关节的规范动作。模拟器的转移为控制时间间隔为参考运动提供目标状态以及由长度为的目标帧窗口构造的目标gbt策略则使用最近K 个本体感觉观测构成的历史。在折扣因子下作者希望寻找共享的策略参数以最大化等权重的跟踪目标其中是episode 长度而将动作到达的状态与目标进行对比评价作者使用SuperMimic 的运动跟踪奖励和权重[2, Appendix A,Table A.2]并在第III-B 节的个规范身体槽位上对其进行评估其中躯干等效身体作为跟踪锚点并用表示每步的最大回报当锚点高度误差超过或倾斜误差超过时一个回合终止其中倾斜误差是机器人和参考锚点坐标系中竖直重力分量之间的绝对差到达参考末端被视为超时且三种机器人共享这些容差。附录B 总结了仿真身体的设置1.2.1 常用机器人表示方法第一对于规范关节和驱动器目标作者根据运动学功能对关节进行映射。对于规范槽位令为对应的原生关节索引为其符号为其角偏移。一个原生关节位置变为——定义为公式2速度和其他关节差分使用不带偏移量的排列和符号。该映射在机器人之间的命名、符号以及中立姿态约定上对齐关节槽位。学习到的网络处理剩余的运动学差异。给定力矩上限、比例增益以及动作尺度动作是相对于机器人默认姿态的缩放位移其原生位置目标为——定义为公式3由于一个单位动作在固定关节状态下将比例力矩改变为努力上限的一部分即。式(3) 中的位移是从原生默认姿态测量的因此式(2) 中的偏移量只影响绝对关节构型第二对于追踪刚体和状态个刚体槽包含一个骨盆等效刚体、每条腿上的三个刚体、一个躯干等效刚体以及每条手臂上的三个刚体。骨盆和躯干占据槽0 和7在每个机器人的IMU 刚体上测量重力和角速度。世界坐标系下的状态包含关节位置和速度以及被追踪刚体的位置、四元数姿态、线速度和角速度令表示骨盆等效刚体的世界坐标系位置令为原点为且具有骨盆等效刚体完整姿态的坐标系变换将刚体位置表示为相对于该原点并将位置、姿态和速度旋转到中同时保持规范关节坐标不变每个姿态由其旋转矩阵的前两列表示一个独立的上下文包含足部摩擦系数、关节编码器偏置以及质心偏移量第三对于观测与与位置无关的目标该策略使用SuperMimic 的本体观测参见[2附录A表A.1]在长度为 K 帧的历史窗口上进行关节位置是相对于默认姿态测量的并包含编码器偏置关节速度则以规范坐标表示角速度和投影重力在IMU-机体坐标系中表示再加上上一时刻的规范动作共同构成完整的观测。该历史序列通过一个与机器人相关的变换进行归一化全运动目标连接了个目标帧每个帧包含参考关节位置和速度以及躯干锚点槽位7的位置和六维朝向这些帧包括当前参考帧和以控制频率采样的后续个帧在片段边界处最后一帧会被重复锚点位置在第一个目标帧的参考骨盆朝向坐标系中表示。该坐标系的原点是参考骨盆在零高度时的水平位置。这个坐标系在不依赖机器人自身位置的情况下描述了前方路径和绝对目标高度。锚点朝向相对于机器人当前躯干锚点来表示并提供包括偏航在内的朝向反馈目标由进行归一化。通过这些与位置无关的目标策略的输入为参考目标、关节编码器测量、角速度以及基于IMU 的姿态估计所有这些输入都可以通过机载传感器和参考信息获得从而简化了部署第四对于形态学描述符维度为dm 的静态描述符mb ∈Rdm为其中和是比例和微分增益四个执行器模块在标准关节顺序中具有个条目且包含几何和质量测量即大腿、小腿、上臂和前臂长度髋部宽度躯干高度总质量以及腿和臂子树的质量变换在三个机器人之间将特征缩放到[−1, 1]并将常数特征映射为零1.2.2 参考动作使用 BONES-SEED [17]1 以及其提供的 G1 重定向结果并利用 NVIDIA 的 SOMA Retargeter [18] 将同一组源动作重定向到 X2 和 T2。由于所有机器人共享同一人类动作源每一段动作在三种机体上都有对应的参考帧而第 III-E 节中的潜在对齐正是依赖于这些参考帧按照附录 B 中的描述在模拟器的软关节限制范围内作者以控制频率将重定向后的动作转换为参考状态1.2.3 共享世界模型共享训练使用SuperMimic 的Hm 步自回归模型拟合[2,Section 3.2]包含一个动力学网络和机器人特定的重放缓存。该网络在坐标系中预测残差。令并使用对角上下文缩放将摩擦、编码器偏置和质心偏移缩放到相近的量级更新为在这里使用了与机器人相关的运动库统计量在Ft 中包含了重力以及被跟踪刚体在世界坐标系中的归一化高度而固定尺度是预热回放中一步残差的均方根RMS由于残差输出层被初始化为0初始模型在中预测的是未发生变化的状态状态拟合项在记录状态的参考系中比较预测特征和记录特征。它在除以之后对平方误差求和并在步以及采样窗口上对其取平均。终止头在相同的窗口上通过二元交叉熵进行拟合从而得到与SuperMimic 方程(1) 的解析奖励和观测情形相同通过学习到的正增益和以及学习到的偏置和作者将终止建模为在锚点高度误差和倾斜误差上的单调风险率以及模拟器的终止阈值1.2.4 具备形态条件的策略与对齐指令首先对于共享策略运动编码器将归一化的目标映射到维度为的潜在指令解码器则将该潜在变量、本体感受历史以及形态描述符映射为一个动作编码器和解码器遵循SuperMimic 的结构[2, Table A.4]并且编码器只读取归一化的参考目标而完整的形态描述符被附加到解码器和评论家输入中此外解码器使用特征级线性调制FiLM[19]给定学习得到的矩阵和以及学习得到的偏置和隐藏层ℓ的预激活变为这些调制参数初始为零因此训练从仅使用拼接的解码器开始。世界模型通过拼接的方式接收形态信息其次对于想象策略学习令表示SuperMimic 的生存加权想象回报[2, Eq. (2)]其是基于步想象回滚计算得到的其中动力学和评论家以为条件策略梯度通过冻结的模型和评论家进行传递目标从预测状态和参考窗口中重新计算并且在超时处保留评论家的自举由于奖励依赖于机器人相对于参考的位移两个评论家也会接收在机器人当前锚点坐标系下表示的、用于所有K 目标帧的参考锚点位置并除以位置奖励核的宽度这些输入仅在训练过程中使用并保持在无位置信息的策略输入之外。评论家拟合与SuperMimic 的Eq. (3) 一致的、分离的λ 回报目标// 待更
阅读完成 · 觉得有帮助？
