DexTacWAM把世界动作模型推进到指尖！22自由度双手灵巧手，终于学会“预判打滑”了

22‑DoF 双手灵巧手视‑触觉 WAM专门解决分布式多指尖触觉——DexTacWAM目录01 灵巧手视触建模的现实矛盾现有视触机器人技术路线固有短板02 DexTacWAM完整技术链路多指尖触觉编码器视‑触联合世界模型Transformer分模态K/V RMS归一化动作专家持续视觉‑触觉迁移学习三阶段训练03 真实双手机灵巧手硬件实验04 写在最后灵巧手完成拧瓶盖、物体交接这类接触密集操作时打滑、接触压力变化很多信息是视觉看不到的。现有不少视触机器人方案只是把触觉读数喂给策略网络只能读取当前时刻接触信号无法预判未来接触状态变化。伊利诺伊大学厄巴纳‑香槟分校、伯克利、西北大学提出DexTacWAM视触世界‑动作模型独立编码每一根指尖触觉信号通过手指‑位姿感知触觉压缩器完成特征聚合将触觉潜态注入视频扩散世界模型实现视觉场景与分布式多手指接触动力学的联合建模。01 灵巧手视触建模的现实矛盾现有视触机器人技术路线固有短板对于灵巧手操作视觉只能看到物体外观手指内部接触、摩擦力、打滑属于隐式物理状态这也是视触学习绕不开的难点现有方案主要分为三类触觉仅作为策略附加条件输入把指尖力觉信号直接拼接进策略网络。模型只能读取当下触觉观测不会推演未来接触变化。一旦出现物体遮挡、双手交接缺少对后续打滑、压力切换的预判操作稳定性会大幅下滑。RDP就属于这类路线拥有完整触觉输入但不会预测接触演化。夹爪视触世界模型VTAM、VT‑WM面向二指平行夹爪设计视触世界模型。夹爪触觉感知集中简单但灵巧手是十根手指分布式感知需要保留手指身份、局部接触位置、手部姿态关联信息直接迁移会丢失大量细粒度接触线索。触觉辅助头自回归预测ViTacFormer在策略内部增加分支预测未来触觉token但不联合预测视觉画面。触觉、视觉两套模态相互独立没有统一联合潜态世界两者时序演化无法互相约束。而DexTacWAM的核心定位是触觉不是策略的附属输入而是世界模型需要预测的世界状态的一部分。同时考虑触觉数据采集成本高复用大规模预训练视频先验不需要从零训练全套视触大模型通过迁移学习用有限触觉数据完成适配。02 DexTacWAM完整技术链路整套训练流程分为三阶段触觉编码器适配、持续视觉‑触觉迁移学习、动作专家训练。推理阶段世界模型输出联合视‑触潜态交由动作专家生成灵巧手动作。▲图 | DexTacWAM整体架构双Transformer设计世界模型Transformer与动作模型Transformer多指尖触觉编码器研究做了工程化复用直接复用冻结的预训练视觉VAE处理每一个指尖触觉图。单通道触觉灰度图通过轻量1×1适配器复制到RGB三通道送入VAE得到每根手指独立触觉潜特征。单指尖触觉编码灰度转RGB适配器为冻结的视觉VAE编码器输入单指尖触觉图输出该手指的触觉潜向量。如果直接把十路指尖特征全部送入主干token数量爆炸算力开销难以承受。因此设计手指‑位姿感知触觉压缩器。▲图 | 多指尖触觉编码器与手指‑位姿感知触觉压缩器流程示意图压缩器给每个手指增加可学习身份嵌入同时注入手部本体姿态编码利用自注意力池化将同一只手5路指尖特征压缩为单组手部级潜态。这套压缩可以保留89.4%接触召回率训练速度提升2.26倍推理速度提升1.29倍平衡接触信息留存和计算开销。前后设置预融合、后融合两级触觉流重建损失约束压缩过程不丢失局部接触细节。视‑触联合世界模型Transformer世界模型Transformer划分模态内自注意力与跨模态自注意力。视觉token、左手触觉token、右手触觉token先各自做模态内注意力再通过跨模态注意力实现模态交互输出联合视触世界潜态。视觉潜态左手压缩触觉潜态右手压缩触觉潜态该联合潜态代表预测得到的未来世界同时包含画面演化和多手指接触状态演化。世界模型会预测未来触觉潜态变化区别于仅把触觉作为条件输入的基线。扩散损失拆分视觉、触觉两个模态分别加权同时监督画面和接触动力学。分模态K/V RMS归一化动作专家视觉潜态与触觉潜态数值分布差异巨大直接拼接会造成注意力偏向视觉模态动作模型难以收敛。动作专家读取世界模型输出的联合潜态结合手部本体状态一次性输出多指尖力预测、臂部动作、手部目标姿态。不需要重建原始图像、原始触觉图直接消费世界模型预测潜特征。持续视觉‑触觉迁移学习三阶段训练真实世界触觉采集成本很高每一次样本都需要物理触碰交互。整套训练分三步保护预训练得到的视觉能力不被破坏▲图 | DexTacWAM整体总览三阶段训练流程、多指尖触觉压缩器、模型架构概览以及六项真实灵巧操作任务结果冻结视觉VAE使用约4小时双手机器人交互数据只训练灰度‑RGB适配器和触觉压缩器冻结全部触觉编码器每个任务使用约100条视‑触遥操作演示微调视频扩散世界模型主干学习预测触觉潜态冻结世界模型从零初始化训练动作专家使用相同任务演示数据。不过这套复用VAE的方案成立前提是触觉传感器输出二维空间触觉图因为一维力/力矩传感器没有图像式空间结构则无法直接复用该编码器设计。03 真实双手机灵巧手硬件实验硬件平台为22自由度Sharpa双手机灵巧手六项接触密集任务带遮挡方块放置、物体交接、双手擦拭、镊子夹取小番茄、碗分离、拧开瓶盖。每个方法每项任务执行20次真机试验所有方法相机观测配置保持完全一致。▲表| 真实硬件六项接触密集型灵巧任务得分(%)DexTacWAM对比各基线模型结果DexTacWAM在全部六项任务取得最高分平均得分70.6%基线RDP仅38.0%。其中夹取任务差距最为突出DexTacWAM达到60%其余基线最高仅10%该任务几乎只能依靠触觉感知夹持状态视觉信息非常有限。在消融实验下保持触觉特征、动作专家不变如果移除触觉世界建模只把触觉当做条件输入四项任务平均分直接从74.7暴跌至26.6。这直接证明性能增益来自预测接触演化的世界建模而不是简单多一路触觉输入。另外一组消融关闭分模态K/V RMS归一化动作专家直接无法收敛。全部分数来自桌面真机多次rollout统计测试均为静态物体桌面接触任务这套指标不能直接外推高速冲击、剧烈动态交互场景。▲表| 策略级别消融实验完整模型、移除触觉世界建模、移除分模态K/V RMS归一化的任务得分04 写在最后DexTacWAM给出一个很务实的认知面向灵巧手的视触学习不能止步于把当前触觉喂进策略网络。想要处理视觉看不见的打滑、接触切换世界模型本身就必须推演未来多指尖接触状态。通过手指‑位姿感知压缩解决多指尖触觉算力爆炸再依托持续视觉‑触觉迁移学习复用预训练视频先验用有限真实触觉数据完成适配。当然该工作存在硬件与场景约束依赖二维阵列触觉传感器实验集中于桌面静态物体。它为多手指灵巧操作视触世界‑动作模型提供了一条可行的技术路线。Ref论文标题DexTacWAM: A Visuo‑Tactile World‑Action Model for Dexterous Manipulation论文链接https://arxiv.org/pdf/2609.24976项目链接https://dextacwam.github.io/