★ FEATURED ARTICLE 论文Agentic World Action ModelsUC Berkeley / NVIDIA / UPenn2026.10一、论文要解决什么问题论文认为两条路线各有缺口世界动作模型WAM如 DreamZero能预测未来视频所以对物理动态有感知。但它不显式地拆解长程任务也没有可复用的技能。智能体式机器人Code-as-Policies 一类用代码调用技能结构清楚、技能可复用。但它不了解物理动态能做多少受限于可调用的底层原语。AW-0 的做法是把代码作为第三种生成模态放进 WAM让代码、未来视频、动作三路一起生成。如图所示AW-0概览二、主要贡献如图所示AW-0框架图1. 三专家 MoT 架构离散与连续模态一起去噪核心贡献代码专家SDAR-1.7B配 Qwen3-VL ViT用 LLaDA 式的掩码扩散生成代码。视频专家Cosmos-Predict2.5-2B用流匹配。动作专家一个 Action DiT。三个专家各自保留独立的参数在每一层通过联合注意力交互。注意力顺序是C→V→A视频看代码动作同时看代码和视频。代码的离散掩码扩散和视频、动作的连续流匹配在同一个去噪轨迹里同步进行一共 4 步每一步按置信度揭开 G/T 个代码 token。这样做的效果在效果和速度上都有体现联合去噪比自回归先写代码要好平均 71.1 vs 54.5延迟也更低0.23s vs 0.55s。和不带代码的版本相比只多出 0.04s 延迟。2. 默认模式下代码是规划条件而不是被执行的程序默认情况下生成的代码并不执行只作为子任务规划去影响视频和动作的生成。这个设计规避了 CaP 的主要弱点执行完全依赖感知和控制原语。代码在这里的角色更像一种结构化的子任务表示。消融图 5显示去掉代码V→A后真实任务平均分从 71.1 跌到 32.9。C→V→A 的顺序比 V→C→A 好说明让代码去引导视频预测是关键。附录 G 的定性例子也支持这一点有代码时预测视频对准的目标物体是对的芒果用自然语言子目标时会犹豫不决不带代码时选错了物体。3. 智能体式自动标注与技能发现流水线流程分三步Gemini 3.1 Pro 针对预定义的原语 API 写出子任务程序。Claude Code 担任协调者把反复出现的模式提炼成技能入库条件包括跨两个以上任务复用、参数化、粒度合适。技能库冻结后用缓存的方式标注全部数据。对约 2,900 小时数据完成标注1,919 小时 YAM 机器人数据994 小时第一人称人类数据共 207 万个子任务片段提炼出 50 个技能YAM 23 个人类数据 27 个。这把“程序标签”扩展到了人类视频等于给跨具身的预训练提供了统一的符号接口。如图所示自动化标注流水线4. 混合执行每次重新规划时生成的代码要依次通过以下检查才会执行否则回退到动作块stage 检查依赖检查语法检查白名单检查非空检查实验结果RoboTwin 随机化场景成功率从 20.6% 提升到 29.2%超过 π0.5 的 27.7%。真实的叠毛巾任务从 84.4 提升到 90.6。代码和动作的分工也比较合理结构化动作接近、放置、确定堆叠顺序由代码负责灵巧接触动作由动作专家负责。5. 实验结果RoboTwin clean 场景成功率 80.8%比最强基线 WLA 高 16 个点。真实 8 个任务覆盖两种具身平行夹爪和 22 自由度灵巧手平均分 71.1比最强基线高 25 个点。在需要语言理解和推理的任务上Arrange Fruits、Flip Scoreboard优势最明显。消融比较全面覆盖了以下因素注意力顺序ViT 和 VAE 两种视觉条件代码中是否带注释、是否用技能调用、和自然语言子目标的对比联合去噪和自回归的对比三、不足之处1. “Agentic”的程度被高估了默认模式下代码不执行所以它本质上是“用代码格式写的子任务标签”。从这个角度看主要提升来自更强的中间监督信号而不是智能体式能力。真正体现“技能复用和执行”的混合模式证据很弱仿真中 clean 场景反而从 80.8 掉到 63.1。仿真中混合模式用的是另外一套 CaP 采集的示范数据作者自己也承认不能单独归因于混合执行附录 J.2。真实世界只在 1 个任务上做了评测因为灵巧手没有 CaP 系统提升 6 个点且没有给出方差。摘要和引言里提到的“自我改进”和“持续学习”都没有实现只写在未来工作里。2. 生成代码的质量不高附录 F.1 中预训练代码专家的指标原语 F10.365实体 F10.534技能调用率29%可解析率87.5%作者自己也指出代码经常选对了技能但填错了参数。这反过来说明代码的作用更多是一种“语义正则化或条件信号”而不是一个精确可执行的计划。这和“代码即策略”的叙事有矛盾。3. 和基线的比较可能不对等预训练数据AW-0 用了约 1,900 小时同一平台YAM的机器人数据再加 1,000 小时人类数据。基线用的是各自公开的 checkpoint比如 DreamZero 用 AgiBot 版本。真实世界里 YAM 任务的优势有多少来自领域内预训练没有做分离。训练配置不统一DreamZero 训 10 个 epochπ0.5 和 WLA 训 50 个AW-0 训 20 个学习率和 batch 也各不相同。自家消融的反常去掉代码的 AW-0V→A平均只有 32.9比 DreamZero46.0和所有外部基线都低。这让人怀疑无代码版本是否训练充分或者架构本身是否依赖代码信号。如果是前者“代码带来 38 分”这个结论会被放大。子目标对照组的生成方式未说明自然语言子目标版本是怎么生成的、质量是否和代码标注相当论文没有交代。4. 鲁棒性问题没有解决RoboTwin 随机化场景下默认模式只有 20.6%低于 π0.5 的 27.7%clean 场景保留率只有 25%。这说明在像素层面做视频预测的 WAM固有的分布外脆弱性并没有因为加了代码而缓解。5. 评测的统计强度有限真实世界每个任务 48 次 rollout用的是作者自己设计的分步评分 rubric不是二值成功率。正文表格只给均值没有方差或置信区间。部分消融差距只有几个点比如 Replace Lightbulb 上自回归79.2反而高于联合去噪75.0统计显著性无法判断。6. 可复现性和成本问题标注流水线依赖闭源模型Gemini 3.1 Pro、Claude Opus 4.8成本和可复现性都是问题。技能库需要人工定义原语 API并且冻结后不再扩展。迁移到新任务和新具身时泛化能力受限于这 50 个技能的覆盖范围。预训练用了 48 张 H100YAM 数据是私有数据外部很难复现。7. 混合执行的仲裁规则过于简单只要代码合法就执行不评估代码相比动作块的预期收益。这正是 clean 场景掉分的原因作者在附录 L 中也承认了。一旦决定执行代码即使执行抛出异常同一次前向得到的动作块也会被丢弃失败成本较高。四、总体评价主要价值从架构上证明了“离散代码 连续视频/动作”的联合扩散在 WAM 中可行且高效。代码作为结构化的中间条件确实提升了语言遵循和语义推理能力这一点有较充分的消融支撑。自动标注加技能提炼的流水线也为大规模人类和机器人数据提供了可扩展的程序化监督。主要不足标题强调的 “Agentic”技能复用、执行、自我改进证据明显不足。默认模式其实是“代码条件化的 WAM”。同时和基线比较时存在领域内预训练数据和训练配置上的混杂因素无代码消融的分数偏低也值得追问。
阅读完成 · 觉得有帮助？
