★ FEATURED ARTICLE 论文标题Cosmos Policy: Fine‑Tuning Video Models for Visuomotor Control and Planning核心一句话以预训练视频生成底座 Cosmos‑Predict2‑2B 为基础不改动网络架构仅单阶段微调通过隐帧注入(Latent Frame Injection)把本体状态、动作块、未来观测、状态价值全部编码为扩散隐序列中的隐帧实现单模型同时充当策略、世界模型、价值函数仿真与真实双臂机器人ALOHA任务取得SOTA利用rollout经验做best‑of‑N规划可进一步提升12.5%任务得分。一、研究背景与动机领域现状当前具身智能两大主流路线VLA视觉‑语言‑动作模型π₀.₅、OpenVLA基于静态图文预训练VLM再接动作头做微调擅长语义理解但缺少时序物理、运动交互的原生先验。视频基础模型做机器人策略海量互联网视频预训练天然学到时序因果、隐式物理、物体交互动力学对机器人低层操作任务非常有价值。现有痛点已有的视频‑机器人策略大多是多阶段流水线先微调视频模型再额外新增独立动作解码器/逆动力学模块架构复杂容易稀释视频预训练先验。部分工作训练统一视频‑动作模型但从零初始化训练无法复用大规模视频预训练权重丢失时空先验。视频生成模型原生只处理图像序列不支持机器人需要的本体感知、多相机输入、动作输出、价值预测传统方案是新增编码器/解码器引入大量新模块。仅靠专家演示训练的世界模型样本大多是成功轨迹分布狭窄遇到失败场景预测不准规划失效。核心洞察视频扩散模型本身擅长建模高维、多峰的复杂分布既然它可以生成视频帧那可以把动作、本体、价值全部伪装成隐空间视频帧复用原生扩散去噪目标不需要修改网络结构。本文目标单阶段微调预训练视频模型零架构改动得到机器人策略同一个模型同时完成动作生成策略、未来状态预测世界模型、回报预测价值函数利用机器人自执行rollout数据精修世界模型与价值函数实现测试时模型‑based规划。二、方法详解底座Cosmos‑Predict2‑2B‑Video2World隐空间视频扩散模型Wan2.1时空VAE做压缩EDM去噪损失。L(Dθ,σ)Ex0,c,n[∥Dθ(x0n;σ,c)−x0∥22] L(D_{\theta}, \sigma)\mathbb{E}_{x_{0}, c, n}\left[\left\|D_{\theta}(x_{0}n ; \sigma, c)-x_{0}\right\|_{2}^{2}\right]L(Dθ,σ)Ex0,c,n[∥Dθ(x0n;σ,c)−x0∥22]1. 核心创新隐帧注入 Latent Frame Injection视频VAE输出隐帧维度H′×W′×16H \times W \times 16H′×W′×16。在图像序列中插入空白占位图片经过VAE编码得到空白隐帧将本体 proprio、动作块 action‑chunk、标量价值V做归一化[−1,1][-1,1][−1,1]复制铺满整个空白隐帧体积直接覆盖占位隐帧多相机图像直接在图像序列层插入不同视角。完整隐序列结构[s, a, s′, V(s′)]\boldsymbol{[s,\ a,\ s,\ V(s)]}[s,a,s′,V(s′)]sss当前观测多相机图像 当前本体状态aaa待生成动作块s′ss′未来状态未来多相机图像 未来本体V(s′)V(s)V(s′)未来状态价值蒙特卡洛折扣回报关键点完全不修改Transformer/Diffusion网络只在VAE前后做模态包装和解包装。推理时反向操作从生成的隐帧中还原动作、本体、价值不需要VAE图像解码。以ALOHA双臂机器人腕部2个第三人称相机为例隐序列共11个隐帧。对于相机更少的机器人可以直接删减对应帧这套机制具备硬件灵活适配性。2. 一套权重三种功能条件掩码实现联合训练不需要三个独立网络依靠哪部分做条件、哪部分做待去噪目标同一个Diffusion Transformer就可以切换为三种功能。训练batch做比例划分50%样本训练策略p(a,s′,V(s′)∣s)\boldsymbol{p(a,s,V(s)|s)}p(a,s′,V(s′)∣s)条件当前状态sss目标[a,s′,V(s′)][a,s,V(s)][a,s′,V(s′)]策略不光预测动作同时预测未来状态与价值辅助监督带来性能增益。25%样本训练世界模型p(s′,V(s′)∣s,a)\boldsymbol{p(s,V(s)|s,a)}p(s′,V(s′)∣s,a)条件KaTeX parse error: Cant use function \( in math mode at position 1: \̲(̲[s,a]\)目标[s′,V(s′)][s,V(s)][s′,V(s′)]。25%样本训练价值函数p(V(s′)∣s,a,s′)\boldsymbol{p(V(s)|s,a,s)}p(V(s′)∣s,a,s′)条件[s,a,s′][s,a,s][s,a,s′]目标V(s′)V(s)V(s′)。解码两种模式并行解码纯策略部署全部目标帧并行去噪只取出动作块执行丢弃未来状态、价值速度快不需要规划时使用。自回归解码规划部署依次生成aaa→s′ss′→V(s′)V(s)V(s′)质量更高用于模型‑based规划。3. Rollout经验精炼 双模型部署规划能work的关键工程仅用专家演示得到的世界模型只能见过成功轨迹分布外预测很差。在环境中运行策略收集rollout轨迹包含成功失败样本在rollout数据集上二次微调90%batch用于世界模型价值仅10%用于策略更新双模型分开使用原始checkpoint策略模型专门采样候选动作rollout精修后的checkpoint规划模型专门预测未来状态与价值。价值函数两种模式通过输入掩码切换V(s′)V(s)V(s′)需要世界模型先预测未来状态model‑based规划本文主方案效果更好KaTeX parse error: Cant use function \( in math mode at position 1: \̲(̲Q(s,a)\)掩码掉未来状态直接从当前状态动作预测价值model‑free规划效果弱。4. Best‑of‑N 测试时规划流程从策略模型采样N个候选动作块使用规划模型对每个候选动作预测未来状态、价值为抗噪声每个动作做3次世界模型集成每个未来状态做5次价值预测**多数均值(majority mean)**聚合价值先判断多数样本预测成功/失败仅在该组别内取平均抑制异常值选择价值最高的完整动作块直接执行。规划会带来推理开销文中用多GPU并行加速搜索。5. 工程细节噪声分布修正原生Cosmos视频模型使用对数正态噪声分布对图像生成友好但机器人动作生成需要高σ噪声区间的训练信号。训练噪声70%原始对数正态30%均匀分布KaTeX parse error: Cant use function \( in math mode at position 1: \̲(̲U[1,85]\)推理最小噪声下限设置σmin4\sigma_{min}4σmin4而不是接近0提升动作预测精度。三、核心实验结果仿真Benchmark结果LIBERO仿真基准方法Spatial SR(%)Object SR(%)Goal SR(%)Long SR(%)平均SR(%)Diffusion Policy78.392.568.350.572.4π₀.₅98.898.298.092.496.9OpenVLA‑OFT97.698.497.994.597.1CogVLA98.698.896.695.497.4Cosmos Policy(ours)98.1100.098.297.698.5RoboCasa仿真基准每任务仅50条人类示教对比其他方法300~3000条方法每任务演示数平均成功率(%)GR00T‑N130049.6π₀30062.5GR00T‑N1.530064.1FLARE30066.4Cosmos Policy(ours)5067.1数据效率突出更少示教取得更高性能。真实机器人ALOHA双臂实验4项双臂任务放物体到盘子、叠衬衫、糖果入碗、糖果进密封袋其中后两项任务需要高多模态抓取、毫米级精密操作。无规划直接策略综合得分93.6超过π₀.₅、OpenVLA‑OFT开启model‑based规划两个最难任务平均得分提升**12.5**。失败模式对比π₀.₅抓密封袋容易滑脱OpenVLA‑OFT在多峰动作任务容易落在两个目标中间Cosmos Policy对多峰动作分布建模更好。消融实验配置LIBERO平均成功率说明完整Cosmos Policy98.5基准含辅助监督视频预训练先验w/o 辅助损失不预测s’,V(s’)97.0‑1.5%联合预测未来状态是有效的辅助正则从头随机初始化无视频预训练94.6‑3.9%视频预训练先验带来巨大收益在实机叠衬衫任务从头训练版本直接掉到80.8动作抖动甚至有损伤机器人风险。关键发现视频预训练时序‑物理先验对机器人低层操作价值巨大策略训练时带上未来状态、价值做辅助监督免费提升性能model‑based规划(V(s′)V(s)V(s′))显著优于model‑free的KaTeX parse error: Cant use function \( in math mode at position 1: \̲(̲Q(s,a)\)rollout收集失败样本是规划有效的必要条件。四、核心亮点洞察隐帧注入 Latent Frame Injection范式不需要新增网络模块把本体、动作、价值全部伪装成隐帧塞进视频扩散序列零架构改动复用视频大模型。这个思路可以迁移到其他生成底座。单模型三合一同一个Diffusion Transformer同时是策略、世界模型、价值函数靠条件掩码切换角色权重高度共享架构极简。双模型部署巧思原策略模型负责采样rollout精修的checkpoint专门做规划解决演示数据集缺少失败案例世界模型分布偏移的痛点。极强的数据效率RoboCasa只用50条示教击败数百条示教的SOTA视频预训练降低对机器人示教数据的依赖对真实机器人昂贵的数据采集场景很友好。实机上体现视频模型的优势在高多峰、高精度双臂操作任务优于基于静态图文VLM的VLA模型。五、局限与未来工作规划推理延迟高best‑of‑N规划模式单次动作块推理约5秒难以用于高动态实时任务如何加速搜索是重要方向。规划依赖rollout数据想要世界模型在分布外预测准确必须收集大量包含失败的rollout减少rollout样本需求是未来方向。当前仅预测ttt和KaTeX parse error: Cant use function \( in math mode at position 1: \̲(̲tK\)两个时刻没有长时序多步未来预测可以扩展更长预测视界做深度树搜索规划。输入不利用历史观测序列只看当前时刻观测长时序记忆能力存在上限。六、相关工作横向对比模型底座架构特点世界模型Cosmos Policy预训练视频扩散模型 Cosmos‑Predict2隐帧注入零架构改动单模型三合一单阶段微调内置同一权重可rollout精修best‑of‑N规划π₀ / π₀.₅PaliGemma(VLM)Flow‑MatchingVLA独立动作流匹配解码器输出端多动作头无内置世界模型依靠行为克隆无测试时规划X‑VLAICLR2026Florence‑2 VLM Transformer EncoderSoft Prompt解决跨本体异构Flow‑Matching动作生成两阶段适配无显式世界模型只能做直接策略Video Policy/UVA视频模型独立动作头多阶段流水线先训视频再接独立动作模块视频作为世界模型动作模块分离Dreamer系列从头训练VAERNN分开策略、世界模型、价值网络RL训练独立世界模型Dreamer风格model‑based RL和VLAπ₀、X‑VLA底座来源不同Cosmos Policy来自视频时序预训练VLA来自静态图文预训练Cosmos Policy原生内置可规划的世界模型。和其他视频机器人策略避免多阶段流水线不新增动作子网络完全复用预训练视频模型权重。和DreamerDreamer多模块从头训练Cosmos Policy复用大规模互联网视频预训练先验单模型三合一。七、科研启发视频世界模型是VLA之外重要的具身底座路线静态图文VLM强在语义视频预训练强在时序动力学、物理交互低层灵巧操作任务视频底座有独特优势。模态适配不一定需要新增网络层隐帧注入提示我们可以把异构模态包装进原有生成模型原生表示空间而不是无脑加adapter、加头。仅专家演示不足以训练好用的世界模型必须引入rollout失败样本否则规划模块会过度乐观。辅助监督不一定只限于动作预测未来状态、回报作为附加目标是低成本提升策略性能的手段。评分新颖性⭐⭐⭐⭐⭐隐帧注入范式单模型三合一零改动复用视频大模型实验充分度⭐⭐⭐⭐⭐LIBERO、RoboCasa仿真 ALOHA真实双臂大量消融失败模式分析写作质量⭐⭐⭐⭐核心机制清晰部分工程细节放在附录价值⭐⭐⭐⭐⭐开源代码、模型、数据为视频基础模型做机器人策略提供完整基线。如果你需要我可以输出Cosmos Policy与X‑VLA对比的Related‑Work可直接复制段落该论文的精简读书笔记基于Cosmos Policy可挖掘的创新点列表。
阅读完成 · 觉得有帮助？
