VLNVLA

1.SaPaVe: Towards Active Perception and Manipulation in Vision-Language-Action Models for RoboticsCVPR 2026摘要主动感知与操作(manipulation)对于机器人与复杂场景交互至关重要。现有方法难以将语义驱动的主动感知与稳健的、视角不变的执行(execution)有机统一起来。为此我们提出了SaPaVe一个能够以数据高效的方式联合学习这些能力的端到端框架。我们方法的核心在于将相机动作与操作动作解耦(这与共享动作空间的做法相反)并采用自下而上的策略进行学习:我们首先在我们提出的大规模数据集上训练语义相机控制然后通过混合数据联合优化这两种动作类型。为了支持这一点我们引入了包含20万个图像-语言-相机运动对的ActiveViewPose-200K数据集用于语义相机运动学习;以及一个3D几何感知模块该模块提高了动态视角下执行的鲁棒性。我们进一步提出了ActiveManip-Bench这是首个旨在填补主动操作评估空白的基准测试。在仿真和真实世界环境中的大量实验表明SaPaVe的性能优于近期的VLA模型(如GROOTN1和元。)在真实世界任务中实现了高达31.25%的成功率提升。我们的结果表明当采用解耦但相互协调的策略进行训练时紧密耦合的感知与执行能够实现高效且具备泛化能力的主动操作。本文是将语义主动感知和主动视角执行相结合使得机器人能够依据任务主动调整观察视角并完成实际操作。首先是输入包括文本输入和视觉输入文本输入的语言指令负责告诉模型要完成什么目标视觉输入则负责告诉模型当前环境中有什么然后任务指令会被拆成token视觉输入转为视觉特征输入给视觉语言模型由其负责将两者进行关联为后续的动作生成提供语义信息其中的camera adapter负责调整vlm部分参数使得联合更加适合相机运动。接着这个语义信息会和由彩色图像和几何信息可选的作为融合的信息一起传输给解耦动作头将其分成头部相机动作和其他机器人动作在每个时间段都会有对应的头部动作和其他动作每次的动作token初始带噪声的一直到第t次迭代后的会作为输入进入到由多个扩散模型模块组成的的部分其中cross attention负责让动作受到当前任务和场景的指导self attention负责让动作token之间交换信息学习动作序列内部经此处理后的动作token会由相机动作解码器和其他动作解码器拆分成不同次数的头部和其他动作继续参与到下一次的迭代中整个训练阶段是分成两部分进行的第一阶段是学习相机动作预测依据图像和指令调整视角对于模型预测的结果会被标注成头部动作和其他动作第二阶段则是在已有相机控制能力的基础上进一步训练主动操作即在相机视角变换后如何完成实际的机器人操作2.GROUNDSLOW, MOVEFAST: ADUAL-SYSTEM FOUNDATIONMODEL FORGENERALIZABLEVISIONAND-LANGUAGE NAVIGATIONICLR 2026摘要虽然最近的大型视觉-语言模型VLMs在视觉-语言导航VLN中提高 了泛化能力但现有方法通常依赖端到端的管道将视觉-语言输入直接映 射到短期离散动作。这类设计往往导致动作零散、延迟高并且在动态障 碍物规避等现实世界挑战中表现不佳。我们提出了DualVLN这是第一个 双系统VLN基础模型它将高层推理与低层动作执行协同整合。系统2是基 于VLM的全局规划器通过基于图像的推理预测中期路径目标从而实现 “慢速落地”。系统1是一个轻量、多模态条件扩散变换器策略通过利用 来自系统2的显式像素目标和潜在特征实现“快速移动”生成平滑且准 确的轨迹。双系统设计能够在复杂动态环境中实现稳健的实时控制和自适 应的局部决策能力。本论文采取的是双系统设计实现高层推理与底层动作执行的异步协同。首先是系统2慢负责高层导航规划输入包括语言指令提供导航目标和行动力约束历史RGB图像此前观察过的图像序列给模型提供导航过程中的历史视觉上下文帮助其结合先前看到的环境理解当前处境以及当前图像提供当前环境的视觉证据和轨迹查询引导模型提取与导航轨迹和目标位置等相关信息输入给核心视觉语言模型后会进行视觉语言理解和目标的预测进行高层推理得到图像中的像素目标点和潜在目标特征供给下游使用同时这个过程会有视角自动调整参与如有遮挡或者目标不在视野的情况时会调整视角再输出目标点而系统1快则是负责结合目标和实时视觉信息生成机器人实际执行的连续轨迹。输入是RGB图像当前时刻和先前的图像以及系统2提供的目标信息经过ViT提取图像的视觉特征再经过self—attention融合不同时刻的视觉信息由K提供匹配依据V提供待提取信息Q主动查询视觉特征按注意力权重提取信息交给Q-former将视觉特征压缩成32个token结合前面系统2的潜在目标特征供给DiT。带噪声的轨迹系统2的低频任务条件32个视觉token交给DiT即结合目标条件和视觉条件最后生成轨迹。在DiT内部包含让轨迹序列中不同位置交换信息使模型考虑整条轨迹内部的关系的multi—head self attention还有让轨迹特征利用外部条件信息的multi—head cross attention以及负责进一步变换和处理特征的feedforward经过重复堆叠多层的这三个部分最终输出得到一个可以让机器人跟随执行的连续运动轨迹32个连续排列的轨迹路点。3.ActiveVLA: Injecting Active Perception into Vision-Language- Action Models for Precise 3D Robotic ManipulationCVPR 2026摘要近期机器人操作领域的进展利用了预训练的视觉-语言模型VLM并探索将3D空间信号集成到这些模型中以实现有效的动作预测从而催生了前景广阔的视觉-语言-动作VLA范式。然而大多数现有方法忽视了主动感知active perception的重要性它们通常依赖于静态的、腕部安装的相机这些相机提供以末端执行器为中心的视角。因此这些模型无法在执行任务期间自适应地选择最佳视点或分辨率这极大地限制了它们在长程任务和细粒度操作场景中的性能。为了解决这些局限性我们提出了ActiveVLA这是一种新颖的视觉-语言-动作框架赋予机器人主动感知能力以实现高精度、细粒度的操作。ActiveVLA采用由粗到细的范式将过程分为两个阶段1关键区域定位。ActiveVLA将3D输入投影到多视图2D投影上识别关键3D区域并支持动态空间感知。2主动感知优化。基于定位到的关键区域ActiveVLA使用主动视点选择策略来选择最佳视点。这些视点旨在最大化非模态相关性amodal relevance和多样性同时最小化遮挡。此外ActiveVLA应用3D放大zoom-in来提高关键区域的分辨率。总之这些步骤实现了更细粒度的主动感知从而进行精确操作。大量实验表明ActiveVLA实现了精确的3D操作并在三个仿真基准测试上超越了最先进的基线方法。此外ActiveVLA能够无缝迁移到真实世界场景中使机器人能够在复杂环境中学习高精度任务。图1以往VLA方法和Active VLA的对比场景需要完成任务“将桌子上的苹果拿给我” 输入包括文字指令和当前能观察到的彩色图像图像是从小样身后的视角去拍摄的是看不到桌子上的苹果的在传统方法中处理方式是直接依据当前观察给出预测的动作视觉图像语言描述机器人状态给VLA得到预测动作这样的结果由于关键物体看不清就到导致定位错误和执行失败而本文所采取的方法则是 机器人利用三维场景信息判断任务相关区域主动选择合适的观察角度再对关键区进行三维放大看清后再由机器人去执行架构上的一个对比就是Active VLA方法在输入上除了当前视角人物介绍外增加了一个三维场景信息将3D信息交给主动感知模块并输出主动选择的关键区域在此基础上再放大。将这样一个清晰的信息一同交给动作专家模块再去做动作。图2:文章架构图1.输入带有深度信息的彩色图像和语言指令2.关键区域感知让机器人先找到任务相关的三维区域为后面的仔细观察做准备依据彩色图像深度信息进行点云重建拍到的场景——三维空间中的点经过正交投影得到三视图顶部正面右面PaliGemma这个视觉语言模型只能读二维图像这三张正交虚像交给PaliGemma后结合语言指令会进行粗处理阶段也就是初步预测哪些位置是值得关注的。在PaliGemma内部图像被转换成数字特征经过凸上采样把较粗的空间预测变得更加细致作为中间过程的输出会有三张预测热力图模型会给图像中的不同预测位置进行打分用热力图的形式来表现得分情况这三张图像会重新映射会3D在3D空间确定关键点和关键区域。3.主动感知在已知关键区域后要确定从哪个角度观察这个区域才能看得清首先是主动视角选择在生成出来的候选相机位置围绕关键点在球面均匀分布找出最佳视角然后是在此基础上进行三维区域的放大4.3D动作预测依据新的视角重新生成虚拟图像俯视正视右视再把这三张图交给PaliGemma结合语言指令进行精准预测和粗处理阶段是一样的内部转成数字特征凸上采样处理得到清晰的局部预测热力图结合模型输出的特征 动作解码器解码出最终的3D动作Final Outputs包括1.夹爪旋转Gripper Rotation2.夹爪开合Fingers Open/Close3.碰撞检测Collisions On/Off最终执行任务右侧的机械臂成功夹起木棍。图3细粒度操作任务在四种机器人操作任务中 实际处理场景时的视觉效果图4Active VLA在复杂操作任务中的可视化4.Affordances-Oriented Planning using Foundation Models for Continuous Vision-Language NavigationAAAI 2025摘要基于大语言模型LLM的智能体在视觉-语言导航VLN任务中展示了令人印象深刻的零样本性能。然而现有的基于LLM的方法通常仅专注于通过选择预定义导航图中的节点来进行移动从而解决高层任务规划问题却忽视了导航场景中的底层控制。为了弥补这一差距我们提出了AO-Planner这是一种用于连续VLN任务的新型面向可供性Affordances-Oriented的规划器。我们的AO-Planner集成了各种基础模型以实现面向可供性的底层运动规划和高层决策且两者均在零样本设置下进行。具体而言我们采用了一种视觉可供性提示VAP方法其中可见地面由SAMSegment Anything Model进行分割以提供导航可供性基于此LLM选择潜在的候选航点并规划通往所选航点的底层路径。我们进一步提出了一个高层PathAgent它将规划好的路径标记到图像输入中并通过理解所有环境信息来推理出最可能的路径。最后我们使用相机内参和深度信息将选定的路径转换为3D坐标避免了让LLM进行具有挑战性的3D预测。在具有挑战性的R2R-CE和RxR-CE数据集上的实验表明AO-Planner实现了最先进的零样本性能SPL提升了8.8%。我们的方法还可以作为数据标注器来获取伪标签将其航点预测能力蒸馏到一个基于学习的预测器中。这种新的预测器不需要模拟器提供的任何航点数据并在与有监督方法的竞争中达到了47%的成功率SR。我们在LLM和3D世界之间建立了一种有效的联系为在底层运动控制中采用基础模型提供了新的前景。图1离散环境导航左侧与本文提出的连续环境导航右侧的差异左侧是传统离散VLN环境已经提供了预定义的观察位置LLM只需要依指令判断下一步要去哪个观察位置就行右侧是本文改进后的。在连续环境中本文采用多模态基础模型Gemini 1.5 和 GPT-4o视觉可供性提示在图片中“能走的地面”上画满带有编号的标记点然后把这些点连同图片一起交给大模型LLM让大模型像做“连线题”一样选出可以通行的路线预测出低层候选航点和路径实现过程通过SAM把地面可以通行的区域分割出来可供性提示会在这些区域内均匀设置带数字的候选点让LLM有明确的位置可选LLM会结合这个带数字的图语言指令选择waypoint子目标点规划连接这些点的路径。图2:低层阶段架构图这张图主要讲的就是LLM的“底层路径规划”是怎么改的首先是输入原始图像和文本提示词“地面”给SAMSAM负责识别地面分割出可见地面区域再把图片交给视觉可供性提示在地面标记候选点均匀分布得到编号图并依据写好的文字提示包括任务描述具体导航指令说明什么样的位置适合做路径点对选择路径点规划路径的具体要求把标号图和文字提示给到LLM后会输出waypoint阶段性的目标位置和path到达阶段目标的路径图3高层阶段架构图输入是任务描述规则告诉LLM高层决策任务是什么应如何选择路径比如“你是一个执行视 觉语言导航的机器人...”导航指令用户给出得整体导航目标比如退出客厅去厨房历史信息之前探索过的位置及对应的观察图像走到哪了之前看到了啥指令执行 到哪一步了还有四个方位的彩色图像低层处理过的带标记点和路径的把这些交给高层的PathAgent之后由其选择下一步行动也就是输出高层决策决策包括思考结合导航指令和当前观察判断接下来该朝哪个方向前进和动作选中指定路径或停止找到 Path-4 这条线在 2D 图片上的具体像素点后需要结合深度信息和相机内参进行3D映射得到三维坐标路径。图没写最后这个路径被转换成机器人能执行的动作低层做的图4连续环境中成功导航的示例第一张图是轨迹图是最后执行的结果Habitat 仿真器生成的左上角的黑白地图。红点是起点蓝点是终点绿线是机器人实际走过的轨迹。下面的文字是长指令也就是上一张图的输入中的那个任务描述。要求机器人走出有马桶的浴室并左转经过浴缸经过时浴缸在右边穿过右侧第一扇门进入衣帽间closet一进去就停下。右侧的依次是每一步的当前观察场景和决策说明