★ FEATURED ARTICLE 1. 先弄明白双臂具身VLA到底在解决什么问题想理解双臂具身VLA别急着翻论文。我第一次看到这个词的时候也愣了半天——视觉、语言、动作三个八竿子打不着的领域怎么硬凑到一个模型里后来自己动手做了几轮双臂操作实验慢慢才品出味道这个方向的本质是把机器人从“按指令重复动作的机械臂”变成“能听懂人话、看懂场景、自己琢磨怎么动手的智能体”。如果你对双臂机器人、具身智能、VLA这些词感兴趣这篇文章就是一份我从零开始梳理出来的参考笔记尽量把来龙去脉讲透。1.1 具身智能的“手”和“脑”是怎么分工的先说具身智能。这个概念很好理解一个智能体如果想在物理世界里干活光有会算的脑袋不够它得有身体得有手有脚能感知、能移动、能改变物体状态。过去几十年我们搞机器人的方式基本是“感知-规划-控制”三段式摄像头看到物体算法解算出位姿再靠运动规划生成轨迹最后发给底层控制器去执行。这套思路在固定的流水线上非常成熟但一旦到了开放环境比如让你清理一张堆满杂物的桌子桌子上的物品类别千奇百怪摆放角度各不相同传统的规则式感知和手工设计的抓取策略就崩溃了。双臂具身智能就是在这个背景下被推到前台的。两条手臂意味着更大的工作空间、更灵巧的操作方式也意味着更复杂的状态协同。比如“双手端盘子”这个动作两只手必须同时靠近盘子两侧保持水平并且随着托盘移动同步调整姿态。换成单臂干这事只能靠吸盘或者特殊夹具通用性大打折扣。所以双臂不是单纯地把单臂复制两份而是把任务空间扩大了一个维度。脑子干什么脑子负责做决策根据当前的视觉信息和语言指令决定下一步手该往哪儿挪、手指该不该闭合。传统方法里这一步被拆解成目标检测、状态估计、轨迹规划、阻抗控制等多个模块每个模块各自为战误差一层层累积。VLA的思路则是把这一步揉成一个神经网络输入图像和文本直接输出动作或者动作参数端到端。这样设计的好处是减少了中间模块的人工干预让模型从数据里自己学出“看到什么情况做什么动作”的映射关系。1.2 VLA不是“视觉加语言加动作”这么简单VLA是Vision-Language-Action三个单词的缩写中文通常叫“视觉-语言-动作模型”。从组件表面看它就是三个模块拼接一个视觉编码器负责把图像变成特征一个语言编码器负责把指令变成特征一个动作解码器负责把特征变成关节目标或末端位姿。如果只是堆模块那也不稀奇。关键的设计思想在于“统一”早期工作倾向于把视觉、语言和动作放到同一个Transformer结构里让它们共享注意力机制互相影响。为什么这个“互相影响”很重要我给你举个具体例子。指令是“把红色杯子放到蓝色托盘里”视觉中出现了两个红色杯子和一个蓝色托盘模型不能只提取物体的类别和坐标它必须理解指令里的“红色”指的是哪一个“放”这个动作牵涉到哪个物体“到蓝色托盘”的意图是什么。如果视觉和语言模块是独立的再把结果简单拼接很容易出现指令和图像错位的乌龙。而统一建模可以让语言特征去“查询”图像特征图像特征反过来约束语言理解——这就形成了具身智能中常说的“跨模态对齐”。动作部分也不例外。动作不像语言和图像那样是静态信息它是一段连续的时间序列通常包含几十乃至几百个控制步。有的VLA把动作离散成Token当作语言一样生成有的则直接用连续回归。不同的动作表征方式直接影响了模型能表达的技能复杂度和控制的平滑程度。所以VLA的核心难点不在“都有什么模块”而在“模块之间怎么耦合、动作怎么表示”。1.3 为什么偏偏要强调双臂单臂机器人现在已经很成熟了商业场上到处都是工业机械臂。那为什么做VLA的研究者越来越把目光投向双臂表面原因是很多任务本质上需要两个抓手比如拧瓶盖时一只手扶瓶身、一只手旋转比如拉开抽屉后还要用另一只手去拿里面的东西再比如双手协作递送一个较长物体。这些行为在人类的日常经验里太自然了以至于很少有人意识到单臂模拟它们需要多么复杂的夹具和压紧策略。从模型学习的角度看双臂带来的挑战是质变而不是量变。双臂的动作维度翻倍状态空间更大而且两条手臂之间存在不可忽略的物理耦合它们可能共同抓取同一个物体也可能需要在空间中避免互相碰撞。如果模型把两条臂当作完全独立的个体去输出动作很容易产生“左手往前推右手也往前推”的僵硬行为。真正需要的是模型学出双臂动作的联合分布让一条臂的动作成为另一条臂的上下文。这个思路跟VLA里视觉和语言的跨模态交互异曲同工也是现在双臂VLA研究中最值得关注的部分。2. 来历从语言模型到机器人策略一条清晰的主线VLA不是凭空掉下来的。它的技术脉络可以追溯到十年前就开始积累的很多工作只是当时大家没有把它统称为VLA。我学习这个领域的历程就是沿着“语言模型→视觉语言模型→机器人动作模型”这条线走了一遍。2.1 语言模型带来的“常识”红利在很多人的印象里大语言模型只是聊天对话的工具。但如果你想做一个能干活儿的机器人语言模型提供的恰恰是机器人最缺的东西——世界常识。举个例子一台扫地机器人看到“脏袜子”如果它有足够的文本知识它知道袜子是软的、不应该用真空吸尘器去吸而应该用机械手捡起来看到“鸡蛋”它也知道这是个易碎品抓取时要减速。这种知识很难靠纯视觉数据获得因为图像里没有“易碎”这个标签但文本里有。最早一批尝试把语言模型引入机器人任务的工作做的其实很朴素用语言模型做一个任务规划器把“做一杯咖啡”分解成“拿杯子-放咖啡粉-注水-搅拌”这样的子任务列表再交给底层脚本执行。这种方式已经能展现出一些智能但问题是语言模型生成的是高层次符号计划跟底层的关节运动脱节。你让它“拿杯子”它不知道臂应该在什么高度、以什么角度去抓。2.2 视觉语言模型成为“眼睛”再后来视觉语言模型出现了。它把图像和文本对齐到同一个语义空间可以回答“图里有什么”“物体在什么位置”这类问题。研究者很快意识到这可以作为机器人感知系统的高效替代品。过去需要用目标检测器、分割网络、姿态估计器分别训练好几个模型视觉语言模型一个网络全包了而且对开放式类别很友好不是只能识别训练过的那几十类物体。不过视觉语言模型依然停留在“看”和“说”的层面。让它输出一份对场景的描述文字它说得头头是道让它指挥机械臂去改变场景它就无能为力了。从“说”到“做”这一步缺口正是VLA要补齐的。2.3 动作输出从词元到连续控制把一个神经网络接到机械臂上这件事其实在强化学习和模仿学习里已经做了很多年。传统的机器人模仿学习输入通常是一个图片和当前关节角度输出是一个期望的关节力矩或者末端位置增量。网络大多是小型的卷积网络或者全连接网络能够拟合的技能非常有限。智能一点的方案是门控策略用多个专家模块来处理不同阶段的动作但依然依赖人工设计。转折点发生在Transformer结构全面渗透到机器人领域之后。Transformer可以把图像、文本、动作都“Token化”Token变成了通用的表达语言。既然语言可以是Token图像patch可以是Token那为什么动作分量不能是Token一旦动作被Token化就可以用训练语言模型的那套 next-token prediction 目标去训练机器人策略了。这个思路直接催生了一批采用“语言模型框架做机器人控制”的技术路线——它们不需要复杂的强化学习奖励设计只需要收集大量带有指令标注的“图像-文本-动作”三元组数据然后让模型模仿人类操作者的行为即可。2.4 早期端到端机器人模型的积累在VLA这个概念流行之前已经有一批端到端机器人模型在实验室里迭代。它们的共同特点是放弃了传统规划器中大量的手工状态机让网络直接从高维输入映射到低维指令。有些工作针对单一任务比如“插销插入插孔”有些工作尝试做多任务让同一个策略模型学习“挪杯子”“推盘子”“叠毛巾”等多类操作。虽然任务范围还很小但证明了“端到端学习”在物理世界中走通的可能性。这些早期探索踩了不少坑也留下几条宝贵经验后来的VLA基本都继承了。第一条经验模仿学习对数据质量极其敏感遥操作采集时哪怕多抖两下模型也会把抖动当作要复现的动作。第二条经验视觉输入的干扰很致命换了光照或者背景模型成功率会断崖式下降。第三条经验动作频率不能太慢低频控制会让机器人看起来像抽疯而且在接近目标时容易震荡。这些经验直接影响了一个现代VLA应该如何设计网络结构、如何预处理数据、如何在固定频率下输出动作。3. 核心部件拆解一个现代VLA是怎么组成的说了一堆背景现在开始拆解现代VLA的内部结构。虽然各家实现细节有差异但大体上都可以看作四个部分的组合多模态编码器、动作表征层、策略解码器、训练目标。搞懂这四个部分你就理解VLA的骨架了。3.1 多模态编码器如何压缩图像和文字输入的第一站是编码器。图像编码器一般用现成的视觉Transformer或者卷积网络把一张或多张视图变成一组特征向量。这里有个关键细节机器人场景往往需要多视角信息比如一个正前方摄像头加一个手腕上的摄像头前者看全局布局后者看手部细节。VLA需要同时融合多个视角而不是简单拼接。常用的做法是给不同视角都做位置编码再让注意力机制自己决定当前任务该重点看哪个角度。文字编码器好玩一些。你当然可以把语言指令交给独立的文本编码器但很多VLA干脆直接用大语言模型的前几层来编码文本甚至把文本和视觉直接挤在同一个预训练模型里。这么做的好处是模型天然拥有很强的语言理解能力代价是显存占用大推理速度慢。对双臂机器人来说两条臂的观察数据本身也多一倍视觉编码器部分的计算量尤其需要注意。3.2 动作Token化把连续控制变成离散序列动作表征是VLA设计里分歧最大的地方。早期一派坚持连续回归直接把网络最后一层输出当成关节角度的增量或者末端位姿并配合一个均方差损失函数来训练。这个方法实现简单但容易造成动作突变因为神经网络回归出来的连续值缺乏约束。另一派走离散化路线把每个动作维度比如7自由度的关节角度加上一个夹爪开关在预定范围内均匀切分成若干区间每个区间当一个Token。动作就变成了一串离散Token像生成文本一样。然后模型用自回归方式逐个预测这些Token最后再把Token映射回物理值。离散化的好处是模型可以复用语言模型成熟的高维词表学习能力输出自然稳定坏处是量化误差会限制控制的精度。比如切分256个区间一个从0到1米的位移只能精确到约4毫米对一些精细装配任务来说可能不够用。后来还有一派用扩散模型来生成动作思路是先从噪声中逐步去噪得到动作序列。扩散策略在表达非模态动作分布上很有优势能拟合多峰的行为模式比如“既可以从左绕过障碍也可以从右绕过障碍”。现在不少双臂操作策略已经把扩散模型作为动作解码器效果比简单回归好不少。3.3 双臂策略的特殊设计共享与独立之间找平衡如果是单臂策略网络输出一个机械臂的动作就够了。到了双臂网络输出维度直接翻倍。这时候最忌讳的做法是把两条臂完全独立地接入同一个主干网络然后各自输出。这样网络没有显式建模两条臂的相关性学出来的动作常常是“左手不管右手”。好的双臂VLA会引入两个方面的约束。第一个是联合动作空间把所有关节角度拼成一个长向量当作一个单一输出而不是拆成两个动作流。这样模型在预测右手动作时左手动作的Token也作为上下文参与了计算。第二个是碰撞损失训练时除了任务奖励还会加一个新的惩罚项当两条臂的连杆中心距离小于某个阈值时进行惩罚逼着模型主动学习避让。此外还有主从式结构。模型先预测“主手”的动作比如抓住瓶子的那只手再根据主手和目标的位置预测“从手”的动作比如拧盖子的那只手。这种显式的因果依赖在拧瓶盖、拧螺丝这类的双手配合任务上非常有效因为这类任务本身就存在明确的动作顺序。3.4 损失函数与训练目标模仿之外还有什么VLA的训练最基础的目标是模仿学习也就是让模型输出的动作尽量接近人类演示的动作。这个目标用最大似然估计来表示条件概率取对数。如果动作是离散Token就是标准的交叉熵损失如果动作是连续量就是均方误差如果用了扩散模型则是去噪损失。但光靠模仿不够。人类演示覆盖不了所有可能的状态比如物体被碰倒、摆错了位置、手臂被意外阻挡。这时候就要结合强化学习来微调让模型在仿真环境里自己探索用任务达成率作为奖励信号让策略学会从失败中纠正。也有一些方案引入“语言奖励”让一个视觉语言模型当裁判判断当前状态距离指令目标还有多远。还有一个很实用的辅助损失预测下一时刻的视觉帧或者预测当前状态下抓取点的位置。这类辅助任务可以迫使模型学习到更结构化的空间知识而不是死记硬背动作轨迹。我在实际项目里发现加了视觉重建损失之后模型应对桌面杂乱场景的鲁棒性有明显提升虽然提升幅度不大但胜在训练成本低。4. 现阶段发展模型、数据、训练三条线同时往前跑VLA这个概念从提出到现在大概只经历了两三年密集迭代但进展非常快。如果只读最新论文很容易迷失在细节里。我觉得现阶段的发展可以从三条线去理解模型功能越来越强、数据来源越来越广、训练方式越来越灵活。4.1 模型范式之争自回归、扩散还是两阶段当前主流范式大致分成三个阵营。第一阵营继承语言模型传统把动作Token化后自回归生成比如早期的具身大模型范式中经常借一个预训练好的语言模型把图像也切成Token当作上下文输入然后输出动作Token。这种方案的优势是语言能力极强擅长处理长尾指令甚至可以跟用户对话解释自己在干什么。缺点是推理速度慢因为动作Token是一个接一个生成的而机器人控制又要求高频输出。第二阵营是扩散模型。扩散策略不需要自回归它一次性生成一段动作序列采样速度快很多而且天然表达多峰分布。很多双臂操作特别是需要柔顺动作的现在都更偏向扩散策略。它的劣势是对语言指令的理解相对弱一点因为扩散模型不是为文本生成的场景设计的要跟语言模型拼接才行。第三阵营是两阶段方案先把视觉语言模型当作一个“规划器”输出一组高层动作语义比如“把左臂移动到杯子把手处”、“合拢手指”再把这一段语义翻译成底层关节轨迹。这其实是把VLA拆成了两个模型好处是各自可以独立优化坏处是高层的规划不一定能反映到真实的运动学约束上。这类方案在复杂的双手长任务上很常见因为长于动作拆解但短于精细执行。个人的体会是这三者边界正在模糊。现在很难找到“纯自回归”或者“纯扩散”的模型大量工作在做混合用自回归大模型规划动作子任务用扩散策略去生成底层轨迹。这种搭配后来被证明是兼顾语义和高频控制的有效方案。4.2 数据从哪里来真机演示、仿真合成、互联网预训练数据是整个VLA训练最大的瓶颈。机器人领域不像NLP网上有海量文本也不像计算机视觉网上有海量图片。机器人示教数据需要有人实际去操作机械臂一条条录下来成本极高。尤其是双臂任务数据采集的难度直接翻倍操作者要同时操控两只机械臂的手柄保持动作协调而且很难一个人同时做得好。所以现阶段的数据策略普遍是“三条腿走路”。第一条腿是真实遥操作数据。质量最高包含真实物理接触和真实场景变化是任何仿训练都无法替代的。但现在的主流做法是降低采集成本用主从遥操作设备让采集者通过手柄甚至VR设备来演示任务。一些团队还会对采集到的轨迹做后处理比如平滑滤波、去除异常抖点这样能减轻模仿难度。第二条腿是仿真数据。在物理引擎里随机摆场景用脚本或者强化学习自动生成大量演示。仿真数据的优势在于便宜、并行、可以自动标注真值。但它的缺陷也很致命视觉域差距非常大。仿真里渲染出来的物体表面、光照、阴影和现实世界总有一种“假”的感觉。为了缓解这一点越来越多工作开始使用域随机化随机改变颜色、纹理、光照让模型学会忽略视觉上的次要变化只关注几何结构和语义。此外还有一类“合成到真实”的迁移方法先仿真训练再用少量真实数据微调效果很香。第三条腿是互联网数据。互联网上没有直接的机器人动作数据但有无数的图片、视频、文本。VLA可以把互联网数据用来预训练视觉编码器和语言编码器让模型先具备物体识别和语义理解能力再在机器人数据上微调。这种两阶段做法现在几乎成为标配。4.3 训练流程先预训练再微调还要对齐把这三种数据串起来的是一个很清晰的训练流程。第一步用互联网规模的图文数据和语言数据预训练一个视觉语言多模态模型。此时模型能识别物体、理解指令但不输出动作。第二步把动作解码器接到预训练模型上用一批百万级的、带动作标注的机器人演示数据做多任务模仿学习微调。这一步让模型学会“根据图像和文字输出动作”。到了这一步VLA已经可以工作了但距离“稳”还有差距。第三步是效果调优。一种做法是加入人类反馈让模型生成动作后由人工打分再用强化学习优化另一种做法是让模型在仿真环境里自己跑用任务奖励去微调。第三步通常需要设计不少细节比如奖励怎么稀疏怎么稠密、避免模型退化成“只会模仿不会调整”。我在实践中的感受是前两步决定模型上限第三步决定模型能落地的下限。很多看着很惊艳的VLA demo其实都在第二步就停了到了真实场景中一旦碰到未曾见过的角度或者光照就不灵。真正可用的系统必须在第三步投入足够精力。4.4 双臂VLA的专项进展先对齐再协作双臂VLA不是简单把单臂数据翻一倍。它的专项发展有几个有意思的方向。第一个是“共享视觉-独立动作”的网络结构视觉特征在两条臂之间共享以便模型统一感知全局而动作头则保持独立允许两条臂的动力学参数不同。这个结构在很多双臂数据集中已经验证了有效性。第二个研究方向是双臂协同的语义控制。过去的双臂技能往往绑定特定任务比如“双手端盘子”或“双手开瓶子”。现在的研究者希望用语言来命令一种“协作模式”比如跟机器人说“帮我把这块木板托住”模型能够理解这是“双手从下方支撑”而不是“双手从两侧抓”。这意味着双臂控制需要更深的任务理解而不仅仅是反应式的坐标映射。第三个方向是双臂的“镜生训练”只采集单臂技能然后用数据增强生成镜像的双臂动作来减少双臂演示数据的采集压力。比如只录了左手抓东西的轨迹把它沿机器人中轴镜像翻转就得到右手抓东西的轨迹。再比如录了一条双臂任务可以通过左右调换来扩充两条臂的角色互换样本。这些方法在一定程度上缓解了双臂数据稀缺问题但要注意运动学约束——镜像并非物理上完全等价遇到不对称任务时需要谨慎。5. 双臂VLA落地时的硬骨头说完了概念说说真正动手做项目时容易踩的那些坑。VLA听起来高大上但一落地全是看似琐碎却又致命的实际问题。我把自己做双臂任务时踩过的和围观过的坑整理一下希望能帮你少走弯路。5.1 数据采集遥操作才是最累的环节数据采集这件事实在太容易被低估。网上很多视频展示VLA怎么出色地完成各种任务而大家往往忽略视频背后成百上千次人类演示。单臂数据采集已经让人臂酸了双臂采集更是一种折磨。用双手遥操作手柄做一次“整理桌面”任务要同时协调两只手去挑拣物体连续做几十条身体上是真会出汗的。除非你只是重复同一个机械动作否则采集过程一定要尽量避免动作抖动。我观察到一个规律一个人上午精神好时采集的数据质量明显高于下午疲劳时。模型学风格你累的时候采集的轨迹里带着飘忽模型就学会飘忽。因此数据采集最好固定到同一个操作者、同一个时间段。如果多人协作采集我建议至少保持手柄配置一致。对于双臂任务还建议把“协作行为”单独记录标注。比如这个片段里两条臂是同时开工还是一主一从如果模型看不到这个标记就会倾向于平均地学把同时协作和顺序工作混在一起结果两种模式都做不好。5.2 双臂自碰撞仿真里没留意真机上就翻车双臂系统最大的物理问题就是两条臂会撞到一起。传统单臂系统不需要关心自碰撞顶多是机械臂和场景里的固定障碍物碰撞。但双臂工作时由于两条臂在同一空间内运动它们之间的冲突概率非常高。特别是VLA这种端到端模型它不像规划器那样有碰撞检测模块可以主动避障输出稍微不协调就会发生机械臂和机械臂撞在一起轻则卡住重则损坏设备。保险起见如果使用商用双臂平台一般会开启底层运动学限制但很多研究平台没有这个保护只靠模型自己学。我建议在训练数据里刻意加入一些“双壁靠近但不可以碰撞”的场景让模型见过“贴着但没碰到”的状态。更进一步所有双臂VLA项目都应该在真机实验前跑一遍基于运动学的仿真检查排除掉大部分物理不合理的动作序列。哪怕你的模型没有显式的碰撞感知模块这一步也能帮你提前发现输出异常。5.3 泛化与幻觉VLA也会“说一套做一套”VLA继承了语言模型的所有优点也继承了它的所有缺点包括幻觉。我第一次让模型执行“把左边第二个杯子拿过来”模型信誓旦旦输出一个抓取动作结果抓向一个不存在的区域时我很崩溃。后来才发现模型其实并没有数清“第二个”这个概念它只是在文本上见过“左边”但没有真正和当前画面对齐。解决这个问题最直接的手段是数据增强把同一个任务放到不同物体个数、不同排列下反复演示让模型学会真正的计数和空间关系而不是死记位置。另一类泛化问题是视觉干扰。桌面上有大量无关物体时模型容易看着看着就选错了注意力。一个经验是多给一些“负向示例”也就是带指令的数据里故意放入干扰物体同时给出正确的动作这会让模型的注意力更容易关注目标而忽略背景。如果只训练干净背景一上真实桌子大概率会失败。5.4 部署和实时性模型很大机器人很急机器人控制跟聊天不一样你没法等模型慢慢思考。VLA的推理延迟必须符合控制频率的要求。对于绝大多数机械臂至少需要每秒10到15次的控制指令如果模型推理一次要两三百毫秒控制频率就会掉到四五赫兹这时候机械臂的运动会感觉非常迟钝甚至带滞后感。优化方案有很多。动作Token的自回归生成是最大瓶颈因为每个Token只能串行解码。有人把动作分辨率降低比如只预测一个动作块Action Chunk里的几个关键点然后再插值细分有人用并行解码一个位置的所有Token同时预测还有人直接蒸馏成一个小模型把小模型部署到机器人上虽然精度损失一些但换来两倍以上的速度提升。我在项目里倾向的做法是“动作块蒸馏”先把大VLA在服务器上生成一批离线轨迹然后拿这些轨迹去训练一个小巧的动作扩散模型部署在本地推理效果和实时性都能兼顾。6. 我个人对现阶段VLA走势的几个观察综述写到这不聊点主观判断就太可惜了。这两年VLA的进展确实快但快不代表已经成熟。我内心对这个领域有几个比较强烈的感受分享出来供你参考。6.1 通用智能的底座还是先落在“理解”上很多同行争论到底VLA的未来是更大的模型还是更好的数据。我的看法是先把“理解”做透了动作就会水到渠成。你看人类小孩学做家务不是先学机械控制而是先听懂话、看懂场景然后动作自然就逐渐熟练。现在的VLA模型恰好是在“动作”上投入了太多精力而忽视了“理解”的深度。很多模型本质上是个“条件反射网络”——看到某一类图像就直接输出既定的轨迹指令换一种说法它就懵了。所以我更关注如何提升VLA的场景理解能力。比如让模型能够解释“为什么要这样抓”或者能够在失败之后重新规划。这种对物理状态和语言意图的联合推理能力才是真正通用的前提。动作输出的质量当然重要但那可以靠底层控制器和扩散策略去兜底。6.2 数据依然是回没写完的答卷尽管数据来源已经多元化但双臂VLA的数据缺口还是肉眼可见。我觉得未来一年里更值得做的是数据“合成”与“自动扩增”的高效工具而不是继续堆人工采集。我们能不能让机器人在仿真里自己尝试一万次然后把成功的轨迹和失败的轨迹都记录下来用来训练一个更强大的策略这里的关键在于如何判断“成功”以及如何把仿真学到的技能稳定迁移到真机。个人觉得跨域迁移比数据采集本身更有价值。6.3 双臂的“协调智能”需要更多理论支撑现在双臂VLA的很多成果其实是在借用单臂的网络结构然后加一个更大的输出头。这是可以work但并不优雅。到底两条臂的决策应该共享多少参数、谁该是主谁该是从、这些关系是否应该由任务本身动态决定而不是固定结构指定这些问题至今没有统一答案。我经常看到同一个任务有的团队用“分头策略”跑得很好有的团队坚持“联合策略”也跑得很好说明结构选择高度依赖数据和任务的具体分布。而这恰恰说明双臂协调的归纳偏置还缺少真正的理论指导留了很多坑等着人去填。7. 写在最后做了一段时间双臂具身VLA我最深的体会是这个方向真正的门槛不在于懂一个模型结构而在于能同时理解机器人的物理约束、视觉语言的语义基础、甚至数据采集的人因工程。一会儿跟底盘控制纠缠一会儿跟Tokenization较劲一会儿又得操心遥控操作手柄能不能少累一点。你的身份不停切换就像在同时开好几条斗争线。如果你正准备入坑我给一个很实际的建议别急着从零实现一个VLA也别一上来就跑双臂。先买一台便宜的桌面单臂采几百条数据把一个开源VLA跑通记录它成功和失败的样子。然后加上一条手臂看看之前模型结构会不会崩。这个流程虽土但能帮你积累非常真实的体感——哪些参数是致命的哪些变量又是完全没影响的。再补充一个小技巧训练双臂VLA的时候把“关节速度惩罚”的权重调高一点。因为双臂动作空间大网络很容易输出一些速度波动很大的动作看着不自然也容易加剧机械结构磨损。我试过在网络末端加一个简单的速度平滑层推理时对相邻动作做指数滑动平均低通一下控制效果顺滑很多这个改动小对成功率没有副作用建议你直接抄作业。
阅读完成 · 觉得有帮助？
