具身智能系统概论——具身大模型

第6章具身大模型 (Embodied Foundation Models)6.1 视觉-语言-动作 (VLA) 模型RT-2, PaLM-E 解析在 ChatGPT 出现之前机器人领域的“大脑”通常是由无数个小模型拼凑而成的一个模型负责看图一个模型负责导航一个模型负责抓取。这种“烟囱式”架构导致各模块之间无法传递深层的语义信息。视觉-语言-动作 (VLA, Vision-Language-Action)模型的横空出世打破了这种隔阂。它提出了一种全新的范式将物理世界的控制问题转化为序列预测问题。1. 核心思想世界即语言 (The World is Token)LLM大语言模型通过学习海量文本学会了预测下一个词。VLA 模型则进一步扩展了这一逻辑输入图像Vision 指令Language输出动作Action在 VLA 的眼中一张图片是一串 Token一句话是一串 Token一个机械臂的动作如x坐标1也是一个 Token。既然都是 Token那么只要把它们喂给同一个 Transformer模型就能自动学习到它们之间的关联。2. RT-2 (Robotic Transformer 2)让大模型直接控制手臂由 Google DeepMind 发布的 RT-2 是 VLA 模型的里程碑之作。它展示了一个惊人的事实经过互联网图文数据预训练的模型能够直接迁移到机器人控制上。架构原理基座模型使用 PaLM-E 或 PaLI-X 等现成的视觉-语言模型VLM作为底座。这些模型已经“读”过互联网上的亿万图文拥有丰富的常识比如知道“超人”是会飞的“海绵宝宝”是黄色的。动作 Token 化 (Action Tokenization)将机械臂的动作空间6个自由度的位置旋转夹爪开合离散化为字符串。例如将动作编码为数字字符串128 0 255 1 0...。微调 (Fine-tuning)将原本用于生成文本的模型加入少量机器人操作数据RT-1数据集进行微调。让模型学会当看到“把苹果拿起来”的指令和“桌上有苹果”的图片时应该输出代表抓取动作的那串数字 Token。涌现能力 (Emergent Capabilities)RT-2 最震撼的地方在于它的泛化能力。未见过的物体以前的机器人没见过“钢铁侠手办”就不知道怎么抓。但 RT-2 在互联网上看过钢铁侠的图片它能利用这个常识成功识别并抓取手办尽管训练数据里从来没有机器人抓过手办。未见过的指令告诉它“把快灭绝的动物捡起来”它能准确地抓起恐龙玩具而避开马的玩具。这说明它理解了“灭绝”这个抽象概念并将其映射到了物理对象上。3. PaLM-E多模态的具身推理者如果说 RT-2 侧重于底层的动作执行那么 Google 的 PaLM-E 则侧重于高层的感知与规划。它是一个真正意义上的“通才”。架构原理PaLM-E 是一个解码器架构 (Decoder-only)的大模型。它的输入不仅是文本还直接嵌入Embedding了连续的感知信号。多模态句子 (Multimodal Sentence)它的输入看起来像这样User: Q: 发生了什么 Image_Embedding A: 机械臂抓起了一块海绵。它可以直接“吃”进来自 ViT (Vision Transformer) 的图像编码甚至激光雷达的数据并与文本混合处理。核心能力正向迁移 (Positive Transfer)学习视觉任务如看图说话竟然能提升机器人任务如导航的性能反之亦然。不同模态的知识在模型内部产生了化学反应。长程任务规划PaLM-E 非常擅长移动操作Mobile Manipulation。指令“去把抽屉里的薯片拿给我。”推理它能理解这包含“走到柜子前 - 打开抽屉 - 识别薯片 - 抓取 - 走回人身边”一系列步骤并能根据视觉反馈实时调整计划比如发现抽屉被锁住了它会生成“找钥匙”的新计划。4. VLA 模型的局限与未来尽管 RT-2 和 PaLM-E 令人兴奋但它们目前还不是完美的解决方案推理速度慢这种几十亿参数的大模型推理一次可能需要几百毫秒甚至几秒。对于需要 100Hz 甚至 1kHz 控制频率的机器人来说太慢了。对策分层架构。VLA 负责生成 1Hz 的路径点Waypoint底层的传统控制算法负责高频插值和执行。精度不足大模型输出的是离散的 Token往往不够精确。让它穿针引线很难。对策结合扩散策略 (Diffusion Policy)。利用扩散模型生成连续、平滑且高精度的动作轨迹。数据饥渴高质量的机器人真实操作数据非常稀缺比文本数据少得多。对策Sim2Real仿真到现实和视频预训练让 AI 看人类操作视频学习。小结VLA 模型是具身智能的“圣杯”。它第一次打通了**“语义世界”语言/知识与“物理世界”**视觉/动作的任督二脉。RT-2 和 PaLM-E 证明了如果我们把机器人的身体看作一种特殊的“语言”那么拥有常识的大脑就能直接驱动这具身体。这标志着机器人从“自动化设备”向“智能体”进化的奇点已经到来。在下一节我们将深入探讨如何让这个大脑听懂更复杂的指令——语义理解与任务拆解。6.2 语义理解与任务拆解从抽象指令到原子动作对人类来说“把桌上红色的苹果拿给我”是一句极其简单的指令。但对机器人而言这句话是一个包含感知、逻辑判断、空间搜索和运动规划的复杂谜题。解决这个谜题的过程就是语义理解 (Semantic Understanding)与任务拆解 (Task Decomposition)的过程。1. 语义理解不只是关键词匹配传统的语音助手如早期的 Siri 或小爱同学使用的是“关键词匹配”或“槽位填充Slot Filling”。比如识别出动作拿物体苹果属性红色。但具身智能面临的环境更复杂它需要理解上下文、空间关系甚至隐含意图。指代消解 (Coreference Resolution)用户说“把那个苹果拿给我。”场景桌上有两个苹果一个是红的一个是青的。VLA 推理模型需要结合视觉信息。如果用户之前盯着红苹果看视线交互或者上一句提到了“我想吃甜的”常识推理红苹果通常更甜模型需要推断出“那个”指代的是红苹果。多属性融合与歧义处理场景桌上有一个真实的红苹果和一个红苹果图案的杯子。VLA 推理模型必须理解“苹果”作为物体类别和作为视觉纹理的区别。它结合 3D 深度信息RGB-D识别出哪个是球体真苹果哪个是圆柱体杯子从而锁定正确目标。空间语义理解 (Spatial Semantics)指令“放在盘子左边。”挑战机器人的左边盘子的左边还是用户视角的左边VLA 推理模型需要建立以物体为中心的坐标系Object-centric Frame或以用户为中心的坐标系Ego-centric Frame这通常依赖于对介词on, under, left of的深度物理理解。2. 任务拆解 (Task Decomposition)思维链 (CoT)一旦理解了“要做什么”下一步是解决“怎么做”。VLA 模型利用思维链 (Chain of Thought, CoT)技术将一个宏观的长程目标Long-horizon Goal拆解为一系列短程的原子动作 (Primitive Actions)。案例解析“把桌上红色的苹果拿给我”VLA 模型会在内部生成如下的推理步骤感知 (Perception)扫描当前环境Scan Scene。检测结果Detected: [Apple_Red, Apple_Green, Mug, Table]定位 (Grounding)锁定目标坐标。推理Target isApple_Red. Position:(x0.5, y0.2, z0.8).导航 (Navigation)规划移动路径。动作Move_to(Table_Location)。操作 (Manipulation - Pick)规划抓取。动作Grasp(Apple_Red).细节这是一个球体夹爪张开宽度设为 8cm力度设为 5N防捏碎。交互 (Delivery)寻找用户并交付。动作Find(User_Face)-Move_to(User_Hand_Range)-Release().代码生成 (Code as Policies)Google 的 Code-as-Policies (CaP) 研究表明让 LLM 直接生成Python 代码比生成自然语言步骤更有效。为什么代码具有严谨的逻辑结构if-else, while loop天然适合描述机器人的控制流。示例输出Pythondef fetch_apple(): objects vision.detect_objects() target [obj for obj in objects if obj.name apple and obj.color red][0] robot.move_to(target.location) robot.gripper.grasp() robot.move_to(user.location) robot.gripper.release()这些 API 函数如robot.move_to对应着底层预定义好的控制原语。3. 闭环修正当计划赶不上变化现实世界是动态的。当机器人伸手去抓苹果时苹果可能滚走了或者被人拿走了。VLA 模型必须具备闭环修正 (Closed-loop Correction)能力。视觉反馈在执行每一步Grasp动作前模型会再次调用视觉模块确认Is_Object_At_Target?。异常处理情况苹果滚到了地上。重规划 (Re-planning)模型感知到 Z 轴坐标突变触发异常中断。它不会继续傻傻地抓空气而是重新生成任务链Bend_Down()-Pick_from_Floor()。小结让机器人听懂“拿苹果”本质上是完成了一次从自然语言空间到物理向量空间的映射。语义理解解决了Targeting目标锁定的问题。任务拆解解决了Planning序列规划的问题。闭环修正解决了Robustness鲁棒执行的问题。正是这三步让冰冷的机器拥有了看似善解人意的“灵性”。在下一节我们将讨论如何利用仿真技术Sim2Real让这个聪明的大脑在虚拟世界中修炼成才再回到现实世界大显身手。6.3 Sim2Real在仿真环境中训练策略并迁移至真机在 AlphaGo 战胜李世石之前它已经自我对弈了数千万局。对于具身智能而言我们同样需要这种海量的训练数据。但现实世界的机器人太慢、太贵、太容易坏。如果让一台真实的机器狗通过“随机摔倒”来学习走路它可能还没学会电机就已经烧毁了维修成本高昂。Sim2Real (Simulation to Reality)技术应运而生在物理引擎构建的虚拟世界Matrix中训练智能体然后将训练好的“灵魂”策略网络下载到真实的“躯壳”中。1. 为什么需要仿真安全性 (Safety)在仿真里机器人哪怕把厨房炸了、把自己摔散架了一万次也只需按一下“Reset”键。这允许强化学习RL算法探索极端的边界条件。速度 (Speed)现实世界的时间是 1 倍速。但在 NVIDIA Isaac Gym 这样的并行仿真器中我们可以同时运行数千个机器人副本以10,000 倍于现实的速度收集数据。一晚上的训练相当于人类几年的经验。标注成本 (Labeling)在现实中获取物体的 6D 位姿真值Ground Truth极难需要昂贵的动捕设备。在仿真里所有物体的位置、速度、受力都是已知的标注成本为零。2. 主流仿真引擎物理世界的数字孪生MuJoCo (Multi-Joint dynamics with Contact)特点它是学术界的黄金标准。擅长处理复杂的接触动力学Contact Dynamics比如手指捏住硬币时的摩擦和形变。优势计算极其稳定、精确适合灵巧手操作和双足行走的基础研究。NVIDIA Isaac Gym / Isaac Sim特点它是工业界的核武器。利用 GPU 的大规模并行计算能力直接在显存中跑物理引擎无需 CPU 与 GPU 之间频繁传数据。优势吞吐量惊人。支持光线追踪 (Ray Tracing)渲染生成的图像逼真度极高非常适合训练基于视觉的策略Visual Policy。SAPIEN / Maniskill特点专注于物体操作Manipulation。内置了大量可交互的家具和物体模型如可打开的微波炉、可拧的水龙头。3. 核心挑战Reality Gap (虚实鸿沟)虽然仿真很美好但模拟器永远无法 100% 还原真实世界。摩擦力不准地毯、瓷砖、草地的摩擦系数难以精确建模。传感器噪声真实摄像头的噪点、镜头的畸变、LiDAR 的透射误差。执行器延迟仿真里的电机是完美的指令一发立刻响应现实中的电机有惯性、有死区、有通信延迟。如果直接把仿真训练好的策略部署到真机机器人往往会像“醉酒”一样这就是Reality Gap。4. 跨越鸿沟的三大在技术为了弥合 Gap我们采用以下策略域随机化 (Domain Randomization)原理既然无法模拟真实的摩擦力那就让它变在训练时随机改变环境参数把机器人的质量随机 ±10%摩擦力随机 ±20%光照颜色随机变甚至给传感器数据加高斯白噪声。效果强迫 AI 学会适应各种混乱的环境。当它回到现实世界时会觉得“这只是我见过的无数种混乱情况中的一种而已”从而表现出强大的鲁棒性。域适应 (Domain Adaptation)原理利用少量真实世界的数据微调Fine-tune仿真模型。Teacher-Student 架构仿真里的“老师”拥有全知视角Privileged Information如地形高度、物体质量现实中的“学生”只能看深度图和本体感觉。通过蒸馏让学生学会像老师一样从有限信息中推断环境属性。系统辨识 (System Identification)原理训练一个在线估计器Estimator。机器人一边走一边根据脚底的打滑程度实时反推当前地面的摩擦系数并动态调整控制策略。这就像人走在冰面上脚下一滑立刻就会绷紧肌肉。5. 成功案例ANYmal (ETH Zurich)这只四足机器人完全在 Isaac Gym 中通过强化学习学会了在陡峭山地、雪地和楼梯上奔跑。它利用了一种叫“盲视运动 (Blind Locomotion)”的策略即便没有视觉仅靠脚底触觉也能在大乱石堆中如履平地。OpenAI Dactyl (灵巧手)通过极端的域随机化甚至把魔方的颜色都随机变了让一只单手在没有任何人类示教的情况下学会了像人一样单手转魔方。小结Sim2Real 不仅仅是节省成本的手段它是具身智能进化的加速器。它让我们能够在数字世界中构建一个“精神时光屋”让智能体在其中经历亿万年的进化然后在一夜之间降临到物理躯壳中展现出超越人类预设代码的本能与智慧。至此第六部分“具身大模型”结束。有了大脑有了仿真经验机器人还需要一个强大的“小脑”来执行具体的动作。接下来的第7章我们将深入运动控制与规划。