具身智能系统概论——感知系统

本章系统阐述了具身智能的多模态感知体系。视觉方面RGB-D相机实现立体感知事件相机以微秒级响应捕捉动态占用网络则通过3D空间占据概率统一表征环境支持遮挡处理与多模态融合。触觉与本体感觉依托力矩传感器、IMU与电子皮肤构建“体感系统”实现柔顺控制与安全交互。听觉通过麦克风阵列与声源定位技术完成空间感知与噪声抑制。最终卡尔曼滤波与Transformer融合架构在高低层协同下实现从底层实时状态估计到高层语义理解的闭环感知使机器人兼具“眼耳鼻舌身意”的综合感知能力。第3章多模态感知系统3.1 视觉感知RGB-D 相机、事件相机与占用网络 (Occupancy Network)视觉是具身智能体获取信息带宽最高的通道。人类大脑皮层中约有 50% 的区域参与视觉处理同样的在机器人系统中视觉模块也占据了算力和数据流的绝大部分。但机器人的视觉不同于手机摄影。手机追求的是“好看”美颜、HDR而机器人追求的是“真实”与“几何确定性”。本节将介绍三种定义了现代机器人视觉的关键技术。1. RGB-D 相机从平面到立体RGB-D 相机是具身智能的标配“双眼”。它在提供彩色图像RGB的同时每个像素点还附带一个深度值Depth从而直接构建出 3D 点云。三大主流技术路线双目立体视觉 (Stereo Vision)原理像人眼一样通过两个摄像头的视差Parallax计算距离。优缺点被动式不发射光室外强光下表现好功耗低但在白墙、无纹理区域完全失效算不出视差。结构光 (Structured Light)原理发射特定的散斑图案如红外光斑通过图案在物体表面的变形来计算深度。优缺点精度极高亚毫米级适合近距离精密操作如 FaceID、机械臂抓取但室外见光死红外光会被太阳光淹没。ToF (Time of Flight)原理发射光脉冲计算光子飞个来回的时间。优缺点响应速度快抗干扰强但分辨率通常较低且存在多径干扰问题。具身智能选型策略头部相机通常选用双目结构光的组合如 Intel RealSense。双目负责室外结构光负责近距离高精度抓取。避障相机通常选用ToF或广角双目追求大视场角FoV以覆盖脚下盲区。2. 事件相机 (Event Camera)捕捉瞬间的动态如果说 RGB-D 相机是“摄像机”那么事件相机就是“生物视网膜”。它是一项革命性的技术正在解决传统相机在高速运动和高动态范围下的痛点。原理传统相机以固定帧率如 30fps拍摄所有像素。而事件相机没有快门每个像素独立工作。当且仅当某个像素的亮度变化超过阈值时它才输出一个信号Event: x, y, time, polarity。静态场景输出数据量为 0。动态场景仅输出运动物体的轮廓流。具身智能的核心价值极低延迟 (Microsecond Latency)响应速度是微秒级的。这使得机器人能轻松捕捉飞行的棒球或在跌倒的瞬间做出反应。超高动态范围 (HDR)可以在隧道出口瞬间看清前方或在漆黑夜里看清晃动的手电筒不会过曝或欠曝。极低数据量与功耗不传输背景冗余信息大幅降低了后端处理的算力负荷。应用场景高速避障无人机在丛林中高速穿梭。视觉伺服机械臂在振动环境下追踪目标。3. 占用网络 (Occupancy Network)理解空间的“空”与“实”有了 RGB-D 和事件相机的数据机器人如何理解环境传统的做法是生成点云Point Cloud或体素地图Voxel Map但这些方法数据量大且难以处理遮挡。特斯拉在 AI Day 上带火的占用网络 (Occupancy Network)代表了视觉感知的最新范式——从“感知”走向“预测”。核心思想不再试图识别每一个物体是什么这是分类任务而是将 3D 空间划分为无数个微小的网格Grid预测每一个网格被占据的概率Occupancy Probability以及占据物的流动性Flow。技术优势统一表征无论是汽车、行人、还是路边的石墩子、掉落的纸箱在网络眼里都是“占据”。这解决了**长尾物体Corner Case**识别难的问题——我不认识那个异形物体但我知道那里“不空”不能撞上去。处理遮挡基于时序信息网络可以“脑补”出被前车遮挡的路沿或者被手臂遮挡的杯子把手。多模态融合的容器占用网络是一个完美的融合容器。你可以把 RGB 图像特征、雷达点云特征都投影到这个 3D 空间网格中让网络自动学习最优的融合策略。在具身智能中的应用导航规划机器人不再需要昂贵的高精地图而是基于实时生成的占用网格在杂乱的房间里穿行。操作空间构建机械臂在抓取时利用占用网络判断物体周围是否有足够的空间让夹爪伸进去。小结现代具身智能的视觉系统正在经历一场范式转移硬件上从单一的 RGB 向RGB-D Event的仿生组合演进算法上从离散的物体检测Bounding Box向连续的占用预测Occupancy演进。这套组合拳让机器人不仅拥有了测量距离的尺子更拥有了感知动态与理解空间的智慧。在下一节我们将探讨视觉之外的感知——如何让机器人拥有触觉和痛觉。3.2 触觉与本体感觉电子皮肤、力矩传感器、IMU如果说视觉让机器人看见了世界那么本体感觉 (Proprioception)和触觉 (Tactile)则让机器人感觉到了自己的存在。没有这两者机器人就如同患了严重的麻木症哪怕拥有再好的眼睛走路也会像醉汉拿东西会像戴着厚厚的棉手套。1. 力矩传感器 (Torque Sensor)机器人的“肌肉神经”在传统的工业机器人中位置控制Position Control是主流机器人只知道“我要走到这个角度”而不在乎路上碰到了什么。这导致它们僵硬且危险。具身智能的核心变革在于力控 (Force Control)而关节力矩传感器就是实现这一变革的基础。硬件形态通常安装在减速器和输出法兰之间是一个贴满应变片的弹性体。它能精确测量关节承受的扭转力牛米, Nm。核心功能柔顺控制 (Compliance)当人的手推动机械臂时传感器检测到外力控制器立刻让电机顺着力的方向转动。这让几百公斤的机器人变得像弹簧一样“软”保证了人机协作的安全。碰撞检测无需视觉只要力矩突然异常跳变系统就知道“撞到了”并能在几毫秒内触发急停。力反馈操作在拧螺丝或插拔插头时机器人不是靠看而是靠“手感”——感知阻力的变化来判断是否对准了螺纹。2. IMU (惯性测量单元)机器人的“前庭器官”就像人类内耳的前庭系统负责平衡感一样IMU 是具身智能体尤其是双足/四足机器人保持直立的绝对基准。组成通常包含 3轴加速度计 3轴陀螺仪6轴高端的还会加上 3轴磁力计9轴。工作原理与挑战姿态解算通过积分角速度得到角度通过二次积分加速度得到位移。零偏漂移 (Drift)低端的 IMU 会随时间产生累积误差比如静止不动却显示在缓慢旋转。具身智能要求使用战术级 (Tactical Grade)或高性能工业级 IMU并通过卡尔曼滤波EKF融合视觉里程计VIO及腿部运动学数据来校正漂移。在具身智能中的角色跌倒检测与恢复当身体倾斜角度超过阈值或者检测到失重/撞击信号IMU 是触发保护反射的第一道关卡。浮动基座估算机械臂通常固定在地面基座坐标是 (0,0,0)。但人形机器人的基座骨盆是在晃动的IMU 提供了这个浮动基座相对于世界坐标系的实时位姿。3. 电子皮肤 (E-Skin)机器人的“全身触觉”人类的皮肤遍布全身能感知蚊子的叮咬也能感知爱人的抚摸。目前的机器人大多是“铁皮”或“塑料壳”没有知觉。电子皮肤旨在打破这一局限赋予机器人大面积的触觉感知。技术路线压阻式/电容式阵列最成熟的方案。在柔性薄膜上印刷导电材料受压时电阻或电容变化。能检测压力分布。视触觉 (Visuo-Tactile)如 GelSight。在透明的弹性硅胶层内部装一个微型摄像头和LED灯。当硅胶层按压物体时摄像头拍摄硅胶的形变。优势分辨率极高能看到指纹级的纹理。缺点体积较厚难以覆盖全身主要用于指尖。磁触觉利用霍尔效应感知柔性磁体的形变灵敏度极高且耐磨损。应用场景安全蒙皮 (Safety Skin)覆盖在机械臂或机器人躯干表面。一旦检测到与人发生非预期的轻微接触甚至在接触前的静电感应立即停止运动。这比力矩传感器更灵敏因为它是直接感知而非间接推算。灵巧操作指尖的电子皮肤能感知滑移 (Slip)。当拿起一个玻璃杯时如果检测到杯子在向下滑手指会自动增加握力如果感知到杯壁变形会减小握力。这种微调完全依赖触觉。小结IMU给了机器人**“垂直”**的概念让它能站得住。力矩传感器给了机器人**“力道”**的概念让它能温柔地交互。电子皮肤给了机器人**“接触”**的概念让它能感知物理世界的质感。这三者共同构成了具身智能的**“体感系统”**与视觉系统互为补充。视觉解决“在接触前”的问题规划而触觉解决“在接触中”的问题控制。在下一节我们将讨论听觉系统如何完善感知的拼图。3.3 听觉与空间感知麦克风阵列与声源定位在具身智能的感官设计中听觉往往被低估。人们容易认为听觉只负责“听懂指令”ASR语音转文字这其实是云端大模型的工作。对于具身智能体而言听觉的核心价值在于物理声学感知——即通过声音来理解空间结构、定位目标和过滤环境噪音。单个麦克风只能感知声音的强弱标量而麦克风阵列 (Microphone Array)赋予了声音方向感矢量将听觉从一维提升到了三维。1. 麦克风阵列机器人的“顺风耳”硬件构型环形阵列 (Circular Array)常见于机器人的头顶。由 4~8 个麦克风均匀分布在圆周上。优势提供 360° 全方位的平面声源定位能力没有死角。场景家庭服务机器人、会议室助手。线性阵列 (Linear Array)常见于机器人的胸口或显示屏上方。优势只能定位前方 180° 范围但在该范围内的水平分辨率较高。场景接待机器人、挂壁式控制面板。分布式阵列 (Distributed Array)利用星闪 (SparkLink)或A2B总线将麦克风分散布置在机器人的头部、肩部甚至背部。优势孔径Aperture更大定位精度更高且能克服机身遮挡带来的声影区Acoustic Shadow。2. 声源定位 (SSL - Sound Source Localization)听声辨位当用户在机器人背后喊一声“嘿过来”机器人如何知道转身面向哪里这依赖于 SSL 技术。TDOA (Time Difference of Arrival) 算法这是最核心的原理。声音在空气中的传播速度约为 340m/s。如果声源在左侧左边的麦克风会比右边的麦克风早几十微秒接收到声波。系统通过计算这对微小的时间差利用几何关系解算出声源的角度DoA, Direction of Arrival。挑战这要求多路麦克风之间的时钟同步精度极高10μs。如果是无线麦克风这就成为了星闪/UWB 技术大显身手的地方。波束成形 (Beamforming)一旦确定了声源方向阵列就可以通过算法调整各路信号的延迟和权重形成一个指向该方向的“听觉波束”。效果就像给耳朵装了一个定向望远镜。机器人可以只“听”来自用户方向的声音而压制来自侧面电视机的噪音或身后扫地机的马达声。增益这种空间滤波通常能带来 10~20dB 的信噪比提升是远场语音交互成功的关键。3. 自身噪声抑制 (Ego-Noise Suppression)学会“充耳不闻”具身智能体与智能音箱最大的不同在于它自己会动且很吵。当机器人走路时脚底的撞击声、关节电机的电流声、散热风扇的呼啸声对于麦克风来说都是巨大的近场干扰。主动回声消除 (AEC, Acoustic Echo Cancellation)原理机器人知道自己发出了什么声音比如正在播放音乐或TTS语音它会将这部分音频信号作为参考从麦克风录到的信号中减去。让它能“打断”自己。盲源分离 (BSS) 与 电机降噪电机噪声建模机器人的控制系统知道当前电机的转速和力矩可以建立电机噪声的频谱模型。自适应滤波实时从收音信号中滤除符合电机噪声特征的频段确保机器人在运动中依然能听清人类的微弱指令。4. 听觉SLAM (Acoustic SLAM)用耳朵看空间虽然视觉SLAM是主流但在黑暗、烟雾或玻璃墙环境中听觉可以提供关键的补充信息。回声定位机器人发出一段超声波或Chirp信号通过分析回声的延迟和混响Reverberation推断房间的大小、墙壁的材质吸音还是反射以及离墙的距离。多感官融合当视觉受阻如床底时听觉可以帮助判断前方是否开阔。小结在具身智能系统中麦克风阵列不仅仅是语音交互的入口更是一个精密的空间传感器。它通过TDOA赋予了声音方向感通过波束成形赋予了听觉注意力通过自身噪声抑制解决了运动与感知的冲突。这让机器人能够在嘈杂的鸡尾酒会上依然能优雅地转向呼唤它的人听清每一个字。在下一节我们将讨论如何将视觉、触觉、听觉汇聚在一起构建感知的最高形式——传感器融合。3.4 传感器融合卡尔曼滤波与 Transformer 融合架构在具身智能体中单一传感器永远是不可靠的摄像头会因逆光致盲激光雷达在雨雾中充满噪点IMU 会随时间漂移触觉只有接触那一刻才生效。传感器融合 (Sensor Fusion)的艺术就在于利用信息的冗余性Redundancy和互补性Complementarity在混乱的数据中提取出**“数学上的真理”**。目前这一领域正处于从经典算法向 AI 大模型演进的十字路口。1. 经典基石卡尔曼滤波 (Kalman Filter) 及其变体对于低维状态估计如机器人的位置、速度、姿态卡尔曼滤波KF及其非线性变体EKF, UKF依然是统治级的算法。它是“贝叶斯推断”在工程上的完美实现。核心逻辑预测 更新预测 (Predict)机器人根据上一刻的状态和运动指令如“向前走1米”利用运动学模型盲猜自己现在在哪。这个猜测带有不确定性协方差。更新 (Update)此时观测数据来了如 GPS 或 视觉里程计说“我在 x,y”。卡尔曼滤波会根据观测器的可信度噪声矩阵将“盲猜值”和“观测值”加权融合得出一个最优估计值。具身智能中的典型应用VIO (视觉惯性里程计)融合IMU高频但漂移和摄像头低频但无累积误差。当机器人剧烈晃动导致画面模糊时算法更信任 IMU当机器人平稳移动时算法利用视觉特征点来修正 IMU 的漂移。腿部运动学融合机器狗在冰面上打滑时编码器显示走了 1 米IMU 显示没动。EKF 会迅速判断出“打滑了”并以 IMU 数据为准防止机器人错误地更新地图位置。2. 新兴范式Transformer 融合架构 (BEVFormer / TransFusion)随着具身智能进入L3/L4阶段我们需要处理的不再是简单的坐标点而是复杂的语义理解和3D 空间表征。卡尔曼滤波在处理高维图像数据时显得力不从心基于Transformer的深度学习融合架构开始占据主导地位。BEV (Birds Eye View) 鸟瞰图空间这是一种将所有传感器数据统一投影到以机器人为中心的上帝视角的融合方法。Cross-Attention 机制Transformer 将 RGB 图像作为Key/Value将 LiDAR 点云或 BEV 网格作为Query。网络会自动学习图像中的像素与 3D 空间点的对应关系。比如它会发现点云中那个凸起的形状几何特征对应着图像中红色的像素语义特征从而判定这是一辆红色的车。优势鲁棒性 (Robustness)即使摄像头被遮挡或在黑夜中失效LiDAR 分支依然能通过 Attention 机制提供几何信息保证 Occupancy Network 输出不为空避免撞墙。软时间同步 (Soft Synchronization)传统融合要求严格的硬件时间对齐。Transformer 可以通过学习时序特征在一定程度上容忍不同传感器之间的时间戳抖动这对于采用无线连接的传感器尤为重要。端到端学习可以直接从“原始数据”融合输出到“规划轨迹”不再需要人工设计复杂的后处理规则。3. 融合架构的演进路线我们正在经历从**融合到前融合**再到深融合的变革L1 级 - 后融合 (Late Fusion)逻辑摄像头自己算出一个结果有人置信度0.8雷达自己算出一个结果有障碍置信度0.9。最后由一个规则如卡尔曼滤波把两个结果取平均。缺点浪费了原始数据中的微小特征。如果一个人站在阴影里摄像头没检出雷达检出了后融合可能会因为“票数不够”而忽略它。L2 级 - 前融合 (Early Fusion)逻辑把雷达点云直接投影到照片上给像素增加一个深度通道RGB-D然后丢给 CNN/Transformer 处理。缺点依赖极其严格的标定Calibration相机稍微歪一点点云就投错了导致数据错乱。L4 级 - 深融合 (Deep Fusion)逻辑也就是上述的 BEV Transformer。两种数据在特征提取的中间层Feature Map进行交互。优点既保留了原始信息又具有一定的容错性是目前具身感知如特斯拉 FSD、Waymo的主流方案。小结在设计具身智能的感知系统时我们通常采用双层融合策略底层 (1kHz)使用EKF (扩展卡尔曼滤波)处理 IMU、轮速计和力矩数据保证姿态解算的绝对实时性和确定性这是机器人的“小脑平衡”。高层 (30Hz)使用Transformer处理视觉、激光雷达和语义地图构建丰富的 3D 世界模型这是机器人的“大脑认知”。只有当这两种融合机制完美协作机器人才能既走得稳不摔倒又看得清不迷路。至此第三部分感知与“神经系统”的感知篇章结束。接下来的第4章我们将深入连接这些器官的物理网络——电子电气架构与通信技术探讨有线与无线如何在具身智能体内共舞。