RoboHarness 论文解读

论文RoboHarness: A Simple Harness Outperforms VLA and World Action ModelsQu, Chen, Zhang浙江大学arXiv 2610.140182026-09一、动机目前的主流路线代价很高。VLART-2、OpenVLA、π0/π0.5、GR00T和世界动作模型 WAMFaster-WAM、LingBot-VA 等都要大量机器人动作数据还要额外后训练。这类数据很难覆盖真实世界中多样的物体、场景和任务。作者的判断LLM 本身已经具备任务分解、规划、空间推理和工具调用能力。瓶颈不在模型要学会输出更多动作而在于缺少一个简单且足够完备的动作接口。已有的LLM 调用技能函数路线也有问题。Code-as-Policies、ASPIRE 这类方法的能力上限由预定义函数决定。遇到新物体或新任务就得再写函数LLM 被锁在预定义的动作空间里。借鉴 coding agent 的经验少量简单、相互正交的原语工具效果好于堆叠复杂的功能和脚手架。二、核心要点不训练任何模型。直接让通用 LLMQwen3.8-Flash-Next、Qwen3.8-27B、GPT-6-luna通过工具控制机器人。用空间定位grounding做桥梁。VLM 不擅长直接推理 3D 空间关系但能在 2D 图像上相当准确地点出关键点。因此让 LLM 负责点点3D 几何交给系统去算。操作可以拆成两阶段第一阶段夹爪与物体建立接触或抓取关系。第二阶段带着手中物体去满足与另一物体之间的几何关系例如钥匙对准锁孔。4. 两阶段都能用关键点约束表达。作者给出了完备性证明以此论证这套工具集最小且完备。三、框架如图 1 所示RoboHarness概览1. 几何状态追踪Geometry Tracker统一相机坐标系x 朝前、y 朝左、z 朝上在 R1 Pro 和 ARX X5 等不同本体上通用。track_object工具的流程LLM 在头部相机图像上选择感兴趣的点。用光流逐帧追踪这些点。查深度图得到距离。反投影到机器人坐标系。把坐标和距离持续返回给 LLM。2. 关键点约束工具主要动作接口点的区分LLM 给出点和约束点分为 on-hand夹爪或手中物体上可移动和 off-hand场景中固定。执行流程采样候选位姿筛出满足约束的。剔除逆运动学不可达的。规划运动轨迹。执行。约束模式可以用 coordinate 模式写任意坐标约束。常用模式封装为 quick request包括 touch、linear共线、line-vertical-plane、plane-parallel、line-vertical-ground、face to、move to reach、grasp。3. 调整工具低层直控包括左右末端位姿增量、底盘前后/侧移/旋转、身体升降和俯仰。用于约束失败如物体滑落时的微调和恢复。4. 完备性证明命题 1夹爪上三个固定点左指尖、右指尖、夹爪中心与物体表面三点之间可以用 overlap、overlap、linear 三个约束建立解析双射。因此任意抓取位姿都能用关键点约束表达。命题 2两刚体之间任意 SE(3) 相对位姿都可以由两条不平行的直线重合约束唯一确定。因此在刚性抓持的前提下手中物体与其他物体的任意空间关系都能表达。5. 闭环与技能Agent 按跟踪 → 约束 → 执行 → 验证闭环运行。附录列出了一组可复用的 embodied skills包括导航、开门/抽屉、抓取、放入容器、穿过窄道等。四、实验与贡献BEHAVIOR Challenge 2025前 10 个长时程家务任务RoboHarness 搭配 Qwen3.8-Flash-Next平均 q-score 为44.5%。对比G0.5 为 34.8%竞赛冠军 RLC 为 31.6%Comet 为 28.9%π0.5 为 28.1%。100 个物体的拾取泛化测试RoboHarness 使用 0 小时机器人数据成功率 68–86/100。对比π0.5 约 68Faster-WAM 61G0.5 约 59OpenVLA-OFT 约 34。ASPIRE 的 pick 函数基线只有约 10。结论泛化能力与机器人数据量不呈正相关。多模态能力比参数量更重要。主要贡献提出一个对 LLM 友好、表达力强的机器人控制面板视觉点选 关键点追踪 几何约束求解无需任何训练。对关键点约束表示给出形式化的完备性论证为最小工具集提供理论支撑。主张一种新范式通用 LLM 加上合适的工具 harness可以超过 VLA 和 WAM。实验结果支持这一点且模型和本体都可替换plug-and-play。五、不足与可质疑之处1. 对比实验的公平性存疑最主要的问题100 物体测试中VLA/WAM 基线用的是LIBERO 桌面场景和 LIBERO 微调权重物体放在桌子中央。RoboHarness 则在BEHAVIOR 的 R1 Pro上运行物体放在地上。两边的场景、本体和难度都不同而且这 100 个物体对 LIBERO 权重来说本身就是 OOD基线吃亏。图 7 的横轴机器人数据小时数也是作者自行估算换算的。2. BEHAVIOR 评测样本少每个任务只跑了 5 个实例seed 固定没有方差或置信区间。基线数字来自官方排行榜或其他评测设置与 RoboHarness 的 5 实例样本不完全可比。部分任务明显不如基线can meat 为 0Christmas decorations 为 0.22低于 π0.5 的 0.56 和 RLC 的 0.43。3. 依赖大量人工先验每个任务都有人工编写、包含操作流程的专用 prompt。作者在局限性部分也承认这是为了缓解 LLM 难以落地到物理本体的问题。附录中的 skills 由各任务流程提炼而来。所以零训练并不等于零人工与端到端学习方法的比较因此打了折扣。4. 缺少真实机器人实验和消融实验全部实验都在仿真中完成深度和光流在仿真里接近理想缺少真实传感器噪声、遮挡、标定误差下的验证。没有消融tracker、quick request、调整工具各自的贡献不明。也没有报告推理延迟、调用次数和成本。LLM 闭环的速度和实时性是实际部署的关键。5. 理论的适用范围有限证明只说明了几何关系可以被表达没有涉及可达性、碰撞以及 LLM 能否正确写出约束。前提是刚性抓持和理想的点追踪不覆盖可变形物体、铰接物体的连续运动、接触力控制和动态任务。能力上限仍受采样、IK 求解器和运动规划器限制。6. 写作与呈现上的问题表 1 中 grasp 的描述与 move to reach 重复move chassis to make target reachable像是笔误。图 7 图注写VLA 蓝、RoboHarness 红但图中实际是 RoboHarness 蓝、VLA 黄。代码尚未开源可复现性暂时无法验证。这篇论文的思路清晰主张有冲击力把精力放在接口设计上而不是继续训练动作模型。它延续了 ReKep 和 CoPa 的关键点约束路线并在工具最小化和 agent 化上更进一步。但超过 VLA/WAM的结论建立在设置不对等、样本量小、依赖人工 prompt 的实验之上需要更公平的对比和真实机器人验证来支撑。