手机扫一圈 + 物体照片，就把 π0.5 个性化到你的家/办公室

通用抓取策略进用户家是 0%一次手机扫描把它拉到 62.5%用户把一台移动操作机器人带回家希望它从架子上取下一瓶药、从边桌上拿一罐汤。这个请求听上去平平无奇却是通用操作策略最容易失手的地方论文在实际采集的部署场景里量过未经适配的π0.5 抓取成功率是 0.0%。不是低是零。论文把 0.0% 的来源讲得很具体这个 checkpoint 既没有见过 Stretch 3 这个本体也没有见过论文为它定义的那套动作空间。两个目标场景一间办公区、一间会议室都需要这套动作空间去够到不同高度的台面和架子本体与动作空间的错配足以让成功率直接归零。所以这个起点很有信息量——它标出了通用策略泛化边界的位置不在看不看得懂而在动得了动不了。按常规做法接下来就该在这个场景里采数据微调。可数据从哪来是个硬问题论文列举的传统来源是目标环境里的遥操作、策略自身的 rollout或人类在环干预。它们都有效代价却会随场景数量复利——每换一个用户、一个收纳点、一个物体或一次摆位成本都要重付。论文给了一个很直观的换算同样半小时的遥操作只够覆盖一个收纳点加一组物体还没算机器人搭建和操作员培训的时间。Splat2Act 要做的就是把这份成本从“每个部署点都要付”改成“每个场景付一次扫描”。通用策略缺的不是能力是这一间屋子通用 VLA 的承诺是开放世界同一套权重、同一句语言指令换一个环境还能用。Splat2Act 的出发点是把这句话放到真实的部署位置上检验一遍——不是实验室的评测台而是用户的办公室和会议室。论文没有把 0.0% 归因于“模型太弱”而是指向更具体的一层失败发生在动作接口上而不是语义理解上。这个诊断决定了补救的方向。如果瓶颈在语义办法是更大的模型或更强的视觉语言对齐如果瓶颈在本体与动作空间那么“多看几个场景”比不上“在这个本体上、这张桌子上真的练过”。论文选的是后一条路并且硬性要求这条路不能靠人。它给自己的约束是人类只做两件事——扫一遍场景给每个目标物体拍一张照片并量一下尺寸。采集之后的一切从重建、发现可放东西的位置、组装任务到生成演示、微调策略全部自动。这个约束看起来很苛刻但它恰恰是“个性化”能被规模化复制的前提。论文把相关工作的差距整理成了一张对照表。已有的 real-to-sim-to-real 系统大致分两类一类只重建单个桌面或固定工作区视野里就是一张桌子另一类做到了房间尺度但任务物体、放置目标或支撑面需要人预先指定或标注。Splat2Act 与它们有两条差别。第一条是场景尺度它处理建筑尺度的采集场景可通行面积中位数 104.87 平方米收纳点纯粹从几何里发现不依赖人工指定。第二条是把个性化本身当作目标既往工作更多是在自动构造某一个任务而这篇论文要回答的是“怎么把一个通用策略适配到用户采集的环境和物体清单上”。表 1与采集条件化操作管线的对比整理自论文表 I能力本文既往代表工作场景尺度建筑尺度桌面、工作区或房间采集后全自动是多需演示或标注场景级收纳点发现是多由人指定无遥操作演示是部分依赖遥操作百个以上采集场景101 个通常为个位数图 1Splat2Act 的整体流程一次手持手机扫描加上用户选定物体的照片就能搭出仿真可用的数字孪生、在没有任何遥操作的情况下生成抓取演示并微调出可在该场景部署的 VLA 策略。一次手机扫描换来什么外观归高斯几何归网格Splat2Act 对人类的全部要求只有三样一段 20–30 分钟的手持手机扫描每个目标物体一张照片以及这个物体的尺寸。剩下的全自动。它先把这段 iPhone 的 RGB-D 序列用 Polycam 训成一个三维高斯表示得到照片级的第一视角观测图 1。这里有一个我认为很值得学的分工。大场景重建对几何一致性要求高论文用 DN-Splatter 对深度与法线做正则随后用 SuGaR 从训练好的高斯里提取一张表面贴合的网格。于是同一个场景有了两套表示高斯负责看起来对网格负责算得动。碰撞检测、收纳点发现、导航分析全跑在网格上而策略看到的是高斯渲染出来的图像。用一套表示同时满足渲染保真和物理计算几乎不可能论文没有硬凑而是让两者各管一件事。物体的处理同样分两层。广谱适配阶段从 Objaverse 里筛出 556 个与机器人工作空间和夹爪兼容的资产个性化阶段用 SAM3D 从单张真实物体照片生成资产再按用户给的尺寸脚本化缩放。论文明确了一点这些物体是独立于场景采集提供的可移动资产只提供物体特定的外观与形状并不假设它们被从场景里精确重建出来。这个取舍很务实——用户真正在意的是“我那瓶药能被拿起来”不是“这瓶药在数字孪生里被完美复刻”。图 2端到端管线场景扫描重建为三维高斯外观加网格碰撞几何物体照片生成仿真资产收纳点发现与可达性任务规划组装出可行抓取任务再由特权 oracle 生成演示分别用于第一阶段广谱适配与第二阶段个性化。从几何里自动长出收纳点自动化最难的一步在这里。已有的 real-to-sim 工作要么只重建一张桌面要么需要人先指定任务物体和放置目标。Splat2Act 要在建筑尺度上自己回答三个问题哪里能放东西、机器人能在哪里站住、站在哪里够得着图 2。它的收纳点探测器是纯几何的。先从网格里估计地板平面保留朝上的网格区域用基于机器人几何的全局阈值筛掉高度和面积不合适的部分再用 HDBSCAN 按三维位置与法线聚类这些候选表面元素然后按几何范围、表面稳定性、高度合并与过滤。到这一步只解决了“平面上有地方放”还完全没解决“机器人够不够得着”。第二步是可达性。论文为每个保留的收纳点在表面区域上采样候选放置点用机器人参数算出导航网格丢掉可通行区域到不了的点只有当至少 6 个放置样本落在机器人水平可达半径 0.70 米以内时才保留这个候选站位。之后还要过三关物体沉降、抓取过滤、oracle 能否真的执行出来。最后通过变化机器人位姿、目标位姿和干扰物把一个收纳点扩成一批配置。我自己的体会是这一步真正的难点不在聚类算法而在四个条件必须同时成立平面上放得下、机器人站得到、手臂伸得到、夹爪抓得住。开阔的台面在建筑尺度场景里随处可见四关全过的位置却不多——101 个场景最终得到 852 个收纳点、每场景中位数 7 个这个数量级本身就说明了筛选的严格程度。特权 oracle把会做变成有数据数据来源是这篇论文最核心的设计。既然不能让人示范那就让一个带特权信息的仿真 oracle来示范。它知道物体在哪、几何长什么样、机器人当前处于什么状态——这些在仿真里天然可得、在真机上却要靠感知估计的信息就是所谓“特权”。流程是这样先把缓存的物体局部对跖抓取候选变换到物体实际沉降后的位姿过滤一遍再对可行的腕部与底座配置排序一个贪心规划器在离散动作网格上选择局部平移与偏航控制器再伺服臂的伸展、抬升与腕部偏航走完预抓取、下降、夹爪闭合、抬升四个阶段。某次尝试失败系统就恢复快照、换一个候选重试。为什么特权信息能替代人类遥操作我的理解是三个条件同时成立仿真里物体位姿与几何是精确已知的所以抓取候选不会因为感知误差被浪费环境可以被无限次复位失败的尝试不消耗任何稀缺资源成功能否有明确的可编程谓词来判定所以数据筛选不需要人工过目。这三件事在真机遥操作里都要拿人力去补而在这里都是算力。我最认可的是它的批量化设计给定场景、物体资产与任务蓝图系统自动初始化 Isaac Sim 环境、规划并重试动作、评估结果、补充环境、记录成功演示某个槽位完成后立刻接上新任务别的槽位继续跑。物理跑在 100 Hz控制与相机录制在 20 Hz64 个并行环境下平均每个 A40 GPU 小时能产出 60 条成功抓取演示。这套配置的意义是把“演示数据”变成一种可以按小时购买的算力而不是按人力购买的时间。oracle 的成功率也不含糊表 2广谱办公场景 79.18%广谱多场景 65.32%个性化办公场景 92.54%个性化会议场景 84.67%。同一套环境还顺带提供了任务复位与成功谓词而这正好是策略评测最缺的东西——评测能和训练共用一套判定标准。表 2oracle 演示生成成功率对应论文表 II来源成功分配成功率广谱·办公32,05240,47879.18%广谱·多场景35,96955,06765.32%个性化·办公3,7814,08692.54%个性化·会议3,4694,09784.67%算一笔规模账101 个场景与 852 个收纳点论文在自己的校园里扫了 101 个室内场景休息室、厨房、图书馆都有。这些场景的可通行中心区域加起来 11,909.78 平方米单场景可通行面积中位数 104.87 平方米收纳点中位数 7 个。两个广谱生成 campaign 合计产出 68,021 条成功抓取轨迹记录的控制时长 273.46 小时。再往上算一步852 个收纳点乘 556 个兼容资产可行性过滤之前有 473,712 个候选物体-收纳点对。论文举了个便于想象的例子——如果每对生成 24 个配置大约是 1,140 万个候选任务按观测到的平均轨迹时长折合约 45,700 小时演示数据。实际因为存储限制多场景 campaign 被均匀下采样了约 100 倍所以真正收下来的 68,021 条只是这个潜在任务空间的一小部分。我喜欢论文把这两个数都写出来一个是“管线理论上能产多少”一个是“我们实际存了多少”。前者说明这套自动化管线的产出上限很高后者诚实地交代了当前数据的边界。两阶段微调先广谱再个性化所有策略都从同一个预训练 π0.5 checkpoint 出发。输入是头部与腕部 RGB、四维离散本体状态和任务字符串输出是 10 个动作的 chunk落在 10 维 Stretch 动作空间里动作与状态做分位数归一化。动作向量的十个分量依次是臂关节增量、升降增量、腕部偏航、夹爪命令、终止命令、底座平移与底座偏航中间夹着几个占位维度。微调分两阶段。Stage 1 是广谱适配数据要么只用部署场景要么用全部 101 个场景论文各采样 1,024 条演示分别叫 Office1k 与 Multi1k。Office1k 覆盖 550 个 Objaverse 物体身份和办公场景的 7 个支撑面Multi1k 覆盖 556 个身份、101 个场景和 852 个收纳点。Stage 2 是个性化用用户自己扫描的物体放在部署场景的收纳点上办公场景 504 条每对物体-收纳点 24 个变体会议场景 500 条每对约 28 个增广。对照组是跳过 Stage 1、直接从预训练 π0.5 做 Stage 2。训练目标是 π0.5 的条件 flow matching给定真值动作块采样高斯噪声和一个插值时刻把两者线性混合成带噪动作让模型预测从噪声指向真值的方向损失就是这条预测的均方误差。参数上论文全量微调 PaliGemma 语言骨干与 action expert只冻结 SigLIP 图像编码器。这个取舍我认为是合理的保留下来的视觉语义先验对“药瓶”和“汤罐头”的区分仍然有用而动作模型必须重新学因为它要面对的是一个从没见过的本体、收纳点分布和任务族。训练配置是一整个 epoch、batch size 64、cosine schedule 从 5×10⁻⁵ 降到 5×10⁻⁶策略以 20 Hz 查询并执行完整个预测 chunk。优化步数上Stage 1 的 Office1k 与 Multi1k 分别跑 39,489 与 45,705 步Stage 2 的办公与会议分别跑 15,963 与 17,390 步。评测协议也值得单独看一眼。每个 checkpoint 评测 700 步成功谓词检查目标相对起始位姿的高度变化成功在策略终止或到达时限时判定并显式记录策略自己发出的终止如果没拿起来就算失败有效失败保留在分母里。任务池里办公场景 40 个配置21 个简单、19 个困难会议场景 35 个18 个简单、17 个困难合计保留 39 个物体-收纳点对。评测用的机器人-目标配置与训练时是错开的而且每个配置都经过演示生成模块确认存在可行的成功状态——这一点我认为很关键它排除了“任务本身就做不到”这种噪声。每对 24 条增广一条来自消融的经验值个性化 VLA 有一个绕不开的旋钮数据要增广到多深。论文用一组很干净的消融回答了它。它固定四个渲染的三维物体变动收纳点数量1、2、4和每物体的任务数8、16、24。结论很直接。每物体只有 8 个任务时不管几个收纳点成功率都停在 21.9% 到 43.8% 这个区间加到 16 个任务多数设置跳到 59.4% 以上加到 24 个任务时1、2、4 个收纳点分别达到 75.0%、87.5%、75.0%——而此时语料已经从 96 条涨到了 384 条。论文从这组数里给出的判断我很认同收纳点和物体数量一涨不同的交互配置数量必然跟着涨训练数据量就必须跟着涨而每个物体-收纳点对大约 24 条增广轨迹足以在个性化空间变大时维持不错的分布内成功率。这也正是 Stage 2 采用 24 个以上增广的直接依据。做具身数据配方的人可以把这条当经验值收下增广深度不是越多越好但低于某个阈值时成功率会掉得很干脆。表 3增广深度的三轴消融对应论文表 III收纳点每物体任务轨迹成功率183225.0%1166475.0%1249675.0%286443.8%21612875.0%22419287.5%4812821.9%41625659.4%42438475.0%图 3个性化任务池上的仿真评测。办公场景与会议场景各自列出预训练基线、两种广谱适配策略以及由它们微调出的个性化策略浅色为基线或广谱阶段深色为场景匹配后的个性化策略柱上标注为抓取成功率。广谱适配源怎么选以及干扰物的代价Stage 1 的数据从哪里来是一个看起来次要、实际影响很大的选择。论文比较了三条起点预训练 π0.5、只用部署场景的 Office1k、以及跨 101 个场景的 Multi1k然后各自做同场景个性化图 3。最高分出现在同场景广谱适配之后办公场景 62.5%Office1k Stage 1 之后做办公场景个性化会议场景 51.4%Multi1k Stage 1 之后做会议场景个性化。相对直接个性化同场景广谱适配在办公场景高出 17.5 个百分点在会议场景上 Multi1k 高出 8.6 个百分点。但论文没有把“广谱一定好”当成结论。它同时报告了一个反例Office1k Stage 1 训出来的 Stage 2 策略在会议场景上比直接从 π0.5 base 个性化的版本低 5.7 个百分点。也就是说广谱适配的收益取决于它的数据来源和部署场景是否对得上——同场景的广谱适配是更强的起点多场景的广谱适配回答的是另一个问题换场景时还站不站得住。这个区分我认为是全文很实用的一条判断。Stage 1 单独的成绩也值得看一眼Office1k 在办公场景 40.0%、会议场景 17.1%Multi1k 分别是 37.5% 和 40.0%预训练 π0.5 在两个任务池上都是 0.0%。多场景数据带来的正是跨场景的稳定性。最有信息量的还是难易拆分。论文把每个场景的任务分成“收纳点上只有目标”和“目标加干扰物”两档干扰物让每个 Stage 2 策略掉 10 到 26 个百分点但惩罚最重的是直接从 π0.5 base 个性化出来的策略最轻的是经过广谱适配的策略。论文由此指出Stage 1 改善的不只是抓取本身还有杂乱环境下的语言 grounding——策略得真的听懂“拿那罐番茄汤”而不是抓起离得最近的瓶子。最强策略在办公场景的简单档拿到 71.4%、困难档 52.6%。表 4个性化策略按难度拆分对应论文表 IV场景Stage 2 起点简单困难办公π0.5 预训练57.131.6办公Office1k71.452.6办公Multi1k52.442.1会议π0.5 预训练55.629.4会议Office1k44.429.4会议Multi1k61.141.2图 4办公场景十二个任务上的仿真到真机对照。左图为各策略的仿真与真机聚合成功率每策略含十二次仿真与三十六次真机尝试右图为策略级散点虚线表示仿真与真机成功率相等。图 5跨场景个性化策略的仿真表现。横轴标注个性化场景到评测场景的方向每组比较基于预训练基线、办公场景广谱策略与多场景广谱策略微调出的个性化策略柱上标注为抓取成功率。真机迁移、场景匹配与未见场景仿真里好看不算数。论文把在两个 Stage 1 上个性化出来的策略都放到真实的 Stretch 3 上跑 12 个任务、3 个收纳点。真机每个任务做 3 次尝试共 36 次仿真每个任务 1 次共 12 次成功要求目标被拿起并且策略主动终止。Office1k 系的策略拿到 66.7% 仿真 / 63.9% 真机Multi1k 系拿到 50.0% / 58.3%图 4。两个策略与各自仿真成功率的差距都在 8 个百分点以内排序也保持一致。论文给了定性解释真机的臂伸展和抓取落点确实不如仿真精确但真实接触比仿真更宽容——夹爪的机械顺应会在接触时变形橡胶指尖的摩擦也比仿真接触模型更大所以“抓得不完美”仍然可能成功。更有意思的是跨场景的对照。论文让个性化出来的策略去评测另一个场景在办公场景上评测会议场景个性化的策略三条起点分别是 22.5%、15.0%、25.0%反方向是 14.3%、17.1%、37.1%。六组比较合起来看场景匹配把成功率提高了 14.3% 到 47.5%图 5。最刺眼的一个数是Office1k Stage 1 单独在办公场景上有 40.0%一旦改用会议场景的数据做个性化反而掉到 15.0%。论文的措辞很直接——个性化到错误的场景比不个性化更糟。我认为这句话是个性化叙事里最需要记住的一条个性化不是把一个通用的东西调得更专门它是把策略绑到某一个具体环境的几何与外观上。最后是分布外的两张桌子。论文把办公场景个性化的策略拿到一间没见过的实验室黑色桌子和黄色桌子各测一遍三个目标物体、两种难度、每个配置三次尝试每策略 18 次试验。Office1k 系在黑桌 33.3%、黄桌 22.2%Multi1k 系是 22.2% 和 27.8%图 6。两桌之间排序反转论文自己说这里没有一致赢家但能看出来自场景特定广谱适配的个性化策略在分布外更脆而 Multi1k Stage 1 训出来的策略在不同桌面上更稳定。相对它们在自己场景里 62.5% 和 47.5% 的成绩两者都掉了很多——这再一次说明撑起部署表现的是场景特定的个性化而不只是对物体的熟悉度。图 6迁移到未见的实验室场景。黑色桌面与黄色桌面各含三个目标物体与两种难度每个配置尝试三次每策略共十八次试验柱上标注为抓取成功率。适用边界论文自己交代的下一步是把这条管线用到更长时序的移动操作任务上并期待用强化学习通过探索继续提升成功率。除了这个方向我在读的时候还记下了几条边界它们决定了这套方法适合被搬到哪里。物体是插入的资产不是重建的结果。目标物体和干扰物都作为可移动资产插入仿真外观与形状来自单独采集的照片和尺寸论文明确不假设它们被从场景里精确重建。这对“拿起一个已知物体”足够但如果任务依赖物体与环境之间的精确几何关系比如塞进一个刚好合适的格子这层近似就需要重新考虑。任务与语言的覆盖面。语言输入是固定的目标物体名评测覆盖抓取这一族任务管线面向收纳点上的短程取放而不是长时序、多步骤的操作。收纳点的定义也偏几何朝上、面积和高度合适、站得到、伸得到、抓得住。采集与仿真的技术栈。用户的 20–30 分钟扫描依赖 iPhone 加 Polycam重建依赖三维高斯、DN-Splatter、SuGaR 这条链路演示生成依赖 Isaac Sim 与单张 A40 上的策略服务。这些都不难复现但它们决定了“单场景个性化”的最小工程规模。评测规模仍然有限。个性化评测只在两个部署场景上做分布外检查只有两张桌子论文自己也指出排序不稳定多场景 campaign 因为存储限制被下采样了约 100 倍。这两个部署场景也都是校园室内环境家庭环境的长尾还没有被覆盖。我读完之后的几点提炼把“数据从哪来”当成系统设计的第一个问题。这篇论文真正的杠杆不是某个模型结构而是那套组合自动发现收纳点、可达性筛选、特权 oracle 批量生成、成功谓词与自动复位。它把人类从数据采集里彻底移出去只留下一次场景扫描。如果要复现这个思路我会先问三件事这个任务的特权信息在仿真里是什么、成功能不能被自动判定、失败能不能被自动复位。这三件事成立了后面的策略学习才有规模可言。广谱适配要选对“广”的维度。论文的对照说明对目标场景而言“同一场景 更多物体”比“更多场景 更多物体”更有效办公场景上高出 17.5 个百分点但到了陌生场景多场景数据训出来的策略更稳。这两者不是互相替换而是分别对应部署期表现和换环境时的保险。有明确目标场景时同场景广谱适配应该是默认选项。把交互配置的增广深度当成显式超参。每对约 24 条这个数不是普适常数但它揭示了一个结构收纳点和物体一多配置数量迅速上升数据量必须跟着涨否则成功率会掉到 20% 到 40% 这个区间。做具身数据配方时盯住“每个物体-收纳点对多少条”比盯“总轨迹条数”更有用。把“错误场景个性化”当成必测的负对照。40.0% 掉到 15.0% 这个数字提醒我个性化数据的场景属性比物体属性更关键。如果只看“用了用户自己的物体”就以为完成了个性化评测里很可能会漏掉一个反方向的可用性风险。一句话收束Splat2Act 最大的价值是把“把通用操作策略带回家”这件事从一次性的遥操作投入换成了一次 20 到 30 分钟的手机扫描——而这一步之所以成立是因为它在仿真里造出了一个既知道全部真值、又愿意替你反复失败的特权 oracle。