★ FEATURED ARTICLE 目录 开场一台机器人60万一套设备几千块 遥操作的四个死结 以人为中心把人的手当传感器 RoboPaint 对照实验省了时间赔了20个百分点 为什么以人为中心这件事比想象难⚠️ 三个必须说清的口径️ 领码 SPARK 融合平台让采集现场和训练现场用同一本账 给数据团队的五条判断标准 开场一台机器人60万一套设备几千块先看一个数字对比。许晋诚在 AI 科技评论《物理 AI 50 人》访谈里讲遥操作的成本劣势时说得很直接“一台机器人 60 万而’以人为中心’的采集成本主要在传感器和采集设备上一套设备几千块。一台机器人的钱够我采接近 100 个人的数据。”这句话值得停下来想三秒。遥操作是机器人行业最直觉的采数据方式人戴着控制器远程操作机器人做任务录下来的画面和关节数据直接就是机器人的。听起来完美——没有映射误差、没有跨本体问题。但按上面这组数字算用真机采一份数据的成本可以采将近 100 份人手的数据。这就是帕西尼选的路。他们不采机器人他们采人。这个选择听起来像退步——毕竟机器人数据才直接可用。但当你把遥操作的四个死结摊开看会发现退步是假的。 遥操作的四个死结许晋诚在访谈中把遥操作的问题拆成了四条。这四条不是抱怨是逐条核算过的。死结一构型一定会变“数据在它自己同构型的机器人上使用是零损失的采的时候构型一模一样用的时候也一模一样。不同构型之间用数据会有损失同构型就没有。但问题也随之而来——机器人构型一定会变。你永远无法让机器人’什么都不变’哪怕就算大体上构型不变只要传感器改了数据同样用不了。”这里有个容易被忽略的隐含假设遥操作数据的零损失只在那个特定机器人、那个特定传感器配置、那个特定手型下成立。而机器人产业恰恰是所有产业里迭代最快的新手型半年一换、关节改版、夹爪换成灵巧手、传感器换代。每换一次之前采的数据就贬值一次。这是零损失这个说法的真正代价——它零损失但有效期极短。死结二成本结构完全不对等这是上面那个 60 万 vs 几千块的来源。展开看成本项遥操作以人为中心主体资产机器人本体60 万/台采集手套 传感器几千/套场地机器人工作空间人工作业空间常可借用现成场景复用性换构型即失效可跨构型重定向同一笔预算能采多少1 份近 100 份“一台机器人的钱够采接近 100 个人的数据”——这个对比意味着如果你的目标是采集广度覆盖足够多的任务、物体、场景遥操作是数量级上不可行的一条路。死结三效率低而且废数据多“遥操作要求你想象自己是机器人再去干活很难机器人构型和人不一样还要用逆向运动学去解每个关节角采下来很慢、很麻烦、废数据多。用人的方式采又快又自然。”三个关键词要想象自己是机器人、要解逆运动学、废数据多。遥操作员要做两件违背本能的事控制一个身体结构跟自己完全不同的机器还得同时在脑子里反解一遍关节角。这两件事都会拖慢速度、抬高出错率。而废数据多意味着你还要额外投入去筛掉采坏的。死结四最致命的——遥操作采不到真实触觉这一条是触觉领域独有的死结其他三个领域没有。“遥操作采不到真实的触觉。人手上没有主动力反馈设备你不知道现在触觉力有多大。所以大部分人一捏就捏死采到的触觉数据没用。”这一句值得反复读。遥操作员的手上只有控制器没有力反馈。所以他不知道机器人手指此刻承受了多大的力。结果就是他想轻拿一个易碎品但手感是空的只能保守地用力——一捏就捏死。更要命的是一捏就捏死这件事发生在数据产生的那一刻。你采回来的不是轻拿易碎品的触觉数据是捏碎易碎品的触觉数据。它不是噪声是系统性偏置——整个数据集的力值分布都偏大。而以人为中心就不存在这个问题“以人为中心’采集时传感器就在我手上、隔几毫米我的皮肤能直接感知到力度的传递——我可以很轻地把它拿起来。”这就是为什么以人为中心这条路线在触觉领域不是可选项是必需项。 以人为中心把人的手当传感器清楚了死结来看帕西尼具体怎么做。硬件把传感器贴在人手和人手操作的对象之间帕西尼的 PXCap 系列五指数据采集手套内置 30 个六维触觉模组触觉点数密度高达 3015 个采样 1 秒 100 万次。关键在结构传感器在手上人也在操作。人手的力度传递路径上有传感器人自己的皮肤也在同一时刻感知到了这个力度。这两路信息天然同步——不需要事后对齐。空间信息加视觉和编码器把手在哪补齐只有触觉是不够的因为不知道手在空间中的位置。所以 PXCap Pro 是触觉感知力、视觉记录态、编码器定姿态三位一体模态采什么谁来定触觉接触力、扭矩、纹理、形状六维触觉模组阵列视觉场景、物体、任务上下文多视角相机含 82 自由度五指动作关节角度手部姿态、关节运动自研抗磁磁编码器±0.15 度三者之间的时间对齐帕西尼的说法是相机间硬件同步 多模态间算法同步的双重保障系统延迟控制在 5ms 以内。5ms 这个数字为什么重要许晋诚在访谈里讲过一个很典型的客户问题“也有客户来找我们说拿我们的数据去标感觉不准、差了 10%。我们技术团队一看原来是他们的数据跟我们差了百毫秒所以要先把时间同步性拉齐一拉齐精度就上去了波形图一看就知道时间没对齐。”差了百毫秒精度差 10%。这就是时间同步在具身数据里的权重——它不是个技术细节它是精度本身。采集现场的两条反直觉设计第一条审核拆成80–90% 自动化 最后一层人工。“审核分几件事动作有没有达成目的有没有失败失败不代表数据不能用失败是更珍贵的负样本。……这里面80%—90% 都可以自动化审核只有最后一步是人工干预其余全部自动化。”两个要点失败样本被明确归类为更珍贵的负样本而不是垃圾数据——这个判断直接改变审核策略质检是一个以规则引擎为主、人工兜底为辅的流水线不是纯人工工位。第二条把任务顺序打乱。“任务分第一步、第二步、第三步……并且顺序会被打乱第二步可能变第三步他踩一下脚踏就换序。”为什么要打乱因为如果采集员每次都按固定流程做采出来的数据会混入一个极强的伪特征——任务顺序。模型可以靠第一步应该先拿 A这种时序规律拟合而不用真学怎么根据物体状态决定下一步动作。打乱顺序是在人为破坏这个捷径跟机器学习里的数据增强是同一个思路。外加一条管理设计采集员有每日任务量配额和排行榜。听起来不温情但这是解决数据质量靠手工认真这个不可控问题的办法。闭环模型组反过来给工厂下任务“我们同步做模型训练。在我们这边最大的甲方就是模型训练组模型组跟数据工厂说’你的数据让我的能力提升了多少但还有些数据更有帮助’然后下任务给工厂工厂改完再反向交给模型组训练模型能力又提升再提新方向。”这个模型组是数据工厂的甲方的机制是整套体系能持续收敛的原因。普通的数据工厂是推式的工厂按标准采采完卖客户爱要不要。帕西尼是拉式的模型组发现缺什么反向给工厂下具体任务。推式工厂的问题是产能利用率——采了一堆通用数据客户买不买全看运气。拉式的问题是采集员被模型的短期需求牵着走可能偏离长期目标。这两种张力要靠具体的接口设计来平衡。 RoboPaint 对照实验省了时间赔了20个百分点前面讲的所有好处都得有一个诚实的对照。RoboPaint 论文arXiv:2602.05325帕西尼与上海交通大学、浙江大学联合发表提供了一个难得的、把两套方案放在同一实验条件下的对比。实验设计论文采集的是标准化的多模态人类示范3 路 RGB-D 视频、11 路 RGB 视频、29 自由度手套关节角、14 通道触觉信号。然后用触觉感知重定向方法几何 力引导优化把人的手部状态映射到机器人灵巧手状态再在逼真的 Isaac Sim 环境里渲染成机器人训练数据。真机验证用的是UR5 机械臂 DexH13 灵巧手每个物体独立做 10 次试验。结果一成功率——遥操作 100%生成数据 80%训练数据来源三个任务平均成功率遥操作真机数据100%Real-Sim-Real 生成数据80%差距 20 个百分点。重定向轨迹在 10 个物体操作任务上成功率 84%其中简单几何体椰子水瓶子、柔顺剂瓶子达到 90–100%复杂物体塑料杯、相机也在 80% 以上。结果二效率——遥操作慢 2.57 到 5.33 倍这是以人为中心真正赢的地方而且赢得不少任务遥操作耗时人工采集耗时效率倍数抓取并放置约 1 小时 30 分约 35 分2.57×开箱约 2 小时约 30 分4.00×推方块约 2 小时约 30 分4.00×装袋约 10 小时约 2 小时 20 分4.28×叠衣服约 12 小时约 2 小时 30 分4.80×收桌子约 16 小时约 3 小时5.33×注意这个梯度任务越复杂、越依赖双臂协同和精细力控倍数越高。这有实际含义。简单抓取用遥操作采无所谓反正只要 1.5 小时。但叠衣服、收桌子这种任务遥操作要 12–16 小时人采只要 2.5–3 小时。你要么雇更多人采 16 小时要么 3 小时采完去做下一件事。两张表合起来读维度以人为中心遥操作成本一套设备几千块一台机器人 60 万采集效率快 2.57–5.33 倍慢力值真实性皮肤直接感知轻拿无力反馈一捏就捏死跨本体可重定向换构型即失效成功率80%重定向轨迹 84%100%数据量上限高同样预算可采近百倍份数低这张表没有谁赢只有你买哪一栏。如果你要做的是长尾场景铺量、或者根本拿不到足够的机器人来采——80% 换 2.57–5.33 倍效率是划算的。如果你做的是装配这种错一次就废件的任务20 个百分点可能是不可承受的。更重要的是这 20 个百分点的差距能不能靠更多数据补回来这是论文没回答、但产业界最想知道的问题。 为什么以人为中心这件事比想象难有理由担心这条路是看起来省其实把成本转移到了别处。成本确实转移了——转移到三个地方。转移点一跨本体迁移的损耗人的手有 22 个自由度以上帕西尼的说法是人手其实不止 22 个自由度很多球轴灵巧手结构完全不同。迁移过程必然有损。帕西尼的应对是内骨骼式的采集终端——“像人的手直接驾驭在灵巧手上跟外骨骼不同能适配很多灵巧手”以及SomaRedirect 体感重定向技术“把数据解耦为通用的运动表征实现跨机器人构型的低成本迁移”。但低成本和零成本差得很远。20 个百分点就是这项技术当前的成本。转移点二数据的一致性靠人工纪律维持遥操作的数据天生有个好处机器人每次动的轨迹是受控的。人以为中心的数据主观性更强——不同人捏的力度不同、动作习惯不同、节奏不同。帕西尼的应对是场景工程组针对需求场景做定义生成 SOP 文件明确采集量要多大、采几次才够。加上审核、排行榜、模型组闭环。但这套东西全部依赖人在执行。而人一多、一散、一流动质量就会掉。访谈里有一个细节很能说明问题“最终给客户时比如某些大科技公司我们给数据的同时给模型结果他们就特别认可因为他以前用过某家未做任何清洗、直接裸着丢出来的数据集立项之后花了三个月做清洗和学习很后悔后来找我们买数据就提了三条第一先证明你的数据有用第二讲清楚清洗和标注到什么程度第三给我看模型训练效果。”“花了三个月做清洗”——这是买方最痛的记忆。所以帕西尼卖数据时的卖点不是数据本身是**“这批数据是干净的而且我能证明它有用”**。这反过来定义了卖方的责任边界卖数据的人必须把清洗和标注程度讲清楚并把效果证明一起交出去。转移点三触觉一致性的物理门槛许晋诚讲触觉标准时说了这么一段是整段访谈里最内行的部分“触觉标准里我们不限制任何原理只管一个输出一致性一定要够高。我们把触觉传感器分几个级别大家越往高级别爬越好级别越高数据的产出价值和价格越高数据标准这边就会引用这个分级。”关于一致性的后果“这次任务和上次任务如果传感器一致性偏差很大数据就偏差 20%模型要信谁”还有一个必须自证的例子“也有客户来找我们说拿我们的数据去标感觉不准、差了 10%。我们技术团队一看原来是他们的数据跟我们差了百毫秒……”注意这两个 20% 和 10% 是不同的事20% 是一致性偏差导致的数据分布漂移10% 是时间没对齐导致的标定误差。两个都是数据本身没问题但用起来有问题——这类问题最贵因为它不报错只是让模型学得很烂。以及一个更硬的门槛“**触觉传感器有一个前置条件使用上必须是刚性连接背板必须是硬质的。**非硬质的情况下受压时前面后面都形变你要算谁没法算。”手套的耐用性现实也很具体“手套确实很难做人手握力大、关节活动幅度大关节角度编码器在反复拉扯下可能发生偏轴。……原本只有两三个月寿命现在提升到半年到一年虽然本质上来说它是一种耗材。”手套寿命半年到一年、线束是行业通病——这些细节说明以人为中心这条路的成本大头最终落回到了硬件耗材上。⚠️ 三个必须说清的口径口径一3 到 6 倍于遥操作的效率是官方宣传语论文实测是 2.57 到 5.33 倍帕西尼官方材料写的是以 3~6 倍于传统遥操作的效率。论文 Table 2 的实测区间是2.57× 到 5.33×六个任务平均值大概在 4.1 倍左右。宣传区间和实测区间的差异在于宣传取整了上下界实测是逐任务的值。引用时写论文实测 2.57–5.33 倍更稳妥。口径二84% 和 80% 是两个不同的实验不要混用数字是什么84%重定向的灵巧手轨迹在真机UR5 DexH13上、10 个物体操作任务的平均成功率80%仅用生成数据训练的 VLA 策略π0.5在三个代表性任务抓取放置、推拉、倾倒上的平均成功率一个测的是轨迹能不能执行一个测的是训出来的策略好不好用。中间还隔着一层模型。官方材料里两个数字经常并列容易被读成同一个。另外π0.5 有三个对照架构论文里还测了 DP遥操作数据在这三个任务上都是 100%。20 个百分点的差距是在最有利于生成数据的设置下测出来的——三个任务、每个任务 10 个随机初始位置。口径三80% 数据靠真实、10% 可以用仿真是许晋诚对自家长尾场景的判断不是行业共识访谈原话“即便它触觉真实性、视觉真实性、力反馈真实性不够也能补长尾——大约 90% 数据靠真实、10% 可以用仿真。”紧接着他对90% 靠仿真的做法明确不看好理由是成本和有效性“有做仿真数据的公司一年花一两个亿还有建模成本很多仿真数据公司在招美术建模师而建模师建不出真实的物理效果最大瓶颈是超弹性体能建出形状建不出受压后的视觉效果大部分只能做刚体接触。你花一周建模一个东西而实采只要去楼下便利店花五毛一块钱就买到了。而且仿真生成的几亿条数据不一定都有效重复性特别高的会被判为无效比如只是关节角偏了一下也算一条而对模型来说数据越不一样越好。”这段话里最扎实的是那个五毛一块钱的对照——实采的成本优势不是理论上的是可以拿便利店发票证明的。但 90/10 这个比例本身是他在描述自己公司长尾场景做法时给出的经验值不能当成行业共识引用。而且注意一个内在张力他前面说主要应用所需真实数据的体量远大于长尾数据所以 10% 这个数字是他那个场景下的结论不是通用比例。️ 领码 SPARK 融合平台让采集现场和训练现场用同一本账这一节写给做数据平台的人。上面这几条死结、这套采集流程、这些口径误读在企业里都有一个精确的对应物。企业没有机器人但企业有一样的结构问题。对应一iPaaS 接数据——采集现场和训练现场必须在同一条链上企业里的对应场景是业务系统ERP/CRM/工单产生原始数据采集现场是数据录入人员训练现场是算法团队。最常见的失败模式是中间隔了一层 Excel 导出。隔了一层人工转换数据的时序、语义、质量就都断了。而且中间那层转换没有审计你不知道某个字段的值是采集时就没有还是转换时丢的。采集现场的问题企业里的对应SPARK 的处理任务顺序被固定模型学到伪特征字段按录入顺序产生模型学到时序捷径元数据登记变量清单 顺序随机化标记力值分布系统性偏大某环节默认值/兜底值污染数据质量规则 分布异常检测一致性偏差导致数据漂移同名指标在不同系统算法不同口径登记 血缘追踪时间没对齐精度差 10%多个源的数据时间基准不一致接入层统一时区与对齐基准最后一行是重点。帕西尼那个客户案例——精度差 10%根因是差了百毫秒——在企业里每天都在发生只是没人会想到精度问题可能是时间戳没对齐造成的。对应二治理中心前置——审核规则要写在采集之前不在之后帕西尼的审核结构是80–90% 自动化 最后一层人工。这个比例结构的关键不在 80%在于它是一个流水线不是一个工位。企业里最常见的错误是数据先进来等出问题了才开始想办法治理。这时候脏数据已经流到了下游模型、报表、决策里。对应的处理方式采集前变量清单先行——每个字段定义类型、取值范围、是否可空、采集方式采集时规则引擎实时判——超范围、缺必填、逻辑矛盾结束时间早于开始时间当场拦采集后自动审核打标——可机器判的标通过/不通过/待人工只有待人工的进队列人工环节只处理规则判不了的边界情形且人工判定结果要回流成新规则“失败是更珍贵的负样本这个判断在企业里对应的是异常数据要不要留”。大多数企业的做法是入库前就丢弃异常——因为没有人定义过异常值的位置和用途。帕西尼的做法是给失败数据一个明确的分类负样本这样它才能被检索、被训练、被计价。对应三全域守卫划权限——采集现场的权限和训练现场的不一样有个容易被忽略的权限维度谁能定义变量、谁能改口径、能不能看原始采样数据。角色变量定义权口径修改权原始采样数据审核结果采集人员无无只看自己采的看自己的返工项数据审核员提建议无全量可见可见并可判算法工程师无无抽样可见可见数据负责人有有全量可见全量可见关键在这个错位能看到所有数据的人不一定能改定义能改定义的人不一定能看到每一条原始数据。权限跟着数据粒度走不是跟着岗位名走。对应四与 Dify 分工——规则归治理层编排归应用层上面这些规则超范围判定、顺序随机化、分布检测、审核流转应该写在治理层不是写在某个 Agent 的 prompt 里。Dify 这类编排层适合做的从已治理的数据里生成一份采集质量周报、生成某个字段的口径说明文档、触发返工流程。不适合做的让它自己判断这个字段的分布是不是漂了——因为这个判断需要跨时间、跨来源、跨采集点的对照prompt 里写不下这些上下文。分工清楚了采集现场才可能规模化。采集员不需要懂数据治理但采集员用的小工具里规则必须已经在了。 给数据团队的五条判断标准① 先算人力单位成本再算技术单位成本。一台机器人 60 万、一套手套几千块这个对比说明在数据采集环节“用什么身体去采这个决策的影响可能大于用什么传感器去采”。先把这个问题问清楚再去比技术参数。② 问这份数据换个构型还能用吗。如果答案是不能那你要算的是这条数据的有效折旧期而不是它的采集成本。遥操作数据在机器人换型时的归零率值得在采购前就问供应商。③ 力反馈这件事别用视觉代偿。遥操作员手上没有力反馈这个缺陷是系统性的不是培训能补的——它会让整个数据集的力值分布系统性偏大。触觉相关的任务采集端没有力反馈闭环就不能用。④ 把时间同步误差当成精度指标不是技术细节。帕西尼那个客户案例数据精度差 10%根因是差了百毫秒。你的数据管线里如果有多个源、多个时钟那最大允许时间偏移必须是一个被监控的指标而不是靠人记得。⑤ 把失败和异常数据单独设计一个位置。帕西尼的做法是失败是更珍贵的负样本并且有 80–90% 的自动审核支撑。企业里对应的动作是先定义异常数据存哪、叫什么、谁有权检索再考虑采集流程。如果只定义成功数据那你的数据资产里就永远只有一种信息。遥操作是机器人行业最直觉的方案。以人为中心听起来像退步。但把成本、效率、力值真实性、跨本体四项摊开再乘上 20 个百分点的成功率这笔账的形状完全变了。它不是哪个方案更好的问题是你的瓶颈在数量、在质量、还是在速度的问题。而无论是哪条路线有一件事是共同的采集现场和训练现场必须用同一本账。数据从哪来、怎么定义、谁说了算、失败放哪——这些答案要在采集开始之前就定下来。你们团队现在采数据是谁定义字段谁说了算还是算法提需求、采集照做这两种模式下异常数据最后都去哪了评论区说说我帮你看看这两种模式各自的坑在哪。
阅读完成 · 觉得有帮助？
