★ FEATURED ARTICLE 如果你在视觉领域待过一段时间一定会遇到这样的场景领导丢给你一个任务要做一个多人姿态估计的实时系统你打开搜索引擎翻来翻去最后总会落到同一个名字上——OpenPose。这篇论文我前前后后读过很多遍从最早用它做毕业设计到后来在公司里给项目做技术选型每隔一段时间回头看都能读出新的东西。它不像很多炫技型论文那样堆砌花哨的网络模块而是把多人姿态估计这件事拆解得极其清晰然后一步一步解决给你看。这篇论文理解的文章我打算把OpenPose的核心逻辑、PAF的设计动机、推理阶段的完整链路以及我在工程复现中踩过的坑一起聊透送给需要入门姿态估计的同行也给想真正读懂这篇经典工作的人提供一份参考。1. 多人姿态估计难在哪两条技术路线之间的取舍1.1 自顶向下与自底向上的本质差异很多人第一次接触OpenPose的时候会下意识地把它归入深度学习做关键点检测的范畴这当然没错但OpenPose真正解决的问题远不止检测关键点这么简单。它要面对的完整问题是一张图里如果有多个人每个人的关键点应该被正确归组最后输出每个人的完整骨架。这个多人两个字是姿态估计从单人走向实际应用时最棘手的部分。处理多人姿态业界一直有两条路线。自顶向下top-down的思路是先用目标检测器把人框出来得到一个个人体框然后对每个人体框单独跑一个单人姿态估计模型。这条路线很直观把多人问题直接降维成了单人问题早期不少工程方案都这么干。但它的缺点同样摆在明面上运算量随着人数线性增长而且如果检测器漏检了某个人姿态估计再准也救不回来。更重要的是在处理密集人群、互相遮挡的场景时人体框之间的重叠会产生重复计算还容易把不同人的关键点搞混。自底向上bottom-up的思路则反过来——先在整张图上把所有人的关键点全部检测出来再设计一种方法把属于同一个人的关键点连接成完整骨架。这条路线的难点在于连接这一步你得到了一堆无身份标识的手腕、手肘、肩膀怎么知道哪只手腕和哪只手肘属于同一个人呢人越多、越拥挤、身体越重叠这个关联问题就越困难。OpenPose选择的正是这条路。为什么因为底向上的方法天然拥有实时性的潜力——关键点检测可以在整张图上一次性完成计算量不会因为人数的增加而爆炸。1.2 OpenPose为什么选择难而正确的底向上路线自底向上的路线听起来工程上更优雅但同时期其他工作之所以没能把这条路做通核心卡在了关键点关联上。早期的方法要么基于几何距离——把距离最近的两个关键点配对这在多人交叉、肢体重叠时几乎必然出错要么先检测每个人的中心点再向四周扩散着找关键点这相当于又把问题变回了检测人对遮挡极不友好。OpenPose的作者团队提出了一个非常重要的判断关键点之间的关联不能只看距离或者离散的关键点对而要看连接关系本身。换句话说与其在检测完关键点之后再来猜谁和谁是一组不如在检测的同时把肢体结构这个信息也作为网络的预测目标学出来。于是就有了Part Affinity Fields——部件亲和场。你可以把PAF理解成给图像里每一个位置都标注了一个方向向量这个向量指示了从一个人体部位指向另一个连接部位的身体流向。比如左手腕到手肘这条路线上每个像素上都有一个指向手肘的向量左肘到左肩的路径上又有另一个方向的向量。这个思路的巧妙之处在于它把离散关键点匹配这个难以直接学习的组合优化问题转化成了稠密像素回归这个深度学习非常擅长解决的问题。网络不需要显式地理解第几个手腕属于第几个人只需要在像素级别持续修正每个位置的向量场就能隐式地编码出人体的骨架结构。这就如同在地上画满了箭头箭头的流向天然地把两个部位粘在了一起最后顺着箭头把关键点串起来就能得到完整的人体骨架。2. 论文的灵魂Part Affinity Fields是怎么被设计出来的2.1 从离散组合到连续回归的转换思路想真正理解OpenPose就必须理解PAF。我认为这是整篇论文最有价值的部分也是它在众多姿态估计论文中脱颖而出的主要原因。前面说过底向上方法的关键难点在于如何判断两个关键点属于同一个人。一个最朴素的思路是对每一对可能的关键点组合比如手肘A-手腕B训练一个分类器来判断它们是否属于一个人。但这种做法的复杂度是组合爆炸级别的——整张图可能有几十个同类关键点两两配对组合的数量非常庞大而且分类器孤立地看待每一对丢掉了肢体在空间上的连续性。PAF彻底绕开了这个离散组合问题。作者观察到人的肢体可以看作两个关键点之间的一条连线段左肩到左肘、左肘到左腕、右髋到右膝……每一种肢体在2D图像上都有明确的空间走向。如果他们能为每一个像素位置p预测一个2D单位向量表示如果这个位置恰好落在一个人的肢体上那么这个肢体指向下一段关节的方向那网络输出的就不再是孤零零的点而是一个覆盖全图的肢体方向场。这个方向场在后续匹配中可以直接用来做积分评估。具体来说给定两个候选关键点d_j1和d_j2以及对应的PAF场L_c先沿着这两个点的连线方向进行采样然后在每个采样点上取PAF向量与连线方向向量的点积最后累加求平均。这个平均分值就代表了这一段连线与PAF方向场的一致性程度。如果这两个关键点确实由一根肢体相连那么连线会穿过肢体区域PAF向量与连线方向高度一致点积接近1如果它们不是一对那么连线大概率走过无关区域PAF向量与连线方向会很混乱累计值就低。2.2 PAF的Ground Truth构造与标注逻辑看论文时容易走眼的一个地方是PAF的Ground Truth到底是怎么标注出来的。很多人以为需要额外的人工标注其实不需要。OpenPose使用的关键点数据集本来就标了每个人所有可见关节点的位置比如MPII、COCO数据集里标了鼻子、肩膀、手肘、手腕、髋、膝、踝等所以只需要根据这些标注点来计算肢体线段就能自动生成PAF的GT。对于单个人、单根肢体PAF的GT构造方式是这样的假设肢体c连接关键点j1和j2那么对于肢体线段上的任意一个像素p它的PAF方向就是单位向量(j2-j1)/||j2-j1||。但这里有个容易被忽略的细节就是肢体区域如何界定。论文里的做法是先计算肢体线段的长度和宽度然后在每个关键点周围画一个半径为r的圆形区域凡是落在肢体线段周围一定范围通常以关键点之间的距离和设定阈值为准内的像素都被认为是该肢体的一部分。代码实现里通常还要先判断像素到关键点连线的距离是否小于一个阈值以及像素在该线段上的投影是否落在端点之间。当图像中有多个人时情况会变得稍微复杂如果两个人的同一种肢体在图像上有重叠区域那么在重叠区域里PAF向量方向可能会冲突。论文给出的处理方式是直接对多个人的PAF取平均。有人可能会觉得取平均会把方向信息冲淡但作者在实验里验证过取平均之后匹配的效果足够好。这是因为在实际训练中网络看到的是大量样本的统计模式重叠区域虽然方向模糊但空间约束和周围区域的上下文信息能够帮助网络在一定程度上恢复正确方向。2.3 为什么PAF比中点距离更聪明我在读论文时还在想一个问题为什么不直接预测肢体中点或者预测两个关键点之间的欧氏距离然后用聚类的方式分组呢论文后来的消融实验其实已经回答了这个疑问。如果只预测一个中点热图那么对于同一类肢体的候选关键点你只能围绕中点做邻域搜索当两具身体非常靠近、肢体几乎平行时不同肢体的中点会彼此混淆分组很容易出现串线。但PAF提供了方向这个额外的维度的信息。一个落在肢体上的像素不仅告诉网络这里存在一个肢体还告诉网络肢体朝哪个方向走。这样即使两个关键点之间的距离非常近只要方向场完全不同匹配算法也能正确地把它们分开。打个比方只用关键点距离做匹配就像在漆黑的房间里根据脚步声猜人而PAF相当于每根肢体都亮起了一盏方向指示灯你一眼就能看出哪只手腕连着哪只手肘。另外PAF在推理阶段还有一个隐藏的好处它天然支持对匹配结果的校验。你可以对每个肢体对计算PAF一致性分数如果这个分数低于设定的阈值就说明该连接的可信度不高可以丢弃。这个特性在工程上非常实用尤其是在处理半遮挡、极端姿态的场景时通过调节阈值就能方便地控制骨架输出的完整度与准确率的平衡。3. 两分支多阶段网络一步步把模糊变清晰3.1 网络主干与两分支的结构设计很多介绍OpenPose的文章都会跳过网络结构中的设计动机直接画个结构图然后说这是一个多阶段网络。但理解了动机再回看结构你会觉得非常顺理成章。OpenPose的骨干网络采用了VGG-19的前十层作为特征提取器得到一组特征图F。之后网络被分成了两条并行分支上面的分支负责预测关键点置信图Part Confidence Maps用S表示下面的分支负责预测PAF用L表示。为什么分成两个分支而不是输出了两个头共享同一套特征因为这两个任务的感知取向是不同的。关键点置信图关心的是有没有一个关节点落在某个位置这是一个点级、峰值敏感的任务而PAF关心的是肢体的走向是什么这是一个区域级、方向敏感的任务。把两者放在同一个分支里让它们共享更高层次的全部表征容易互相干扰两个分支各自有独立的卷积参数则可以让网络在训练过程中动态地分配计算资源。整个网络按照论文的命名会在第一个阶段之后接上若干个后续阶段。每个后续阶段的输入除了原始特征图F还包括上一阶段输出的热图S和PAF场L然后把这三者拼接起来再喂给接下来的卷积层。这个把结果重新喂回去的机制是整篇论文能取得高精度的重要保证。3.2 损失函数与中间监督训练过程的核心魔法多阶段网络最怕的是什么是深度太深导致梯度难以回传。OpenPose的训练策略是在每一个阶段结束时都对当前预测的S和L计算一次损失并在整个网络的多个位置上施加监督信号。论文里用的是L2损失不过在计算损失前会用一个二值掩码矩阵W把数据集里未标注的图像区域屏蔽掉。也就是说某个关键点在标注数据里不可见那对应位置的热图预测误差就不计入损失。这个中间监督机制的作用非常大。它确保了网络在学习过程中不会只依赖最后一层往回传的梯度而是让每个阶段都能直接从标签中学习。你可以把这种多阶段结构类比成一个多轮修正的过程第一阶段网络输出一个粗糙的估计第二阶段的网络看到了第一阶段的输出会学着去修正其中明显的错误第三阶段再在第二阶段的基础上做进一步精修如此反复。论文里的阶段数一般是6个左右前面几个阶段提升精度非常明显后面几个阶段提升逐渐收敛。训练时还有一个非常关键但容易被新手漏掉的细节PAF分支和热图分支的训练顺序。作者在实现时通常是在第一阶段同时初始化两条分支的预测并在每个阶段分别计算两个损失二者加权求和后一起回传。我在复现过程中发现如果两条分支的学习率不平衡或者权重比例设置不当PAF分支往往更难收敛因为PAF是一个稠密回归任务对于方向的预测错误非常敏感而热图任务相对容易被峰值点主导。实际操作时我习惯给PAF分支稍微大一点的权重并增加一个warmup阶段让两个分支先在训练数据上充分同步否则容易出现热图已经很准了、PAF还是乱七八糟的情况。3.3 感受野与阶段数消融实验告诉我们的道理论文的消融实验里有一项关于阶段数的对比非常值得细读。作者发现随着阶段数从1增加到6最终姿态估计的准确率是逐步上升的。这说明后期的阶段确实学到了有用的上下文信息。但如果只给你一个2阶段的网络效果会怎样其实也还可以但当你需要处理复杂拥挤场景时后期阶段对远距离关联的建模能力就变得至关重要。这里涉及一个感受野的问题。如果一个网络只看得到局部比如感受野只有几十个像素那么当两个人靠得很近、肢体交叉时局部特征几乎无法区分这是谁的胳膊。只有通过加深网络或者堆叠多个阶段让每个位置的预测能够看到更大范围的空间上下文网络才能做出全局连贯的推断。OpenPose用多阶段结构代替了单纯堆叠卷积层等于人为地让每个阶段都能重新结合原始图像特征、前期预测结果的长距离信息不断优化输出的空间连续性。这一点我在实际复现时深有体会。有一版实验我把阶段数从6减到4速度确实提高了不少但在测试集上出现了大量左右手交叉配对的错误尤其当画面中两个人面对面或者一前一后站着时错误率飙升。后来调回6个阶段虽然单帧推理时间多了几十毫秒但模型的鲁棒性好了一个档次。如果你做的是实时要求极高的场景可以砍阶段数但要在后处理里加上更多约束来弥补准确率的损失。4. 从热图到骨架推理阶段的关键步骤拆解4.1 关键点热图的解析与峰值提取训练完成后推理阶段的第一步是拿到网络输出的关键点置信图。对于COCO数据集的18类关键点后来OpenPose扩展到25类或更多网络会输出对应数量的热图每张热图上某个位置的值越大代表该位置越可能是某种关键点。接下来要做的事情是提取候选峰值。通常做法是在每张热图上做非极大值抑制NMS遍历每个像素如果它的值大于周围邻域比如3x3或5x5窗口内所有像素的值同时大于一个预设阈值就把它记录为一个候选关键点。这一步的结果是一堆带坐标位置和置信度分数的候选点同一类关键点里可能有多个候选因为一张图里会出现多个人每个人都有自己的手腕所以光手腕这一类就可能有好几个候选峰值。这个环节有个不太起眼但非常重要的参数NMS窗口大小。窗口太大会把两个距离很近的人的同类别关键点合并成一个导致人数少算窗口太小又可能在同一只手上出现两个几乎重合的候选峰值导致后续匹配混乱。我在工程里一般会根据输入图像的尺寸动态调整窗口大小并且对最后输出的峰值做一次亚像素级别的微调——比如用热图峰值附近3x3区域内像素的加权质心作为最终坐标这样精度能提升不少。4.2 PAF积分与二分图匹配的贪心策略得到所有候选关键点之后核心的装配环节才真正开始。对每一种肢体类型比如左肘-左手腕此时系统手里有两组候选点一组是左肘的所有候选一组是左手腕的所有候选。每对候选点之间都可能存在一种属于同一个人的可能但显然不可能全部成对所以需要做一个最优匹配。匹配的评分依据就是前面提到的PAF积分。具体做法是在候选左肘d1和候选左手腕d2之间连一条虚拟线段在这条线段上等间隔地采样若干个点对每个采样点读取PAF场L_c在该位置的方向向量然后计算这个方向向量与线段单位方向的点积再对所有采样点取平均。这个平均分越高代表PAF方向场越支持这两个点属于同一根肢体。把这个分数记作两个节点之间的边权于是问题就变成了一个带权二分图的最大权匹配问题。严格求解一般二分图的最大权匹配需要匈牙利算法但在OpenPose的场景里有一个简化条件每一种肢体的两端关键点类型不同比如左肘和左手腕而且每个关键点最多只连接同一类型的肢体一次。论文作者在实际求解时采用了一种贪心策略先把所有候选对按PAF分数从高到低排序然后从分数最高的一对开始按顺序连接一旦某个关键点已经被占用就跳过与它相关的其他低分匹配。这个贪心近似解在绝大多数场景下可以得到和全局最优接近的结果但速度快得多这也是OpenPose能做到实时的重要原因之一。完成所有肢体的匹配之后还需要把肘-腕、肩-肘这样的小肢体段组装成一个完整的人。此时可以用并查集或者深度优先搜索把所有共享同一个关键点的肢体段合并到同一个人的集合里。合并完后一个人身上所有关键点会被串起来输出为最终的骨架序列。5. 实验数据背后准确率、速度与工程实现的细节5.1 精度与速度的平衡从MPII到COCO的结果解读论文在MPII和COCO两个基准数据集上都做了详细评测。MPII数据集上OpenPose报告了较高的PCKh指标在当时的自底向上方法中属于领先水平在COCO 2016关键点挑战赛上它达到了接近61.8的AP值这个成绩放在当年已经非常能打。不过更有冲击力的其实是速度在单块GTX 1080显卡上处理368x368的输入图像它能跑到大约10帧每秒后续的工程优化版本还能更快。这个准实时的体验极大地拓展了姿态估计在实际应用中的想象空间也让OpenPose在学术论文之外迅速获得了大量工业界用户。读实验结果时我建议多关注论文里不同输入尺度下的表现。作者在测试时采用了多尺度搜索策略在网络的输入侧对图像做多分辨率缩放然后融合多个尺度的热图和PAF。多尺度搜索确实能提升准确率尤其在检测小尺度人体时效果显著但代价也很明显推理时间成倍增加。工程部署时怎么取舍我的经验是如果主要场景是安防摄像头、单人或两人室内场景单尺度加一个合适的固定输入尺寸就足够了如果是演唱会、地铁等密集人群场景那就很有必要上多尺度哪怕牺牲一些帧率。5.2 论文里容易被忽略的工程细节与实现选择论文正文里有一段非常简短但重要的描述——训练数据的增强策略。作者提到使用了随机旋转、随机缩放并通过随机采样来模拟不同的人体形态变化。这些数据增强的细节往往决定了一个模型能不能在真实场景里站住脚。我在自己的复现实验中发现如果只在原始图像上训练模型的泛化能力会明显不足一旦加上旋转和尺度抖动在未见过的视角和距离下AP能提升好几个点。另一个容易被忽略的细节是训练阶段的人体框机制。虽然OpenPose是自底向上的方法但作者在训练时其实利用了数据集提供的原始人物标注框用这些框去生成只包含该人物的裁剪图并在这些裁剪图上训练网络。这种做法可以理解成用检测的先验引导网络更专注于单个人的结构预测从而让网络在多人场景中更容易区分不同的个体。很多复现版本在训练时直接把整张图丢进去最后效果总差那么一点一个重要原因就是这里。此外网络输出的后处理中还有一个细节值得展开。在COCO数据集上官方OpenPose的实现还会对关键点坐标做一次位置修正。这个修正过程本质上是用热图峰值附近的局部分布信息对关键点坐标做亚像素偏移。虽然看起来只是一点点像素级的差别但在计算AP时用修正前和修正后的坐标会有明显差距尤其对于手腕、脚踝这类相对细小、热图峰值不够尖锐的关节。从论文到实际工程部署还有不少隐藏工程值得了解。OpenPose官方开源项目基于Caffe实现后来社区又涌现出TensorFlow和PyTorch的复现版本。无论你用哪个框架都要特别注意输入图像预处理与论文保持一致图像的归一化方式、减均值、缩放比例等细节都会直接影响模型的输出分布。此外很多PyTorch复现版本里PAF分支的最后一层激活函数是线性的因为方向向量可以落在一个范围内的数值而热图分支是ReLU或sigmoid这个区别在加载官方Caffe权重转换时尤其容易出现坑。6. 从论文到项目读完这篇论文后我对姿态估计的理解6.1 OpenPose为什么能成为生态级的开源项目论文之外OpenPose开源的工程实现影响力甚至超过了论文本身。它不仅提供了训练好的模型权重还提供了一整套从图像/视频输入到骨架输出的完整管线甚至支持多路摄像头、3D姿态重建、手部关键点和面部关键点检测。这种论文好用开源代码的组合让OpenPose成了后续很多视觉应用的基础组件——从健身动作分析、康复评估到人机交互、影视动捕预标注再到视频监控中的人体行为理解都能看到它的身影。OpenPose项目最有价值的一点是它验证了一个重要的工程方法论当算法研究做到一定程度真正卡住落地进度的往往是关联模块和后处理管线而不是单一网络的精度。PAF的提出不仅解决了一个学术问题还直接让整个系统能够稳定地在GPU上实时运行这种算法-工程一体化的思维方式值得每一个做视觉落地的从业者学习。6.2 我在实际使用中的体会与建议我自己在项目里用OpenPose做动作比对时踩过不少坑第一个坑是多人匹配串线尤其在两个人面对面或者紧挨着的时候。后来我发现串线问题往往不是因为PAF训练得不够好而是后处理阶段的贪心算法在低分区间做出了错误连接。解决方案是在最终输出时加一个PAF分数的阈值过滤并且对每个关键点关联设定最小分数和最大距离双重约束。另一个坑是尺度变化剧烈。当人物从画面深处走向镜头同等输入尺寸下远处的人只有几十像素高关键点热图非常模糊。解决办法是动态检测画面中的目标尺度范围按检测框的大小决定是否启用多尺度搜索而不是盲目地对所有画面都做多尺度推理。如果你打算基于OpenPose二次开发我的建议是先完整复现一次论文的推理流程再考虑替换网络结构或引入新数据集。我在复现过程中收获最大的一步就是自己写了一遍PAF的Ground Truth生成代码。这个看似繁琐的步骤让我真正理解了肢体区域的定义、方向向量的计算、多人重叠时的平均策略是怎么操作的也为我后来调试各种奇怪的模型输出打牢了基础。还是那句话OpenPose这篇论文值得读的不只是结构图和公式而是它解决问题的方式——每一步设计都有一个清晰、可解释的动机把复杂问题拆成一个个能落地的模块。先把这些想通再看任何后续的姿态估计论文都会顺畅很多。
阅读完成 · 觉得有帮助？
