★ FEATURED ARTICLE 人体参数化模型这几年在图形学、视觉计算和数字人方向里出现的频率越来越高不管是做三维重建、动作驱动还是做虚拟形象生成绕不开的一个基础工具就是它。但很多刚接触的朋友一上来就被SMPL、FLAME、MANO、STAR这些名词砸晕更别说后面还有各种变体、参数维度、关节点定义、蒙皮权重这些东西。我自己在这个方向上摸爬滚打了几年踩过的坑不算少今天就把人体参数化模型这一整套东西从头到尾捋一遍尽量用大白话把原理讲清楚把实操路径给出来让刚入门的朋友能少走点弯路也让已经上手的朋友能补一补底层逻辑。这篇是系列的第一篇主要聚焦在参数化模型到底是什么、它解决什么问题、核心参数怎么理解、以及怎么把它跑起来。后面系列会陆续展开到不同部位的模型、不同精度的变体、以及和深度学习框架结合的具体玩法。如果你正在做数字人、动作捕捉、虚拟试衣、人机交互这类项目或者单纯想搞明白那些论文里的β、θ、shape、pose到底在说什么这篇应该能帮你把地基打牢。1. 人体参数化模型到底在解决什么问题1.1 从“建模一个人”到“用参数描述一个人”传统三维建模里要做一个人的模型你得在建模软件里一点点捏从头部到脚趾拓扑结构、肌肉走向、衣服褶皱都得手动处理。这种做法做一两个角色还行但一旦你要生成成百上千个不同体型、不同姿态的人手动建模就完全不可行了。参数化模型的核心思路就是把人体形状和姿态压缩成一组低维参数你只要改这组参数就能生成对应的人体网格。这个思路听起来简单但背后涉及的东西不少。首先你得有一套统一的拓扑结构也就是所有人生成的网格顶点数和连接关系是一样的只有顶点位置在变。其次你得有一套形状空间能够用少量参数控制体型的高矮胖瘦。最后还得有一套姿态驱动机制让模型能摆出各种动作。这三件事合在一起才构成了一个完整的参数化人体模型。我刚开始接触的时候最困惑的就是为什么参数能控制形状。后来想明白了其实就像调音台每个旋钮控制一个频段参数化模型就是把人体形状分解成若干主成分每个主成分对应一个参数你调这个参数形状就沿着这个主成分的方向变化。这个分解过程通常是用主成分分析PCA从大量人体扫描数据里学出来的所以参数本身没有直观的物理意义但组合起来就能覆盖真实人体的变化范围。1.2 为什么是“参数化”而不是“模板化”有人会问我直接做一个标准人体模板然后通过缩放、旋转、变形来生成不同的人不行吗答案是行但效果很差。因为人体的变化不是简单的线性缩放高个子不是矮个子等比例放大胖子和瘦子的脂肪分布也不一样肌肉量、骨架比例、肢体长度这些因素之间是有关联的。模板化方法只能处理很有限的变形一旦超出范围就会显得很假。参数化模型的好处在于它的形状空间是从真实数据里学出来的所以生成的人体在统计意义上是合理的。你调出来的体型大概率在现实中是存在的不会出现那种比例失调的怪异感。而且参数化模型通常还会附带关节点、蒙皮权重、甚至面部 blendshape 这些附加信息方便你直接拿去做动画或者驱动。另一个关键点是可微性。现在很多应用需要把参数化模型嵌入到深度学习流程里比如从单张图片回归人体参数或者从视频里估计动作。如果模型是可微的那梯度就能从输出传回输入整个流程就能端到端训练。这也是为什么现在主流的参数化模型基本都是用可微的方式定义的顶点位置是参数的连续函数方便求导。1.3 主流模型家族一览与选型思路目前市面上常见的人体参数化模型按覆盖部位大致可以分成几类。全身类的代表是SMPL及其后续变体覆盖整个身体包括躯干、四肢、头部和手部有些版本手部是单独处理的。身体局部类的有FLAME专注头部和面部MANO专注手部还有专门做脚的模型。另外还有一些扩展版本比如SMPL-X把身体、手、脸统一到一个框架里STAR则是在SMPL基础上改进了姿态混合方式减少了某些姿态下的形变伪影。选型的时候主要看你的应用场景。如果你做的是全身动作捕捉那SMPL或SMPL-X是首选生态最成熟工具链最全。如果你做的是面部动画或者表情驱动FLAME更合适它的面部拓扑和 blendshape 设计更精细。如果你做的是手势交互MANO是标准选择。如果你需要同时处理身体和手但又不想用SMPL-X那么重的模型可以考虑SMPL加上单独的MANO然后自己做拼接。还有一个维度是精度和速度的权衡。有些模型顶点数很多细节丰富但计算量大有些模型做了简化速度快但细节少。这个要根据你的实际需求来定不是越精细越好。比如做实时应用可能就需要用低模版本或者用LBS线性混合蒙皮加速。2. 核心参数体系拆解形状、姿态与表情2.1 形状参数β到底在控制什么形状参数通常用β表示是一个低维向量维度一般在10到300之间常见的是10维或16维。每个维度对应一个主成分方向数值大小表示在这个方向上的偏移量。β的绝对值越大说明这个人的体型越偏离平均值。但要注意β的每个维度并不是单独控制某个具体部位而是多个部位协同变化。比如第一个主成分可能同时控制身高和腿长第二个主成分可能控制胖瘦和肩宽具体怎么分布取决于训练数据。实际使用的时候β通常是从正态分布里采样或者从数据里回归得到。采样的时候要注意范围一般建议在[-3, 3]之间超出这个范围可能会生成不合理的体型。我试过把β调到5以上结果出来的人体比例明显失真四肢变得特别长或者特别短。所以如果你要做随机生成最好限制一下范围或者用截断正态分布。还有一个容易忽略的点是β的尺度。不同模型的β数值范围可能不一样有的模型β在[-1, 1]之间变化就很明显有的模型要到[-5, 5]才有明显变化。这个跟训练数据的归一化方式有关。所以你在用一个新模型的时候最好先可视化一下不同β值对应的形状心里有个数。2.2 姿态参数θ的表示方式与旋转陷阱姿态参数通常用θ表示它描述的是各个关节点相对于父节点的旋转。最常见的表示方式是轴角axis-angle也就是一个三维向量方向表示旋转轴模长表示旋转角度。这种表示方式紧凑但有个问题是有奇异性而且不连续两个相近的旋转可能在数值上差很多。所以在深度学习里有时候会用旋转矩阵或者四元数来表示但最终还是要转回轴角或者旋转矩阵来驱动模型。θ的维度取决于关节点数量。以SMPL为例它有23个关节点不包括根节点每个关节点3个自由度加上根节点的全局旋转3个自由度总共是72维。这72维里前3维是全局旋转控制整个人体的朝向后面69维是各个关节的局部旋转。理解这个结构很重要因为你在做动作重定向或者动作编辑的时候往往只需要改某几个关节的参数而不是全部。这里有个大坑旋转的顺序和坐标系。不同模型对关节旋转的定义可能不一样有的用局部坐标系有的用全局坐标系有的旋转顺序是XYZ有的是ZYX。如果你直接把一个模型的动作参数套到另一个模型上很可能出来的姿态完全不对。我踩过这个坑当时想把一个模型的动作迁移到另一个模型结果手脚都拧到奇怪的方向去了。后来才发现是两个模型的关节坐标系定义不同需要做一次坐标变换。2.3 表情参数ψ与面部 blendshape 的关系表情参数通常用ψ表示在FLAME这类面部模型里它控制的是面部 blendshape 的权重。FLAME的表情空间一般有100维左右前几维控制大的表情类别比如张嘴、眨眼、皱眉后面的维度控制更细微的肌肉变化。和形状参数类似表情参数也是从数据里学出来的每个维度对应一个主成分方向。实际使用的时候表情参数往往和形状参数耦合。也就是说同一个表情参数作用在不同形状的脸上效果可能不一样。这是因为不同人的面部结构不同肌肉运动的方式也有差异。所以如果你要做表情迁移不能简单地把源表情参数复制到目标人脸上而是要考虑形状的差异做一些适配。另外FLAME还区分了静态表情和动态表情。静态表情是固定的 blendshape动态表情则可能包含时间维度的变化比如说话时的口型序列。如果你做的是语音驱动动画那动态表情参数就更重要需要从音频里回归出随时间变化的表情系数。2.4 参数之间的耦合与解耦形状、姿态、表情这三组参数并不是完全独立的。比如你改变姿态某些部位的形状也会跟着变因为蒙皮权重是固定的姿态变化会导致顶点位置变化进而影响外观。再比如胖人的表情和瘦人的表情在同样参数下看起来可能不同因为面部脂肪分布不一样。这种耦合在建模的时候通常会被忽略因为完全解耦太难了。但在应用的时候要注意如果你需要高精度的结果可能需要在特定姿态下重新拟合形状参数或者用一些后处理来修正耦合带来的误差。我做过一个实验同一个人在不同姿态下回归出来的β差异还挺明显的尤其是手臂和腿部的姿态对体型估计影响很大。3. 从参数到网格前向计算流程详解3.1 模板网格与形状混合参数化模型的前向计算第一步是形状混合。你有一个模板网格通常是一个平均形状的人体顶点数为V每个顶点有3个坐标。然后你有一组形状主成分每个主成分也是一个顶点位移向量维度是3V。形状参数β是一个K维向量形状混合就是把这些主成分按β加权求和再加到模板网格上。用公式表示就是顶点位置 模板 Σ(β_i * 形状主成分_i)。这个计算是线性的所以很快。但要注意形状主成分通常只包含前若干个主成分后面的主成分可能对应噪声或者很细微的变化实际使用的时候可以截断只保留前10到20个。这里有个细节形状主成分的归一化。有些模型的主成分是归一化过的有些没有。归一化过的主成分β的数值范围比较统一用起来方便。没归一化的β的数值可能很大或者很小需要自己调整。我在用某个模型的时候发现β要调到几十才有明显效果后来查了文档才知道是没归一化。3.2 姿态混合与线性混合蒙皮形状混合之后得到的是一个处于静止姿态通常是T-pose或A-pose的网格。接下来要把它摆成目标姿态这一步用的是线性混合蒙皮LBS。LBS的核心思想是每个顶点受到多个关节的影响影响程度由蒙皮权重决定。当关节旋转时顶点按照加权后的变换矩阵移动。具体来说每个关节有一个变换矩阵由关节的旋转和平移决定。对于每个顶点它有一组蒙皮权重表示它受哪些关节影响权重之和为1。顶点的最终位置是各个关节变换矩阵加权作用后的结果。这个计算是线性的但要注意变换矩阵的构建顺序通常是先旋转再平移而且要考虑关节的层级关系子关节的变换要叠加父关节的变换。LBS有个经典问题叫糖果包装纸效应就是当关节弯曲角度很大时附近的网格会出现不自然的收缩或扭曲。这是因为LBS是线性的无法处理大角度旋转带来的非线性形变。为了解决这个问题有些模型用了对偶四元数蒙皮DQS或者加了姿态矫正 blendshape。SMPL就用了姿态矫正在LBS之后再加一个基于姿态的位移修正缓解了这个问题。3.3 姿态矫正与形变修正姿态矫正 blendshape 是SMPL的一个关键创新。它的做法是把姿态参数θ映射到一组矫正系数然后用这些系数加权一组预定义的位移向量加到LBS之后的网格上。这些位移向量是从数据里学出来的专门用来修正LBS在大角度姿态下的误差。具体实现上通常是把旋转矩阵的各个元素拿出来组成一个特征向量然后通过一个线性或者非线性映射得到矫正系数。SMPL用的是线性映射所以整个前向过程还是可微的。这个矫正项对于生成自然的姿态非常重要尤其是手臂弯曲、腿部弯曲这些动作没有矫正的话看起来会很僵硬。我在实际使用中发现姿态矫正的效果和训练数据关系很大。如果训练数据里缺少某些极端姿态那矫正项在这些姿态下可能就不太准。所以如果你要做一些不常见的动作比如瑜伽或者舞蹈可能需要自己补充数据或者微调模型。3.4 关节点回归与蒙皮权重除了网格顶点参数化模型通常还会提供关节点位置和蒙皮权重。关节点位置是从网格顶点回归得到的通常用一个稀疏的线性矩阵把顶点位置映射到关节点位置。这个回归矩阵也是从数据里学出来的保证关节点在解剖学上合理。蒙皮权重则是每个顶点对应的一组关节权重通常是预定义的不随形状和姿态变化。但有些改进模型会让蒙皮权重也随形状变化比如胖人的蒙皮权重和瘦人不一样这样能更准确地模拟形变。不过这样做会增加计算量需要权衡。关节点回归在实际应用里很重要因为很多下游任务需要关节点位置比如动作识别、姿态估计、运动重定向。如果你只需要网格那关节点可以忽略但如果你要做动画或者分析关节点就是必需的。4. 实操把模型跑起来并生成第一个人体4.1 环境准备与依赖安装要跑参数化模型最省事的方式是用Python因为主流模型的官方实现基本都是Python的。你需要准备一个Python环境建议3.8以上然后安装NumPy、SciPy这些基础库。如果要用GPU加速还需要装PyTorch或TensorFlow具体看模型的支持情况。模型文件通常包括几个部分模板网格、形状主成分、姿态矫正数据、蒙皮权重、关节点回归矩阵。这些文件格式可能是.npz、.pkl、.mat或者自定义的二进制格式。你需要先下载或者从官方仓库获取这些文件然后写代码加载。我建议用一个专门的目录来放模型文件然后在代码里用相对路径引用这样方便迁移。另外模型文件通常有版本区分不同版本的数据可能不兼容所以要注意版本匹配。4.2 加载模型与参数初始化加载模型的时候首先要读取模板网格的顶点和面片信息然后读取形状主成分和姿态矫正数据。这些数据通常是以矩阵形式存储的形状主成分是一个K x 3V的矩阵姿态矫正数据可能是一个包含多个矩阵的字典。参数初始化方面形状参数β通常初始化为零向量表示平均体型。姿态参数θ也初始化为零表示静止姿态。如果你有特定的目标体型或姿态可以从数据里回归得到或者手动设置。手动设置的时候要注意数值范围前面说过β建议在[-3, 3]之间θ的每个关节角度建议在[-π, π]之间。加载完之后最好先做一次前向计算看看生成的网格是否正常。如果网格出现明显的扭曲或者爆炸那可能是数据加载错了或者参数设置有问题。4.3 前向计算代码框架下面给一个简化的前向计算框架用伪代码表示具体实现要根据你用的模型调整。import numpy as np # 加载模型数据 template_vertices np.load(template.npy) # 模板顶点形状 (V, 3) shape_components np.load(shape_components.npy) # 形状主成分形状 (K, V, 3) pose_correctives np.load(pose_correctives.npy) # 姿态矫正形状 (P, V, 3) skin_weights np.load(skin_weights.npy) # 蒙皮权重形状 (V, J) joint_regressor np.load(joint_regressor.npy) # 关节点回归矩阵形状 (J, V) parents np.load(parents.npy) # 关节父子关系 # 参数 beta np.zeros(10) # 形状参数 theta np.zeros(72) # 姿态参数假设23个关节加根节点 # 形状混合 shaped_vertices template_vertices.copy() for i in range(len(beta)): shaped_vertices beta[i] * shape_components[i] # 构建关节变换矩阵 joint_transforms compute_joint_transforms(theta, parents) # 需要自己实现 # 线性混合蒙皮 posed_vertices np.zeros_like(shaped_vertices) for v in range(len(shaped_vertices)): for j in range(len(joint_transforms)): posed_vertices[v] skin_weights[v, j] * joint_transforms[j].dot( np.append(shaped_vertices[v], 1))[:3] # 姿态矫正 for p in range(len(pose_correctives)): posed_vertices pose_corrective_coeff(theta, p) * pose_correctives[p] # 关节点回归 joints joint_regressor.dot(posed_vertices)这个框架只是示意实际实现里关节变换矩阵的构建、姿态矫正系数的计算都要复杂一些。但整体流程就是这四步形状混合、蒙皮、矫正、回归。4.4 可视化与结果验证生成网格之后一定要可视化检查。最常用的工具是Matplotlib的3D绘图或者用Open3D、PyVista这些专门的3D库。Matplotlib简单但性能一般适合快速检查Open3D功能强适合做交互式查看。检查的时候主要看几个方面网格是否闭合、有没有明显的扭曲、关节点位置是否合理、姿态是否符合预期。如果发现网格有洞或者法线方向不对可能是面片索引的问题。如果关节点跑到网格外面去了可能是回归矩阵或者蒙皮权重有问题。我一般会先渲染一个T-pose的网格确认形状正常然后再摆几个简单姿态比如抬手、抬腿看看蒙皮效果。如果这些都没问题那基本就可以开始做更复杂的应用了。5. 常见问题与排查技巧实录5.1 网格扭曲与爆炸的排查思路网格扭曲是最常见的问题表现是顶点位置异常网格看起来像被揉皱了或者炸开了。排查的时候先检查参数范围β和θ是否在合理区间。如果参数没问题再检查数据加载形状主成分和姿态矫正数据的维度是否匹配有没有转置或者错位。还有一个常见原因是蒙皮权重归一化。如果蒙皮权重没有归一化或者归一化错了LBS的结果就会出错。检查方法是看每个顶点的权重之和是否接近1如果不是就需要重新归一化。另外关节变换矩阵的构建也容易出错。特别是父子关系的处理如果父关节的变换没有正确传递给子关节那子关节的旋转就会基于错误的坐标系导致网格扭曲。这个需要仔细检查变换矩阵的乘法顺序。5.2 姿态不自然的几种原因姿态不自然可能表现为关节角度看起来别扭或者某些部位过度拉伸。原因可能有几个一是姿态矫正没有生效或者矫正系数计算错了二是蒙皮权重不合理某些顶点受错误关节影响三是姿态参数本身就不合理比如某个关节旋转超过了生理极限。解决方法是先单独检查姿态矫正项把它关掉看看效果如果关掉之后更差说明矫正项在起作用问题可能出在别处。然后检查蒙皮权重可以可视化每个关节的影响区域看看是否合理。最后检查姿态参数可以逐步调整观察变化。5.3 参数回归时的数值稳定性问题如果你做的是从图像或视频回归参数那数值稳定性是个大问题。常见的问题是梯度爆炸或者消失导致训练不收敛。解决方法包括对参数做归一化限制参数范围用梯度裁剪或者用更稳定的损失函数。还有一个问题是参数歧义。同一个姿态可能对应多组参数因为旋转表示有冗余。这会导致回归结果不稳定今天回归出来是这个参数明天是另一个。解决方法是用更紧凑的旋转表示或者在损失函数里加正则项鼓励参数平滑变化。5.4 跨模型参数迁移的坑不同模型的参数不能直接混用因为形状空间和姿态空间的定义不一样。如果你想把一个模型的动作迁移到另一个模型需要做重定向。重定向的基本思路是先提取源模型的关节点位置然后拟合目标模型的参数使得目标模型的关节点位置尽可能接近源模型。这个过程可以用优化方法来做最小化关节点位置的差异。但要注意不同模型的关节点定义可能不同需要先建立对应关系。另外体型差异也会影响重定向效果胖人的动作迁移到瘦人身上可能需要调整姿态参数来保持平衡。问题类型可能原因排查方法解决思路网格扭曲参数超范围检查β和θ数值限制参数范围网格爆炸数据加载错误检查矩阵维度重新加载或转置姿态不自然矫正未生效关闭矫正对比检查矫正系数关节点偏移回归矩阵错误可视化关节点替换回归矩阵训练不收敛梯度问题检查损失曲线梯度裁剪或归一化5.5 性能优化与实时应用建议如果你要做实时应用性能是个关键。参数化模型的前向计算虽然不算特别重但在高帧率下也可能成为瓶颈。优化方向有几个一是用GPU加速把矩阵运算放到GPU上二是用低模版本减少顶点数三是预计算一些不随参数变化的部分比如蒙皮权重的稀疏结构。还有一个技巧是批处理。如果你要同时生成多个人体可以把它们打包成一个批次用矩阵运算一次性算完比循环快很多。这个在深度学习框架里很容易实现用batch维度就行。我在实际项目里发现最大的性能瓶颈往往不是模型本身而是数据加载和预处理。所以如果要做实时应用最好把模型数据预加载到内存里避免每次计算都读文件。6. 参数化模型的下游应用与扩展方向6.1 动作捕捉与姿态估计参数化模型在动作捕捉里用得很多。基本流程是从视频或者传感器数据里提取关节点位置然后拟合参数化模型的姿态参数使得模型关节点和观测关节点尽可能一致。这个拟合过程通常是一个优化问题可以用梯度下降或者高斯牛顿法求解。拟合的时候要注意关节点位置可能有噪声所以需要加正则项鼓励姿态平滑。另外不同帧之间的姿态应该连续可以用时序模型来约束。我做过一个视频动作捕捉的项目单帧拟合出来的姿态抖动很厉害后来加了时序平滑才好。6.2 虚拟试衣与体型分析虚拟试衣是参数化模型的一个热门应用。思路是先回归用户的体型参数然后根据体型生成人体网格再把衣服网格套上去做碰撞检测和形变模拟。这里的关键是体型参数的准确性如果体型估计不准衣服穿上去就会不合身。体型分析则是从参数里提取有意义的指标比如BMI、腰臀比、肌肉量等。这些指标可以用于健康监测或者个性化推荐。但要注意参数化模型的形状空间是从特定人群数据里学出来的如果用户不属于这个人群估计出来的参数可能有偏差。6.3 与生成模型的结合最近几年参数化模型和生成模型的结合越来越多。比如用扩散模型或者GAN生成人体形状和姿态然后用参数化模型解码成网格。这样做的好处是生成过程在低维参数空间里进行比直接生成网格容易得多而且生成的结果天然满足人体结构的约束。另一个方向是用参数化模型作为中间表示做跨模态生成。比如从文本生成人体动作或者从音频生成面部表情。参数化模型在这里起到了桥梁作用把不同模态的信息映射到统一的参数空间。6.4 系列后续内容预告这个系列后面还会继续展开计划覆盖的内容包括不同部位的精细模型手部、面部、脚部的详细解析不同精度版本的对比和选型参数化模型和深度学习框架的深度结合以及一些实际项目的完整复现。如果你对某个方向特别感兴趣可以留言告诉我我会优先安排。我个人在实际操作中的体会是参数化模型这东西光看论文很难真正理解一定要自己动手跑一遍改改参数看看效果。很多细节只有踩过坑才知道。希望这篇能帮你把基础打牢后面再深入就轻松多了。
阅读完成 · 觉得有帮助？
