★ FEATURED ARTICLE 简介本资源是一套基于时空图卷积网络ST-GCN的骨骼动作识别完整实现方案面向计算机、人工智能、数据科学等专业学生及初入CV领域的开发者适用于毕业设计、课程大作业与项目立项演示等实践场景。压缩包共90个文件含29个Python源码覆盖数据预处理、双流ST-GCN模型构建、离线/实时推理等核心模块、13个YAML配置文件定义训练超参与数据集路径、11个GIF动图展示关键动作可视化效果、5个PNG结果图及3个PT预训练模型NTU-RGB-D与Kinetics双数据集适配整体体积52.55MB结构清晰、模块解耦度高。已有230人学习下载资源经实测可直接运行附带详细README、项目说明文档及工具脚本如get_models.sh、ntu_gendata.py并提供多版本模型权重与双流融合策略实现显著降低复现门槛助力从原理理解到工程落地的全流程学习。1. ST-GCN 不是“把骨骼点喂进 CNN 就完事”它用图结构建模关节依赖专治动作识别中遮挡、尺度变化和帧间抖动三大玄学翻车点你试过用 ResNet 直接处理骨骼坐标序列吗模型在训练集上准确率 92%一到测试视频里人侧身、手被遮挡、走路节奏忽快忽慢准确率直接掉到 63%——这不是数据没洗好是传统时序模型根本没建模“肘关节怎么受肩关节约束”“髋部运动如何传导到脚踝”这种物理耦合关系。ST-GCNSpatio-Temporal Graph Convolutional Network就是为解决这个而生它把人体骨架抽象成动态图节点关节点边骨骼连接关节运动依赖用图卷积在空间维度捕获关节拓扑在时间维度建模运动演化。本项目提供完整 Python 实现含 PyTorch 源码 数据预处理脚本 训练/推理 pipeline 中文项目说明文档不依赖任何黑匣子框架所有图构建、邻接矩阵生成、时空卷积核定义全部可调试、可修改。适合需要落地工业级动作识别的算法工程师、智能安防/康复评估场景的开发者以及想真正搞懂“为什么图神经网络比 LSTM 更适合骨骼数据”的研究生——你不需要从论文公式推起但能亲手改一个边权重看模型在跌倒检测任务上的 mAP 变化。2. 从原始骨骼坐标到可训练图数据三步构建 ST-GCN 输入张量ST-GCN 的输入不是一张张图像也不是一维坐标序列而是形状为(N, C, T, V, M)的五维张量Nbatch sizeC通道数x/y/z 坐标或置信度T帧数V关节点数如 18 个M人体实例数单人1多人2。这一步的坑远比想象中多——很多开源实现直接读取 .npy 文件就开训结果模型学不到空间关系因为图结构信息早已丢失。我们必须显式构建并注入图拓扑。2.1 骨骼数据标准化与缺失值插补真实场景下OpenPose 或 MediaPipe 输出的骨骼关键点常有缺失如手部被遮挡导致 wrist 关键点为空。直接丢弃整帧会导致时序断裂简单线性插值又会引入虚假运动。我们采用基于运动连续性的滑动窗口插补import numpy as np from scipy.interpolate import interp1d def interpolate_missing_keypoints(keypoints, window_size5): keypoints: (T, V, C) numpy array, C2 for xy, or 3 for xyz window_size: 插补时参考前后多少帧需为奇数 T, V, C keypoints.shape interpolated keypoints.copy() for v in range(V): # 对每个关节点 for c in range(C): valid_mask ~np.isnan(keypoints[:, v, c]) if valid_mask.sum() 3: # 有效点太少放弃插补用前向填充 interpolated[:, v, c] np.nan_to_num(keypoints[:, v, c], nannp.nanmean(keypoints[:, v, c])) continue # 获取有效索引 valid_idx np.where(valid_mask)[0] # 构建插值函数仅用局部窗口内有效点 for t in range(T): if not np.isnan(keypoints[t, v, c]): continue # 取窗口内最近的有效点 left_bound max(0, t - window_size//2) right_bound min(T, t window_size//2 1) local_valid valid_idx[(valid_idx left_bound) (valid_idx right_bound)] if len(local_valid) 2: f interp1d(local_valid, keypoints[local_valid, v, c], kindlinear, fill_valueextrapolate) interpolated[t, v, c] f(t) else: # 退化为全局均值填充 interpolated[t, v, c] np.nanmean(keypoints[:, v, c]) return interpolated # 使用示例假设 raw_data 是 (T, 18, 2) 的 OpenPose 输出 raw_data np.load(skeleton_001.npy) # 可能含 NaN clean_data interpolate_missing_keypoints(raw_data) # 输出 (T, 18, 2)参数说明window_size5表示对当前帧t只用[t-2, t2]共 5 帧内的有效点做线性插值。太小如 3易受噪声干扰太大如 11会平滑掉真实加速度变化。实测在室内监控场景下window_size5在保留运动细节和修复遮挡之间取得最佳平衡。2.2 构建人体骨架图邻接矩阵不是固定模板而是可学习的物理约束ST-GCN 的核心是图卷积而图卷积效果取决于邻接矩阵A。常见错误是直接套用论文里的固定A如 NTU-RGBD 数据集的 18 点拓扑但你的摄像头角度、关节点定义MediaPipe vs OpenPose vs 自研标注完全不同。必须根据实际关节点顺序重定义Adef build_adjacency_matrix(num_joints18, strategyspatial): 构建 ST-GCN 所需的邻接矩阵 A (num_joints, num_joints) strategy: spatial静态骨骼连接、center以中心节点为枢纽、bipartite上下肢分离 A np.zeros((num_joints, num_joints)) # MediaPipe 18 关节点索引按身体部位分组非NTU顺序 # 0-4: nose, left_eye, right_eye, left_ear, right_ear # 5-8: left_shoulder, right_shoulder, left_elbow, right_elbow # 9-12: left_wrist, right_wrist, left_hip, right_hip # 13-17: left_knee, right_knee, left_ankle, right_ankle, pelvis_center # spatial strategy: 仅连接解剖学上直接相连的关节 connections [ (5, 6), (5, 7), (6, 8), (7, 9), (8, 10), # 左右肩-肘-腕 (5, 11), (6, 12), (11, 13), (12, 14), (13, 15), (14, 16), # 肩-髋-膝-踝 (11, 12), (13, 14), # 髋部横向连接、膝部横向连接 (17, 11), (17, 12), (17, 5), (17, 6) # pelvis_center 连接双肩双髋 ] for i, j in connections: if i num_joints and j num_joints: A[i, j] A[j, i] 1.0 # 归一化行和为1对称归一化 D np.sum(A, axis1) D[D 0] 1 A A / D.reshape(-1, 1) return A # 生成并保存供模型加载 A_spatial build_adjacency_matrix(num_joints18, strategyspatial) np.save(adj_matrix_spatial.npy, A_spatial) # 后续模型直接 load关键逻辑这段代码生成的是无向、归一化的邻接矩阵每行代表一个关节点的邻居权重。注意pelvis_center索引17被设为中心枢纽因为它最稳定不易被遮挡且物理上承上启下。如果你用的是 OpenPose 的 18 点无 pelvis_center则需将connections改为(5,11), (6,12), (11,13), (12,14)...并移除所有含 17 的连接。切记邻接矩阵必须与你的关节点索引顺序严格一致否则模型学到的“左肩影响左肘”会变成“左肩影响右膝”彻底翻车。2.3 组装 ST-GCN 输入张量补齐维度、归一化、构造多人通道ST-GCN 输入要求(N, C, T, V, M)而原始骨骼数据通常是(T, V, C)。多人场景下M维度不能简单堆叠——必须区分不同人体实例的空间位置def skeleton_to_stgcn_input(skeleton_data, max_frame300, num_person2, num_joint18, num_channel2): 将单人/多人骨骼数据转为 ST-GCN 输入格式 skeleton_data: list of (T, V, C) arrays, 每个元素是一人数据 N len(skeleton_data) # batch size T max_frame V num_joint C num_channel M num_person # 初始化输入张量 input_tensor np.zeros((N, C, T, V, M)) for n, person_data in enumerate(skeleton_data): T_p person_data.shape[0] # 时间维度补齐首尾补零非循环填充 if T_p T: pad_len T - T_p padded np.pad(person_data, ((0, pad_len), (0, 0), (0, 0)), modeconstant) else: padded person_data[:T] # 截断 # 空间归一化以骨盆中心为原点若无 pelvis则用 hips 中点 if 17 in range(padded.shape[1]): # MediaPipe 有 pelvis_center center padded[:, 17, :] # (T, C) else: # OpenPose用左右髋中点 center (padded[:, 11, :] padded[:, 12, :]) / 2 # 减去中心坐标再除以躯干长度避免尺度敏感 torso_length np.linalg.norm(padded[:, 5, :] - padded[:, 11, :], axis1).mean() 1e-6 normalized (padded - center[:, None, :]) / torso_length # 填入对应 person 通道 input_tensor[n, :, :, :, 0 if n M else 1] normalized.transpose(2, 0, 1) # C,T,V return input_tensor # 示例两人数据 person1 np.load(skeleton_001.npy) # (120, 18, 2) person2 np.load(skeleton_002.npy) # (95, 18, 2) stgcn_input skeleton_to_stgcn_input([person1, person2], max_frame300) print(stgcn_input.shape) # (2, 2, 300, 18, 2)血泪经验时间补齐必须用pad而非resize否则会扭曲关节运动速度空间归一化必须用躯干长度而非最大坐标值否则坐姿和站姿的同一动作会被映射到不同特征空间M2时第二人的数据填入input_tensor[n, ..., 1]绝不能填错通道——ST-GCN 的时空卷积核会分别作用于每个M通道填错等于让模型同时学两个人的动作混在一起。3. ST-GCN 模型搭建PyTorch 实现图卷积与时空分离策略ST-GCN 不是简单堆叠 GCN 和 TCN它的精妙在于空间图卷积Spatial Graph Conv与时间卷积Temporal Conv的解耦设计。论文中提出三种策略uniform全连接时间卷积、sequential因果卷积、parallel并行双路。本项目采用更鲁棒的parallel结构并加入可学习的边权重Learnable Edge Weight这是提升遮挡鲁棒性的关键。3.1 图卷积层带自适应边权重的 Spatial Graph Conv标准 GCN 的消息传递是H A * H * W但固定A无法适应不同动作如挥手 vs 深蹲对关节依赖强度的不同需求。我们引入可学习的边权重矩阵W_eimport torch import torch.nn as nn import torch.nn.functional as F class SpatialGraphConv(nn.Module): def __init__(self, in_channels, out_channels, A, residualTrue): super().__init__() self.A nn.Parameter(torch.from_numpy(A.astype(np.float32)), requires_gradTrue) # 可学习边权重每个边一个标量初始化为1.0 self.edge_weights nn.Parameter(torch.ones_like(self.A)) self.conv nn.Conv2d(in_channels, out_channels, 1) self.bn nn.BatchNorm2d(out_channels) self.relu nn.ReLU(inplaceTrue) self.residual nn.Conv2d(in_channels, out_channels, 1) if residual else None def forward(self, x): # x: (N, C, T, V) N, C, T, V x.size() # 展平时间维度进行图卷积 x x.view(N, C, T*V).view(N*C, T, V) # (N*C, T, V) # 消息传递A * x * W_e # A: (V, V), x: (N*C, T, V), W_e: (V, V) x torch.einsum(vu,ntr-ntrv, self.A * self.edge_weights, x) # (N*C, T, V, V) x x.sum(-1) # (N*C, T, V) x x.view(N, C, T, V) # 1x1 卷积变换通道 x self.conv(x) x self.bn(x) if self.residual is not None: res self.residual(x[:, :, :x.size(2), :]) # 时间维度对齐 x x res return self.relu(x) # 初始化示例 A_spatial np.load(adj_matrix_spatial.npy) spatial_conv SpatialGraphConv(in_channels2, out_channels64, AA_spatial)参数说明self.edge_weights是(V, V)的可学习矩阵初始全 1训练中自动调整各边重要性。例如在“举手”动作中shoulder→elbow边权重会上升而hip→ankle边权重下降在“踢腿”中则相反。torch.einsum实现高效的消息聚合比torch.matmul更清晰表达A * X的语义。3.2 时空分离模块Parallel Strategy 与时间门控ST-GCN 的parallel策略将时间建模分为两路一路用标准 1D 卷积捕获局部时序模式另一路用门控机制Gated Linear Unit建模长程依赖。我们在此基础上加入时间注意力门控让模型自主决定哪些帧对当前动作判别最关键class TemporalConv(nn.Module): def __init__(self, in_channels, out_channels, kernel_size9, stride1, dropout0.1): super().__init__() self.conv nn.Conv2d(in_channels, out_channels, (kernel_size, 1), (stride, 1), padding((kernel_size-1)//2, 0)) self.bn nn.BatchNorm2d(out_channels) self.dropout nn.Dropout2d(dropout) # 时间注意力门控学习每帧的重要性权重 self.attention nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), nn.Conv2d(out_channels, out_channels//4, 1), nn.ReLU(), nn.Conv2d(out_channels//4, out_channels, 1), nn.Sigmoid() ) def forward(self, x): # x: (N, C, T, V) x self.conv(x) x self.bn(x) x self.dropout(x) # 时间注意力(N, C, 1, 1) - broadcast to (N, C, T, V) att_weight self.attention(x) x x * att_weight return x class STGCNBlock(nn.Module): def __init__(self, in_channels, out_channels, A, stride1, residualTrue): super().__init__() self.spatial SpatialGraphConv(in_channels, out_channels, A, residualFalse) self.temporal TemporalConv(out_channels, out_channels, kernel_size9, stridestride) self.relu nn.ReLU(inplaceTrue) self.residual nn.Conv2d(in_channels, out_channels, 1) if residual else None def forward(self, x): # 空间图卷积 x self.spatial(x) # 时间卷积 注意力门控 x self.temporal(x) # 残差连接 if self.residual is not None: res self.residual(x[:, :, :x.size(2), :]) x x res return self.relu(x)为什么用 Parallel 而非 SequentialSequential先空间后时间容易在空间卷积后丢失时间分辨率Uniform时间卷积核覆盖全帧计算量大且对长序列不友好。Parallel让空间和时间建模独立进行再融合实测在 NTU-XSub 数据集上比Sequential提升 2.3% mAP且训练更稳定。时间注意力门控尤其对“跌倒”这类瞬态动作有效——模型会自动给倒地前 0.5 秒的帧赋予更高权重。3.3 完整 ST-GCN 网络四层堆叠 动作分类头最终网络由 4 个STGCNBlock堆叠每层增加通道数并降采样时间维度stride2最后接全局平均池化和分类器class STGCN(nn.Module): def __init__(self, num_class60, num_person2, in_channels2, drop_out0.5, ANone): super().__init__() if A is None: A np.load(adj_matrix_spatial.npy) self.data_bn nn.BatchNorm1d(num_person * in_channels * 18) # M*C*V self.stgcn_layers nn.ModuleList([ STGCNBlock(in_channels, 64, A, residualFalse), STGCNBlock(64, 64, A), STGCNBlock(64, 128, A, stride2), STGCNBlock(128, 256, A, stride2) ]) # 分类头 self.fc nn.Sequential( nn.Dropout(drop_out), nn.Linear(256, 256), nn.ReLU(), nn.Dropout(drop_out), nn.Linear(256, num_class) ) def forward(self, x): # x: (N, C, T, V, M) - reshape to (N, C*M, T, V) N, C, T, V, M x.size() x x.permute(0, 4, 1, 2, 3).contiguous().view(N, M*C, T, V) x self.data_bn(x.view(N, -1, T*V)).view(N, M*C, T, V) for gcn in self.stgcn_layers: x gcn(x) # 全局平均池化(N, C, T, V) - (N, C) x F.avg_pool2d(x, (x.size(2), x.size(3))).view(N, -1) return self.fc(x) # 实例化模型 model STGCN(num_class10, AA_spatial) # 10 类动作 print(model)关键设计点data_bn对M*C*V维度做批归一化而非对C维度这是因为多人数据中M维度引入了额外分布偏移最后一层avg_pool2d是对(T, V)空间-时间维度全局池化保留了所有关节和所有时刻的综合表征比只池化T维度忽略空间或只池化V维度忽略关节关系更鲁棒。4. 训练与推理全流程从数据加载到实时视频流部署模型写完只是开始。ST-GCN 的训练稳定性极差——学习率稍高就梯度爆炸数据增强方式不对就过拟合推理时帧率卡在 5fps。本节给出经过 3 个工业项目验证的完整 pipeline。4.1 数据加载器支持多尺度裁剪与动态图增强骨骼数据增强不能像图像那样旋转/裁剪必须保持关节几何关系。我们采用运动幅度缩放和时间轴弹性形变class SkeletonDataset(torch.utils.data.Dataset): def __init__(self, data_list, labels, transformNone, max_frame300): self.data_list data_list # list of file paths self.labels labels self.transform transform self.max_frame max_frame def __getitem__(self, idx): # 加载原始骨骼数据 data np.load(self.data_list[idx]) # (T, V, C) label self.labels[idx] # 标准化与插补复用 2.1 节函数 data interpolate_missing_keypoints(data) # 动态图增强仅训练时 if self.transform and np.random.rand() 0.5: data self._elastic_transform(data) # 转为 ST-GCN 输入 stgcn_input skeleton_to_stgcn_input([data], max_frameself.max_frame) return torch.from_numpy(stgcn_input).float(), torch.tensor(label) def _elastic_transform(self, skeleton, alpha10, sigma0.1): 对时间轴做弹性形变模拟不同运动速度 T, V, C skeleton.shape # 生成随机位移场 dx np.random.normal(0, sigma, T) * alpha # 累积位移确保边界连续 dx np.cumsum(dx) dx dx - dx[0] # 起点归零 # 插值重采样 new_t np.clip(np.arange(T) dx, 0, T-1) interpolated np.zeros_like(skeleton) for v in range(V): for c in range(C): f interp1d(np.arange(T), skeleton[:, v, c], kindlinear, fill_valueextrapolate) interpolated[:, v, c] f(new_t) return interpolated # 创建 DataLoader train_dataset SkeletonDataset(train_files, train_labels, transformTrue) train_loader torch.utils.data.DataLoader(train_dataset, batch_size16, shuffleTrue, num_workers4)参数说明alpha10控制形变强度sigma0.1控制噪声尺度。实测alpha10可模拟 0.8x~1.2x 的运动速度变化sigma0.1保证形变平滑不突兀。此增强使模型在测试集上对不同拍摄帧率25fps vs 30fps的泛化能力提升 11.7%。4.2 训练策略余弦退火 梯度裁剪 多尺度监督ST-GCN 易在深层出现梯度消失/爆炸。我们采用三层监督主损失最后一层输出、中间层辅助损失第2层输出、图边权重 L1 正则def train_epoch(model, loader, optimizer, scheduler, device): model.train() total_loss 0 correct 0 total 0 for batch_idx, (data, target) in enumerate(loader): data, target data.to(device), target.to(device) optimizer.zero_grad() # 主输出 中间层输出 output_main model(data) output_aux model.stgcn_layers[1](model.stgcn_layers[0](data)) # 第2层输出 output_aux F.adaptive_avg_pool2d(output_aux, (1,1)).view(output_aux.size(0), -1) # 计算损失 loss_main F.cross_entropy(output_main, target) loss_aux F.cross_entropy(output_aux, target) # 边权重 L1 正则防止某些边权重过大 edge_reg sum(torch.norm(layer.spatial.edge_weights, 1) for layer in model.stgcn_layers) loss loss_main 0.3 * loss_aux 1e-4 * edge_reg loss.backward() # 梯度裁剪ST-GCN 必须加 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() total_loss loss.item() _, pred output_main.max(1) correct pred.eq(target).sum().item() total target.size(0) scheduler.step() # 余弦退火 return total_loss / len(loader), 100. * correct / total # 训练循环 device torch.device(cuda if torch.cuda.is_available() else cpu) model STGCN(num_class10).to(device) optimizer torch.optim.AdamW(model.parameters(), lr0.001, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max100)为什么用 AdamW 而非 SGDAdamW 的权重衰减更稳定避免 ST-GCN 中大量可学习参数尤其是edge_weights的过拟合max_norm1.0的梯度裁剪是救命稻草——没有它第3层之后的梯度经常爆炸到inf训练直接中断。4.3 实时推理优化ONNX 导出 TensorRT 加速 流式帧缓存部署时单帧推理耗时必须 ≤33ms30fps。PyTorch 直接推理约 85ms我们通过 ONNX TensorRT 优化到 12ms# 导出 ONNX注意必须指定 dynamic_axes 以支持变长帧 dummy_input torch.randn(1, 2, 300, 18, 1).to(device) torch.onnx.export( model, dummy_input, stgcn.onnx, input_names[input], output_names[output], dynamic_axes{ input: {2: time}, # time 维度动态 output: {0: batch} }, opset_version12 ) # TensorRT 构建引擎需提前安装 tensorrt import tensorrt as trt TRT_LOGGER trt.Logger(trt.Logger.WARNING) builder trt.Builder(TRT_LOGGER) network builder.create_network(1 int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) parser trt.OnnxParser(network, TRT_LOGGER) with open(stgcn.onnx, rb) as model: parser.parse(model.read()) # 设置精度和优化配置 config builder.create_builder_config() config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 1 30) # 1GB config.set_flag(trt.BuilderFlag.FP16) # FP16 加速 engine builder.build_serialized_network(network, config) with open(stgcn.engine, wb) as f: f.write(engine)流式推理技巧视频流是连续帧但 ST-GCN 需要T300帧才能推理。我们用环形缓冲区缓存最近 300 帧骨骼数据每来一新帧移出最旧帧插入新帧然后推理——这样每秒可输出 30 次预测虽每次用 300 帧但帧移步长为 1。实测在 NVIDIA Jetson AGX Orin 上端到端骨骼检测 ST-GCN 推理达 22fps。5. 避坑指南ST-GCN 项目中最常踩的 5 个坑及血泪解决方案ST-GCN 的坑不在代码难写而在隐式假设与现实数据的错位。以下 5 条是我在 3 个落地项目中反复验证的致命陷阱每一条都曾让我加班到凌晨三点。5.1 坑邻接矩阵A的索引顺序与骨骼数据关节点顺序不一致 → 模型学“反关节运动”现象训练 loss 下降很快但验证准确率始终在 10%随机猜测水平可视化 attention map 发现模型总在关注无关关节如预测“挥手”时高亮脚踝。原因build_adjacency_matrix()中定义的connections使用了 NTU-RGBD 的关节点索引0鼻1左眼...但你的数据来自 MediaPipe0鼻1左眼...17脚跟索引完全错位。模型以为(0,1)是鼻-左眼连接实际却是鼻-左耳图结构彻底混乱。解决必须打印你的骨骼数据skeleton_data[0, 0, :]第一帧第一个关节点坐标对照 MediaPipe/OpenPose 官方文档确认索引顺序再手动画出你的connections。本项目adj_matrix_spatial.npy默认适配 MediaPipe 18 点若用其他 SDK务必重生成。5.2 坑时间维度补齐用resize而非pad→ 引入虚假加速度现象模型在“慢速行走”动作上准确率高但在“快速奔跑”上暴跌t-SNE 可视化显示两类动作特征严重重叠。原因cv2.resize或scipy.ndimage.zoom对时间维度做插值会压缩/拉伸关节运动轨迹导致加速度计算失真。例如原 100 帧的奔跑动作被 resize 到 300 帧关节速度被强制降低 3 倍模型学到的是“慢速奔跑”而非真实模式。解决永远用np.pad补零且modeconstant。补零后模型看到的是“动作结束后的静止帧”这比扭曲运动更符合物理事实。实测在 UTD-MHAD 数据集上pad比resize提升 8.2% mAP。5.3 坑多人数据M维度填错通道 → 模型学习“混合动作”现象双人交互动作如“握手”识别失败但单人动作准确率正常查看中间特征图发现M0通道第一个人的特征被M1通道第二个人的噪声污染。原因skeleton_to_stgcn_input()中第二人数据被填入input_tensor[n, ..., 0]即M0通道而非M1。ST-GCN 的时空卷积核会跨M通道卷积导致两人动作特征混合。解决严格检查input_tensor[n, ..., m]的m索引。代码中m 0 if n M else 1是安全的但若M3需扩展为m n % M。部署时用print(input_tensor.shape)和print(input_tensor[0,0,0,0,:])验证M维度值是否正确。5.4 坑未对骨骼数据做空间归一化 → 模型对拍摄距离极度敏感现象同一人在 1 米距离做的“挥手”动作识别准确但在 3 米距离做同样动作准确率跌至 40%热力图显示模型主要依赖绝对坐标值而非相对关节角度。原因原始骨骼坐标是像素值1 米处手腕坐标(200,300)3 米处变为(80,120)模型误认为这是两个完全不同的动作。解决必须做以骨盆为中心的相对坐标归一化并除以躯干长度代码见 2.3 节。躯干长度作为尺度因子使模型学习关节角度和角速度而非绝对位置。实测在 Kinetics-Skeleton 数据集上归一化使跨距离泛化误差降低 63%。5.5 坑训练时未加梯度裁剪 → 梯度爆炸导致 lossnan现象训练初期 loss 正常下降第 5 个 epoch 后突然变为nantorch.isnan(model.parameters())检查发现部分edge_weights为nan。原因ST-GCN 的图卷积涉及A * X矩阵乘当本文还有配套的精品资源点击获取
阅读完成 · 觉得有帮助？
