★ FEATURED ARTICLE 人工智能媒体生成数字人多模态【免费下载链接】ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60项目地址https://ai.gitcode.com/hf_mirrors/nvidia/ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60点击查看免费下载ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60 是 NVIDIA 发布的人类动作生成模型基于 630 小时光学动捕数据训练并借助 LLM 对文本标签做多样化增强可实时生成交互式人形角色动作。本文带你完整拆解它的训练数据流水线、LLM 数据增强方案与评估指标体系。 一句话看懂ARDY 是什么ARDYAutoregressive Diffusion with Hybrid Representation是一个为交互式动作生成设计的自回归扩散模型支持在线文本提示与灵活长时程运动学约束根路径/路径点、全身关键帧、稀疏关节位置/旋转具备实时响应能力。本仓库对应的模型变体由 4 个关键标识组成标识含义SOMA-RP基于 30 关节 SOMA 人体模型骨架使用 Bones Rigplay 1 动捕数据训练30FPS动作帧率为 30 fps训练时动作统一重采样到该帧率Horizon60单次生成的时间窗口horizon为 60 帧即 30 fps 下约 2 秒动作KimodoRep采用 Kimodo 模型使用的平滑根运动表示smooth-root使根约束与输出可直接与 Kimodo 系列对比模型总参数量192 Mdenoiser 157 M 动作 tokenizer 36 M不含文本编码器运行引擎为 PyTorch可部署在 A100、RTX 4090 等 GPU 上。 仓库结构模型包里有什么该仓库是一个纯粹的模型权重包文件结构非常清晰文件说明denoiser.safetensors两阶段 Transformer 去噪器主网络权重157M 参数tokenizer.safetensorsFSQ VAE 动作 tokenizer自编码器权重36M 参数config.yaml模型结构与推理配置骨架、帧率、FSQ 量化级别、denoiser 超参数stats/motion/动作特征归一化统计mean/std含 body、global_root、local_root 子目录stats/pre_quantization/FSQ 量化前的潜变量归一化统计stats/post_quantization/FSQ 量化后的潜变量归一化统计config.yaml 中几个值得关注的配置项config.yamlgen_horizon_len: 60正好对应模型名中的 “Horizon60”config.yamlKimodoMotionRep运动表示 30 fpsnum_fsq_levels: 128与fsq_level_list: 64定义 FSQ 量化码本num_frames_per_token: 4表示每 4 帧动作被压缩成 1 个 tokenconfig.yamldenoiser 为 8 层 8 头、latent 维度 1024 的两阶段 Transformertrt_compatible: true表示支持 TensorRT 加速推理。️ 训练数据630 小时动捕数据从哪来模型在Bones Rigplay 1数据集上完成训练与评估核心数据信息如下来自 README.md 模型卡项目详情数据规模630 小时人类动捕数据数据模态文本 人类动捕光学动捕数据文本规模小于 10 亿 tokens采集方式自动化 / 传感器采集标注方式混合式自动化 人工内容覆盖行走奔跑等位移、日常活动、手势等多样行为数据预处理流水线的关键步骤片段切分原始动捕数据被统一切分为10 秒片段匹配自回归序列训练的节奏帧率重采样动作统一重采样至 30 fps与 SOMA 30 关节骨架的推理帧率对齐文本描述每段动作都配有对应文本描述覆盖位移、日常活动与手势等丰富行为。 LLM 增强让文本标签“更多样”数据增强的关键一步是使用 LLM 对原始文本标签生成多样化的改写paraphrase扩充数据集。这一步的价值在于提升文本-动作配对多样性同一段动作可对应多种自然语言描述降低模型对单一措辞的过拟合强化文本跟随能力ARDY 用 R-precision 与 latent similarity 度量文本跟随准确率训练文本越多样语义对齐越稳健高性价比无需额外动捕拍摄用 LLM 改写即可低成本扩大“有效数据量”是动作生成模型训练中常见的技巧。 评估体系70 小时留出集 三大指标测试集设置从 630 小时数据中留出70 小时用于测试且测试集包含训练中未出现的内容类别——这一设计专门验证模型对未知行为的泛化能力。根据 README.md 的 Performance Metrics评估覆盖三个维度评估维度指标衡量什么姿态约束精度Pose Constraint Accuracy关节距离误差生成动作对根路径、关节位置等运动学约束的遵循程度动作质量Motion Quality滑步误差foot-skating、FID、潜变量相似度动作的物理合理性与生成分布质量文本跟随准确率Text-Following AccuracyR-precision、潜变量相似度生成动作与文本提示的语义对齐程度几个指标的含义快速上手FID衡量生成动作与真实动作之间的分布距离越小越好R-precision给定文本真实动作是否出现在生成的 Top 候选中foot-skating 误差捕捉动作生成中最常见的物理瑕疵——脚该贴地时却“滑动”。⚙️ 技术亮点速览架构Novel Two-Stage Transformer 两阶段 Transformer FSQ 量化 VAEFSQVAETransformer动作被压缩为离散 token 后送入去噪器输入文本 姿态约束 历史姿态最多 8 秒输出含全局根平移与关节旋转的姿态序列最长 8 秒推理TensorRT 加速已验证 A100 与 RTX 4090 平台生态位ARDY 项目还有多个变体20 fps 核心骨架、Unitree G1 机器人骨架等本模型是其中的 SOMA 30 fps 版本。 适合谁用典型场景与已知限制官方用例面向任何动画经验水平的开发者与研究人员典型场景包括 人形机器人运动规划 数字孪生与工业仿真中的角色运动 合成数据数字人动作 游戏与交互式应用动画已知局限生成动作可能出现滑步等伪影模型最擅长位移、手势、格斗、舞蹈与日常活动只能生成写实风格动作无法产出卡通化或非物理合理的动作且不会感知角色周围的物体。许可条款遵循 NVIDIA Open Model Agreement详见 README.md 模型卡具体安装与使用方法请参考官方 ARDY 代码仓库。赞分享人工智能媒体生成数字人多模态【免费下载链接】ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60项目地址https://ai.gitcode.com/hf_mirrors/nvidia/ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60点击查看免费下载相关推荐一文读懂ARDY-SOMA-RP-30FPS-Horizon60NVIDIA实时人体动作生成扩散模型全景概览一文读懂ARDY SOMA RP 30FPS Horizon60NVIDIA实时人体动作生成扩散模型全景概览 ARDY SOMA RP 30FPS Horiz人工智能媒体生成数字人SOMA 30关节骨架与动作表示ARDY-SOMA-RP-30FPS-Horizon60从输入姿态到输出动作的数据流全解SOMA 30关节骨架与动作表示ARDY SOMA RP 30FPS Horizon60从输入姿态到输出动作的数据流全解 本文带你完整看懂 NVIDIA 的人工智能媒体生成数字人ARDY-SOMA-RP-30FPS-Horizon60实时推理加速用TensorRT在A100与RTX 4090上实现交互式动作生成ARDY SOMA RP 30FPS Horizon60实时推理加速用TensorRT在A100与RTX 4090上实现交互式动作生成 NVIDIA ARDY人工智能媒体生成数字人上一篇Wagmi 项目教程下一篇前端设计模式实战Coding-Guide中的四种JavaScript设计模式详解创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
