★ FEATURED ARTICLE 【免费下载链接】MinariA standard format for offline reinforcement learning datasets, with popular reference datasets and related utilities项目地址https://gitcode.com/gh_mirrors/mi/Minari点击查看免费下载Minari是一个面向离线强化学习Offline RL的数据集标准与托管框架它为数据集定义了统一的 ID 命名规则、元数据格式和目录结构。本文带你一文看懂 Minari 数据集标准的三大核心Dataset ID 命名语法、三层元数据体系与本地目录布局帮助你在几分钟内快速定位、下载并读懂任意一个 Minari 数据集。上图是 Minari 官方教程所用数据集D4RL/pen/human-v2中一个观测帧的真实数据教程源码——这正是 Minari 标准所规范的观测observations内容。Dataset ID 命名语法一个 ID 看懂数据集身份Minari 数据集的目录以Dataset ID命名它必须符合如下语法定义于 docs/content/dataset_standards.md(namespace/)(env_name/)dataset_name(-v(version))四个组成部分的含义组成部分是否可选含义示例namespace✅ 可选命名空间用于把一组数据集归到共同子目录可任意嵌套D4RLenv_name✅ 可选数据集来源的环境名官方强烈建议使用door、pendataset_name❌ 必填描述数据集内容如数据采集方式human人类演示version✅ 可选整数版本号从 0 开始v0、v2两个直观例子 无命名空间Adroit 开门环境的初始版本人类数据 →door/human-v0带命名空间同样的数据放到D4RL命名空间下 →D4RL/door/human-v0ID 的合法性由正则校验并可通过一对函数互转解析parse_dataset_id()将 ID 拆分为(namespace, dataset_name, version)三元组生成gen_dataset_id()由属性反向拼出 ID 字符串长尾提示如果 ID 书写不规范比如版本号缺失、多写了斜杠Minari 会抛出Malformed dataset ID错误并附上标准格式提示。本地目录结构数据集存放在哪里Minari 将所有本地数据集存放在统一的根目录下默认路径为~/.minari/datasets/可通过环境变量MINARI_DATASETS_PATH自定义实现见 minari/storage/datasets_root_dir.py。以minari download D4RL/pen/human-v2为例下载后的目录长这样 ~/.minari/datasets/ └── D4RL/ ├── namespace_metadata.json ← 命名空间元数据可含多级 └── pen/ └── human-v2/ ← 数据集目录与 Dataset ID 最后一级同名 ├── namespace_metadata.json └── data/ ← 数据文件目录必需 ├── metadata.json ← 数据集全局元数据 └── main_data.hdf5 ← 主数据文件HDF5 或 Arrow 格式几个关键规则数据集目录与命名空间目录分离D4RL和pen是命名空间可嵌套只有最后一段human-v2才是真正的数据集目录数据文件统一放在data/子目录目前支持两种文件格式HDF5主文件名main_data.hdf5见 minari/dataset/_storages/hdf5_storage.py和Arrow创建数据集时二选一远程托管数据集与本地使用同一套 ID 体系minari list remote即可浏览 Farama 官方服务器上的全部数据集。命名空间的创建、更新与元数据读写 API 位于 minari/namespace.pyAPI 文档见 docs/api/namespace/namespace.md。元数据体系三层描述让数据集会说话Minari 的元数据分三层全部以 JSON 格式存储、人机均可读数据集全局元数据metadata.json创建数据集时可附带全局元数据默认包含以下属性完整表格见 docs/content/dataset_standards.md属性类型说明dataset_idstr数据集唯一标识必填total_episodesint总回合数必填自动计算total_stepsint总步数必填自动计算action_spacegymnasium.Space动作空间描述observation_spacegymnasium.Space观测空间描述env_specstr环境注册的 JSON 字符串author/author_emailset of str作者与邮箱algorithm_namestr生成数据所用的专家策略名称minari_versionstr生成数据集的 Minari 版本requirementslist of strpip 风格的环境依赖列表code_permalinkstr生成代码的仓库链接元数据的自动落盘逻辑可参考 minari/dataset/minari_storage.py。每个 Episode 的奖励统计元数据每个回合会自动记录一组奖励统计指标方便你做轨迹筛选trajectory filtering指标说明rewards_max/rewards_min回合内奖励的最大 / 最小值rewards_mean/rewards_std回合奖励的均值 / 标准差rewards_sum未折扣的总回报undiscounted return命名空间元数据namespace_metadata.json每个命名空间目录下的namespace_metadata.json可存放任意 JSON 可序列化信息如description用来描述这个命名空间下的一整组数据集。读写实现见 get_namespace_metadata()。支持哪些观测与动作空间Minari 存储格式支持 Gymnasium 生态的全部常用空间保存时序列化为 JSONSpace用途Boxn 维连续空间可用上下界约束Discrete离散取值{0, 1, ..., n-1}MultiDiscrete多个离散空间的笛卡尔积MultiBinary二值向量空间Tuple/Dict组合空间元组 / 字典结构Text有界字符串空间序列化实现在 minari/serialization.py这也是 Minari 能被 D3RLPy、TorchRL 等框架无缝读取的基础集成测试见 tests/integrations/。实际场景从 ID 到训练曲线理解标准后实际使用只有两步用 ID 下载 → 用 ID 加载 minari download D4RL/pen/human-v2import minari dataset minari.load_dataset(D4RL/pen/human-v2, downloadTrue) episodes dataset.sample_episodes(10) # 随机采样 10 个回合每个采样到的回合是一个EpisodeData数据类包含id、observations、actions、rewards、terminations、truncations、infos七个字段结构定义见 minari/dataset/episode_data.pyAPI 文档见 docs/api/minari_dataset/episode_data.md。Minari 官方教程就用这套流程仅凭 25 条人类演示训练 IQL 算法完成了 Adroit 机器手转笔任务训练过程如下左训练损失Loss曲线右累计奖励Cumulative reward曲线——25 条演示就能学到可用的策略可见高质量离线数据集的价值。一张表总结核心要点概念核心规则参考位置Dataset ID(namespace/)(env_name/)dataset_name(-v(version))name 必填minari_dataset.py本地根目录~/.minari/datasets/可用MINARI_DATASETS_PATH覆盖datasets_root_dir.py数据文件data/目录下HDF5 或 Arrow 格式hdf5_storage.py全局元数据仅dataset_id/total_episodes/total_steps必填minari_storage.py命名空间元数据namespace_metadata.json任意 JSON 字段namespace.py掌握以上三部分你就能看懂、组织并复用任何 Minari 数据集了。完整标准文档请查阅 docs/content/dataset_standards.mdCLI 用法见 docs/content/minari_cli.md 赞分享【免费下载链接】MinariA standard format for offline reinforcement learning datasets, with popular reference datasets and related utilities项目地址https://gitcode.com/gh_mirrors/mi/Minari点击查看免费下载相关推荐Calibre 格式转换实战指南把 EPUB 变成任何墨水屏都能打开的格式Calibre 格式转换实战指南把 EPUB 变成任何墨水屏都能打开的格式 把一份 EPUB 拖进 Calibre按一下快捷键稍等片刻就能拿到 Kindl桌面应用后端一文读懂 openJiuwen Agent Store项目目录结构、metadata.json 元数据规范与 community/archived 生命周期一文读懂 openJiuwen Agent Store项目目录结构、metadata.json 元数据规范与 community/archived 生命周期示例工程PaddleSeg 自定义数据集准备与配置实战目录结构、文件列表生成与 Dataset 配置详解PaddleSeg 自定义数据集准备与配置实战目录结构、文件列表生成与 Dataset 配置详解 本文是 PaddleSeg 自定义数据集使用指南完整覆盖从人工智能计算机视觉预训练创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
 模拟)
