★ FEATURED ARTICLE 【免费下载链接】VisionHOPEOfficial PyTorch implementation of VisionHOPE: Visual Backbones as Self-Modifying Learning Systems.项目地址https://gitcode.com/gh_mirrors/vi/VisionHOPE点击查看免费下载本文带你完整走通VisionHOPE 目标检测全流程在 COCO 2017 数据集上训练与评估基于 Mask R-CNN 的实例检测模型。VisionHOPE 是 Visual Backbones as Self-Modifying Learning Systems把视觉骨干网络当作可自修改的学习系统的官方 PyTorch 实现内置 COCO 检测、ADE20K 分割和 ImageNet 分类三大任务的训练/评估脚本开箱即用。1. 项目简介VisionHOPE 是什么VisionHOPE 的核心是一种名为SRNL自引用嵌套学习的骨干网络它在处理图像的过程中让模型记住什么和如何更新记忆共同演化。VisionHOPE 算子包含三个关键设计五组耦合记忆分别存储内容、生成 key/value 表征、控制学习率与记忆保留随视觉上下文累积协同演化稳定更新机制软注入上限 谱值钳制保证 token 级与 chunk 级记忆递推不发散四方向空间扫描按行/列对齐做 4 个方向的扫描再空间恢复并学习通道级融合。项目提供Tiny / Small / Base三档分层骨干COCO 检测任务中搭配 FPN 颈部 双分支 Mask R-CNNRPN RoI 头具体配置见 tasks/detection/config.py。2. 环境准备安装依赖与数据集2.1 安装依赖目标检测依赖 MMCV/MMDET 生态建议使用Linux NVIDIA GPU CUDA 12.1 Python 3.10并与分类任务使用相互独立的 Python 环境git clone https://gitcode.com/gh_mirrors/vi/VisionHOPE cd VisionHOPE python -m pip install torch2.1.0 torchvision0.16.0 # 按 README 说明安装 mmcv2.1.0cu121/torch2.1 版本后 python -m pip install -r requirements/detection.txt python -m pip install --no-deps -e .检测任务的完整依赖清单mmdet、pycocotools 等在 requirements/detection.txt。CUDA 扩展会在首次使用时自动编译。2.2 准备 COCO 2017 数据集从 COCO 官网下载 2017 版本按如下结构摆放或用--data-root指定其他位置data/coco/ ├── train2017/ ├── val2017/ └── annotations/instances_{train,val}2017.json2.3 下载预训练权重COCO 训练强烈建议使用 ImageNet 预训练的 VisionHOPE 骨干初始化。权重文件统一放在weights/目录可用WEIGHTS_ROOT环境变量改路径python -m pip install --upgrade huggingface_hub hf download PSRben/VisionHOPE visionhope_small.pth --local-dir weights3. 训练COCO Mask R-CNN 一键启动 训练脚本位于 scripts/train/每个模型大小对应 1×12 epochs与 3×36 epochs两种训练计划例如脚本说明visionhope_tiny_coco_1x.shTiny 骨干1× 计划visionhope_small_coco_1x.shSmall 骨干1× 计划visionhope_base_coco_1x.shBase 骨干1× 计划visionhope_small_coco_3x.shSmall 骨干3× 计划以 8 卡训练 VisionHOPE-S1× 计划为例NPROC_PER_NODE8 bash scripts/train/visionhope_small_coco_1x.sh \ --data-root data/coco --pretrained weights/visionhope_small.pth常用参数说明完整帮助python -m visionhope.tasks.cli train detection --helpNPROC_PER_NODEGPU 数量默认 8单卡设为 1 即可--batch-size每 GPU批量默认 8学习率按全局批量自动缩放除非显式传--lr--pretrainedImageNet 骨干权重路径检测/分割任务默认自动加载--resume outputs/.../training_state.pth断点续训。 输出默认落在outputs/train/脚本名/用best.pth做评估training_state.pth用于续训--save-top-k默认 5控制按 bbox mAP 保留的 top-k 检查点。4. 评估COCO val2017 一键测试对应的测试脚本在 scripts/test/以 Small 1× 为例CUDA_VISIBLE_DEVICES0 bash scripts/test/visionhope_small_coco_1x.sh \ --data-root data/coco --checkpoint weights/visionhope_small_coco_1x.pth脚本内部等价于执行 run_inference.sh即python -m visionhope.tasks.cli inference detection ...默认使用fused 快速推理模式--mode ordinary可关闭、FP32 精度、1333×800测试尺度。常用可调参数--test-scale W H保持宽高比的测试缩放默认1333 800--precision fp16/bf16混合精度评估--limit N只评估 N 张图适合快速验证流程。✅ 结果保存在outputs/test/脚本名/包含 Box AP、Mask AP 等 COCO 指标bboxsegm双指标多次评估可用--output指定不同目录。5. 官方结果参考 COCO val2017 上 Mask R-CNN 的官方成绩ImageNet 预训练初始化完整检测器 FLOPs 在 1280×800 下统计1× 计划骨干FLOPs (G)Box AP ↑Mask AP ↑VisionHOPE-T26647.943.1VisionHOPE-S36549.544.2VisionHOPE-B51650.545.03× 计划骨干FLOPs (G)Box AP ↑Mask AP ↑VisionHOPE-T26649.444.1VisionHOPE-S36550.545.0可以看到仅 266G FLOPs 的 VisionHOPE-T 在 1× 短训练下就拿到 47.9 Box AP效率相当能打。6. 新手避坑清单 ⚠️环境隔离COCO 与 ADE20K 任务建议各自使用独立的 Python 3.10 环境避免 mmcv 版本冲突权重命名规则COCO 检查点格式为visionhope_size_coco_schedule.pth如visionhope_small_coco_3x.pth与 ImageNet 的visionhope_size.pth区分开--share-direction-skip必须与训练时一致训练脚本默认开启该选项评估时保持一致学习率缩放改批量时 lr 会按全局批量线性缩放追求可复现可显式传--lr查看参数任何时候执行python -m visionhope.tasks.cli train detection --help或inference detection --help即可查看全部参数与默认值更多说明见 tasks/README.md。按以上步骤你只需几行命令就能完成 VisionHOPE 目标检测从环境搭建、COCO Mask R-CNN 训练到评估的全流程。如需进一步扩展可继续阅读 README.md 中的分类/分割任务与高效推理章节。赞分享【免费下载链接】VisionHOPEOfficial PyTorch implementation of VisionHOPE: Visual Backbones as Self-Modifying Learning Systems.项目地址https://gitcode.com/gh_mirrors/vi/VisionHOPE点击查看免费下载相关推荐Detectron 快速上手实战指南基于 COCO 的模型推理与训练全流程Mask R-CNN / Faster R-CNNDetectron 快速上手实战指南基于 COCO 的模型推理与训练全流程Mask R CNN / Faster R CNN 本文以仓库根目录下的 GET计算机视觉深度学习在 CoreNet 中使用 CatLIP 预训练模型进行 MS-COCO 目标检测Mask R-CNN 训练与评估完整指南在 CoreNet 中使用 CatLIP 预训练模型进行 MS COCO 目标检测Mask R CNN 训练与评估完整指南 CatLIPCLIP level深度学习计算机视觉NLP多模态模型训练大模型ConvNeXt COCO 目标检测与实例分割实战指南Mask R-CNN 与 Cascade Mask R-CNN 配置、训练与推理全解ConvNeXt COCO 目标检测与实例分割实战指南Mask R CNN 与 Cascade Mask R CNN 配置、训练与推理全解 导读 本文围绕人工智能深度学习计算机视觉预训练微调创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
