★ FEATURED ARTICLE 【免费下载链接】Mamba-YOLOthe official pytorch implementation of “Mamba-YOLOSSMs-based for Object Detection”项目地址https://gitcode.com/gh_mirrors/ma/Mamba-YOLO点击查看免费下载Mamba-YOLO 是基于状态空间模型State Space ModelSSM的 PyTorch 官方实现用于实时目标检测。它用 SSM 模块VSSBlock、XSSBlock替代传统 YOLO 中的卷积特征提取块在保持检测精度的同时显著降低了计算量。本文将逐层解剖它的三大核心组件SimpleStem 输入茎、VSSBlock 主干块和 PAFPN 检测头帮你快速理解状态空间模型如何取代卷积这一热点话题。上图展示了 Mamba-YOLO 的 T、B、L 三个规格与 YOLOv5/v6/v8、YOLOX、DAMO YOLO 等模型的对比Mamba-YOLO 的曲线始终位于最上方——同样的精度需要更少的 FLOPs同样的参数量能换来更高的 mAP。这正是 SSM 替换卷积带来的收益。为什么状态空间模型能取代卷积传统卷积网络感受野受限3×3 卷积只能看局部要看全图就得堆叠很多层深度增加后计算量呈平方级增长。SSM 的另一个代表 Mamba 证明了把图像/序列看作一维序列用递归的状态更新方式建模长程依赖计算复杂度可以降到线性。Mamba-YOLO 借鉴了 VMamba 的思路selective scan 算子正是从 selective_scan/ 移植而来把二维特征图沿行、列及其翻转方向共 4 条路径做交叉扫描Cross Scan在不损失方向信息的前提下让 SSM 覆盖全图。这就是整个网络的发动机——SS2D模块源码位置ultralytics/nn/modules/mamba_yolo.py第一站SimpleStem——轻量输入茎输入图像首先经过SimpleStem完成下采样和初步特征提取取代了 YOLOv8 中两个 C2f 堆叠的 Stem。它的结构非常简洁两次 3×3 卷积stride2分辨率从 640×640 一路压到 160×160即 P2/4通道数从 3 → embed_dim/2 → embed_dim默认 128每个卷积后接 BatchNorm 激活GELU / SiLU源码位置ultralytics/nn/modules/mamba_yolo.py 设计亮点整个 Stem 只有 2 个卷积层没有任何残差连接。因为后面紧跟 3 个 VSSBlock 负责深层特征学习Stem 只需要把图变小、通道拉起来即可非常轻量。第二站VSSBlock——主干的SSM核心VSSBlock 是 Mamba-YOLO 主干中替代 C2f 的核心模块一个完整数据流是这样的proj_conv1×1 卷积 BN SiLU把输入通道对齐到 hidden_dimLSBlock深度可分离卷积 BatchNorm 的局部特征增强Local Spatial BlockSS2D交叉扫描 SSM对特征图做 4 方向选择性扫描通过cross_selective_scan函数调用 CUDA 算子selective_scan_cuda_core是取代卷积的关键一步RGBlockFFN 分支GELU 门控的前馈块与 Transformer 的 MLP 分支类似两条分支都带DropPath随机深度训练时按概率丢弃残差路径起到正则化作用源码位置ultralytics/nn/modules/mamba_yolo.py主干共 4 段 VSSBlock分辨率逐级减半阶段模块分辨率VSSBlock 层数P2/4SimpleStem VSSBlock160×1603P3/8VSSBlock VisionClueMerge80×803P4/16VSSBlock VisionClueMerge40×409P5/32VSSBlock SPPF20×203其中VisionClueMerge负责下采样把特征图按 2×2 的四个相位切片拼接后用一个 1×1 卷积把 4 倍通道压回目标维度——相当于像素重排 逐点卷积的轻量化下采样方案。源码位置ultralytics/nn/modules/mamba_yolo.py完整结构可看 Mamba-YOLO-B.yaml 注意中间层P4/16堆了9 个 VSSBlock是全模型最深的部分此处分辨率只有 40×40SSM 计算代价低是深度换精度的最佳位置。第三站PAFPN——用XSSBlock重构检测头Mamba-YOLO 的检测头沿用了 PAFPN 的双向特征金字塔思想上行Top-downP5 上采样后与 P4、P3 逐级 Concat恢复小目标的细节下行Bottom-up再逐级下采样回传把语义强的信息送给小目标层最后 P3/P4/P5 三个尺度送入Detect头输出 80 类检测框与标准 PAFPN 的区别在于所有融合节点上原本的路径聚合卷积被换成了XSSBlock——它是 VSSBlock 的轻量变体内部同样是SS2D LSBlock RGBlock的组合只是去掉了部分投影层更适合放在计算敏感的检测头里。源码位置ultralytics/nn/modules/mamba_yolo.pyDetect ← P3(256ch) P4(512ch) P5(1024ch) ↑ XSSBlock ↑ XSSBlock ↑ XSSBlock 三级尺度特征多尺度目标一网打尽三个规格怎么选Mamba-YOLO 提供 TTiny、BBase、LLarge三档通过 mbyolo_train.py 的--config参数切换规格参数量FLOPs适用场景T6.1M14.3G边缘设备、实时推理B21.8M49.7G精度/速度均衡最常用L57.6M156.2G追求最高精度配置文件分别在 Mamba-YOLO-T.yaml、Mamba-YOLO-B.yaml、Mamba-YOLO-L.yaml。上手训练最小配置示例环境要求 Python 3.11 PyTorch 2.3.0需要先编译 selective_scan/ 中的 CUDA 算子。安装完成后一条命令即可开始训练python mbyolo_train.py --task train \ --data ultralytics/cfg/datasets/coco.yaml \ --config ultralytics/cfg/models/mamba-yolo/Mamba-YOLO-T.yaml \ --amp --project ./output_dir/mscoco --name mambayolo_t 关键参数--amp开启混合精度加速--epochs默认 300 轮数据集配置在 ultralytics/cfg/datasets/ 目录下换数据集只需替换--data指向的 yaml。小结Mamba-YOLO 的架构精髓可以概括为三句话✅SimpleStem用最少的卷积完成输入压缩把计算预算留给 SSM✅VSSBlock SS2D用 4 方向交叉选择性扫描实现线性复杂度的全局建模取代了 C2f 卷积块✅PAFPN XSSBlock让双向特征金字塔也跑在 SSM 上多尺度检测全面提速从对比曲线看Mamba-YOLO-L 以约 156 GFLOPs 拿到了 50 mAP超过了 YOLOv8 同等算力的表现。对于想入门 SSM 视觉模型、又熟悉 YOLO 体系的新手来说这个项目是目前最易上手的状态空间目标检测实现之一YAML 即配置、改一行参数就能对比不同规格非常适合做 SSM 架构的实验与二次开发。赞分享【免费下载链接】Mamba-YOLOthe official pytorch implementation of “Mamba-YOLOSSMs-based for Object Detection”项目地址https://gitcode.com/gh_mirrors/ma/Mamba-YOLO点击查看免费下载相关推荐Mamba-YOLO基于状态空间模型的新一代目标检测框架Mamba YOLO基于状态空间模型的新一代目标检测框架 Mamba YOLO 是一个基于状态空间模型SSMs的先进目标检测框架将传统的YOLO架构与现Mamba-YOLO基于状态空间模型的目标检测革命Mamba YOLO基于状态空间模型的目标检测革命 Mamba架构作为新一代的状态空间模型SSMs正在计算机视觉领域掀起技术革命。Mamba YOLO项从Mamba到Mamba-2状态空间模型如何颠覆序列建模范式从Mamba到Mamba 2状态空间模型如何颠覆序列建模范式 你是否还在为Transformer模型的计算复杂性而困扰面对长文本处理时注意力机制带来的O人工智能深度学习基础模型上一篇Windows 提速完整指南AtlasOS 5 步装完游戏帧率从 58 拉到 78下一篇PocketPal AI错误处理完全指南如何优雅解决模型加载失败问题创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
