★ FEATURED ARTICLE 简介YOLO多任务道路识别项目代码面向计算机视觉初学者提供基于YOLOv5、YOLOv8与YOLOv11的道路目标检测完整实现覆盖车辆、斑马线、交通标志、路灯等7类目标识别。资源包共46个文件大小仅115KB核心文件包括txt格式的标注与说明、jpg格式的图片样本、yaml数据集配置、py演示脚本及png检测结果图目录按labels、images等模块划分便于逐项复现。项目以CULane数据集为基础作者给出从环境配置、基础数据集训练到使用labelimg完成自定义标注、编写YAML配置并训练模型的完整流程。随包附带的py演示脚本可直接运行配合配置文件即可快速体验道路目标检测效果。目前已有105人学习适合希望掌握YOLO数据准备、模型训练与道路场景应用的初学者参考。1. 多任务道路识别为什么单一检测模型在路测时总差一口气夜间场景让检测模型「集体翻车」并不是玄学车载摄像头拍到前方施工桩桶时单一YOLO模型即使准确框出了桩桶也无法告诉下游决策模块这个桩桶具体占用了哪几条车道、前方的路面是柏油还是正在铣刨的碎石层。这类信息缺失不是精度问题而是任务定义问题。YOLO多任务道路识别就是在同一个模型里同时输出目标检测框、车道线分割掩码、可行驶区域分割掩码以及路面类型分类等多个标签让一次前向推理直接给出决策层需要的综合结果。我最早是在一个模拟项目X里被这个问题卡住的当时单跑检测精度已经不错但下游路径规划模块因为拿不到可行驶区域只能靠几何假设硬推结果在弯道和坡顶频频翻车。后来把任务拆成检测分割的并联头挂在YOLO主干上整个系统才真正能用。这个方案适合两类人在做辅助驾驶感知或者道路巡检的工程师以及想把多任务学习落到自己数据集上的学生。本文会从任务分工、数据组织、损失平衡到部署踩坑按一条可复现的路径讲完。2. 任务拆解与模型选型哪些任务适合塞进同一个模型2.1 道路识别里的任务边界哪些头能共用一个主干多任务道路识别最常见的组合是目标检测框出车辆、行人、施工标志和桩桶语义分割输出车道线、路沿、可行驶区域分类头给出路面类型。这三个任务的输入都是同一个前视摄像头图像底层特征高度重叠——边缘、纹理、深度线索是共用的这就是为什么它们适合共用一个主干网络而不是各跑各的模型。如果强行把不相关的任务比如同时做车牌OCR和天气分类塞进来共享特征图会互相干扰收益反而为负。我一般会把检测和分割放在同一个特征金字塔的不同层上去做分类头则直接接在主干的最后一层特征图上。这样检测头在P3、P4、P5层上做框回归分割头在P2层上做像素级预测因为车道线和路沿这种细长结构需要高分辨率特征路面分类则只需要全局语义不需要高分辨率。任务分组从原理上讲本质是让每个任务从主干中「各取所需」而不是平均地共享一切。2.2 YOLO作为多任务主干的三个理由选择YOLO而不是纯分割网络或双阶段检测器主要有三个原因。第一YOLO的FPN结构天然产生了多尺度特征图检测和分割可以各挂一层不需要额外设计特征融合模块。第二YOLO的anchor-free头结构简单改造成多任务头时增加的参数量可控端侧部署时不会因为模型体积膨胀而无法上线。第三也是最实际的一点YOLO的训练基础设施最成熟数据增强、混合精度、分布式训练的工具链都现成改造代码的时间成本最低。常见做法是保留原YOLO的检测头在颈部特征图后面并联一个分割解码器和分类头。我踩过的坑是有人在C2f模块内部去改特征维度结果底层梯度回传混乱、检测精度先崩了——改动尽量集中在头部主干参数能不碰就不碰。3. 数据准备从COCO到多任务训练格式的完整转换3.1 组织多任务数据集的目录结构与标注体系多任务学习的数据组织和单纯检测完全不同。检测只需要框坐标但这里同时需要车道线的多边形标注、可行驶区域的掩码以及每张图的路面类型标签。我习惯的目录结构是这样dataset/ ├── images/ │ ├── train/ │ │ ├── 000001.jpg │ │ └── ... │ └── val/ ├── labels/ │ ├── detect/ │ │ ├── 000001.txt # 类别ID x_center y_center w h │ ├── segment/ │ │ ├── 000001.txt # 类别ID 多边形坐标(归一化) │ └── cls/ │ ├── 000001.txt # 路面类型ID(单行) ├── task.yaml └── dataset_info.json这个结构的核心思路是三个任务的标签文件用同一个图片ID命名训练时按ID组合成一条样本。detect目录是YOLO格式的检测标签segment目录是YOLO分割格式的多边形标签cls目录则是单行文本只写路面类型的类ID。分开存放便于分别做增强策略避免检测的随机裁剪破坏了分割标签的对齐关系。3.2 把COCO标注转成YOLO多任务格式的脚本很多公开道路数据集给的是COCO JSON格式需要转成上面这套目录结构。我提供一个基础转换脚本核心操作是把COCO的segmentation多边形坐标归一化并写入对应的txt文件import json import os import numpy as np def coco_to_yolo_seg(coco_json, img_dir, out_seg_dir, img_w, img_h): 把COCO分割标注转为YOLO格式。 参数: coco_json: COCO标注文件路径 img_dir: 图片目录(用于确认图片实际尺寸) out_seg_dir: 输出的YOLO分割标签目录 img_w, img_h: 目标归一化尺寸 with open(coco_json, r, encodingutf-8) as f: coco json.load(f) # 建立图片ID到文件名的映射 img_id_to_name {img[id]: img[file_name] for img in coco[images]} # 建立类别ID映射(COCO的类别ID往往不连续) cat_id_to_yolo {cat[id]: idx for idx, cat in enumerate(coco[categories])} # 按图片聚合所有标注 anns_by_img {} for ann in coco[annotations]: img_id ann[image_id] anns_by_img.setdefault(img_id, []).append(ann) for img_id, anns in anns_by_img.items(): # 只保留有分割标注的实例 seg_anns [a for a in anns if isinstance(a.get(segmentation), list)] if not seg_anns: continue yolo_lines [] for ann in seg_anns: # COCO的segmentation是绝对像素坐标的列表 poly np.array(ann[segmentation][0]).reshape(-1, 2) # 归一化到[0, 1] poly[:, 0] / img_w poly[:, 1] / img_h # 拼接成 YOLO 格式: cat_id x1 y1 x2 y2 ... line str(cat_id_to_yolo[ann[category_id]]) .join( f{coord:.6f} for coord in poly.flatten() ) yolo_lines.append(line) out_path os.path.join(out_seg_dir, img_id_to_name[img_id].replace(.jpg, .txt)) with open(out_path, w) as f: f.write(\n.join(yolo_lines)) # 使用示例(读者需要换成自己的路径) coco_to_yolo_seg( coco_json./annotations/instances_train.json, img_dir./images/train, out_seg_dir./labels/segment, img_w1920, img_h1080 )这段脚本最关键的地方在于类别ID的重映射。COCO数据集的类别ID往往不是从0开始连续排列的直接写入会导致训练时类别错乱所以必须先经过cat_id_to_yolo这一步。另一个需要留意的是COCO的分割标注有的实例是RLE编码而不是多边形列表这类样本本脚本会直接跳过实际使用时要先过滤掉或者调用pycocotools解码后再进转换流程。3.3 类别重映射与样本均衡三个必须处理的坑数据集中经常出现「路面类型」训练样本数量极不平衡的问题——柏油路占了八成、碎石路只有几十张。多任务模型碰到这种数据分类头很快会收敛到直接输出多数类而且检测头的梯度也会被这种不平衡带偏。我处理这个问题的方法是做类别重采样对少样本类别做过采样复制配合在当前epoch内加大该类别的损失权重。同时还要注意路面类型标签是全图级的、车道线是像素级的它们的样本权重天然不一致。常见做法是把分类头的损失权重单独调低防止「全局类别不平衡主导了共享特征的梯度更新」。如果发现检测框的置信度整体下降而分割的mIoU在涨多半就是分类头的loss权重给高了共享特征被分类任务拽走了这时就要往下调分类权重。4. 模型结构与训练配置把YOLO改造成多任务模型的实操4.1 在YOLO骨架后面挂三个任务头结构改法核心思路是把YOLO的颈部neck输出做三个分支。检测头直接复用原结构不修改分割头用一个轻量的ASPP模块从P2层特征图上采样到原图分辨率分类头用全局平均池化把最后一层特征压成一个向量再接全连接。以下是一个基于YOLO风格结构的配置示例# task.yaml — 多任务训练入口配置 task_name: road_multi_task img_size: 640 model: backbone: yolo11n_backbone # 主干复用预训练权重 neck: yolo11_pafpn # 特征金字塔 heads: detect: type: yolo_detect_head anchors: null # anchor-free num_classes: 8 # 车辆/行人/桩桶/施工标志等 segment: type: aspp_seg_head # 空洞卷积池化金字塔 in_layer: p2 # 从P2层取高分辨率特征 num_classes: 4 # 车道线/路沿/可行驶区域/背景 loss_weight: 0.8 classify: type: global_avg_pool_head # 全局平均池化全连接 in_layer: last_conv # 主干最后一层特征 num_classes: 3 # 柏油/水泥/碎石 loss_weight: 0.2 loss: box_loss_weight: 1.0 cls_loss_weight: 0.5 seg_loss_weight: 0.8 road_type_loss_weight: 0.2 train: epochs: 200 batch_size: 16 lr0: 0.001 optimizer: SGD关键在于两个地方。一是在in_layer上区分各头的特征来源检测需要P3-P5多尺度、分割需要P2的高分辨率、分类只需要语义最丰富的最后一层二是loss_weight的配比分割任务的权重设为0.8是合理的起点因为车道线细长前景像素占比太小权重太低会让梯度被背景类彻底淹没。4.2 训练命令与损失函数的配比策略配置写好后训练命令在工程实践里长这样。不同的框架命令会有些差异但核心思路一致——加载预训练权重、冻结主干若干层、先让任务头各自收敛再解冻联合训练python train.py \ --data task.yaml \ --weights yolov8n.pt \ --freeze 10 \ --epochs 200 \ --batch-size 16 \ --img 640 \ --multi-scale \ --save-period 10 # 训练到一半(比如第100轮)后手动解冻主干做联合微调 python train.py \ --data task.yaml \ --weights runs/task/weights/last.pt \ --unfreeze \ --epochs 200 \ --batch-size 8 \ --lr0 0.0001--freeze 10的含义是冻结前10层的主干参数只训练任务头和颈部。这能在前100轮让三个任务头快速收敛到各自能用的水平而不会因为主干参数随机导致梯度互相拉扯。第二阶段解冻后学习率要从0.001降到0.0001这是一个比较关键的经验参数如果保持原学习率加载过来的任务头会马上面临梯度爆炸的风险。--multi-scale在做道路识别时值得开因为实际部署时输入分辨率可能从720p到1080p不等多尺度训练能提升模型对分辨率变化的鲁棒性。4.3 训练监听的三个关键指标检测mAP、分割mIoU、分类Acc多任务训练必须同时盯着三个指标确损失函数在正常下降。我通常会在验证集上同时输出三个评估指标并且额外记录一件小事——三个任务头的loss下降速度是否同步。如果分割loss在降而检测mAP在波动多半不是模型问题而是box损失和分割损失的尺度不在同一个量级需要调整权重。常见做法是把box_loss_weight和seg_loss_weight统一做一次归一化处理让两者的初始loss值接近同一个数量级否则数值大的损失天然主导梯度小的那个任务永远是陪跑。另一个值得关注的是「任务间跷跷板」现象。这种效应的典型表现是某个任务在联合训练开始后准确率不升反降。处理方式通常是先单独训练各任务头到收敛再解冻联合训练联合训练阶段使用更低的学习率并且在验证时对每个任务头做早停——检测头先到最佳就固定它的权重只继续训练分割头。5. 避坑与排查多任务训练里最常见的五个翻车场景5.1 特征图分辨率对不齐导致分割头直接报错现象训练到第一步前向传播就报维度不匹配的错。原因分割头用的是P2层的特征图但配置里img_size设置为640时P2层尺寸是160×160如果主干结构里没有输出P2层代码就会取到一个尺寸不对的特征张量。解决改配置把分割头的输入从P2层换成实际存在的P3层或者改主干代码让它显式输出P2层特征。我一般会在修改后先打印每一层特征图的shape做一次静态检查确认各任务头拿到的张量尺寸符合预期再开始训练。5.2 类别不平衡让车道线分割头输出全黑现象训练到十几轮后分割头的输出全部是背景类mIoU几乎为0。原因车道线在整张图里占比通常不到1%二值交叉熵损失下完全被背景类淹没。损失函数推着模型输出「全背景」就已经是一个局部最优解。解决分割损失换成带focal机制的变体让模型更关注难分类的前景像素同时对车道线这类细长目标做形态学增强复制粘贴到随机位置扩充前景占比。关键参数是focal的gamma值设为2.0最稳调太大前景的简单样本会被过度降权、训练波动变大。5.3 检测头输出框偏移但分割正常现象检测头的框位置偏了半个车身但分割掩码看上去是准确的。原因分割任务在P2高分辨率特征上有强梯度但检测头在P5低分辨率特征上的梯度被分割任务完全盖过检测头成了「陪跑选手」。解决把检测头的loss_weight提到1.5或者把分割头从P2改到P3层降低它的梯度强度。这里有一个可验证的判断方法单独加载一个纯检测权重对比同一张图上的框输出。如果纯检测权重框是准的、多任务权重框是偏的就是典型的loss权重失衡。5.4 数据增强策略冲突导致检测框和分割掩码错位现象训练loss正常下降但验证集的检测框总是比实际目标小一圈。原因检测和分割共享同一份训练数据但增强管线里先做了随机裁剪再缩放回640分割标签的掩码也跟着变换而检测框的标注是从原始图上直接取的坐标没有同步变换。解决统一用一套基于仿射变换的增强管线检测框和分割多边形在同一套变换里同步映射。新版YOLO框架的增强模块通常是同步处理框和多边形的关键在于确认旧代码或自定义增强里是否做了异步处理——这是最容易被忽略的坑。5.5 推理速度达标但显存溢出现象模型精度不错但在端侧设备上单帧显存占用过高、跑不起来。原因三个任务头的特征图并行保留在显存中分割头从P2层上采样到原图分辨率的过程占了额外显存。这和模型本身大小无关是执行图里中间张量的峰值显存超了。解决推理时先跑检测头再按需启动分割头不使用分割结果时直接不计算该分支。工程上叫「按需分支推理」常见实现是写一个推理开关检测模式下只执行检测分支的计算路径。实践数据是这种方式能把峰值显存降到原来的60%左右。6. 成果验证与进阶用「感知一致性」快速判断多任务模型有没有真正学对多任务模型刷高每个任务头的指标只能说明「能用了」但距离「能用好」还要看一个关键信号任务输出之间是否自洽。例如模型框出了一个施工桩桶但分割结果把桩桶下方的路面标成了可行驶区域这意味着两个任务头在特征理解上是割裂的——它们各自用了不同的特征而不是共享了「这里有障碍物」的语义。我习惯在验证集上做一致性统计将检测框内的分割掩码提取出来检查是否包含可行驶区域类别若包含则视为一次「矛盾输出」记录。具体的落地验证方法是对300张验证图做三件事第一步统计每个任务头的独立指标这一步常规操作不多说第二步统计任务间矛盾率即上面说的框内分割类别冲突的比例这个比例如果超过5%说明任务头之间特征不对齐需要回到loss权重配比去调整第三步做端到端推理计时记录从输入图像到三个任务头全部输出所用的时间以供部署参考。进阶的话我推荐两个方向。第一个是引入「时序一致性」约束在视频流上对连续帧的检测框和分割掩码做IoU追踪如果前后帧的检测框中心跳变超过设定阈值就可以用前帧结果做平滑修正。这个不需要改模型结构在推理后处理环节加一个缓冲队列就行成本低、效果好。另一个是尝试把「可行驶区域分割」和「路面类型分类」两个任务合并成一个多类别的分割任务——因为它们本质上都是对路面像素做标注区别只在于分类的粒度。我最后想提醒的是一点习惯多任务模型的训练过程本身就是最可靠的调试工具你不需要在初期就把loss权重调到完美先跑通、再盯三个任务输出的一致性、最后再调参。这个流程我重复了多个项目几乎每次都是「一致性检查」发现问题而不是指标本身。养成这个习惯你会少走很多弯路。希望帮到你。本文还有配套的精品资源点击获取
阅读完成 · 觉得有帮助？
