首页 / 资讯中心 / 文章详情

基于UNet的遥感图像语义分割:PyTorch实现与毕设实战指南

基于UNet的遥感图像语义分割:PyTorch实现与毕设实战指南 ★ FEATURED ARTICLE
简介这套基于UNet的遥感图像语义分割项目资料面向Python毕业设计、期末大作业与课程设计场景难度适中适合已有一定深度学习基础、期望快速上手完整项目流程的学习者。源码经本地编译运行通过评审得分98分内容由助教审定可直接作为毕业设计底稿。压缩包共68个文件总大小约46.94MB包含数据处理、模型构建、训练与预测等核心Python脚本并随附数据集创建、模型训练、结果预测三个Jupyter Notebook以分步方式复现实验过程同时提供LaTeX论文源文件与PDF成品、示意图表、字体资源以及一键启动Jupyter和TensorBoard的脚本便于调试与观测训练过程。目前已有369人浏览学习属于被实践验证过的完整项目方案。借助源码与Notebook可系统理解遥感影像从预处理、UNet训练到分割效果评估的完整链路论文部分的目录结构、章节内容与图表规范也能为撰写毕业设计文档提供可靠参考。1. 从PyTorch到遥感语义分割这个毕设题目到底在做什么每到毕设季都会有不少同学拿到“Python毕业设计基于UNet的遥感图像语义分割项目源码论文”这个题目。它不是换一个数据集跑一遍那么简单因为遥感影像分辨率高、地物类别多、正负样本极不平衡把这些现实约束装进一个经典分割网络里才是这个题目的核心价值。相比自然图像语义分割遥感场景更关注边缘、小目标和大面积背景而UNet的编码-解码结构和跳跃连接刚好能在这些点上发挥优势。这个题目既能串起Python数据预处理、PyTorch训练、指标评估、论文图表绘制这条完整链路又能在答辩时形成清晰的技术路线特别适合本科毕业设计和研究生前期实验。如果你手里已经有人工标注的遥感影像或者想用公开数据集快速跑通一套流程这篇文章会按“理解网络结构、处理数据、训练调参、避坑、写论文、做改进”的顺序把每一步的关键参数和常见问题摊开讲。读完就能照着复现自己的版本。2. UNet为什么是遥感语义分割的默认选项网络结构与数据格式先对齐2.1 UNet的结构与三个关键设计编码器、跳跃连接、深度先谈结构。UNet的名字来自它的U形拓扑左侧是编码器连续做卷积和下采样把图像压缩成更抽象的特征图右侧是解码器逐步上采样恢复空间分辨率中间通过跳跃连接把编码器每一层的特征图拼到解码器对应层上。这个设计不是为了好看而是让解码器在恢复细节时同时拿到“语义”和“空间”两类信息。编码器深层特征知道“这里是大片农田”浅层特征知道“农田和道路的边界在哪个像素”两者拼接起来分割结果才会既有类别正确率又有边界精度。遥感影像的地物尺度跨度很大一栋房子可能只有几十像素一条四级公路可能占据整幅图的一条细线而一片农田则可能是几百像素的大块。UNet靠连续下采样把语义信息提出来又靠跳跃连接把粗尺度的空间位置传回来天然适合这种多尺度场景。相比之下FCN没有跳跃连接直接用最后一层预测道路这类细长目标很容易断掉DeepLabV3虽然也有编码解码思想但空洞卷积的工程实现比UNet复杂放在毕设里很容易被调参拖住时间。UNet实现起来几乎不需要外部依赖基础版本代码量很小这也让它成为最稳妥的baseline。我一般会强调三个设计点。第一是编码器深度通常到4层也就是4次下采样如果影像里目标特别小可以降到3层太大则提到5层但要警惕内存。第二是跳跃连接在PyTorch里一般用torch.cat沿着通道维拼接而不是相加。第三是解码器的上采样优先用转置卷积还是“上采样卷积”两者在遥感小目标上的表现差异明显通常用最近邻上采样更能保持边界转置卷积在小目标上偶尔会出现棋盘伪影导致道路边缘发花。2.2 遥感图像的标注格式与数据集的转换从PNG到train/val分割拿到手的数据通常有两类一类是原始遥感影像常见格式是GeoTIFF或PNG另一类是标注图可能是灰度图也可能是有色PNG。彩色标注图需要转换成类别ID的单通道mask否则训练时交叉熵会把RGB三通道当成三个类别去算。最常见的转换方式是用颜色映射表把每个像素的RGB映射到类别编号比如(255,0,0)-0代表建筑物(0,255,0)-1代表植被。这里给一个常见转换脚本片段输入是彩色标注图和调色板输出是单通道类别图import numpy as np import cv2 # color_id_map: 颜色映射例如 {(255,0,0):0, (0,255,0):1} def convert_color_mask(mask_color, color_id_map): h, w mask_color.shape[:2] mask_id np.zeros((h, w), dtypenp.uint8) for color, cls_id in color_id_map.items(): match np.all(mask_color np.array(color).reshape(1, 1, 3), axis-1) mask_id[match] cls_id return mask_id if __name__ __main__: # 读取彩色标注 mask_rgb cv2.imread(label.png) mask_rgb cv2.cvtColor(mask_rgb, cv2.COLOR_BGR2RGB) # 定义你的类别映射 cmap {(255, 0, 0): 0, (0, 255, 0): 1, (0, 0, 255): 2} mask_id convert_color_mask(mask_rgb, cmap) cv2.imwrite(label_id.png, mask_id)这段代码里np.all(..., axis-1)用来判断RGB三个通道是否同时相等。需要注意遥感标注里偶尔会混入未标注区域通常用255或-1表示训练时需要忽略这里的最简单做法是把未标注像素设为背景类或者采样时直接跳过。数据转变后我还会把train/val按照影像而不是切割块来划分避免同一块影像的切片同时出现在训练和验证里导致数据泄漏。如果拿到的原始影像是带坐标的GeoTIFF建议先用GDAL等工具读出来再裁剪成无坐标的PNG训练阶段不需要地理坐标信息只把图像当作普通RGB矩阵处理。另一个容易忽略的点是波段选择。有些遥感影像是四波段包含红绿蓝和近红外。UNet输入层默认接三通道如果你不做任何处理直接读四波段会因为通道不匹配报错。常见做法是取前三个波段或者把近红外波段替换到蓝色通道因为植被和土壤在近红外波段区分明显对语义分割有额外帮助。我一般会在预处理脚本里保留波段选择参数方便做一次输入波段对比实验。2.3 选择损失函数与评估指标交叉熵、Dice、mIoU遥感语义分割最典型的问题是类别不均衡。比如道路、水系占整幅影像的比例可能只有几个百分点如果直接用普通交叉熵模型会被大面积背景带偏在地物小类别上几乎不发力。常见做法是给Loss加上每类的权重或者用Dice Loss。Dice Loss基于区域重叠计算梯度天然对正负样本比例不敏感适合这种场景。我通常会把交叉熵和Dice按1:1混合前几个epoch用交叉熵稳定优化目标后程让Dice约束边界。评估指标不要只看像素准确率PA因为背景类占比高PA会被背景主导每类样本参与计算时占比不同需要用mIoU每类预测结果与真实标注的交并比再取平均。mIoU才是论文里最有说服力的数字。def compute_miou(pred, target, num_classes): pred pred.flatten() target target.flatten() ious [] for cls in range(num_classes): pred_mask pred cls target_mask target cls intersection (pred_mask target_mask).sum() union (pred_mask | target_mask).sum() if union 0: ious.append(float(nan)) # 全图都没有这一类 else: ious.append(intersection.item() / union.item()) return np.nanmean(np.array(ious))这段代码用逐像素的方式计算交并比。注意遥感影像通常很大直接把整幅图拍平可能占内存实际训练时是在每张预测图上按batch累加TP、FP、FN最后统一计算我给出的简化版适合单张调试。这个函数里float(nan)表示当前batch里没出现某一类求平均时用np.nanmean忽略它们。如果想在完整训练代码中统计mIoU更稳定的做法是维护一个num_classes x num_classes的混淆矩阵在所有样本上累加最后再逐类计算IoU这样不会因为batch太小出现某类缺失导致的数字抖动。3. 用PyTorch实现UNet遥感分割从数据集类到训练主循环3.1 遥感大图切块与预处理解决影像尺寸超过GPU显存的问题遥感影像是“大图”常见的高分影像边长可达几千像素甚至上万不可能直接放进GPU。最常见做法是用滑动窗口切成256x256或512x512的块。切块时要考虑重叠区域避免目标物体正好被切在边界。通常用256x256窗口加32像素重叠既可以缓解边界切断又不至于让数据量过多。另一个问题是数据增强。遥感分割中水平翻转、垂直翻转、旋转90度是安全增强不会改变地面物体的语义但随机裁剪缩放需要谨慎因为遥感物体的尺度信息本来就重要过度缩放会把道路、房屋的大小改变反而让模型学错。颜色增强亮度、对比度可以做但不要把图像变成伪彩色。切块的滑动窗口代码import numpy as np from PIL import Image def sliding_window_crop(image, label, crop_size256, stride224): # 返回按步长滑动的图像块和标签块 h, w image.shape[:2] patches_img, patches_label [], [] for y in range(0, h - crop_size 1, stride): for x in range(0, w - crop_size 1, stride): patches_img.append(image[y:ycrop_size, x:xcrop_size]) patches_label.append(label[y:ycrop_size, x:xcrop_size]) return np.array(patches_img), np.array(patches_label)stride小于crop_size时就有重叠。重叠多少是一个计算量权衡重叠大样本多漏切少但训练时间长重叠小样本少速度快。前期的建议是先不重叠stridecrop_size把流程跑通后再根据验证集表现决定是否引入重叠。对于边缘不足的部分补零或者直接用剩余区域都可以我一般会丢弃不足一个窗口的右下角区域等推理时再用补零方式整幅预测。切块之后还要检查一件事所有切割块里是否都包含足够的类别。如果某一类只在少数几幅大图里出现切块后可能只有几个训练样本模型很难学会。此时先统计每类的像素占比如果某类占比低于1%可以考虑在Loss里加大权重或者对该类所在的块做额外重复采样。3.2 编写Dataset与DataLoader图片、标签、mask配对的关键细节在PyTorch里需要把切割后的块封装成Dataset。关键点是图片和标签的配对以及图像归一化。遥感影像如果是RGB归一化可以用ImageNet的mean/std但更稳妥的做法是用自己的训练集统计mean/std避免影像分布差异造成训练抖动。Dataset类import torch from torch.utils.data import Dataset class RemoteSegDataset(Dataset): def __init__(self, image_paths, label_paths, transformNone): self.images image_paths self.labels label_paths self.transform transform def __len__(self): return len(self.images) def __getitem__(self, idx): img torch.from_numpy(self.images[idx]).permute(2, 0, 1).float() mask torch.from_numpy(self.labels[idx]).long() if self.transform: img, mask self.transform(img, mask) return img, mask这里把mask转成long是因为PyTorch的交叉熵期望目标值是非负整数。permute(2, 0, 1)把HWC调成CHW。如果数据增强想在Numpy层面处理可以在__getitem__里用随机数决定是否翻转但要注意图片和mask必须同步做相同操作否则图像和标签会错位训练指标看起来奇怪却很难排查。可以用albumentations这样的库它的核心设计就是配对增强。DataLoader的常用设置batch_size8或16num_workers4到8drop_lastTrue。遥感切出来的块尺寸一致时不需要collate_fn如果用了变长图片就需要自定义。注意Windows下worker设置过多会有数据加载阻塞可以先设为0调试。如果训练时常报“共享内存不足”就把num_workers调低或把persistent_workers关掉。还有一个容易被忽视的点Dataset里读入的图片必须同步除以255。PyTorch的transforms.ToTensor()会自动做归一化但自己torch.from_numpy(...).float()得到的数值范围是0到255直接输入网络会让BN层的统计量漂移训练前期loss下降慢。我习惯在__getitem__里显式除以255或者用torchvision.transforms.Normalize套在外部但remap和normalize顺序要固定。3.3 训练参数怎么设batch_size、学习率、epochs、数据增强策略训练参数没有万能组合但可以给一套我在类似项目中比较稳的起点。参数推荐值说明crop_size256中小目标足够若显卡显存8G以下不要用512batch_size8大batch训练稳但需保证GPU显存够learning_rate1e-4AdamW多为这个量级配合schedulerepochs60-80遥感分割收敛偏慢前20个epoch要观察曲线optimizerAdamW权重衰减设1e-4schedulerCosineAnnealingLR最后让loss平稳下降训练主循环model.train() for epoch in range(start_epoch, epochs): for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() logits model(images) # (B, C, H, W) loss ce_loss(logits, labels) dice_loss(logits, labels) loss.backward() optimizer.step() scheduler.step()dice_loss针对logits做softmax后再计算这里代码里没写出函数实际使用时要保证logits和labels形状匹配且类别数大于等于标签最大值1。实践中我通常在epoch%5时打印验证mIoU以便及时发现过拟合。学习率从1e-4开始如果验证指标连续5个epoch不涨可以把学习率降一个数量级这比盲目重启训练更有效。还有一个习惯是固定随机种子。在train.py开头设置torch.manual_seed(0)和numpy.random.seed(0)保证同一配置跑两次结果相近。遥感数据量本就不大一次翻车可能浪费十几个小时固定住随机性后续调参才有参照。模型训练时也建议加一点weight_decay一般设1e-4即可太大容易让模型欠拟合太小则无法抑制过拟合。4. 遥感图像语义分割的避坑手册五条直接影响论文结果的血泪经验4.1 现象loss下降但mIoU不升这种情况最容易出现在训练中后期。loss在降验证mIoU却纹丝不动整体指标甚至往下掉。经验里最常见的根源是标签处理。比如标签里类别ID不连续存在0、1、3但没有2网络输出类别数设为4训练集里永远没有2模型被逼到预测2mIoU自然上不去。解决方法是统计所有标注图里的唯一像素值确认类别列表并把标签做重映射。另一个原因是loss分配不当普通交叉熵在大类别上收敛很快但小类别的mIoU始终很低导致整体mIoU上不去。诊断时先看每一类的IoU而不只是看总loss。4.2 现象边界区域预测模糊、细碎如果预测图里道路和房屋边界像锯齿或小块区域被错误标记大概率是裁剪尺寸太小网络没有看到上下文。比如把影像切成128x128单栋房子占40个像素大一点的操场根本看不到全局形状边界自然不对。解决方法是把crop_size提到256或512同时加大编码器感受野如果是解码器上采样分辨率不够也可以去掉过多的下采样层。我还会检查跳跃连接是否被正确拼接曾经因为把两处特征图concat时类别维度搞错导致边界一直有带状伪影看起来像锯齿实际是张量拼接顺序错了。4.3 现象GPU显存溢出最常见的溢出点是图片块太大和batch_size过大。我在8G显存的卡上跑512x512batch_size只能到4256x256可以到8。另外显存溢出还有可能是模型本身通道数过多UNet的标准滤波数是64-128-256-512-1024如果遥感目标简单可以把第一层通道降到32后面跟着减半效果损失不大但显存减半。再就是累积梯度用小batch累积多次后更新一次相当于增大了batch_size在显存不足时是一个变通做法。如果训练中途才报OOM可能是某一帧输入异常或者验证时跨出了一张大图注意验证阶段也要切块。4.4 现象验证集指标和测试集差一大截很常见的错误是没有按“影像”划分数据集而是按切割块划分。同一幅影像的相邻块高度相似随机打散后训练集和验证集很像验证mIoU虚高测试集一换图就垮掉。解决方法是先把原始影像按大致7:2:1划分为train/val/test选新的影像进验证集再对每幅影像做切块如果数据只有几幅图可以留出1-2幅完全不参与训练。另一个原因是遥感影像来自不同地区、不同传感器训练集和测试集的光谱分布不一样这种情况需要在论文里说明并尝试归一化到统一统计量。4.5 现象训练结果正常但是预测整幅大图时出现拼接痕迹这几乎是切块推理的经典坑。推理时如果每块独立预测相邻块在边界处的概率分布不一致拼出来的图会有明显的接缝。解决思路是预测时同样使用滑动窗口重叠并把重叠区域多个预测结果取平均也可以对一个边缘像素块做多个偏移然后将概率图加权融合。我在做推理时会加flip测试每块做上下翻转预测取平均大约能提高1-2个点的mIoU同时缓解拼接痕迹。如果拼接痕迹特别严重还需要检查归一化时是否针对整幅影像做了mean/std而切块推理时每块又独立归一化了这种前后不一致会让拼接处颜色跳变。5. 论文写作与源码组织毕设答辩时怎么展示UNet项目5.1 源码结构推荐让答辩老师十分钟内看懂你的工程毕业设计交付中源码和论文是绑在一起的。如果代码是一锅端即便网络结构说得再清楚“源码论文”的完整性也会打折扣。我推荐的工程结构如下project/ ├── configs/ │ └── train.yaml ├── data/ │ ├── convert_label.py │ └── crop_dataset.py ├── models/ │ ├── unet.py │ ├── attention.py │ └── __init__.py ├── utils/ │ ├── loss.py │ ├── metrics.py │ └── viz.py ├── train.py └── inference.pyconfigs/train.yaml统一放超参数而不是argparse里一长串。第一次见学生把参数散落在十几个文件里最后复现需要翻半天。现在我会坚持把crop_size、batch_size、learning_rate、max_epochs、weight_decay都写进配置。models/unet.py只实现标准UNetattention.py放改进模块二者通过forward接口对接训练代码不关心模型内部细节。代码里还需要保存训练最好的权重。训练循环里if val_miou best_miou: best_miou val_miou torch.save({model: model.state_dict(), epoch: epoch, miou: best_miou}, checkpoints/best.pth)把epoch和miou一起存下来是因为论文报告的数字必须对应某一时刻的模型而不是随便一个最后一次迭代。torch.save时我通常不存整个模型只存state_dict这样要换网络结构时不会强制依赖旧类定义。答辩现场要求预测一张图直接用inference.py加载这个权重即可。5.2 论文图表与实验对比从训练曲线到消融实验论文图表是评价一个毕设项目最直观的部分。结构图要画出UNet的编码-解码过程标注你增加的模块放在哪一层。别用网上截图会被查重和答辩老师抓到。如果不知道画图工具可以用draw.io或PPT画完导成PDF再转PNG。训练曲线建议用matplotlib同时画loss和mIoU两个子图。建议记录每个epoch的验证指标而不是只在最后一轮保存。import matplotlib.pyplot as plt plt.figure(figsize(10, 4)) plt.subplot(1, 2, 1) plt.plot(epochs, train_losses, labeltrain loss) plt.plot(epochs, val_losses, labelval loss) plt.xlabel(epoch) plt.ylabel(loss) plt.legend() plt.subplot(1, 2, 2) plt.plot(epochs, val_mious, labelval mIoU) plt.xlabel(epoch) plt.ylabel(mIoU) plt.legend() plt.tight_layout() plt.savefig(training_curve.png, dpi300)这段代码里epochs、train_losses、val_losses、val_mious是你在训练循环中收集的列表。注意如果val mIoU曲线波动很大可以用指数滑动平均平滑同时把原始曲线淡色画出答辩时老师会问为什么曲线抖动你要能解释是验证数据样本少还是学习率设置。实验对比表要包含baseline和你的改进。我习惯用一个三行表方法mIoU道路IoU建筑IoU推理时间UNet0.7210.5640.7820.05sUNet 数据增强0.7380.5810.7900.05sUNet 注意力0.7560.6120.8040.07s数字不要随便编但结构上要给出每类的IoU因为答辩老师最关心改进是否真的解决了小目标问题。如果只看一个mIoU你无法说明为什么道路类提升。再加上几组预测结果的可视化对比完整度就够了。5.3 答辩时怎么应对常见问题三问三答常见问题是“UNet不是很多年前的网络吗有什么新意”。这时要说明遥感场景的特殊性大图、小目标、多尺度。改进方向像注意力机制、轻量化卷积、多尺度融合都是可讲的。还有“你用的数据是哪来的”需要说清楚来源和标注情况如果数据量不大不要隐藏可以强调在大图切块和数据增强上的处理。对于“为什么验证集mIoU和测试集差这么多”按第4章的按影像划分思路回答展示自己知道数据泄漏问题。答辩时最忌讳背稿子。建议准备一个两分钟的demo把一张测试遥感图跑一遍看到结果从粗糙到精细。注意保障设备正常可以提前把模型放在GPU上如果答辩现场没有GPU就用CPU跑一个256块的推理大概十几秒也能出图。老师看到画面变化通常不会再追着参数细节不放。6. 进阶方向把UNet改到更好——轻量化、注意力与多尺度6.1 深度可分离卷积替换标准卷积用深度可分离卷积可以显著减少参数量这在遥感大图像推理时很有价值。常见做法是把encoder各层的nn.Conv2d替换为DepthwiseSeparableConv保持通道数不变。虽然理论计算量减少但在小数据集上不一定提升mIoU要先用小实验确认。我通常在改进时把标准卷积替换后的模型作为“轻量化UNet”写进论文而不是直接说“更好”这样老师不会追问为什么指标没涨。6.2 注意力模块怎么放进UNet在跳跃连接前或解码器顶部加一个SE或CBAM模块可以提升小类别目标的特征响应。把注意力模块放在unet.py的forward里先得到编码器特征再经过注意力再传给解码器。要注意不要每个层都加否则显存涨很多收益可能有限。最稳妥的做法是先加在解码器最后一层跑通后再逐步往深处加。6.3 先跑通小验证集再做消融的习惯改进模型之前先在一个小的验证集上跑通确认模型没有bug再开始完整训练。每次只改一个变量才能在论文里做真正的消融实验。我有一次把数据增强和模型改进一起加了结果mIoU提升却分不清是谁的功劳答辩问起来很狼狈。那以后坚持“一次只变一个”的实验纪律也少了很多翻车现场。最后想说的是遥感分割和自然图像分割的差距比你想的大。不要因为UNet看起来老就把大部分时间花在花哨模块上先把数据管道和评价指标做牢模型改进才有意义。希望帮到你。本文还有配套的精品资源点击获取
阅读完成 · 觉得有帮助?
咨询建站