★ FEATURED ARTICLE 简介面向深度学习与计算机视觉学习者的图像超分辨率重建实验项目围绕卷积神经网络、生成对抗网络和残差网络完整演示了从环境配置、CelebA人脸数据预处理到模型训练、效果对比的全流程。压缩包共43个文件以Python源码、Visual Studio工程和结果图像为主源码清晰划分为数据管理、模型构建、训练与推理等模块24张png/jpg格式结果图按迭代阶段排列直观展示了训练过程中的超分效果与细节重建差异整体仅1.65MB下载和本地复现都非常轻量。该资源已有412人学习浏览。对于正在准备毕业设计或想入门图像重建的读者可参考其TensorFlow工程组织方式、CelebA数据挑选与对齐思路以及多种网络结构的具体实现能够减少搭建环境和调试模型的弯路便于快速迁移到自己的数据集与任务中甚至可扩展到人脸修复、视频增强等低层视觉应用。1. 图像超分辨率重建这个 zip 里装的是什么值不值得解压你可能在某个网盘或项目分享里看到过「基于深度学习的图像超分辨率重建.zip」这种命名——一个压缩包里面大概率是源码、预训练权重、说明文档和一小部分示例数据的混合体。它的核心目标是解决一个很实际的问题把低分辨率、模糊、有噪声的图片重建出高分辨率、细节丰富的版本。不是简单放大像素而是让算法“猜”出原本缺失的高频细节比如毛发、纹理、边缘。这个方向适合两类人一类是做图像处理、视频增强、医学影像、卫星遥感相关工作的工程师想在自己的业务里引入超分能力另一类是深度学习入门者想拿一个完整项目练手理解“数据—模型—训练—评估”这条链路。拿到 zip 之后最怕的是解压出来堆满代码却跑不起来。这篇文章我就按一线落地的方式把这个包背后的原理、复现步骤、参数设置和常见坑拆开讲清楚。2. 跑通最小示例解压、建环境、准备数据集的完整命令2.1 解压之前先看清目录结构收到 zip 后不要急着unzip到桌面我在实际项目里吃过这个亏压缩包内文件层级混乱直接解压会导致路径引用失效。常见做法是先列一下压缩包内容确认根目录结构。# 列出 zip 内的文件不实际解压 unzip -l super_resolution.zip # 如果文件太多只看目录层级 unzip -l super_resolution.zip | awk {print $4} | grep /$逻辑说明unzip -l会把包内所有文件名、大小、日期打印出来awk {print $4}取第四列文件名grep /$过滤出目录行。这样能快速判断源码在src/下还是直接散在根目录。如果看到__MACOSX/或DS_Store说明打包者在 macOS 上压的解压后需要清理这些垃圾文件。参数说明awk的列号依赖unzip -l的输出格式不同版本可能列序不同如果不放心就直接unzip -l | less人眼扫一遍。有些 zip 是中文文件名终端可能乱码建议先用unzip -O gbkLinux或7z x跨平台处理。解压时我一般会建一个独立目录避免污染现有环境mkdir -p ~/projects/sr_resolution unzip super_resolution.zip -d ~/projects/sr_resolution cd ~/projects/sr_resolution # 清理 macOS 垃圾文件 find . -name __MACOSX -type d -exec rm -rf {} find . -name .DS_Store -delete逻辑说明-d指定解压目标目录后续所有操作都在这个目录内方便统一管理。清理垃圾文件是必要的否则后续torchvision.datasets或glob扫数据时会把无关文件扫进来导致数据加载报错。2.2 创建深度学习环境Python 版本和 PyTorch 是重头戏这类超分项目多半基于 PyTorch因为它的动态图特性适合研究网络结构。环境配置是新手最容易翻车的地方尤其是 CUDA 和 PyTorch 版本不匹配。我一般用 conda 建独立环境不给系统 Python 添乱。# 创建 Python 3.8 环境超分老项目普遍兼容 3.8 conda create -n sr python3.8 -y conda activate sr # 安装 PyTorch按你的 CUDA 版本选命令 # CUDA 11.8 示例 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 纯 CPU 调试 # pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu逻辑说明选 Python 3.8 是因为很多超分代码尤其是 SRGAN 的早期版本依赖torchvision的旧接口3.9 环境容易出现torchvision.transforms的 API 变动导致报错。PyTorch 版本不用追新能跑通就行。如果是 N 卡先跑nvidia-smi看驱动支持的 CUDA 版本再选对应的cu118或cu121安装命令这个环节省不了。依赖安装完导入测试import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else CPU)输出里torch.cuda.is_available()为True说明 GPU 可用。如果返回False大概率是 PyTorch 装成了 CPU 版或者 CUDA 驱动太旧需要回头重装。2.3 准备数据集没有 DIV2K先用小数据集跑通流程zip 里可能自带一部分测试图但训练超分模型需要成对的低分辨率LR和高分辨率HR图像。常见做法是用 DIV2K、Set5、Set14 等公开数据集。如果网速不好先用 Set55 张测试图验证训练流程跑通再换大数据集。# 假设 zip 里有 data 目录内含 train_HR 和 train_LR # 如果没有用自带脚本生成低分辨率版本 python -c import cv2 import os import glob hr_dir data/train_HR lr_dir data/train_LR os.makedirs(lr_dir, exist_okTrue) for img_path in glob.glob(os.path.join(hr_dir, *.png)): img cv2.imread(img_path) # 下采样 4 倍先用高斯模糊去伪影再缩小 blurred cv2.GaussianBlur(img, (0, 0), sigmaX1.0) lr cv2.resize(blurred, (img.shape[1]//4, img.shape[0]//4), interpolationcv2.INTER_LINEAR) out_path os.path.join(lr_dir, os.path.basename(img_path)) cv2.imwrite(out_path, lr) print(LR dataset generated) 逻辑说明这段代码把 HR 图像先做高斯模糊再按 1/4 尺寸缩小生成对应的 LR 图。为什么要模糊因为真实世界的低分辨率图像不光是像素变少还伴随模糊和噪声直接用INTER_NEAREST缩小得到的是“稀疏采样”结果模型学到的映射会偏。sigmaX1.0是高斯核的标准差这个值影响模糊强度一般按缩放因子的 0.5~1.0 倍设4 倍下采样用 1.0 比较稳。参数说明cv2.resize的interpolation参数生成训练用的 LR 时用INTER_LINEAR或INTER_CUBIC都可以但要注意在训练代码里预处理 LR 时不能再用同样的插值方式否则模型会退化。数据集的划分也要注意训练集、验证集、测试集要分开不能混在一起。2.4 跑一个最小训练脚本验证链路真正的训练脚本在 zip 里可能有但为了验证环境没问题我习惯先跑一个简单的“热身”脚本随机生成一批低分辨率到高分辨率的映射用一个小网络拟合一下确认前向传播、反向传播、损失计算这三个环节是通的。import torch import torch.nn as nn import torch.optim as optim # 超分模型的最小骨架转置卷积上采样 卷积重建 class MiniSR(nn.Module): def __init__(self, upscale_factor4): super().__init__() self.conv1 nn.Conv2d(3, 64, kernel_size3, padding1) self.conv2 nn.Conv2d(64, 64, kernel_size3, padding1) # 转置卷积完成 4 倍上采样 self.upsample nn.ConvTranspose2d(64, 64, kernel_size4, stride2, padding1) self.conv3 nn.Conv2d(64, 3, kernel_size3, padding1) self.relu nn.ReLU(inplaceTrue) def forward(self, x): x self.relu(self.conv1(x)) x self.relu(self.conv2(x)) x self.relu(self.upsample(x)) x self.conv3(x) return x # 模拟输入输出 model MiniSR() criterion nn.L1Loss() optimizer optim.Adam(model.parameters(), lr1e-4) # 随机生成一批 16x16 的 LR 和 64x64 的 HR lr_batch torch.randn(2, 3, 16, 16) hr_batch torch.randn(2, 3, 64, 64) for step in range(50): optimizer.zero_grad() output model(lr_batch) loss criterion(output, hr_batch) loss.backward() optimizer.step() if step % 10 0: print(fstep {step}, loss {loss.item():.4f})逻辑说明这个脚本里MiniSR是超分模型最基础的形态前两层卷积提取特征转置卷积把空间尺寸放大 2 倍连续两次就得到 4 倍。ConvTranspose2d的stride2, padding1, kernel_size4是常见配置保证输出尺寸是输入尺寸的 2 倍。如果这里尺寸算错后面训练会直接报形状不匹配的错。参数说明lr1e-4是超分训练的典型初始学习率Adam 优化器常用。损失函数用L1Loss而不是L2Loss是因为 L1 对异常值不那么敏感超分重建结果在 PSNR 上差不多但视觉纹理更自然这个后面会展开。跑完这 50 步如果 loss 从 0.6 左右下降到 0.3 左右说明整个链路是通的可以正式跑 zip 里的完整训练脚本了。3. 核心模块拆解模型结构、损失函数与评价指标怎么设3.1 超分模型的三个流派SRCNN、ESPCN、SRGANzip 里的代码如果是典型的深度学习超分项目大概率包含不止一个模型。我拆包看到的多数情况是SRCNN2014 年开山之作、ESPCN亚像素卷积实时性好、SRGAN生成对抗网络视觉效果好。三者的关系不是替代而是不同场景的取舍。import torch.nn as nn import torch.nn.functional as F class ESRGAN_Generator(nn.Module): ESRGAN 风格生成器RRDB 块 上采样 def __init__(self, num_rrdb16, upscale4): super().__init__() self.conv_first nn.Conv2d(3, 64, 3, 1, 1) # RRDB 块序列简化版 self.rrdbs nn.ModuleList([ResidualDenseBlock(64) for _ in range(num_rrdb)]) self.conv_body nn.Conv2d(64, 64, 3, 1, 1) # 两个像素混洗上采样实现 4 倍 self.upsample1 nn.Sequential( nn.Conv2d(64, 64 * 4, 3, 1, 1), nn.PixelShuffle(2) ) self.upsample2 nn.Sequential( nn.Conv2d(64, 64 * 4, 3, 1, 1), nn.PixelShuffle(2) ) self.conv_last nn.Conv2d(64, 3, 3, 1, 1) def forward(self, x): feat self.conv_first(x) feats feat for block in self.rrdbs: feats block(feats) feats self.conv_body(feats) feat feats self.upsample1(feats) feats self.upsample2(feats) return self.conv_last(feats)逻辑说明ESRGAN 的思路是先提取特征经过一系列残差稠密块RRDB增强表达能力再用像素混洗PixelShuffle完成上采样。PixelShuffle(2)的输入通道数必须是输出通道数的 4 倍因为每个 2x2 区域的子像素重排所以Conv2d(64, 64*4, ...)是有意为之。没有这个理解很容易把通道数写错然后报错说形状不匹配——这属于超分新手最常见的报错之一。参数说明num_rrdb16是 ESRGAN 原论文的配置实际训练很吃显存。如果你只有一块 8GB 的卡建议改成 8 或 4先用小网络验证流程别一开始就追求完整配置。upscale4只在这个函数里写死了但实际要支持 2x/3x/4x 的话需要把上采样部分做成条件结构后面进阶部分再补。3.2 损失函数的选型L1、L2、感知损失、对抗损失超分训练的核心是定义“重建图与真实图有多像”。不要以为 L2MSE是唯一选择实际项目里 L1 和感知损失更常用。原因很简单L2 倾向于产生平滑的输出人脸会变“塑料感”细节全没了L1 能保持更多边缘锐度而感知损失Perceptual Loss使用 VGG 网络提取高层特征比较的是“语义内容”而非像素值。import torch import torch.nn.functional as F from torchvision.models import vgg19 class VGGPerceptualLoss(torch.nn.Module): def __init__(self, layer_ids(2, 7, 12, 20, 29)): super().__init__() vgg vgg19(pretrainedTrue).features self.layers torch.nn.ModuleList([vgg[i] for i in layer_ids]) # 冻结 VGG 参数 for p in self.parameters(): p.requires_grad False # 归一化参数与 VGG 训练时一致 self.register_buffer(mean, torch.tensor([0.485, 0.456, 0.406]).view(1, 3, 1, 1)) self.register_buffer(std, torch.tensor([0.229, 0.224, 0.225]).view(1, 3, 1, 1)) def forward(self, sr, hr): sr (sr - self.mean) / self.std hr (hr - self.mean) / self.std loss 0 x_sr, x_hr sr, hr for layer in self.layers: x_sr layer(x_sr) x_hr layer(x_hr) loss F.l1_loss(x_sr, x_hr) return loss逻辑说明感知损失的核心是逐层计算 VGG 特征图的 L1 距离。选(2, 7, 12, 20, 29)这五个层分别对应浅层边缘、中层纹理、深层语义兼顾了不同粒度。实现里最容易被忽略的坑是归一化——VGG 在 ImageNet 上训练时是带 mean/std 的如果你直接把归一化后的[0,1]图像喂进去特征分布是错的loss 会出现玄学漂移。参数说明layer_ids不是越多越好。取太多浅层会让重建图过度拟合噪声取太少高层会丢失纹理。我一般用(2, 7, 12, 20, 29)五层或者(7, 12, 20, 29)四层。另外感知损失通常会和 L1 损失加权组合total_loss l1_loss 0.1 * perceptual_loss这个 0.1 的权重需要根据数据集调不是固定值。3.3 评价指标PSNR 和 SSIM 怎么算才靠谱每次评估超分模型不能只看肉眼效果得有量化指标。PSNR峰值信噪比和 SSIM结构相似性是两大标准。但很多人算出来的 PSNR 和别人报告的差一大截大概率是评价代码里的边界处理问题。import numpy as np import cv2 def calculate_psnr(img1, img2, border0): # img1, img2: 都是 [0,255] uint8 的 BGR 图像 if border 0: img1 img1[border:-border, border:-border] img2 img2[border:-border, border:-border] mse np.mean((img1.astype(np.float64) - img2.astype(np.float64)) ** 2) if mse 0: return float(inf) return 10 * np.log10(255.0 * 255.0 / mse) def calculate_ssim(img1, img2, border0): if border 0: img1 img1[border:-border, border:-border] img2 img2[border:-border, border:-border] # 转换到灰度标准 SSIM 是在单通道上算的 gray1 cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY) gray2 cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY) return cv2.SSIM(gray1, gray2) # 注意 OpenCV 4.x 以后可用逻辑说明border参数是关键。大部分超分模型的输出比原始 HR 图小一圈因为卷积没有 padding 或者有边界裁剪。直接拿两个尺寸不同或边缘不对齐的图算 PSNR指标会严重失真。设置border0表示不裁剪border4表示两边各裁 4 像素一般按模型的感受野大小来设。另外PSNR 对像素值范围很敏感输入是[0,1]float 还是[0,255]uint8公式里的常数要从 255 改成 1否则结果差 48dB 以上完全对不上号。参数说明SSIM 用 OpenCV 的cv2.SSIM很简单但它默认在单通道上计算。实际论文里报告的 SSIM 是 RGB 三通道的平均值或者是在 YCbCr 空间的 Y 通道上计算。建议复现时明确写清楚计算方式否则你拿自己的指标和论文对比时会对不上造成“我模型怎么这么差”的假象。这个坑我踩过前后至少浪费了一周。4. 训练参数与调参batch size、学习率、patch size 的推荐值4.1 patch size 决定感受野和显存占用超分训练很少把整张图直接塞进模型而是从 HR 图上随机裁剪小方块patch对应 LR 上裁剪更小的方块。为什么要裁 patch因为整张图太大显存放不下而且模型训练只需要局部统计信息。patch 大小的选择直接影响训练稳定性和最终效果。# 常见参数组合供参考 HR patch size: 192x192 LR patch size: 48x48 # 4倍下采样后 batch size: 16逻辑说明HR patch 裁多大LR patch 就按缩放因子反推。192/448这是 4 倍超分的经典配置。patch 太小如 64会导致模型看不到足够的上下文重建纹理时“脑补”不足patch 太大如 384显存吃不消且训练变慢。我用 8GB 显存跑 ESRGAN 时HR patch 从 128 起调发现 192 效果最好但显存接近极限最后用梯度累积模拟更大 batch 才平衡下来。参数说明batch size 和 patch size 是联动的。显存不够时优先调小 batch size而不是 patch size。patch size 影响模型能看到的信息量batch size 影响梯度估计的稳定性。我常用的经验值是batch size 8~16HR patch 128~192。如果你的模型带 BN 层batch size 太小比如 2会导致 BN 统计量抖动训练 loss 曲线像心电图一样上下跳。4.2 学习率调度从 1e-4 开始按里程碑衰减超分训练的学习率不像分类任务那样可以从 1e-3 起步因为像素回归任务对参数更新幅度更敏感。常见做法是初始 1e-4每训练 100 轮epoch衰减一半或者用余弦退火。import torch.optim as optim from torch.optim.lr_scheduler import MultiStepLR optimizer optim.Adam(model.parameters(), lr1e-4, betas(0.9, 0.999)) scheduler MultiStepLR(optimizer, milestones[100, 150, 180], gamma0.5) # 训练循环中每个 epoch 结束调用 # scheduler.step()逻辑说明MultiStepLR在训练到第 100、150、180 轮时学习率乘 0.5。为什么不用ReduceLROnPlateau因为超分 loss 的波动较大依赖验证集指标触发的衰减容易在噪声低谷提前收敛。固定里程碑更可控。训练初期用lr1e-4均匀探索后期用lr6.25e-6微调细节这是比较稳的节奏。参数说明如果你用的是 ESRGAN 这类对抗网络生成器和判别器的学习率要区分。常见配置是生成器 1e-4判别器 1e-5让判别器慢慢学避免生成器被碾压导致训练崩溃。这个学习率比例失衡是 SRGAN 训练最容易翻车的地方之一后面避坑章会细说。4.3 数据增强翻转和旋转是免费的午餐超分的训练增强比分类简单因为不需要复杂的裁剪策略。我个人必做的是水平和垂直翻转、90 度旋转偶尔加色彩抖动。注意不能做缩放增强因为你固定了缩放因子对 LR 再缩放会破坏对应关系。from torchvision import transforms # HR patch 和 LR patch 使用相同的随机种子和变换 def augment_pair(hr_patch, lr_patch): # 随机水平翻转 if torch.rand(1) 0.5: hr_patch torch.flip(hr_patch, dims[2]) lr_patch torch.flip(lr_patch, dims[2]) # 随机旋转 0/90/180/270 k torch.randint(0, 4, (1,)).item() hr_patch torch.rot90(hr_patch, k, dims[2, 3]) lr_patch torch.rot90(lr_patch, k, dims[2, 3]) return hr_patch, lr_patch逻辑说明核心关键是 HR 和 LR 必须做完全一致的增强。如果只翻转 HR 不翻转 LR模型学到的映射是错乱的loss 根本降不下去。用同一个随机数种子或同一个操作序列就能保证一致性。有些代码用transforms.RandomHorizontalFlip(p0.5)单独处理每个分支这是错误的必须像上面这样同时操作。参数说明旋转和翻转能扩大 8 倍训练样本虽然内容相同但能显著提升模型对方向的鲁棒性。色彩抖动我一般在 RGB 空间做轻微抖动幅度控制在 0.1 以内否则会影响色准。4.4 训练中的监控指标别只盯着 loss训练时最好每个 epoch 结束时在验证集上算一次 PSNR/SSIM而不是只看训练 loss。因为训练 loss 是 L1 或感知损失验证集上算的 PSNR 才能直观反映重建质量。# 训练输出的理想节奏 Epoch 1: train loss 0.045, val PSNR 25.13 dB, SSIM 0.7923 Epoch 50: train loss 0.021, val PSNR 27.45 dB, SSIM 0.8451 Epoch 100: train loss 0.016, val PSNR 28.02 dB, SSIM 0.8610 Epoch 150: train loss 0.013, val PSNR 28.11 dB, SSIM 0.8632如果发现训练 loss 一直在降但验证 PSNR 到某个点后开始下降那就是过拟合了。此时应该降低学习率、增加数据增强、或者把 patch size 调大一点。SSIM 的提升幅度通常比 PSNR 小因为它更关注结构信息纹理重建对 SSIM 的拉动不如边缘清晰度来得明显。5. 避坑指南超分训练常见的 4 个翻车现场5.1 现象PSNR 很高但看出明显的棋盘格伪影原因转置卷积ConvTranspose2d在重叠区域会产生不均匀的放权重叠也就是“棋盘格效应”。这种伪影在 L2 损失下会被平均掉一部分但在感知损失下可能被 VGG 当作纹理学进去结果 PSNR 不低肉眼却很假。解决不用转置卷积改用nn.PixelShuffle亚像素卷积。像素混洗本质是重排操作没有可学习的重叠权重天然无棋盘格。如果必须用转置卷积可以加一层固定权重的低通滤波平滑但我通常直接换 PixelShuffle。# 用 PixelShuffle 替代 ConvTranspose2d 的上采样部分 def upsample_block(in_ch, out_ch, scale2): return nn.Sequential( nn.Conv2d(in_ch, out_ch * scale * scale, 3, 1, 1), nn.PixelShuffle(scale) )提醒检查模型定义里有没有nn.ConvTranspose2d这是大多数伪影的源头。5.2 现象训练 loss 像过山车最后直接炸成 NaN原因生成对抗网络GAN模式下判别器收敛太快把生成器的梯度推到一个极端导致数值溢出。另一个常见原因是学习率太高或输入图像里存在异常像素如 255 和 0 并存导致梯度爆炸。解决先看 loss 炸掉的那一步输入是什么用torch.isnan检查数据。如果是 GAN 训练把判别器的学习率降到生成器的 1/10并在判别器输入中加标签平滑真实标签从 1.0 改为 0.9~1.0 的随机值减小对生成器的压强。# 标签平滑示例 real_label torch.rand(batch_size, 1) * 0.1 0.9 fake_label torch.rand(batch_size, 1) * 0.1逻辑说明真实标签不再固定为 1而是一个 0.9~1.0 的随机数假标签是 0~0.1这样判别器无法过度自信梯度更平稳。这个技巧是 SRGAN 训练能稳住的定海神针。5.3 现象训练和验证的 PSNR 相差 5dB怀疑是数据泄漏原因数据划分不正确。比如压缩包里所有图都在一个文件夹你没按固定顺序切分导致验证集的 HR 图出现在训练集里。或者生成 LR 时用了随机插值导致同一张图的 LR 和 HR 来自不同版本。解决管好数据集用文件名的哈希或索引做训练/验证划分确保不重叠。我习惯把划分映射存成一个 JSON 或 CSV每次训练用同一个划分文件。import json import hashlib all_images os.listdir(data/train_HR) train_list, val_list [], [] for img in all_images: h hashlib.md5(img.encode()).hexdigest() if int(h, 16) % 10 0: # 10% 做验证 val_list.append(img) else: train_list.append(img) with open(split.json, w) as f: json.dump({train: train_list, val: val_list}, f)提醒超分数据本来就少数据泄漏极易发生。确保验证集图像在训练前被严格剔除。5.4 现象用别人训练好的权重做推理输出一团黑或一团灰原因权重和代码的预处理/后处理不一致。比如训练时图像归一化到[0,1]推理时你输入的是[0,255]或者输出的 tensor 没有 clip 到[0,1]就直接转成 uint8导致值溢出变黑。解决在推理脚本里固定统一的数据流。输入先转 float 除以 255模型输出后乘以 255再 clip 到 0~255最后转 uint8。def inference(model, lr_image): # lr_image: numpy uint8 [H, W, 3] lr_tensor torch.from_numpy(lr_image.transpose(2, 0, 1)).float().unsqueeze(0) / 255.0 with torch.no_grad(): sr_tensor model(lr_tensor) sr_np sr_tensor.squeeze(0).clamp(0, 1).mul(255).permute(1, 2, 0).cpu().numpy().astype(uint8) return sr_np逻辑说明clamp(0, 1)这步很多人会忘模型输出没有硬性约束可能溢出到 1.2 或 -0.3不做 clip 转 uint8 后就会产生奇怪的颜色。另外注意permute之前 tensor 的布局是[C, H, W]转成 numpy 后要[H, W, C]才能用cv2.imwrite保存。6. 进阶技巧用感知损失和 RRDB 结构提升重建质感当你已经跑通基础超分模型发现 PSNR 不错但纹理还是糊的这时候需要上感知损失和生成对抗网络。这是我在做真实场景图像增强时最常用的升级路径。6.1 从 ESRGAN 借 RRDB 结构ESRGAN 的生成器主体是残差稠密块RRDB。和普通残差块相比RRDB 在残差内部又嵌套了稠密连接让梯度流动更顺畅特征复用能力更强。如果你要在自己的模型里替换基础卷积块RRDB 是性价比最高的选择。class ResidualDenseBlock(nn.Module): def __init__(self, channels64): super().__init__() self.conv1 nn.Conv2d(channels, channels, 3, 1, 1) self.conv2 nn.Conv2d(channels * 2, channels, 3, 1, 1) self.conv3 nn.Conv2d(channels * 3, channels, 3, 1, 1) self.conv4 nn.Conv2d(channels * 4, channels, 3, 1, 1) self.conv5 nn.Conv2d(channels * 5, channels, 3, 1, 1) self.lrelu nn.LeakyReLU(negative_slope0.2, inplaceTrue) def forward(self, x): x1 self.lrelu(self.conv1(x)) x2 self.lrelu(self.conv2(torch.cat([x, x1], dim1))) x3 self.lrelu(self.conv3(torch.cat([x, x1, x2], dim1))) x4 self.lrelu(self.conv4(torch.cat([x, x1, x2, x3], dim1))) x5 self.conv5(torch.cat([x, x1, x2, x3, x4], dim1)) # 残差连接缩放 0.2 稳定训练 return x5 * 0.2 x逻辑说明每个卷积的输入通道数是递增的把前面所有层的输出拼起来再卷积这就是稠密连接的由来。torch.cat的维度是 1通道维如果通道数写错这里会直接报错。最后一个*0.2 x是残差缩放这是 ESRGAN 的关键改动——让每个块对最终输出的贡献更温和训练更稳定。参数说明negative_slope0.2是 LeakyReLU 的常见设置比 ReLU 少丢失负值信息在超分里比 ReLU 好用。替换时注意RRDB 的计算量比普通卷积块大得多显存不够就减少堆叠数量16 个块是原版8 个块也能用。6.2 感知损失怎么和对抗损失配比只用感知损失能得到视觉上锐利的图像但可能丢失一部分真实纹理的细节。加入对抗损失后生成器会被判别器逼着生成“看起来像真实图像”的纹理但对抗损失过强会让图像产生伪影。我常用的配比是perceptual_loss VGGPerceptualLoss() # 总损失 1.0 * L1 0.1 * 感知 0.01 * 对抗 g_loss l1_loss * 1.0 percep_loss * 0.1 adv_loss * 0.01逻辑说明L1 是地基保证全局颜色和结构不歪感知损失保证纹理质感对抗损失只做最后的“锦上添花”。如果对抗损失权重大于 0.01训练很容易飘。这个经验来自多次实验你可以从1.0, 0.1, 0.01开始根据结果微调。6.3 验证重建效果肉眼、指标、错位检查一个都不能少训练完成后除了算 PSNR/SSIM我还会做三个小验证。第一是切放大区域对比随机选人脸、文字边缘、高光区域放大 200%肉眼检查有没有重影或锯齿。第二是把重建图和 HR 图做残差图如果残差里还有明显的结构轮廓说明模型没学到那个位置的纹理。第三是检查边缘错位对重建图和 HR 图分别做 Canny 边缘检测算边缘重合度。import cv2 def edge_alignment_score(sr_path, hr_path): sr cv2.imread(sr_path, cv2.IMREAD_GRAYSCALE) hr cv2.imread(hr_path, cv2.IMREAD_GRAYSCALE) sr_edge cv2.Canny(sr, 100, 200) hr_edge cv2.Canny(hr, 100, 200) overlap cv2.bitwise_and(sr_edge, hr_edge) score overlap.sum() / (hr_edge.sum() 1e-6) return score逻辑说明边缘重合度在 0.6 以上说明几何结构基本正确低于 0.4 就要警惕模型产生了结构性偏移。Canny 阈值 100/200 是经验值可以按图像对比度调整。这个验证不需要写进论文但落地时很有价值—它能帮你发现模型是否为了追求 PSNR 把边缘“磨平”了。6.4 我自己的教训不要迷信更大的 patch 和更深的网络最后一次提醒也是我踩过最久的坑超分模型不是网络越深越好。我用 16 个 RRDB 堆出来的模型在 4K 图上推理时间超过 1 秒而用 8 个 RRDB 的模型PSNR 只低了 0.1dB推理速度快了一倍。实际上大部分真实项目场景资源有限优先保证推理速度。而且 patch size 从 192 加到 256在验证集上 PSNR 提升不到 0.05dB训练时间却多了 40%。所以拿到一个超分项目第一反应不是冲大模型而是先限制显存预算在预算内选一个合理的配置然后专心调损失函数和数据质量这才是提升效果最快的路径。希望这些经验对你有帮助照着上面的步骤把你的 zip 跑通再踩一遍我提到的坑基本就能摸清超分项目的套路了。本文还有配套的精品资源点击获取
阅读完成 · 觉得有帮助？
