★ FEATURED ARTICLE 简介这是一份关于去噪扩散概率模型DDPM的经典论文PDF适合AI研究者、图像生成方向开发者及深度学习初学者阅读用于系统理解扩散模型的理论基础与实现方法。论文从热力学启发的潜变量模型出发详细介绍了随机扩散过程、反向去噪生成、加权变分下界设计等核心内容并阐明扩散概率模型与去噪评分匹配、Langevin动力学之间的内在联系。同时作者在无条件CIFAR10数据集上取得Inception得分9.46、FID 3.17的结果在256x256 LSUN上达到接近ProgressiveGAN的样本质量为后续研究提供了重要基准。资源为单个PDF文件共1个文件大小约9.79MB包含完整论文正文、图表、参考文献便于离线精读与笔记整理。已有430人学习下载适合作为生成模型进阶学习或论文复现的参考资料。1. 拿到这份 PDF先弄清楚 DDPM 在解决什么第一次读 Denoising Diffusion Probabilistic Models.pdf 时我以为又是一篇只能看结论的生成模型论文。结果顺着“前向加噪、反向去噪”的主线读下去发现它把图像生成拆成了一条干净的马尔可夫链真实图像被逐步混入高斯噪声、变成近似白噪声网络再学会逆向剥噪把图像恢复出来。公式密度不低但最终收敛成一个可以直接写进训练循环的 MSE 损失复现门槛比想象中低。适合两类人受 GAN 模式崩塌困扰、想换稳定方案的从业者以及“代码能跑但效果不对”的复现新手。把这篇吃透比抄十个开源实现都管用。2. DDPM 的原理骨架前向过程、反向过程与损失函数为什么长这样这一章不打算把论文里的推导全部过一遍只讲透三条核心公式。后面写代码、选参数、排查问题全都要以它们为尺子。2.1 前向过程为什么偏偏是高斯噪声DDPM 的前向过程就是从数据分布里取出一个样本 x₀按预设的噪声表 β₁ 到 β_T 连续扩散 T 步。每一步的转移核写作q(x_t | x_{t-1}) N(x_t; √(1-β_t) x_{t-1}, β_t I)这个式子的含义有两层。第一层是图像内容被逐步稀释每一步只保留上一张图的 √(1-β_t) 比例同时叠加 β_t 量级的高斯噪声。即使每一步的 β 很小经过几百步串联保留系数会指数级衰减到 T 步时图像内容基本被完全淹没。第二层是工程上最要紧的性质。因为有重参数化技巧给定 x₀ 时x_t 不需要逐轮循环采样可以一步写出闭式形式。令 α_t 1-β_tᾱ_t ∏_{s1}^t α_s那么x_t √(ᾱ_t) x₀ √(1-ᾱ_t) εε ~ N(0,I)训练时无论 t1 还是 t1000都能一次算出带噪样本成本由 T 次前向降到 1 次。这正是 DDPM 能在单卡上复现的根基。很多新手上来先看损失函数我反而建议先把这个封闭式采样公式刻在脑子里后面所有代码都从这里展开。为什么必须用高斯噪声而不是均匀噪声这是整个方法能否成立的关键。高斯分布叠加后仍是高斯分布且任意平滑分布经过足够多步的加噪都会收敛到各向同性高斯这让反向过程的每一步条件分布也可以假设成高斯。换成均匀噪声叠加后分布族会改变反向条件分布没有解析形式网络就没有一个稳定的拟合目标。所以高斯噪声不是一个可选项而是整套推导的支点。β_t 的调度默认是线性变化β₁ 1e-4β_T 0.02T 1000。实际操作里这张表几乎不用改改动它带来的更多是训练不稳定而不是加速。后面出的余弦调度、sigmoid 调度属于改进工作先把线性调度跑通再进行其他尝试。2.2 反向过程让网络预测每步被加进去的噪声反向过程的目标很直观从纯噪声 x_T 出发利用参数化的条件分布 p_θ(x_{t-1}|x_t) N(x_{t-1}; μ_θ(x_t,t), Σ_θ(x_t,t))一步步还原。难点在于我们不知道真实的反向分布但前向过程的“真实后验” q(x_{t-1}|x_t, x₀) 是可以用贝叶斯公式解出来的它也服从高斯分布而且均值可以写成只依赖 x_t 和噪声 ε 的形式μ_θ(x_t,t) (1/√α_t) · (x_t - (β_t / √(1-ᾱ_t)) · ε_θ(x_t,t))看到这个式子就能明白网络真正要预测的不是去噪后的图像而是“前向过程里被加进去的那一组噪声”。训练时给它 x_t 和 t让它输出 ε 的估计值。这个设计有三个好处噪声 ε 的方差固定为 1损失量级天然稳定不同时间步的任务差异可被 t 条件控制采样时再把预测噪声代回公式逐层剥掉。这个“预测噪声”的约定会直接反映到模型结构上。所以常见的 U-Net 实现里输出层通常不加 tanh 或 sigmoid因为残差项是零均值的如果你顺手加一个非线性激活输出会有偏置训练看着没毛病采样结果却容易整体发灰。如果你在开源实现里看到输出层是纯卷积不要觉得奇怪这才是配得上高斯假设的做法。方差 Σ_θ 的处理也值得留意。原论文里并不训练方差而是把它固定成 β_t。网络只需要学均值训练复杂度大幅下降。学方差的版本是后续工作那是另一条路线不属于这份 PDF 的范畴。2.3 损失函数从变分下界收敛到一个 MSE训练目标的理论起点是最大化样本的变分下界ELBO。把它展开可以得到三部分终点先验误差、中间每一步的后验 KL 散度、最后一步的似然项。两个高斯分布之间的 KL 散度可以解析计算把常数项合并、把每一步的系数吸收掉之后最后剩下来的就是一个极简形式L_t E_{t,x₀,ε} [ || ε - ε_θ(x_t,t) ||² ]这里的 t 在 1 到 T 之间均匀采样x_t 由前向闭式公式一次性生成ε 就是用来生成 x_t 的那份噪声。模型不需要跑完 T 步反传每个 batch 随机取一个时间步即可。这也是 DDPM 训练成本低到你可以在单卡上完成实验的原因。实际代码里就是一行 F.mse_loss(pred_noise, target_noise)没有系数、没有 mask、没有额外的分类头。但有三个隐性约束容易漏。第一x₀ 必须归一化到 [-1,1]而不是 [0,1]这跟最终图像的对比度直接挂钩。第二t 的范围必须是 1..T不能出现 0t0 时 x_t 就等于 x₀扩散量为零让网络预测零噪声没有学习意义还会浪费边界时刻的表示。第三loss 绝对值的大小本身不直接等价于生成质量必须配合采样结果来监控这一点在验证章节会展开。如果只看损失曲线你会觉得 DDPM 训练得比 GAN 安稳得多但这份安稳是假象。损失降得再平滑也无法告诉你生成图像是不是已经具备清晰的局部结构所以我一直坚持先搞清楚公式再用采样图做唯一裁决。3. 从论文到代码一个最小可复现的 DDPM 训练实现我复现这个方向时最怕的不是公式看不懂而是网上实现太多、每个版本都有自己的一点点迁移偏差。建议按下面这条最小链路自己搭一遍全程不到 150 行核心代码。3.1 时间步编码与 U-Net 条件注入U-Net 不能只拿一张带噪图作为输入还要告诉网络“现在处于哪一个噪声强度”。这个信息通过时间步编码传入。论文里使用的是正弦位置编码逻辑和 Transformer 里的位置编码类似import torch import torch.nn as nn import math class SinusoidalPosEmb(nn.Module): def __init__(self, dim256): super().__init__() self.dim dim def forward(self, t): # t: (B,) 的整数时间步取值 1..T half self.dim // 2 scale -math.log(10000) / (half - 1) freqs torch.exp(torch.arange(half, devicet.device) * scale) args t[:, None] * freqs[None, :] return torch.cat([torch.sin(args), torch.cos(args)], dim-1)这段代码把每个 t 映射成一个 dim256 的向量。freqs 覆盖从低到高的频率sin/cos 交替排列后网络可以区分相距很近的时间步也能感知极强噪声与极弱噪声之间的差异。dim 通常选 256 或 512要与 U-Net 首层通道数匹配过小会让条件信息不够用过大则增加 MLP 映射层的参数量。拿到嵌入向量之后还需要一个 MLP 把它映射到 U-Net 各层通道数然后在残差块的入口相加。最常见的错误是时间嵌入加在了块的输出端或者只加在了 encoder没加在 decoder结果网络在多数时间步上条件失效训练损失能降、采样却全是雪花。检查方法很简单喂同一个 x_t分别传入 t1 和 t500看输出差异是否明显差异几乎为零就是条件注入写错了。3.2 前向加噪的实现一次到位的 q_sample 与索引边界前向过程有两种写法。第一种是循环逐步加噪每步套用公式适合可视化前向过程但不适合训练因为它把一次能算完的事情拆成了 T 次循环。训练里用的是一次到位的重参数化实现def build_noise_schedule(T1000): betas torch.linspace(1e-4, 0.02, T) alphas 1.0 - betas alphas_bar torch.cumprod(alphas, dim0) return betas, alphas, alphas_bar def q_sample(x0, t, noise, alphas_bar): # t 从 1 开始计步对应已经扩散了 1 步 idx (t - 1).long() sqrt_abar torch.sqrt(alphas_bar[idx]).view(-1, 1, 1, 1) sqrt_omab torch.sqrt(1.0 - alphas_bar[idx]).view(-1, 1, 1, 1) return sqrt_abar * x0 sqrt_omab * noise需要注意索引边界。alphas_bar 的第 0 个元素是 α₁即第一步扩散后的累积保留系数如果 t2 却直接取 alphas_bar[2]相当于把第三步的噪声强度套在了第二步头上整个训练的时间轴错位。更隐蔽的问题是 t0。有些实现把 t 的下限定为 0然后用 alphas_bar[t] 取值导致 t0 时 x_t 就已经带上了噪声模型被轻微但持续的错误信号干扰。我的习惯是在 q_sample 开头加一行assert idx.min() 0让越界尽早暴露而不是用 clamp 静默纠正。另外view 的形状要跟数据维度对应。图像是 [B,C,H,W]view(-1,1,1,1) 就可以如果换成 3D 医学图像或视频需要多一个维度写成 view(-1,1,1,1,1)。这个位置出错的概率不高但一旦出错生成结果的劣化模式非常像“训练不充分”很容易让人白白调一周学习率。3.3 训练主循环、EMA 与梯度裁剪超参数怎么设训练循环是整个复现里最没有玄学味的部分关键是把时间步和噪声的采样写对def train_step(model, x0, optimizer, betas, alphas_bar, T): B x0.size(0) # 时间步均匀采样不排序、不加权 t torch.randint(1, T 1, (B,), devicex0.device, dtypetorch.long) noise torch.randn_like(x0) xt q_sample(x0, t, noise, alphas_bar) pred model(xt, t) # 模型内部会先做位置编码 loss F.mse_loss(pred, noise) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() return loss.item()t 必须每个 batch 重新随机采样不能设计成固定递增序列。DDPM 对每个时间步的关注是均匀的如果你手动给某些时间步加权反而会破坏噪声尺度与学习信号的平衡。noise 也要重新 randn不能复用上一次的否则模型会记住一组特定的噪声模式。优化器和学习率方面Adam 是标准选择。我常用的学习率是 2e-4但 batch 小于 16 时不稳如果你显存有限建议直接降到 2e-5收敛慢一点但不容易中途飞掉。梯度裁剪建议从一开始就加上扩散模型 U-Net 的深度并不浅中高分辨率下梯度爆炸偶有发生clip 到 1.0 几乎不损失精度却能把 NaN 的概率压下去一大截。EMA 在这个任务里的收益非常明显我建议放在训练流程里。EMA 相当于把模型参数在训练轨迹上做了指数平均能抑制那些只对某个 batch 有效的极端波动。损失曲线可能差别不大但采样画质肉眼可见地更干净。一个精简实现如下class EMAModel: def __init__(self, model, decay0.995): self.decay decay self.model model self.shadow {k: v.detach().clone() for k, v in model.state_dict().items()} def update(self): for k, v in self.model.state_dict().items(): self.shadow[k] self.shadow[k] * self.decay v.detach() * (1 - self.decay) def swap_to_ema(self): self.backup {k: v.detach().clone() for k, v in self.model.state_dict().items()} self.model.load_state_dict(self.shadow) def restore_from_ema(self): self.model.load_state_dict(self.backup)decay 取 0.995 到 0.999 都可以。训练中每个 step 都调用 EMA.update()验证或采样时先 swap_to_ema()结束再 restore。要注意 EMA 对象必须在模型初始化后立刻创建否则前几百步的参数会被平均进去反而拖低质量。4. 采样与验证从白噪声生成图像的完整流程以及第一步该看什么训练写完只完成了一半另一半是采样和怎么判断“训好了”。这一章把两件事都落到可执行。4.1 反向采样循环1000 步怎么一步步走反向采样是训练逆过程先随机采样一个高斯噪声图然后从 tT 到 t1 逐步去噪。每一步用网络预测噪声再用均值公式还原 x_{t-1}非最后一步还要补一份随机噪声以保持分布的多样性。torch.no_grad() def ddpm_sample(model, betas, alphas, alphas_bar, T, shape, device): x torch.randn(shape, devicedevice) for t in reversed(range(1, T 1)): t_b torch.full((shape[0],), t, devicedevice, dtypetorch.long) pred model(x, t_b) a alphas[t - 1] abar alphas_bar[t - 1] b betas[t - 1] # 由贝叶斯后验得到的均值公式 mean (x - (b / torch.sqrt(1 - abar)) * pred) / torch.sqrt(a) if t 1: x mean torch.sqrt(b) * torch.randn_like(x) else: x mean return x每一步的噪声份量由 betas[t-1] 决定这也意味着你前面训练用的噪声表在采样时要原样复用改表等于改变生成分布。最终输出的 x 仍是在 [-1,1] 附近保存成图片时先做(x 1) / 2 * 255。如果你发现采样结果整体向某一个颜色偏移首先要检查的是归一化是否一致不要先怀疑网络结构。从纯白噪声到图像的变化过程非常直观最初几百步能看到整体轮廓从噪声里浮出后期主要是磨细节。如果你的采样结果在最后几十步还像雪花问题通常不在采样循环而在训练本身。4.2 验证指标怎么选FID、IS 与肉眼检查的取舍很多人复现扩散模型时只看 loss这是一个很容易误判的环节。loss 在 0.3 降到 0.05 之间时生成质量可能有巨大差异。我建议按下面的次序来验证。FID 是最常用的分布距离指标。它把生成图送进预训练的分类网络取中间层特征计算均值与协方差再与训练集特征做对比。这个指标对“整体分布覆盖度”比较敏感但它需要加载外部预训练权重离线环境跑不起来而且它对单张图的质量不敏感。所以 FID 适合训练到后期用来横向比较不同 checkpoint不适合作为前期调试信号。IS 对无条件生成模型的意义很弱它主要衡量“类别可分性”和“多样性”对纯风景、纯纹理这类无明确类别的数据集会造成误导。我一般只记录不做决策依据。最终裁决还是肉眼。固定用同一个随机种子生成 9 张图检查三件事结构是否合理、边缘是否锐利、色彩分布是否接近训练集。比如人脸数据集看五官是否对称建筑数据集看直线结构是否保持纹理数据集看局部单元是否重复且自然。肉眼检查看起来老土却是快速定位问题的最高效手段。4.3 识别三类失败样本把问题归到代码、数据还是训练当生成结果像雪花一样毫无结构时通常有三类原因它们的现象非常相似但排查路径完全不同。第一种是训练步数不足。此时训练 loss 还比较高生成结果与输入的高斯噪声几乎没有区别。解决方法是继续训练不要调结构。第二种是时间嵌入失效。loss 已经降到很低但生成结果依然是随机噪点。这时要检查条件注入尤其是 U-Net 的 decoder 里是否每一层都收到了时间嵌入。第三种是采样实现错误比如每一步重新用了同一个 noise而 randn 写在了循环外面。检查方法是单独打印某一轮x与mean的范围看数值是否越界。把失败样本归到这三类能少做很多无用功。我的经验是至少一半的“训练崩坏”其实是采样循环里一个索引写错导致的。5. 训练 DDPM 的高频坑现象、原因与解决办法复现这份 PDF 的过程中有几个坑几乎人人会踩。下面按“现象 → 原因 → 解决”的格式整理照着排查能省下大量试错时间。5.1 损失曲线下降采样结果却全是雪花噪点现象训练 loss 从 0.3 掉到 0.1看起来一切正常但采样 1000 步后生成图像像受潮的电视机画面没有任何可辨认结构。原因最常见的是时间嵌入没有正确注入 U-Net 的每一层尤其是跳跃连接之后的 decoder 部分。网络失去时间条件后相当于用同一套权重处理不同噪声强度的输入无法收敛出可用生成结果。另一个可能性是 U-Net 输出端加了不合适的激活函数破坏了对高斯噪声残差的预测。解决检查模型中每个残差块是否在第一次卷积前加入了时间嵌入映射后的向量。快速验证方法是取同一张 x_t分别传入 t10 和 t800对比输出张量的差异差异太小就是条件失效。如果输出层有 tanh 或 sigmoid先去掉再试。5.2 训练中段突然 NaN回滚后还是不稳定现象训练前几百步一切正常某一步 loss 突然变成 NaNloss 曲线像断崖一样跌进深渊重启训练后走到类似位置再次发生。原因最可能是混合精度训练下梯度或激活值溢出。U-Net 深度大加上时间步嵌入的数值范围较大fp16 动态范围有限。其次可能是学习率偏大、优化器在长时间运行后参数越过稳定区间。还有一种可能是 2D 数据里混入了损坏样本比如全黑图或全白图导致前向加噪后出现极端值。解决先关闭 AMP 用全精度跑 2000 步确认问题是否来自精度。再加梯度裁剪clip_grad_norm_(model.parameters(), 1.0)。然后把学习率从 2e-4 降到 2e-5 或 5e-5。仍然复现就在 loss 计算后加一个assert torch.isfinite(loss)打印出 NaN 时对应的 t 与样本索引检查数据里是否存在异常样本。5.3 生成图整体发灰丢失对比度现象生成图能看出轮廓但整张图像蒙了一层灰纱白色不够白黑色不够黑饱和度也偏低。原因大多时候是数据归一化和模型输出的取值域不一致。如果训练数据是 [0,1]扩散公式里的高斯噪声会以 [0,1] 的绝对量级叠加而采样时又被解释成 [-1,1]输出自然被压缩。还有一种常见原因是模型输出端用了 tanh限制了输出的动态范围让网络学不出锐利对比。解决统一用x0 (pixel / 127.5) - 1.0把数据归一化到 [-1,1]模型输出保持纯线性层不做额外映射采样保存图像时用(x 1) / 2转回 [0,1]。如果你坚持数据留在 [0,1]β 调度和损失公式都应当相应调整这不是一个可以随便混用的细节。5.4 显存不够时该优先调什么而不是加钱现象batch size 设为 4分辨率 128 就已经 OOM换更大的显卡又觉得成本不值。原因U-Net 的高分辨率阶段占用主要显存而梯度反向传播会保留每层的中间激活所以显存开销不只是模型参数的 2 倍。很多人一上来就加 batch size其实这一步并不减少单样本显存。解决先降起始通道数从 128 降到 64显存占用会降低到四分之一量级再考虑把输入分辨率降到 64等验证流程走通后再上原分辨率。如果只是想让梯度更稳定使用梯度累积每 4 个 step 做一次参数更新但注意这不会降低单步显存只相当于扩大了等效 batch。混合精度训练也能省约一半显存但要注意 NaN 风险配合 5.2 里的防护手段使用。5.5 1000 步采样太慢怎么在不影响画质的前提下快速验证现象单卡上对一个 batch 做 1000 步采样耗时几十秒训练期间频繁采样根本来不及最后只能凭 loss 猜效果。原因反向扩散必须串行完成1000 次网络前向计算一个都不能省瓶颈来自算法结构不是工程效率。这也让很多人在 GAN 里养成的“每 100 步看一次输出”的习惯失效。解决调参和验证阶段不追求完整 1000 步先用 DDIM 按 100 步或 50 步采样画质损失很小。下一章会给出 DDIM 的完整改法。训练中途只需要确认“结构在生成”“颜色不偏移”并不需要极致画质所以快速采样足够。最终发布前再跑一次完整 1000 步保留完整精度的结果。6. 用到项目前少步采样、条件生成与我的验收习惯6.1 用 DDIM 把采样步数从 1000 压到 100DDIM 可以复用 DDPM 训练好的权重不改变网络只改变采样公式。它去掉了每一步重新注入随机噪声的环节用确定性的线性轨迹近似反向过程因此可以在 100 步甚至 50 步内完成采样画质损失在多数数据集上肉眼难辨。核心替换公式如下torch.no_grad() def ddim_sample(model, alphas_bar, num_steps, shape, device): x torch.randn(shape, devicedevice) indices torch.linspace(0, len(alphas_bar) - 1, num_steps).round().long().tolist() for i in reversed(range(num_steps)): s indices[i] next_s indices[i - 1] if i 0 else -1 t_val s 1 # 模型仍以 1..T 作为时间步输入 pred model(x, torch.full((shape[0],), t_val, devicedevice, dtypetorch.long)) abar_s alphas_bar[s] abar_next alphas_bar[next_s] if next_s 0 else torch.tensor(1.0) # DDIM 确定性更新 x0_est (x - torch.sqrt(1 - abar_s) * pred) / torch.sqrt(abar_s) x torch.sqrt(abar_next) * x0_est torch.sqrt(1 - abar_next) * pred return x这段代码没有额外噪声项所以同样的模型在 50 步下也能产出稳定结果。如果你要在项目里做大批量生成或实时服务替换成这一版是性价比最高的改动。6.2 条件生成的最小改法与我的验收流程想让 DDPM 按类别生成最直接的办法是在时间嵌入之外再加一个 Label Embedding把两者相加或拼接后一起送入 U-Net 条件层。训练时给每个 batch 随机采样类别标签采样时固定指定同一个标签就能得到该类别的图像。这个改动量很小但对可控生成场景几乎必备。最后分享一个我用在项目上的固定验收流程先用 10 个 batch 跑通训练闭环确认没有形状报错再训到 loss 明显下降后用 EMA 权重和 50 步 DDIM 生成 16 张图做肉眼检查最后记录三组数据训练时间、采样耗时、FID。全部符合预期才上完整 1000 步采样。每次复现扩散模型我最大的教训就是不急着上大模型大图先在一个小数据上把生成闭环跑通模型、调度、采样三样哪一样不自洽都会把调试方向带偏。希望帮到你。本文还有配套的精品资源点击获取
阅读完成 · 觉得有帮助？
