这一步:回看整篇的骨架,论文 Table 1 那张「设计空间」表,把前面各章的旋钮归位;汇总 EDM 自己那一列的取值;再看结果(Table 2 一步步加旋钮 FID 怎么降)。
## §7.1 四类旋钮(Table 1 的结构)
EDM 的核心主张:**扩散模型的设计选择可以拆成四类互相独立的旋钮,改一个不必动其他**。
| 旋钮类 | 具体是什么 | 本单元章节 |
|---|---|---|
| 采样 | 用什么数值解法(Euler / Heun 二阶)、要不要加随机搅动 | §3、§4 |
| 噪声调度 | $\sigma(t)$、$s(t)$、采样步长序列 $\{\sigma_i\}$ | §2、§3 |
| 网络 / preconditioning | $F_\theta$ 的架构、$c_{skip},c_{out},c_{in},c_{noise}$ | §5 |
| 训练 | 损失加权 $\lambda(\sigma)$、训练噪声分布 $p_{train}(\sigma)$ | §6 |
表里的列是不同方法:VP、VE(都来自 Score-SDE)、iDDPM+DDIM(iDDPM = improved DDPM,Nichol & Dhariwal 2021 的 DDPM 改进版)、以及 EDM。同一张表、不同取值:VP/VE/iDDPM 是旧方法落在这个框架里的取值(已在 Score-SDE 单元学过),EDM 是自己逐个旋钮调出来的一组。
## §7.2 EDM 那一列(本单元的落点汇总)
| 旋钮 | EDM 取值 |
|---|---|
| 噪声调度 $\sigma(t)$、$s(t)$ | $\sigma(t)=t$,$s(t)=1$(§2) |
| 采样步长 $\{\sigma_i\}$ | 论文式(5),$\rho=7$(§3) |
| ODE 解法 | Heun 二阶(§3);难数据可加随机搅动(§4) |
| $c_{skip}(\sigma)$ | $\sigma_{data}^2/(\sigma^2+\sigma_{data}^2)$(§5) |
| $c_{out}(\sigma)$ | $\sigma\sigma_{data}/\sqrt{\sigma^2+\sigma_{data}^2}$(§5) |
| $c_{in}(\sigma)$ | $1/\sqrt{\sigma^2+\sigma_{data}^2}$(§5) |
| $c_{noise}(\sigma)$ | $\dfrac14\ln\sigma$(§5) |
| 损失加权 $\lambda(\sigma)$ | $1/c_{out}(\sigma)^2=(\sigma^2+\sigma_{data}^2)/(\sigma\sigma_{data})^2$(§6) |
| 训练噪声分布 | $\ln\sigma\sim\mathcal N(P_{mean},P_{std}^2)$(§6) |
参数:$\sigma_{min}=0.002$、$\sigma_{max}=80$、$\sigma_{data}=0.5$、$\rho=7$、$P_{mean}=-1.2$、$P_{std}=1.2$。
## §7.3 结果(Table 2:一步步加旋钮)
论文从 Score-SDE 的基线出发,逐项加 EDM 的旋钮,看 FID(越低越好)怎么变(以 CIFAR-10 条件、VP 为例):
| 配置 | 加了什么 | FID |
|---|---|---|
| A | 基线(Score-SDE 原始训练配置 + EDM 确定性采样器) | 2.48 |
| B | + 调基本超参 | 2.18 |
| C | + 重新分配网络容量 | 2.08 |
| D | + EDM preconditioning(§5) | 2.09 |
| E | + EDM 损失加权与噪声分布(§6) | 1.88 |
| F | + 非泄漏增广(§6) | 1.79 |
读这张表:D(preconditioning)本身几乎不降 FID,但让训练稳,从而放开手脚上 E;真正把 FID 拉下来的是 E(损失 + 噪声分布),F 再补一点。
综合成果:
- CIFAR-10:条件 FID **1.79**、无条件 **1.97**(当时 SOTA),采样只要 **35 次网络求值(NFE)**。
- ImageNet-64:用 EDM 训练配方从头训,FID **1.36**(新 SOTA)。仅靠换采样器,也能把一个原本 FID 2.07 的预训练模型提到 1.55。
## §7.4 随机 vs 确定性(再收一句)
如 §4 所说:训得好的 CIFAR-10 模型,确定性采样反而最好,加随机有害;而更难更多样的数据(ImageNet-64),随机采样仍有用。所以「要不要随机」本身也是个随数据而定的旋钮。
## 本节一条线
EDM 把扩散拆成采样、噪声调度、preconditioning、训练四类独立旋钮(Table 1),VP/VE/iDDPM 是旧取值、EDM 是调优的新取值;Table 2 显示 preconditioning(D)稳训练、损失+噪声分布(E)主降 FID,最终 CIFAR-10 1.79/1.97、ImageNet-64 1.36、35 NFE;随机与否随数据而定。