这一步:回看整篇的骨架,论文 Table 1 那张「设计空间」表,把前面各章的旋钮归位;汇总 EDM 自己那一列的取值;再看结果(Table 2 一步步加旋钮 FID 怎么降)。 ## §7.1 四类旋钮(Table 1 的结构) EDM 的核心主张:**扩散模型的设计选择可以拆成四类互相独立的旋钮,改一个不必动其他**。 | 旋钮类 | 具体是什么 | 本单元章节 | |---|---|---| | 采样 | 用什么数值解法(Euler / Heun 二阶)、要不要加随机搅动 | §3、§4 | | 噪声调度 | $\sigma(t)$、$s(t)$、采样步长序列 $\{\sigma_i\}$ | §2、§3 | | 网络 / preconditioning | $F_\theta$ 的架构、$c_{skip},c_{out},c_{in},c_{noise}$ | §5 | | 训练 | 损失加权 $\lambda(\sigma)$、训练噪声分布 $p_{train}(\sigma)$ | §6 | 表里的列是不同方法:VP、VE(都来自 Score-SDE)、iDDPM+DDIM(iDDPM = improved DDPM,Nichol & Dhariwal 2021 的 DDPM 改进版)、以及 EDM。同一张表、不同取值:VP/VE/iDDPM 是旧方法落在这个框架里的取值(已在 Score-SDE 单元学过),EDM 是自己逐个旋钮调出来的一组。 ## §7.2 EDM 那一列(本单元的落点汇总) | 旋钮 | EDM 取值 | |---|---| | 噪声调度 $\sigma(t)$、$s(t)$ | $\sigma(t)=t$,$s(t)=1$(§2) | | 采样步长 $\{\sigma_i\}$ | 论文式(5),$\rho=7$(§3) | | ODE 解法 | Heun 二阶(§3);难数据可加随机搅动(§4) | | $c_{skip}(\sigma)$ | $\sigma_{data}^2/(\sigma^2+\sigma_{data}^2)$(§5) | | $c_{out}(\sigma)$ | $\sigma\sigma_{data}/\sqrt{\sigma^2+\sigma_{data}^2}$(§5) | | $c_{in}(\sigma)$ | $1/\sqrt{\sigma^2+\sigma_{data}^2}$(§5) | | $c_{noise}(\sigma)$ | $\dfrac14\ln\sigma$(§5) | | 损失加权 $\lambda(\sigma)$ | $1/c_{out}(\sigma)^2=(\sigma^2+\sigma_{data}^2)/(\sigma\sigma_{data})^2$(§6) | | 训练噪声分布 | $\ln\sigma\sim\mathcal N(P_{mean},P_{std}^2)$(§6) | 参数:$\sigma_{min}=0.002$、$\sigma_{max}=80$、$\sigma_{data}=0.5$、$\rho=7$、$P_{mean}=-1.2$、$P_{std}=1.2$。 ## §7.3 结果(Table 2:一步步加旋钮) 论文从 Score-SDE 的基线出发,逐项加 EDM 的旋钮,看 FID(越低越好)怎么变(以 CIFAR-10 条件、VP 为例): | 配置 | 加了什么 | FID | |---|---|---| | A | 基线(Score-SDE 原始训练配置 + EDM 确定性采样器) | 2.48 | | B | + 调基本超参 | 2.18 | | C | + 重新分配网络容量 | 2.08 | | D | + EDM preconditioning(§5) | 2.09 | | E | + EDM 损失加权与噪声分布(§6) | 1.88 | | F | + 非泄漏增广(§6) | 1.79 | 读这张表:D(preconditioning)本身几乎不降 FID,但让训练稳,从而放开手脚上 E;真正把 FID 拉下来的是 E(损失 + 噪声分布),F 再补一点。 综合成果: - CIFAR-10:条件 FID **1.79**、无条件 **1.97**(当时 SOTA),采样只要 **35 次网络求值(NFE)**。 - ImageNet-64:用 EDM 训练配方从头训,FID **1.36**(新 SOTA)。仅靠换采样器,也能把一个原本 FID 2.07 的预训练模型提到 1.55。 ## §7.4 随机 vs 确定性(再收一句) 如 §4 所说:训得好的 CIFAR-10 模型,确定性采样反而最好,加随机有害;而更难更多样的数据(ImageNet-64),随机采样仍有用。所以「要不要随机」本身也是个随数据而定的旋钮。 ## 本节一条线 EDM 把扩散拆成采样、噪声调度、preconditioning、训练四类独立旋钮(Table 1),VP/VE/iDDPM 是旧取值、EDM 是调优的新取值;Table 2 显示 preconditioning(D)稳训练、损失+噪声分布(E)主降 FID,最终 CIFAR-10 1.79/1.97、ImageNet-64 1.36、35 NFE;随机与否随数据而定。