来源：对 Song 等，2021，arXiv:2011.13456 全文的收口 + 本单元 §0–§11 的覆盖盘点。 读法：§11.1 一页纸把整篇论文串成一条线；§11.2 十二节覆盖了论文哪些；§11.3 推导深度盘点；§11.4 下一步。 --- ## §11.1 整篇论文，一页纸 一句话：**这篇论文把「加噪—去噪」搬到连续时间，用一条 SDE 统一了 DDPM 和 NCSN，并指出反向生成只缺一个 score。** 顺着这一单元走一遍： 1. score 是本体（§1）。反向生成唯一要学的量是 score $\nabla_x\log p_t(x)$，它和 DDPM 预测的 $\varepsilon$ 只差一个已知系数（$\text{score}=-\varepsilon/$噪声标准差）。 2. 前向 = 一条加噪 SDE（§3）。$\mathrm dx=f\,\mathrm dt+g\,\mathrm dw$。换不同 $(f,g)$ 得三条河：VP（DDPM）、VE（NCSN）、sub-VP。DDPM、NCSN 不再是两套方法，是同一式子的两组系数。 3. 反向 = 同一条 SDE 倒着跑（§4）。$\mathrm dx=[f-g^2\nabla\log p_t]\mathrm dt+g\,\mathrm d\bar w$（Anderson 式 6）。$f,g$ 前向白送，唯一新东西是 score。 4. score 怎么训（§5）。把 §2 的离散 denoising score matching 推广成对所有时间 $t$ 加权积分的目标 $J(\theta)$；一个网络 $s_\theta(x,t)$ 吃所有噪声档。 5. 怎么采样：两条路，共用 $(f,g)$+score， - 概率流 ODE（§6）：删随机项、score 系数减半，确定性、和前向同边缘（DDIM 是它的特例）； - PC 采样（§7）：预测器（推进时间）+ 校正器（原地 Langevin 纠偏）交替，比单用任一半好。 6. ODE 的两个红利（§8）：精确似然（瞬时变量替换 + 散度迹估计）、可逆编码（隐空间插值／编辑），都建立在 ODE 的确定可逆上。 7. 工程与结果（§9）。把 score 网络（UNet）调强（NCSN++／DDPM++），刷出当时 CIFAR-10 新 SOTA、首个 $1024^2$ 高清、可算似然。 8. 可控生成与逆问题（§10）。条件 score = 无条件 score + 引导项（贝叶斯），得条件反向 SDE（式 14）；补全／上色用「每步把已知部分投影回去」。是下个单元 CFG 的本体。 骨架就一句：**$\mathrm dx=f\,\mathrm dt+g\,\mathrm dw$ 加一个 score，统一了你会的一切。** --- ## §11.2 各章对应论文结构 | 论文位置 | 内容 | 对应章节 | 覆盖 | |---|---|---|---| | §2.1 | NCSN / score matching / 退火 Langevin | §1、§2 | ✅ 全 | | §2.2 | DDPM 背景 | §1、§3 | ✅ 全 | | §3.1 | 前向 SDE | §3 | ✅ 全 | | §3.2 | 反向 SDE（Anderson 式 6） | §4 | ✅ 全（严格推导见 §4.3 折叠） | | §3.3 | SDE 的 score 估计（训练目标） | §5 | ✅ 全 | | §3.4 | VE／VP／sub-VP + 扰动核方差 | §3 | ✅ 全 | | §4.1 | SDE 数值解法 | §4.4、§7 | ✅ 主干（reverse diffusion sampler 已点名；校正器步长的信噪比设计、采样末步去噪技巧未展开） | | §4.2 | Predictor-Corrector | §7 | ✅ 全 | | §4.3 | 概率流 ODE | §6 | ✅ 全（同边缘证明见 §6.3 折叠） | | §4.3 | 精确似然 + 可逆编码／编辑 | §8 | ✅ 全（机制见折叠） | | §4.4 | 架构改进与结果 | §9 | ✅ 全（精确数字以论文原表为准） | | §5 | 可控生成 + 逆问题 | §10 | ✅ 全 | | 附录 A–E | 严格证明、扰动核细节、实验超参 | 散在折叠 | ✅ 两处关键证明已给完整一维推导（§4.3／§6.3 折叠）；严格高维／测度版从略 | **论文正文的概念主线，本单元各章都有对应。** 推导深度见 §11.3。 --- ## §11.3 推导深度盘点 本单元绝大多数推导都给到完整、可自己复现的程度：score 公式、VP／VE／sub-VP 的推导、连续时间训练目标、似然的散度与 Hutchinson 迹估计、条件 score 的贝叶斯拆分等，正文都走全。 两处最重的证明也已给到完整的一维推导（前置：附A）： - 反向 SDE 的 Anderson 公式（时间反演）：§4.3 折叠——前向 FP → 塞一整份进搬运项 → 时间倒流翻正，三步推出。 - 概率流 ODE 与前向同边缘、½ 的来历：§6.3 折叠——前向 FP → 全部塞进搬运项 → 纯输运方程，三步推出。 从略的只剩两级升级：高维记号的逐字重写（对应词典在附A §A.6）、测度层面的严格随机过程语言（Itô），即 Anderson 1982 原文那一档。 --- ## §11.4 下一步 - 进下一单元 classifier-free guidance（CFG）：§10 的条件 score 拆分（无条件 score + 引导项）就是它的地基，可直接衔接。 - §4.3／§6.3 的完整一维推导已在正文折叠（地基：附A，练习二给出 §6.3 那个 ½）。剩余升级：高维记号与严格随机过程语言（Itô）。 - §9 的实验数字（FID／IS／bits-dim）以论文 §4.4 原表为准。 --- ## 本节一条线 整篇论文 = $\mathrm dx=f\,\mathrm dt+g\,\mathrm dw$ 加一个 score，统一 DDPM（VP）／NCSN（VE）／sub-VP；反向只缺 score（§4），score 用连续时间目标训（§5），采样有概率流 ODE（§6）与 PC（§7）两条路，ODE 还白送精确似然与可逆编码（§8），配强化的 score 网络刷出 SOTA（§9），再扩成可控生成与逆问题（§10）。本单元各章已覆盖论文正文主线，两处关键证明已给完整一维推导（§4.3／§6.3 折叠），严格高维版从略。下一单元 CFG 由 §10 的条件 score 拆分直接接上。