# 重参数化 前面零散用过 $x=\mu+\sigma\varepsilon$。这一课把它单独立起来:它到底「技巧」在哪,为什么扩散里采样、训练都靠它。 > [!abstract] 采样配方 > 想从 $\mathcal{N}(\mu,\sigma^2)$ 抽一个样本,不直接抽,而是: > 先从标准正态抽 $\varepsilon\sim\mathcal{N}(0,1)$; > 再算 $x=\mu+\sigma\varepsilon$。 > 得到的 $x$ 就服从 $\mathcal{N}(\mu,\sigma^2)$(均值 $\mu$、方差 $\sigma^2$,07、08 验过)。 > [!abstract] 技巧在哪:把随机锁进 $\varepsilon$ > **随机性全锁在 $\varepsilon$ 里,$\varepsilon$ 是个固定的标准噪声源(永远 $\mathcal{N}(0,1)$,和 $\mu,\sigma$ 无关)。** > $\mu,\sigma$ 是确定的旋钮:$\mu$ 决定挪到哪,$\sigma$ 决定拉多胖。 > **所以给定一次 $\varepsilon$ 之后,$x=\mu+\sigma\varepsilon$ 就是 $\mu,\sigma$ 的一个确定、光滑的运算。** > [!note]- 为什么「确定、可导」重要(够用直觉) > 「直接从 $\mathcal{N}(\mu,\sigma^2)$ 抽样」这个动作本身带随机,没法对 $\mu,\sigma$ 求导(结果跳来跳去,导数无从谈起)。 > 把随机挪到固定的 $\varepsilon$ 上,剩下的 $\mu+\sigma\varepsilon$ 是普通确定运算,可导。于是训练时梯度能「穿过」采样这一步,传回 $\mu,\sigma$(或产生它们的网络)。这就是它被叫「技巧」的原因。 > [!abstract] 和扩散对上:哪些是工具、哪些是设计 > **前向加噪 $x_t=\sqrt{\bar\alpha}\,x_0+\sqrt{1-\bar\alpha}\,\varepsilon$ 就是一次重参数化**: > 中心 $\mu=\sqrt{\bar\alpha}\,x_0$,拉胖系数 $\sigma=\sqrt{1-\bar\alpha}$,锁住的随机 $\varepsilon\sim\mathcal{N}(0,1)$。 > 这条式子里哪些是现成的、哪些是设计的,分三层看: > 工具(通用):重参数化 $\mu+\sigma\varepsilon$ 本身,任何高斯都能这么采,不是扩散专有。 > 设计(作者定的):每个 $t$ 那坨高斯云的中心 $\sqrt{\bar\alpha}\,x_0$ 和方差 $1-\bar\alpha$,也就是 schedule(由每步 $\beta_t$ 累乘出来)。作者把它调成 $t=0$ 干净图、$t=T$ 纯噪声、总方差守恒。 > 推导(数学必然):这个一步到位式,是从单步递推 $x_t=\sqrt{1-\beta_t}\,x_{t-1}+\sqrt{\beta_t}\,\varepsilon_t$ 一路套下来、噪声合并推出来的,不是另外规定的。 > 一句话:先决定云的形状(中心、散开),重参数化就免费把采样式给你。 > 用起来:「把一张图加噪到第 $t$ 步」不用真的从 $q(x_t\mid x_0)$ 里抽,直接抽一个 $\varepsilon$、算 $\sqrt{\bar\alpha}\,x_0+\sqrt{1-\bar\alpha}\,\varepsilon$ 就行,训练时一行就造出 $x_t$。 > [!question]- 练习两道 > 一,要从 $\mathcal{N}(7,25)$ 抽样,写出用 $\varepsilon\sim\mathcal{N}(0,1)$ 的配方。 > 二,$x_t=\sqrt{1-\beta_t}\,x_{t-1}+\sqrt{\beta_t}\,\varepsilon$($x_{t-1}$ 给定),这是一次重参数化,指出它的 $\mu$ 和 $\sigma$。 > [!note]- 练习答案 > 第一题:$\mu=7$,$\sigma=\sqrt{25}=5$。配方:抽 $\varepsilon\sim\mathcal{N}(0,1)$,算 $x=7+5\varepsilon$。 > 第二题:中心 $\mu=\sqrt{1-\beta_t}\,x_{t-1}$,拉胖系数 $\sigma=\sqrt{\beta_t}$,$\varepsilon\sim\mathcal{N}(0,1)$ 是锁住的随机。这正是 DDPM 的单步加噪。