# 高斯分布
前面一直在用 $\mathcal{N}(\mu,\sigma^2)$、$\mathcal{N}(0,1)$、$E[\varepsilon]=0$、$\mathrm{Var}(\varepsilon)=1$。**这一课把高斯本身说清楚:它长什么样,$\mu$ 和 $\sigma^2$ 是什么,为什么扩散里到处是它。**
> [!abstract] 高斯分布是什么
> 一条钟形曲线,记号 $X\sim\mathcal{N}(\mu,\sigma^2)$,由两个数定:
> $\mu$ = 中心(峰顶位置,也是均值 $E[X]=\mu$)。
> $\sigma^2$ = 散开(方差 $\mathrm{Var}(X)=\sigma^2$;$\sigma$ 是标准差,越大钟越胖)。
> 密度公式:
> $p(x)=\dfrac{1}{\sqrt{2\pi\sigma^2}}\,\exp\!\left(-\dfrac{(x-\mu)^2}{2\sigma^2}\right)$
> 整条曲线关于 $\mu$ 左右对称。
> > $\exp$ 是以 $e$ 为底的指数函数($e$ 见 03),括号里整块就是 $e$ 的指数;上面那项等于 $e^{-\frac{(x-\mu)^2}{2\sigma^2}}$,写成 $\exp$ 加括号只是因为指数长,这样更好认。
> [!note]- 怎么读这个密度公式
> 形状全由核心那块 $\exp\!\left(-\dfrac{(x-\mu)^2}{2\sigma^2}\right)$ 决定。顺着「距离 → 指数 → 高度」走一遍:
> $(x-\mu)^2$ 是 $x$ 离中心 $\mu$ 的距离的平方,永远 $\ge 0$。前面带个负号(还除以 $2\sigma^2$),所以这个指数在中心处是 0,离中心越远越往负里走。
> 再把这个指数放到 $e$ 头上,看高度:
> 中心 $x=\mu$:距离 0,指数 0,$e^0=1$,最高,这是峰顶。
> 离中心越远:指数越负,$e$ 的负次方越接近 0,曲线越低。
> 合起来:高度从中心的顶点,向两边对称地一路降低、越来越贴近 0,这就是钟形,中间鼓、两头平。
> 前面的 $\dfrac{1}{\sqrt{2\pi\sigma^2}}$ 是归一化常数,只管把整条曲线的总面积调成 1(总概率为 1),负责整体高低,形状还是上面那块指数说了算。
> $\sigma$ 越大,$2\sigma^2$ 越大,同样的距离换出来的指数没那么负,衰减慢,钟胖;$\sigma$ 越小,衰减快,钟瘦高。
> [!abstract] 标准正态 $\mathcal{N}(0,1)$
> $\mu=0$、$\sigma^2=1$ 的特例,最简单的高斯:中心在 0,散开是 1。
> 所以 $E[\varepsilon]=0$、$\mathrm{Var}(\varepsilon)=1$。我们一路用的 $\varepsilon$ 就是它。
> [!note]- 为什么 $E[\varepsilon]=0$(还上一课的欠账)
> $\mathcal{N}(0,1)$ 的钟形关于 0 完全对称:右边取到 $+a$ 的概率,和左边取到 $-a$ 的概率一样大。求平均时,这些 $+a$ 和 $-a$ 两两抵消,平衡点落在 0。所以 $E[\varepsilon]=0$。这是对称带来的,不用算积分。
> [!abstract] 重参数化:从 $\mathcal{N}(0,1)$ 造任意高斯
> $x=\mu+\sigma\varepsilon,\quad \varepsilon\sim\mathcal{N}(0,1)$
> 先有标准钟 $\varepsilon$,乘 $\sigma$ 把它拉胖($\sigma$ 倍宽),加 $\mu$ 把它整体挪到 $\mu$。
> 结果 $x\sim\mathcal{N}(\mu,\sigma^2)$,两个数都验过:
> 均值,开头 $E[\mu+\sigma\varepsilon]$,结果 $\mu$:
> $E[\mu+\sigma\varepsilon]=\mu+\sigma\,E[\varepsilon]=\mu$
> 方差,开头 $\mathrm{Var}(\mu+\sigma\varepsilon)$,结果 $\sigma^2$:
> $\mathrm{Var}(\mu+\sigma\varepsilon)=\sigma^2\,\mathrm{Var}(\varepsilon)=\sigma^2$
> 这里用到 $E[\varepsilon]=0$、$\mathrm{Var}(\varepsilon)=1$(标准正态);一行行的完整过程在 07 例二、08 例二。
> 意义:**任何高斯都是「标准钟缩放加平移」来的,所以采样只需先抽 $\varepsilon\sim\mathcal{N}(0,1)$,再算 $\mu+\sigma\varepsilon$。**
> [!abstract] 为什么扩散里到处是高斯
> 噪声本身取高斯。
> **高斯对线性操作封闭:缩放、平移一个高斯,还是高斯;两个独立高斯相加,还是高斯。**
> 所以前向加噪 $x_t=\sqrt{\bar\alpha}\,x_0+\sqrt{1-\bar\alpha}\,\varepsilon$,每步加的是高斯、累积起来仍是高斯,扰动核 $q(x_t\mid x_0)$ 就是高斯。这正是为什么你能只用 $E$、$\mathrm{Var}$ 两个数把它整个拿下。
> [!question]- 练习四道
> 一,$x=3+2\varepsilon$($\varepsilon\sim\mathcal{N}(0,1)$),$x$ 服从什么分布?
> 二,$Y\sim\mathcal{N}(5,9)$,它的均值、方差、标准差各是多少?
> 三,把 $\mathcal{N}(\mu,\sigma^2)$ 写成重参数化形式。
> 四,$x_t=\sqrt{\bar\alpha}\,x_0+\sqrt{1-\bar\alpha}\,\varepsilon$($x_0$ 给定),$q(x_t\mid x_0)$ 是哪个高斯?
> [!note]- 练习答案
> 第一题:中心是常数项 3,$\varepsilon$ 前的系数是 2,方差 $2^2=4$。所以 $x\sim\mathcal{N}(3,4)$。
> 第二题:$\mathcal{N}(5,9)$ 第一个数是均值 5,第二个是方差 9,标准差 $\sqrt{9}=3$。
> 第三题:$x=\mu+\sigma\varepsilon$,其中 $\varepsilon\sim\mathcal{N}(0,1)$。
> 第四题:均值 $\sqrt{\bar\alpha}\,x_0$(07),方差 $1-\bar\alpha$(08),所以 $q(x_t\mid x_0)=\mathcal{N}\!\left(\sqrt{\bar\alpha}\,x_0,\ 1-\bar\alpha\right)$。