# 条件期望与条件方差
你一直在做的「给定 $x_0$、把它当常数、算 $E$ 和 $\mathrm{Var}$」,正式名字就是条件期望、条件方差。这节给它记号,并补上把条件接回边际的那条公式(你之前自己撞出来的)。
> [!abstract] 条件期望、条件方差是什么
> **「条件」就是把某个量固定成给定值,再在这个前提下算 $E$ 和 $\mathrm{Var}$。**
> 写法:给定 $x_0$ 求 $x_t$ 的期望,记 $E[x_t\mid x_0]$;方差记 $\mathrm{Var}(x_t\mid x_0)$。竖杠 $\mid x_0$ 读「给定 $x_0$」。
> 操作:把 $x_0$ 钉死、当常数,然后照常算 $E$、$\mathrm{Var}$。
> 你早做过的就是它:$E[x_t\mid x_0]=\sqrt{\bar\alpha}\,x_0$、$\mathrm{Var}(x_t\mid x_0)=1-\bar\alpha$,正是条件期望、条件方差。
> [!note]- $E[x_t\mid x_0]$ 是 $x_0$ 的函数
> 给定不同的 $x_0$,$x_t$ 的条件均值一般不同。例:$E[x_t\mid x_0]=\sqrt{\bar\alpha}\,x_0$,换一张图 $x_0$,这个均值就换一个值。所以条件期望是 $x_0$ 的一个函数,不是一个死数。
> 当 $x_0$ 本身也随机(从数据集里抽)时,$E[x_t\mid x_0]$ 跟着随机,它是随机变量 $x_0$ 的函数。这一点正是下面「全期望 / 全方差」要用的:对这个随机的条件均值,再求一次 $E$ 或 $\mathrm{Var}$。
> [!abstract] 把条件接回边际:全期望、全方差
> 每张图 $x_0$ 加噪到 $t$ 摊成一坨高斯云:中心 $E[x_t\mid x_0]=\sqrt{\bar\alpha}\,x_0$(图不同,位置不同),散开 $\mathrm{Var}(x_t\mid x_0)=1-\bar\alpha$。把所有云堆一起看大 blob:
> **全期望(大 blob 的中心)= 各小云中心的平均**:
> $E[x_t]=E\big[\,E[x_t\mid x_0]\,\big]$
> **全方差(大 blob 的散开)= 云内部的散 + 云之间的散**:
> $\mathrm{Var}(x_t)=E\big[\,\mathrm{Var}(x_t\mid x_0)\,\big]+\mathrm{Var}\big(\,E[x_t\mid x_0]\,\big)$
> 第一块:每坨云内部的散开($1-\bar\alpha$),对所有云平均。
> 第二块:各云中心 $\sqrt{\bar\alpha}\,x_0$ 之间的散开。
> 外面为什么还套一层 $E$ / $\mathrm{Var}$:$E[x_t\mid x_0]=\sqrt{\bar\alpha}\,x_0$ 随 $x_0$ 变、不是常数,$x_0$ 随机时它也随机,提不出来,只能再对它求一层。
> [!note]- 用全方差复原你撞出来的边际方差
> 之前你发现:$x_0$ 也随机时,$\mathrm{Var}(x_t)=\bar\alpha\,\mathrm{Var}(x_0)+(1-\bar\alpha)$。用全方差正好推出来。
> 条件内部的散开:$\mathrm{Var}(x_t\mid x_0)=1-\bar\alpha$ 是常数,对 $x_0$ 平均还是它,$E[\mathrm{Var}(x_t\mid x_0)]=1-\bar\alpha$。
> 条件中心之间的散开:$E[x_t\mid x_0]=\sqrt{\bar\alpha}\,x_0$ 随 $x_0$ 变,它的方差 $\mathrm{Var}(\sqrt{\bar\alpha}\,x_0)=\bar\alpha\,\mathrm{Var}(x_0)$。
> 两块加起来:
> $\mathrm{Var}(x_t)=(1-\bar\alpha)+\bar\alpha\,\mathrm{Var}(x_0)$
> 意思:噪声自己的散开 $1-\bar\alpha$,加上不同图片的中心被拉开的散开 $\bar\alpha\,\mathrm{Var}(x_0)$。
> [!question]- 练习三道
> 一,$x_t=\sqrt{\bar\alpha}\,x_0+\sqrt{1-\bar\alpha}\,\varepsilon$,$\varepsilon\sim\mathcal{N}(0,1)$。给定 $x_0$,求 $E[x_t\mid x_0]$ 和 $\mathrm{Var}(x_t\mid x_0)$。
> 二,$E[x_t\mid x_0]=\sqrt{\bar\alpha}\,x_0$ 是 $x_0$ 的函数吗?换两张不同的图,它一样吗?
> 三,用全方差公式,从 $\mathrm{Var}(x_t\mid x_0)=1-\bar\alpha$ 和 $E[x_t\mid x_0]=\sqrt{\bar\alpha}\,x_0$ 写出边际 $\mathrm{Var}(x_t)$(设 $\mathrm{Var}(x_0)=v$)。
> [!note]- 练习答案
> 第一题:$x_0$ 给定、当常数,噪声项 $E[\varepsilon]=0$,所以 $E[x_t\mid x_0]=\sqrt{\bar\alpha}\,x_0$;$x_0$ 那块是常数不贡献方差,噪声系数 $\sqrt{1-\bar\alpha}$ 平方、乘 $\mathrm{Var}(\varepsilon)=1$,得 $\mathrm{Var}(x_t\mid x_0)=1-\bar\alpha$。
> 第二题:是 $x_0$ 的函数。换两张不同的图,$x_0$ 不同,$\sqrt{\bar\alpha}\,x_0$ 跟着不同,所以条件均值不一样。
> 第三题(设 $v=\mathrm{Var}(x_0)$,图片本身的方差):
> $\mathrm{Var}(x_t)=E[\mathrm{Var}(x_t\mid x_0)]+\mathrm{Var}(E[x_t\mid x_0])$
> $=(1-\bar\alpha)+\mathrm{Var}(\sqrt{\bar\alpha}\,x_0)=(1-\bar\alpha)+\bar\alpha v$
> 这两项各是什么:
> 第一项 $E[\mathrm{Var}(x_t\mid x_0)]$:$\mathrm{Var}(x_t\mid x_0)=1-\bar\alpha$ 不含 $x_0$、是常数(每坨云一样胖),$E[c]=c$,所以这个 $E$ 在这儿空转,原样得 $1-\bar\alpha$。
> 第二项 $\mathrm{Var}(E[x_t\mid x_0])=\mathrm{Var}(\sqrt{\bar\alpha}\,x_0)=\bar\alpha\,\mathrm{Var}(x_0)=\bar\alpha v$(系数 $\sqrt{\bar\alpha}$ 平方得 $\bar\alpha$):云中心 $\sqrt{\bar\alpha}\,x_0$ 随 $x_0$ 变,这才是边际方差里真正有料、随图片方差变的那块。