# 布朗运动 前面三块,凡是遇到噪声,都先取均值或方差,把随机性平均掉,留下一条不带随机的方程去解。这一块换个方向,把噪声本身留在方程里。第一步,先把「噪声随时间一点点攒起来」这件事单独拎出来,做成一个对象,叫布朗运动,记 $w_t$。**它就是论文里 SDE $\mathrm{d}x=f\,\mathrm{d}t+g\,\mathrm{d}w$ 里那个 $\mathrm{d}w$ 的来源。** > [!abstract] 布朗运动是什么(三条定义) > DDPM 每走一步,往图里掺一份独立的标准噪声。把信号那块先不看,只盯着「掺进来的噪声一步步攒起来」,把它做成一个随时间变的量 $w_t$,意思是「到时刻 $t$ 为止,一共攒了多少标准噪声」。这个 $w_t$ 就是布朗运动。它由下面三条定义定下来,后面反复引用,记住编号。 > > 定义一(起点为零) 起点还没攒噪声: > $w_0=0$ > > 定义二(各段独立) 任意两段不重叠的时间里攒的噪声,彼此独立,后一段不受前一段影响。 > > 定义三(方差等于这段时间长度) 一段时间里攒的噪声服从高斯,中心为 $0$,方差等于这段时间长度。从时刻 $s$ 到时刻 $t$,这段时间长度是 $t-s$: > $w_t-w_s\sim\mathcal N(0,\ t-s)$ > 特别地,从时刻 $0$ 到时刻 $t$ 整个看成一段,这段时间长度是 $t$,直接套定义三(又因定义一 $w_0=0$): > $w_t\sim\mathcal N(0,\ t)$ > 所以 $w_t$ 的方差就是 $t$,是定义三直接给的,不用另证。 > > **一句话,$w_t$ 是「攒到时刻 $t$ 的累计标准噪声」,中心在 $0$,方差正好等于走过的时间长度 $t$。** > [!note]- 自洽检查,切成小段再相加,结果还是 $t$ > 定义三直接给了方差 $t$。这里只做个自洽检查,把 $0$ 到 $t$ 切成 $n$ 小段、再加起来,看结果一不一致(不是重新证明,是验证定义之间不打架)。 > 每段时间长度 $\Delta t=\dfrac{t}{n}$($\Delta$ 读「德尔塔」,表示一小段),每段方差套定义三是 $\Delta t$,各段独立(定义二)、独立相加方差相加(08): > $\mathrm{Var}(w_t)=\underbrace{\Delta t+\dots+\Delta t}_{n\ \text{个}}=n\cdot\frac{t}{n}=t$ > 跟定义三直接给的一致,自洽。 > [!note]- 布朗运动方差一直涨,DDPM 方差却锁在 1,差在哪 > 布朗运动 $w_t\sim\mathcal N(0,t)$,方差等于时间,走到 $5$ 是 $5$、走到 $500$ 是 $500$,一直往上涨、不封顶。 > 但你熟的 DDPM 不是这样。DDPM 到第 $t$ 步,方差是 $1-\bar\alpha_t$(08、14 推过),它是个接近 $1$ 的数,到 $500$ 步约等于 $1$、$1000$ 步还约等于 $1$,不随步数往上累加。 > 差别在一件事,DDPM 每加一步噪声,同时把信号 $\sqrt{1-\beta}$ 压暗一点,加噪和压信号配着调,总方差锁在 $1$ 附近(这叫 VP,方差保持)。布朗运动只管纯累加噪声,没有压信号那一步,所以方差一路涨(这叫 VE,方差爆炸)。 > 那为什么这节先学布朗运动,因为它是「噪声怎么累积」的最干净原型,先把纯累加这块吃透。等写成 SDE(18 会讲),$g\,\mathrm{d}w$ 那块的 $\mathrm{d}w$ 就是布朗运动,负责累加噪声;DDPM 的「压暗信号」体现在另一块漂移项 $f\,\mathrm{d}t$ 上($f=-\tfrac12\beta x$,负号就是往下压)。两块合起来,才把方差摁住。布朗运动单独看一直涨,是因为它只是其中「累加」那一块。 > [!abstract] 一小步的增量 $\mathrm{d}w$ > 把一小段缩到无穷小,这一小段攒的噪声记作 $\mathrm{d}w$,它是 $w_t$ 在一小步里的增量($\mathrm{d}w$ 就是上面 $\Delta w$ 缩到无穷小的版本)。 > 这一小步的时间长度是 $\mathrm{d}t$,套定义三(方差等于这段时间长度),它的方差是: > $\mathrm{Var}(\mathrm{d}w)=\mathrm{d}t$ > 它的中心是 $0$、方差是 $\mathrm{d}t$,所以它的标准差(方差开根号)是: > $\sqrt{\mathrm{Var}(\mathrm{d}w)}=\sqrt{\mathrm{d}t}$ > 记住这个 $\sqrt{\mathrm{d}t}$。**普通变量走一小步,步子是 $\mathrm{d}t$ 这么大;而噪声 $\mathrm{d}w$ 走一小步,标准差是 $\sqrt{\mathrm{d}t}$ 这么大。**$\mathrm{d}t$ 很小时 $\sqrt{\mathrm{d}t}$ 反而更大(例 $\mathrm{d}t=0.01$,$\sqrt{\mathrm{d}t}=0.1$),所以噪声这一步比普通一步大得多。下一节的怪规则 $(\mathrm{d}w)^2=\mathrm{d}t$ 就出在这个 $\sqrt{\mathrm{d}t}$ 上。 > [!question]- 练习 > 一,$w_t\sim\mathcal N(0,t)$,问 $w_4$ 服从什么分布,它的方差、标准差各是多少。 > 二,从时刻 $2$ 到时刻 $5$ 的增量 $w_5-w_2$,服从什么分布。(用定义三,先算这段时间长度) > 三,一小步增量 $\mathrm{d}w$ 的方差是多少,标准差是多少。 > 四,布朗运动走到时刻 $500$,方差是多少;DDPM 到 $500$ 步,方差大约是多少。两者为什么不同。 > [!note]- 练习答案 > 一,$w_4\sim\mathcal N(0,4)$,方差 $4$,标准差 $\sqrt{4}=2$。 > 二,这段时间长度 $=5-2=3$,套定义三,$w_5-w_2\sim\mathcal N(0,3)$,方差 $3$。 > 三,$\mathrm{Var}(\mathrm{d}w)=\mathrm{d}t$,标准差 $\sqrt{\mathrm{d}t}$。 > 四,布朗运动走到 $500$,方差就是 $500$(方差 = 时间,一直涨)。DDPM 到 $500$ 步,方差 $1-\bar\alpha_{500}$ 约等于 $1$。不同是因为 DDPM 边加噪边压暗信号、方差锁在 $1$(VP),布朗运动纯累加、不封顶(VE)。 > [!note]- 和主线(扩散)的关系 > 论文把前向加噪写成连续时间的 SDE,$\mathrm{d}x=f\,\mathrm{d}t+g\,\mathrm{d}w$,里面的 $\mathrm{d}w$ 就是这一节的布朗运动增量,$f\,\mathrm{d}t$ 是确定的漂移、$g\,\mathrm{d}w$ 是掺进来的噪声。 > 之前 12-14 解均值,是把噪声那块 $g\,\mathrm{d}w$ 取均值消掉(因为 $\mathrm{d}w$ 中心为 $0$),只剩漂移,得到不带随机的 ODE。这一块要把 $g\,\mathrm{d}w$ 留着,所以先得把 $\mathrm{d}w$ 这个对象本身弄清楚,才有后面的 Itô 和 SDE。