# 从 ODE 到 SDE 12 到 15 已经把零件备齐了。这一节不学新机械,先把「你之前用 ODE 推的东西」和「论文用的 SDE」这两者的关系摆正,知道自己站在哪、接下来往哪走。 > [!abstract] 一、你已经推出来的是什么:两个概括数 > 前面用 ODE 推过两样东西,都是描述「一坨 $x_t$ 整体长什么样」的概括数。 > 均值函数 $m(t)$,这坨 $x_t$ 的中心在哪。它在每个时刻 $t$ 都有一个值,随时间连起来是一条函数,所以叫均值函数,不是单一的数。一条 ODE $\dfrac{\mathrm{d}m}{\mathrm{d}t}=-\tfrac12\beta(t)m$,解出 > $m(t)=\sqrt{\bar\alpha}(t)\,x_0$ > 方差函数 $v(t)$,这坨 $x_t$ 散得多开,同样在每个时刻都有一个值,是随时间变的函数。用积分因子解出 > $v(t)=1-\bar\alpha(t)$ > 这两个,一个管中心、一个管散开,合起来描述「整坨 $x_t$ 的样子」。它们是把随机平均掉之后得到的概括数,本身不带随机。 > [!abstract] 二、SDE 是什么:单个样本逐步怎么走 > SDE 写的是单个样本 $x$ 每走一小步怎么变: > $\mathrm{d}x=f\,\mathrm{d}t+g\,\mathrm{d}w$ > 整句话的意思是,$x$ 走一小步($\mathrm{d}x$),变化来自两块,加起来。 > > 第一块 $f\,\mathrm{d}t$,确定地朝一个方向挪一点。$\mathrm{d}t$ 是一小步时间,$f$ 是乘在它前面的系数,表示每单位时间确定地挪多快。 > 第二块 $g\,\mathrm{d}w$,随机地抖一点。$\mathrm{d}w$ 是一小步噪声(15),$g$ 是乘在它前面的系数,表示这一步掺的噪声有多强。 > > **所以读出来,一步变化 = 确定挪一点($f\,\mathrm{d}t$)+ 随机抖一点($g\,\mathrm{d}w$)。**$f$、$g$ 是两个系数,管这两块各占多少。认出一条 SDE 的 $f$ 和 $g$,就知道它在说什么。 > [!abstract] 三、关系:你的 ODE 是 SDE 取概括数后的样子 > SDE $\mathrm{d}x=f\,\mathrm{d}t+g\,\mathrm{d}w$ 里只有 $x$。现在对 $x$ 取均值,把 $x$ 的均值起个名叫 $m$: > $m=\mathbb E[x]$ > 这个 $m$ 在每个时刻都有一个值,随时间连起来是一条函数,叫均值函数 $m(t)$,它就是 13 那条 ODE 里的 $m$,同一个。 > 对 SDE 两边取均值。左边 $\mathrm{d}x$ 是 $x$ 的变化,取均值就是均值 $m$ 的变化,记 $\mathrm{d}m$。 > 右边,$\mathrm{d}w$ 中心是 $0$(15),噪声那项 $g\,\mathrm{d}w$ 取均值后是 $0$,只剩漂移那项 $f\,\mathrm{d}t$: > $\mathrm{d}m=f\,\mathrm{d}t$ > 两边除以 $\mathrm{d}t$,变回你熟的导数形式: > $\frac{\mathrm{d}m}{\mathrm{d}t}=f$ > 把 $f$ 取成 $-\tfrac12\beta(t)m$,这正是你 13 那条均值 ODE。 > 同样,对 SDE 算方差(把 $x$ 的方差起名 $v$,也是随时间变的方差函数 $v(t)$),会得到你 14 推的那条方差结果(这一步要用到下一节的 $(\mathrm{d}w)^2=\mathrm{d}t$,这里先不展开)。 > **所以关系是,SDE 是完整的源头,写的是单个样本的随机轨迹;你那两条 ODE,是把 SDE 取均值、取方差得到的概括侧影。** > [!abstract] 四、为什么论文要 SDE,光有 ODE 不够 > 生成图片靠「倒着一步步走轨迹」,从纯噪声出发,一步步走回一张图。这个倒着走是一条反向 SDE,每一步都要那个随机抖动项 $g\,\mathrm{d}w$,光有均值、方差这两个概括数走不了这条路。 > 论文(Song 2021)整篇用 SDE 说话:前向加噪是一条 SDE,生成是反向 SDE,里面会冒出 score $\nabla\log p$(第五块)。还有一条概率流 ODE,是这条 SDE 去掉随机后的确定版,用来快速采样。 > 一句话,论文要的是单样本轨迹层面的 SDE,你前面的概括数 ODE 是它的一个侧面。 > [!abstract] 五、噪声 $\mathrm{d}w$ 跟普通变量不一样的地方 > SDE 一小步 $\mathrm{d}x=f\,\mathrm{d}t+g\,\mathrm{d}w$ 有两项。漂移那项 $f\,\mathrm{d}t$ 不带随机,跟前面 ODE 一样,没新麻烦。难的是噪声那项 $g\,\mathrm{d}w$,问题出在它平方之后。 > > 求导时,二阶项 $(\mathrm{d}t)^2$ 丢掉、$\mathrm{d}t$ 留着,这是你熟的。 > > 现在要看 $\mathrm{d}w$ 这一步本身有多大。一步本身多大,看的是标准差($\mathrm{d}w$ 的典型大小,跟 $\mathrm{d}w$ 同类),不是方差(方差是它的平方、是另一个量)。$\mathrm{d}w$ 的标准差是 $\sqrt{\mathrm{d}t}$(15)。 > 把 $\mathrm{d}w$ 平方,掉根号: > $(\mathrm{d}w)^2=(\sqrt{\mathrm{d}t})^2=\mathrm{d}t$ > **$(\mathrm{d}w)^2$ 平方出来不是 $(\mathrm{d}t)^2$,而是 $\mathrm{d}t$,正好是该留的那一档。所以它丢不掉。** > > 这就是 $\mathrm{d}w$ 反常的地方,普通二阶 $(\mathrm{d}t)^2$ 求导丢掉,但 $\mathrm{d}w$ 的二阶 $(\mathrm{d}w)^2$ 等于 $\mathrm{d}t$、要留着。给带噪声的东西求导,普通链式法则(02)按「二阶都丢」推,套过来会把 $(\mathrm{d}w)^2$ 也丢了、少算一项、出错。 > > 所以处理 $g\,\mathrm{d}w$ 要新工具,下一节先立 $(\mathrm{d}w)^2=\mathrm{d}t$,再用它修正链式法则,得到带噪声的求导法则 Itô。 > [!question]- 练习 > 一,SDE $\mathrm{d}x=f\,\mathrm{d}t+g\,\mathrm{d}w$ 里,哪一项是确定的、哪一项带随机。 > 二,对 SDE 两边取均值,噪声那项为什么没了。 > 三,普通一步大小是 $\mathrm{d}t$ 量级,噪声 $\mathrm{d}w$ 一步是什么量级。 > [!note]- 练习答案 > 一,$f\,\mathrm{d}t$ 是确定的漂移那项,$g\,\mathrm{d}w$ 是带随机的噪声那项。 > 二,$\mathrm{d}w$ 中心是 $0$,取均值后 $g\,\mathrm{d}w$ 平均下来是 $0$,所以只剩漂移那项。 > 三,$\sqrt{\mathrm{d}t}$ 量级。