# 一阶线性近似 $f'(x)$ 是 $f$ 的导数,因为只求了一次导,也叫一阶导数(再求一次就是二阶导数,后面会用到)。它直观上就是斜率,即「走一步升多少」。**所以从某点走一小步,函数升多少,可以拿一阶导数(斜率)估出来。** > [!abstract] 一阶线性近似 > 从 $x$ 走一小步 $\mathrm{d}x$,函数大约升「一阶导数 × 步长」: > $f(x+\mathrm{d}x)\approx f(x)+f'(x)\,\mathrm{d}x$ > 新值 ≈ 旧值 $+\ f'(x)\cdot\mathrm{d}x$。$f'(x)$ 是一阶导数(直观上就是斜率),$\mathrm{d}x$ 是步长。 > [!abstract] 在 0 附近的套路 > 步长是当前点 $x$ 到基点的位移。基点取 0 时,位移就是 > $x-0=x$ > 所以步长就是 $x$ 本身(很小)。代进近似式: > $f(x)\approx f(0)+f'(0)\,x$ > ① 求 $f(0)$。② 求一阶导数 $f'(x)$,代入 0 得 $f'(0)$。③ 写成 $f(0)+f'(0)\,x$,末尾的 $x$ 就是步长。 > [!note]- 为什么是约等于 > 切线只在基点附近贴着曲线,离开就偏。一阶近似只取了「一阶导数 × 步长」这一项,把 $(\mathrm{d}x)^2$ 及更高次都扔了。$\mathrm{d}x$ 越小,扔掉的越微不足道,近似越准。 > 被扔掉的 $(\mathrm{d}x)^2$ 那一项里装的是二阶导数 $f''$,把它也算进来就是二阶近似,这是后面泰勒展开的事。 > **另外,这里扔掉的 $(\mathrm{d}x)^2$,到第 4 块随机微积分里反而不能扔,因为那里 $(\mathrm{d}w)^2=\mathrm{d}t$。** > [!abstract] 例一,求 $e^{x}$ 在 0 附近的一阶线性近似 > ① $f(0)=e^{0}=1$。 > ② 一阶导数 $f'(x)=e^{x}$,代入 0,$f'(0)=e^{0}=1$。 > ③ 写成 $f(0)+f'(0)\,x$ > $e^{x}\approx 1+1\cdot x=1+x$ > [!abstract] 例二,求 $\sqrt{1+x}$ 在 0 附近的一阶线性近似 > ① $f(0)=\sqrt{1+0}=\sqrt{1}=1$。 > ② 一阶导数 $f'(x)=\dfrac{1}{2\sqrt{1+x}}$(开方求导见 01、链式法则见 02),代入 0,$f'(0)=\dfrac{1}{2\sqrt{1}}=\dfrac12$。 > ③ 写成 $f(0)+f'(0)\,x$ > $\sqrt{1+x}\approx 1+\tfrac12 x$ > [!question]- 练习两道,用 $f(x)\approx f(0)+f'(0)\,x$ > 一,$e^{-x}$ 在 0 附近的一阶近似。 > 二,$\dfrac{1}{1+x}$ 在 0 附近的一阶近似。 > [!note]- 练习答案 > 第一题,$e^{-x}$ > ① $f(0)=e^{0}=1$ > ② 求 $f'(x)$,链式法则,内层是指数 $-x$: > $f'(x)=\dfrac{\mathrm{d}}{\mathrm{d}x}e^{-x}=\dfrac{\mathrm{d}}{\mathrm{d}(-x)}e^{-x}\cdot\dfrac{\mathrm{d}}{\mathrm{d}x}(-x)$ > 外层,$e$ 对它的指数求导还是它自己: > $\dfrac{\mathrm{d}}{\mathrm{d}(-x)}e^{-x}=e^{-x}$ > 内层: > $\dfrac{\mathrm{d}}{\mathrm{d}x}(-x)=-1$ > 乘起来: > $f'(x)=e^{-x}\cdot(-1)=-e^{-x}$ > 代 0: > $f'(0)=-e^{0}=-1$ > ③ 套 $f(0)+f'(0)\,x$: > $e^{-x}\approx 1+(-1)\,x=1-x$ > 第二题,$\dfrac{1}{1+x}$ > 先写成 $(1+x)^{-1}$。 > ① $f(0)=(1+0)^{-1}=1$ > ② 求 $f'(x)$,链式法则,内层是 $1+x$: > $f'(x)=\dfrac{\mathrm{d}}{\mathrm{d}x}(1+x)^{-1}=\dfrac{\mathrm{d}}{\mathrm{d}(1+x)}(1+x)^{-1}\cdot\dfrac{\mathrm{d}}{\mathrm{d}x}(1+x)$ > 外层,幂法则,指数 $-1$ 乘到前面、指数减 1 变 $-2$: > $\dfrac{\mathrm{d}}{\mathrm{d}(1+x)}(1+x)^{-1}=-1\cdot(1+x)^{-2}=-(1+x)^{-2}$ > 内层: > $\dfrac{\mathrm{d}}{\mathrm{d}x}(1+x)=1$ > 乘起来: > $f'(x)=-(1+x)^{-2}\cdot 1=-(1+x)^{-2}$ > 代 0,$(1+0)^{-2}=1^{-2}=1$(底是 $1$,几次方都是 $1$),前面的负号保留: > $f'(0)=-(1+0)^{-2}=-1$ > ③ 套 $f(0)+f'(0)\,x$: > $\dfrac{1}{1+x}\approx 1+(-1)\,x=1-x$ > [!note]- 一阶近似练习四道(扩散相关) > 一,$e^{-\frac12\beta t}$ 在 $t=0$ 附近的一阶近似。(VP 过程的信号系数) > 二,$\sqrt{1-x}$ 在 0 附近的一阶近似。(DDPM 噪声尺度 $\sqrt{1-\bar\alpha}$ 的形状) > 三,$1-e^{-\beta t}$ 在 $t=0$ 附近的一阶近似。(前向过程方差,小 $t$ 时近似线性增长) > 四,$\ln(1+x)$ 在 0 附近的一阶近似。(对数 / score $\nabla\log p$ 里常见) > [!note]- 四道扩散练习的答案 > 第一题 > ① $f(0)=e^{-\frac12\beta\cdot 0}=e^{0}=1$ > ② 求 $f'(t)$,链式法则,内层是指数 $-\frac12\beta t$ > $f'(t)=\dfrac{\mathrm{d}}{\mathrm{d}t}e^{-\frac12\beta t}=\dfrac{\mathrm{d}}{\mathrm{d}\left(-\frac12\beta t\right)}e^{-\frac12\beta t}\cdot\dfrac{\mathrm{d}}{\mathrm{d}t}\left(-\tfrac12\beta t\right)$ > 外层,$e$ 对它的指数求导还是它自己 > $\dfrac{\mathrm{d}}{\mathrm{d}\left(-\frac12\beta t\right)}e^{-\frac12\beta t}=e^{-\frac12\beta t}$ > 内层,$-\frac12\beta$ 是常系数、$t$ 导数 1 > $\dfrac{\mathrm{d}}{\mathrm{d}t}\left(-\tfrac12\beta t\right)=-\tfrac12\beta$ > 乘起来 > $f'(t)=e^{-\frac12\beta t}\cdot\left(-\tfrac12\beta\right)$ > 代 0 > $f'(0)=e^{0}\cdot\left(-\tfrac12\beta\right)=-\tfrac12\beta$ > ③ 套 $f(0)+f'(0)\,t$ > $e^{-\frac12\beta t}\approx 1+\left(-\tfrac12\beta\right)t=1-\tfrac12\beta t$ > 第二题 > ① $f(0)=\sqrt{1-0}=\sqrt{1}=1$ > ② 求 $f'(x)$,链式法则,内层是 $1-x$ > $f'(x)=\dfrac{\mathrm{d}}{\mathrm{d}x}\sqrt{1-x}=\dfrac{\mathrm{d}}{\mathrm{d}(1-x)}\sqrt{1-x}\cdot\dfrac{\mathrm{d}}{\mathrm{d}x}(1-x)$ > 外层,$\sqrt{1-x}$ 对里面的 $1-x$ 求导,得 $\dfrac{1}{2\sqrt{1-x}}$(开方求导见 01) > $\dfrac{\mathrm{d}}{\mathrm{d}(1-x)}\sqrt{1-x}=\dfrac{1}{2\sqrt{1-x}}$ > 内层 > $\dfrac{\mathrm{d}}{\mathrm{d}x}(1-x)=-1$ > 乘起来 > $f'(x)=\dfrac{1}{2\sqrt{1-x}}\cdot(-1)=-\dfrac{1}{2\sqrt{1-x}}$ > 代 0 > $f'(0)=-\dfrac{1}{2\sqrt{1-0}}=-\dfrac{1}{2\sqrt{1}}=-\tfrac12$ > ③ 套 $f(0)+f'(0)\,x$ > $\sqrt{1-x}\approx 1+\left(-\tfrac12\right)x=1-\tfrac12 x$ > 第三题 > ① $f(0)=1-e^{-\beta\cdot 0}=1-e^{0}=1-1=0$ > ② 求 $f'(t)$,逐项。$1$ 的导数是 0。$-e^{-\beta t}$ 的导数,先求 $e^{-\beta t}$ 的导数,链式法则,内层是指数 $-\beta t$ > $\dfrac{\mathrm{d}}{\mathrm{d}t}e^{-\beta t}=\dfrac{\mathrm{d}}{\mathrm{d}(-\beta t)}e^{-\beta t}\cdot\dfrac{\mathrm{d}}{\mathrm{d}t}(-\beta t)$ > 外层,$e$ 对它的指数求导还是它自己 > $\dfrac{\mathrm{d}}{\mathrm{d}(-\beta t)}e^{-\beta t}=e^{-\beta t}$ > 内层 > $\dfrac{\mathrm{d}}{\mathrm{d}t}(-\beta t)=-\beta$ > 乘起来 > $\dfrac{\mathrm{d}}{\mathrm{d}t}e^{-\beta t}=e^{-\beta t}\cdot(-\beta)=-\beta e^{-\beta t}$ > $-e^{-\beta t}$ 前面带负号,它的导数是 $-(-\beta e^{-\beta t})=+\beta e^{-\beta t}$。两项合起来 > $f'(t)=0+\beta e^{-\beta t}=\beta e^{-\beta t}$ > 代 0 > $f'(0)=\beta e^{0}=\beta$ > ③ 套 $f(0)+f'(0)\,t$ > $1-e^{-\beta t}\approx 0+\beta t=\beta t$ > 第四题 > ① $f(0)=\ln(1+0)=\ln 1=0$ > ② 求 $f'(x)$,链式法则,内层是 $1+x$ > $f'(x)=\dfrac{\mathrm{d}}{\mathrm{d}x}\ln(1+x)=\dfrac{\mathrm{d}}{\mathrm{d}(1+x)}\ln(1+x)\cdot\dfrac{\mathrm{d}}{\mathrm{d}x}(1+x)$ > 外层,$\ln(1+x)$ 对里面的 $1+x$ 求导,得 $\dfrac{1}{1+x}$(见 03) > $\dfrac{\mathrm{d}}{\mathrm{d}(1+x)}\ln(1+x)=\dfrac{1}{1+x}$ > 内层 > $\dfrac{\mathrm{d}}{\mathrm{d}x}(1+x)=1$ > 乘起来 > $f'(x)=\dfrac{1}{1+x}\cdot 1=\dfrac{1}{1+x}$ > 代 0 > $f'(0)=\dfrac{1}{1+0}=\dfrac{1}{1}=1$ > ③ 套 $f(0)+f'(0)\,x$ > $\ln(1+x)\approx 0+1\cdot x=x$