连续状态、离散时间扩散（DDPM）

前置

• 分数匹配

1. DDPM 的两条链

设数据 ${\mathbf{x}}_0\in {\mathbb{R}}^d$ 服从 $q_{\mathrm{data}}$。DDPM
(Ho et al., 2020) 用固定的非齐次高斯马尔可夫链逐步加噪：

$$q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)=\prod _{t=1}^{T}q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1}),$$

其中给定噪声日程 $0<{\beta }_t<1$，

$$q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1})=\mathcal{N}\left({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I}\right).$$

记

$${\alpha }_t:=1-{\beta }_t,{\bar{\alpha }}_t:=\prod _{s=1}^t{\alpha }_s,{\bar{\alpha }}_0:=1.$$

则一步重参数化为

$${\mathbf{x}}_t=\sqrt{{\alpha }_t}{\mathbf{x}}_{t-1}+\sqrt{1-{\alpha }_t}{\mathbf{ϵ}}_t,{\mathbf{ϵ}}_t\sim \mathcal{N}(0,\mathbf{I}).$$

逆向生成链由模型给出：

$$p_{\theta }({\mathbf{x}}_{0:T})=p({\mathbf{x}}_T)\prod _{t=1}^T{p}_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t),p({\mathbf{x}}_T)=\mathcal{N}(0,\mathbf{I}).$$

这里 $q$ 是已知前向核，$p_{\theta }$ 是学习得到的逆向核，二者不能混写。过程可概括为：

${\mathbf{x}}_0\stackrel{q}{\to }{\mathbf{x}}_1\to \cdots \to {\mathbf{x}}_T$
${\mathbf{x}}_0\leftarrow \cdots \leftarrow {\mathbf{x}}_{T-1}\stackrel{p_{\theta }}{\leftarrow }{\mathbf{x}}_T$

图意：DDPM 扩散模型。 上行逐步加噪，下行用参数化逆向核去噪。

flowchart LR
    x0["x_0：数据"] -->|"q(x_1|x_0)"| x1["x_1"]
    x1 -->|"q(x_2|x_1)"| x2["⋯"]
    x2 -->|"q(x_T|x_{T-1})"| xT["x_T：噪声"]
    xT -->|"p_θ(x_{T-1}|x_T)"| x2
    x2 -->|"p_θ(x_1|x_2)"| x1
    x1 -->|"p_θ(x_0|x_1)"| x0

2. 任意时刻的闭式扰动核

反复代入一步递推可得

$$\begin{array}{rl}{\mathbf{x}}_t& =\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sum _{i=1}^t\left(\prod _{j=i+1}^t\sqrt{{\alpha }_j}\right)\sqrt{1-{\alpha }_i}{\mathbf{ϵ}}_i.\end{array}$$

各 ${\mathbf{ϵ}}_i$ 独立且服从标准高斯，所以上式噪声项仍是高斯。其协方差系数满足

$${\bar{\alpha }}_t+\sum _{i=1}^t\left(\prod _{j=i+1}^t{\alpha }_j\right)(1-{\alpha }_i)=1.$$

因此存在 $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$ 使

$$\boxed{{\mathbf{x}}_t=\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ}}$$

以及

$$q({\mathbf{x}}_t\mid {\mathbf{x}}_0)=\mathcal{N}\left({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I}\right).$$

这使训练时能直接抽取任意时刻的 ${\mathbf{x}}_t$，无需模拟前 $t-1$ 步。

“终端接近标准高斯”需要 ${\bar{\alpha }}_T$ 足够小；并非只要步数大就自动成立。对无限日程，

$${\bar{\alpha }}_t\to 0⟺\sum _{s=1}^{\infty }-\log {\alpha }_s=\infty ,$$

而在常见的小 ${\beta }_s$ 条件下，这近似等价于
${\sum }_s{\beta }_s=\infty$。有限 $T$ 时通常只有
$q({\mathbf{x}}_T)\approx \mathcal{N}(0,\mathbf{I})$，近似质量还取决于数据尺度是否已标准化。

3. 精确一步后验

训练逆向模型所需的可解后验是

$$q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0),$$

而不是 $q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t)$。由

$$q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_0)=\mathcal{N}\left(\sqrt{{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0,(1-{\bar{\alpha }}_{t-1})\mathbf{I}\right)$$

与 $q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1})$ 的高斯乘积，得到

$$q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0)=\mathcal{N}\left({\mathbf{x}}_{t-1};{\tilde{\mathbf{\mu }}}_t({\mathbf{x}}_t,{\mathbf{x}}_0),{\tilde{\beta }}_t\mathbf{I}\right),$$

其中

$${\tilde{\beta }}_t:=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$$

且

$${\tilde{\mathbf{\mu }}}_t=\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}{\mathbf{x}}_0+\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{\mathbf{x}}_t.$$

由扰动表示

$${\mathbf{x}}_0=\frac{{\mathbf{x}}_t-\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ}}{\sqrt{{\bar{\alpha }}_t}},$$

后验均值也可写为

$${\tilde{\mathbf{\mu }}}_t=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}\mathbf{ϵ}\right).$$

完整的一般线性高斯后验及 Tweedie 公式见
线性高斯扩散。

4. 逆向模型的参数化

常用高斯逆向核为

$$p_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t)=\mathcal{N}\left({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t)\right).$$

4.1 预测噪声

让神经网络预测前向扰动中的噪声
${\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)$，并定义

$${\hat{\mathbf{x}}}_{0,\theta }=\frac{{\mathbf{x}}_t-\sqrt{1-{\bar{\alpha }}_t}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)}{\sqrt{{\bar{\alpha }}_t}}.$$

将其代入精确后验均值，得到

$$\boxed{{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)}.$$

4.2 模型方差

原始 DDPM 可固定

$${\mathbf{\Sigma }}_{\theta }={\sigma }_t^2\mathbf{I}$$

对 $t\ge 2$ 可取 ${\sigma }_t^2={\beta }_t$ 或
${\sigma }_t^2={\tilde{\beta }}_t$；两者是不同的设计选择，不能把精确后验方差
${\tilde{\beta }}_t$ 直接改写成 ${\beta }_t$。也可学习方差，例如在
$\log {\tilde{\beta }}_t$ 与 $\log {\beta }_t$ 之间插值。无论采用何种选择，
$p_{\theta }$ 的方差都属于生成模型参数化，不改变上节 $q$ 后验的
${\tilde{\beta }}_t$。

对连续数据，若要把 $p_{\theta }({\mathbf{x}}_0\mid {\mathbf{x}}_1)$ 当作普通
Lebesgue 密度并使用下面的精确 ELBO，末步应采用 proper Gaussian
${\sigma }_1>0$ 或另行定义离散化解码器。令 ${\sigma }_1=0$ 会得到 Dirac 核，
它一般不支配真实连续条件律；此时确定性末步只能视为另一种生成约定或采样
启发式，不能同时沿用普通连续密度的 ELBO。

5. ELBO 与简化目标

由 Jensen 不等式，

$$-\log p_{\theta }({\mathbf{x}}_0)\le {\mathbb{E}}_{q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)}\left[\log \frac{q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{0:T})}\right]=:{\mathcal{L}}_{\mathrm{VLB}}.$$

记

$$\begin{array}{rl}{\mathcal{L}}_T& :=D_{\mathrm{KL}}\left(q({\mathbf{x}}_T\mid {\mathbf{x}}_0)\Vert p({\mathbf{x}}_T)\right),\\ {\mathcal{L}}_{t-1}& :={\mathbb{E}}_q\left[D_{\mathrm{KL}}\left(q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0)\Vert p_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t)\right)\right],2\le t\le T,\\ {\mathcal{L}}_0& :=-{\mathbb{E}}_q[\log p_{\theta }({\mathbf{x}}_0\mid {\mathbf{x}}_1)].\end{array}$$

则它分解为

$$\boxed{{\mathcal{L}}_{\mathrm{VLB}}={\mathcal{L}}_T+\sum _{t=2}^T{\mathcal{L}}_{t-1}+{\mathcal{L}}_0}.$$

当模型方差固定时，第 $t$ 个 KL 项关于均值是带时间权重的平方误差。
令 $\rho$ 是 $\{2,\dots ,T\}$ 上处处为正的时间采样分布。采用噪声参数化后，
内部 KL 项之和可写成

$${\mathbb{E}}_{\begin{array}{c}{\mathbf{x}}_0\sim q_{\mathrm{data}},\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I}),\\ t\sim \rho \end{array}}\left[\frac{w_t}{{\rho }_t}{\Vert \mathbf{ϵ}-{\mathbf{ϵ}}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ},t)\Vert }_2^2\right]+C_{\mathrm{inner}},$$

其中在 ${\sigma }_t^2$ 固定时

$$w_t=\frac{{\beta }_t^2}{2{\sigma }_t^2{\alpha }_t(1-{\bar{\alpha }}_t)}$$

而 $C_{\mathrm{inner}}$ 只包含这些内部 KL 中与 $\theta$ 无关的项。
${\mathcal{L}}_T$ 与 ${\mathcal{L}}_0$ 仍须在完整 ELBO 中单独保留；尤其
${\mathcal{L}}_0$ 通常依赖 $\theta$，不能吸收到常数中。若 $\rho$ 均匀，
$1/{\rho }_t=T-1$ 是报告 ELBO 数值时不能漏掉的全局因子；只比较内部 KL
最优均值时可省略。原始 DDPM 的常用简化目标进一步把 $t=1$ 纳入统一的
噪声预测训练，并去掉解析时间权重：

$$\boxed{{\mathcal{L}}_{\mathrm{simple}}={\mathbb{E}}_{\begin{array}{c}t\sim \mathrm{Unif}\{1,\dots ,T\},\\ {\mathbf{x}}_0\sim q_{\mathrm{data}},\\ \mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})\end{array}}\left[{\Vert \mathbf{ϵ}-{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\Vert }_2^2\right]}.$$

简化目标通常更易优化，但它不是逐项保持原 ELBO 权重后的同一个标量目标。它与分数参数化的精确权重关系见
分数匹配。

6. 训练算法

一次训练迭代：

1. 采样 ${\mathbf{x}}_0\sim q_{\mathrm{data}}$；
2. 采样 $t\sim \mathrm{Unif}\{1,\dots ,T\}$；
3. 采样 $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$；
4. 构造 $${\mathbf{x}}_t=\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ};$$
5. 最小化
   $\Vert \mathbf{ϵ}-{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t){\Vert }_2^2$
   或相应的 ELBO 加权项。

7. 采样算法

先采样

$${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I}).$$

然后对 $t=T,T-1,\dots ,1$：

1. 计算 $${\mathbf{\mu }}_{\theta }=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right);$$
2. 若 $t>1$，采样
   $\mathbf{z}\sim \mathcal{N}(0,\mathbf{I})$ 并令 $${\mathbf{x}}_{t-1}={\mathbf{\mu }}_{\theta }+{\sigma }_t\mathbf{z};$$
3. 若 $t=1$ 且模型声明 proper Gaussian 方差 ${\sigma }_1>0$，精确采样仍为 $${\mathbf{x}}_0={\mathbf{\mu }}_{\theta }+{\sigma }_1\mathbf{z},\mathbf{z}\sim \mathcal{N}(0,\mathbf{I}).$$ 常见实现令 $\mathbf{z}=0$，把均值直接作为输出；这是一种确定性末步
   启发式，除非模型本身就定义成 Dirac 解码器，否则它不是从所声明
   $p_{\theta }({\mathbf{x}}_0\mid {\mathbf{x}}_1)$ 的精确采样。

若使用学习方差，应使用模型给出的标准差；若对内部步固定为精确后验方差，
则仅对 $t\ge 2$ 取 ${\sigma }_t^2={\tilde{\beta }}_t$，末步解码器需另行定义。

8. 独立高斯递推公式

更一般地，若

$${\mathbf{x}}_t=a_t{\mathbf{x}}_{t-1}+b_t{\mathbf{ϵ}}_t,{\mathbf{ϵ}}_t\stackrel{\mathrm{iid}}{\sim }\mathcal{N}(0,\mathbf{I}),$$

则归纳得到

$${\mathbf{x}}_t=\left(\prod _{i=1}^t{a}_i\right){\mathbf{x}}_0+\sum _{i=1}^t\left(\prod _{j=i+1}^t{a}_j\right)b_i{\mathbf{ϵ}}_i.$$

噪声和的协方差为

$$\left[\sum _{i=1}^t\left(\prod _{j=i+1}^t{a}_j^2\right)b_i^2\right]\mathbf{I}.$$

若每一步满足 $a_i^2+b_i^2=1$，则

$${\left(\prod _{i=1}^t{a}_i\right)}^2+\sum _{i=1}^t\left(\prod _{j=i+1}^t{a}_j^2\right)b_i^2=1,$$

从而

$${\mathbf{x}}_t=\left(\prod _{i=1}^t{a}_i\right){\mathbf{x}}_0+\sqrt{1-{\left(\prod _{i=1}^t{a}_i\right)}^2}\mathbf{ϵ},\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I}).$$

DDPM 对应
$a_t=\sqrt{{\alpha }_t}$、
$b_t=\sqrt{1-{\alpha }_t}=\sqrt{{\beta }_t}$。

Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. Advances in Neural Information Processing Systems, 33, 6840–6851.