生成模型导论

前置

• 绝对连续与Radon-Nikodým定理

本文把后续生成建模所需的概率基础作为自洽的预备知识保留在本章中。关于可测映射、绝对连续性与 Radon–Nikodým 导数的系统论述可参见以上页面。

符号表

记号按章节区分：在本导论与流匹配章节中，真实数据测度记为 $Q$，其密度记为
$q(\mathbf{x})$；在扩散章节中，$q$ 表示固定的前向核或变分分布（如
$q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1})$），$p_{\theta }$ 表示学习得到的逆向模型，
$p_t$ 表示时刻 $t$ 的边缘密度。每篇扩散笔记会在开头重申局部约定。

扩散与流匹配使用两套时间坐标：扩散时间
$t_{\mathrm{diff}}\in [0,T]$ 中，$t_{\mathrm{diff}}=0$ 为干净数据、
$t_{\mathrm{diff}}=T$ 为先验噪声；流匹配时间
$t_{\mathrm{flow}}\in [0,1]$ 中，$t_{\mathrm{flow}}=0$ 为先验、
$t_{\mathrm{flow}}=1$ 为数据。令归一化扩散时间
$\tau =t_{\mathrm{diff}}/T\in [0,1]$，方向反转关系才是
$t_{\mathrm{flow}}=1-\tau$；不能在 $T\ne 1$ 时直接写成 $1-t_{\mathrm{diff}}$。

符号	含义
$\Omega ={\mathbb{R}}^d$	生成建模时的样本空间
$\mathcal{F}=\mathcal{B}({\mathbb{R}}^d)$	${\mathbb{R}}^d$ 上的 Borel $\sigma$-代数
$\mathbf{x}\in {\mathbb{R}}^d$	数据列向量
$\mathbf{y}\in {\mathbb{R}}^d$	条件列向量
$I\in {\mathbb{R}}^{d\times d}$	单位矩阵
$\mathcal{N}(\mathbf{\mu },{\sigma }^{2}I)$	多元高斯；标量情形写作 $\mathcal{N}(0,1)$
$P_t$	$t$ 时刻的概率测度
$p_t(\mathbf{x})$	$t$ 时刻的概率密度
$\mathbb{E}[\cdot ]$	期望
$\mathbb{P}(\cdot )$	概率
$\mathcal{U}(0,T)$	扩散时间区间 $[0,T]$ 上的均匀分布
$\mathcal{U}[0,1]$	流匹配时间区间 $[0,1]$ 上的均匀分布
$\mathbf{f}(\mathbf{x},t)$	SDE 漂移向量场
$\mathbf{G}(\mathbf{x},t)$	SDE 扩散矩阵
$f(t)$	线性 SDE 的标量漂移系数，即 $\mathbf{f}(\mathbf{x},t)=f(t)\mathbf{x}$
$g(t)$	线性 SDE 的标量扩散系数，即 $\mathbf{G}(\mathbf{x},t)=g(t)I$
$A\subseteq B$	允许相等的子集关系
$X\sim F$	随机变量 $X$ 服从分布 $F$
${\mathbb{E}}_{\mathbf{x}\sim q}$	期望下标表示 $\mathbf{x}$ 从分布 $q$ 采样
$A:=B$	将 $A$ 定义为 $B$
$f:\Omega \to E$	映射或可测映射的类型记号
${\nabla }_{\mathbf{x}}$	对 $\mathbf{x}$ 的梯度；分数为 ${\nabla }_{\mathbf{x}}\log p(\mathbf{x})$
$\nabla \cdot$	散度；对方阵逐行求散度时得到向量
${\partial }_t$	对时间 $t$ 的偏导
$\int \cdot \mathrm{d}\mathbf{x}$	Lebesgue 积分
$\mathrm{d}t,\mathrm{d}\mathbf{w}$	ODE/SDE 时间微分与布朗运动增量
${\lim }_{x\to a}$	极限
$\log (\cdot )$	自然对数
$\exp (\cdot )$	指数函数
${\sum }_{i\in I}$	求和，包括可数可加性中的级数
${\prod }_{i=1}^t$	连乘
${\min }_{\varphi },{\max }_{\varphi },{\mathrm{argmin}}_{\varphi }$	最小化、最大化及取得最小值的参数集合
$D_{\mathrm{KL}}(q\Vert p)$	KL 散度；$\Vert$ 表示两个分布之间的散度方向，并非范数
${\mathcal{D}}_f(p\Vert r)$	$f$-散度族
$H(q)$	熵；在 KL 分解中与模型参数 $\varphi$ 无关
$\Vert \mathbf{v}{\Vert }_2$	欧氏范数
$⟨\mathbf{a},\mathbf{b}⟩$	欧氏内积
$A^{\top }$	转置
$\mathcal{P}(X)$	幂集
$\forall$	全称量词

概率基础

概率空间

概率论从以下三个基本对象出发。

定义（$\sigma$-代数）　设样本空间 $\Omega$ 为底层集合。若 $\mathcal{F}\subseteq \mathcal{P}(\Omega )$ 满足：

1. $\Omega \in \mathcal{F}$；
2. $A\in \mathcal{F}$ 蕴含 $A^{\mathrm{c}}\in \mathcal{F}$；
3. 对任意至多可数族 $\{A_i{\}}_{i\ge 1}\subseteq \mathcal{F}$，有 ${\bigcup }_{i\ge 1}{A}_i\in \mathcal{F}$，

则称 $\mathcal{F}$ 为 $\Omega$ 上的 $\sigma$-代数。

定义（概率测度）　映射 $P:\mathcal{F}\to [0,1]$ 若满足：

1. 非负性：对每个 $A\in \mathcal{F}$，$P(A)\ge 0$；
2. 可数可加性：对任意两两不交的 $\{A_i{\}}_{i\ge 1}\subseteq \mathcal{F}$，

$$P\left(\bigcup _{i\ge 1}{A}_i\right)=\sum _{i\ge 1}P(A_i);$$

3. $P(\Omega )=1$，

则称 $P$ 为概率测度。

定义（可测空间与概率空间）　$(\Omega ,\mathcal{F})$ 称为可测空间；$(\Omega ,\mathcal{F},P)$ 称为概率空间。

可测映射

概率论通过可测映射把抽象事件转化为可计算的对象；在生成建模中，数据通常是 ${\mathbb{R}}^d$ 上的随机向量。

定义（可测映射）　设 $(\Omega ,\mathcal{F})$ 与 $(E,\mathcal{E})$ 为可测空间。若映射 $f:\Omega \to E$ 满足：对任意 $B\in \mathcal{E}$，都有 $f^{-1}(B)\in \mathcal{F}$，则称

$$f:(\Omega ,\mathcal{F})⟶(E,\mathcal{E})$$

为可测映射。

定义（Borel 可测映射）　若 $\Omega ,E$ 是拓扑空间，且分别取 Borel $\sigma$-代数 $\mathcal{F}=\mathcal{B}(\Omega )$、$\mathcal{E}=\mathcal{B}(E)$，则上述可测映射称为 Borel 可测映射。

像测度

定义（像测度）　设 $(\Omega ,\mathcal{F},\mu )$ 为测度空间，$f:(\Omega ,\mathcal{F})\to (E,\mathcal{E})$ 可测。对 $B\in \mathcal{E}$ 定义

$$(\mu \circ f^{-1})(B):=\mu (f^{-1}(B)).$$

则 $\mu \circ f^{-1}$ 是 $(E,\mathcal{E})$ 上的测度，称为 $\mu$ 在 $f$ 下的像测度（image measure，也称推前测度）。若 $\mu$ 是概率测度，则 $\mu \circ f^{-1}$ 也是概率测度。

随机元、随机变量与随机向量

定义（随机元、随机变量与随机向量）

• 设 $(\Omega ,\mathcal{F},P)$ 为概率空间，$E$ 为度量空间。可测映射

$$X:(\Omega ,\mathcal{F})⟶(E,\mathcal{B}(E))$$

称为 $E$ 值随机元（random element）。像测度

$$P_X:=P\circ X^{-1}$$

称为 $X$ 的概率分布。

• 仅当 $E=\mathbb{R}$ 时，实值随机元 $X$ 称为随机变量（random variable）。其分布函数为

$$F(x):=P_X((-\infty ,x])=\mathbb{P}(X\le x),x\in \mathbb{R}.$$

$F$ 单调不减、右连续，并满足

$$\underset{x\to -\infty }{\lim }F(x)=0,\underset{x\to +\infty }{\lim }F(x)=1.$$

记作 $X\sim F$。

• 当 $E={\mathbb{R}}^d$ 时，${\mathbb{R}}^d$ 值随机元称为随机向量（random vector），记作 $\mathbf{X}$；其实现值 $\mathbf{X}(\omega )\in {\mathbb{R}}^d$ 常简记为 $\mathbf{x}$。后文的数据向量均属于这一情形。
• 当 $E=\mathbb{C}$ 时，$\mathbb{C}$ 值随机元称为复值随机变量（complex random variable）。

“随机变量”特指实值情形；一般值域上的对象应称为随机元。

采样

目的

生成式建模学习近似分布 $p_{\varphi }(\mathbf{x})$，把它作为真实分布 $q(\mathbf{x})$ 的代理，从而实现：

• 现实化与可控生成：通过蒙特卡洛等方法从 $p_{\varphi }(\mathbf{x})$ 抽取全新、逼真且可控的样本；
• 似然评估：若模型支持显式密度，则对给定样本 ${\mathbf{x}}^{\prime }$ 计算 $p_{\varphi }({\mathbf{x}}^{\prime })$。

逆变换采样

逆变换采样从均匀分布出发，经目标分布 CDF 的逆映射生成样本。先考虑 $F_X$ 连续且严格递增、因而通常反函数存在的情形。若

$$U\sim \mathcal{U}(0,1),X=F_X^{-1}(U),$$

则对任意 $x\in \mathbb{R}$，

$$\begin{array}{rl}\mathbb{P}(X\le x)& =\mathbb{P}(F_X^{-1}(U)\le x)\\ & =\mathbb{P}(U\le F_X(x))\\ & =F_X(x).\end{array}$$

因此 $X$ 服从目标分布。

广义逆与离散或非严格单调分布

CDF 可能存在平台或跳跃，此时传统反函数不存在，需要使用分位数意义下的广义逆。

定义（广义逆或分位数函数）　对任意 CDF $F$，定义

$$F^{\leftarrow }(u):=\inf \{x\in \mathbb{R}:F(x)\ge u\},u\in (0,1).$$

这里使用 $F^{\leftarrow }$ 以免与通常的函数反演混淆。对每个 $u\in (0,1)$，集合 $\{x:F(x)\ge u\}$ 非空且有下界，故该定义取有限实值。其关键性质是

$$F^{\leftarrow }(u)\le x⟺u\le F(x).$$

证明　记 $A_u=\{y\in \mathbb{R}:F(y)\ge u\}$，于是 $F^{\leftarrow }(u)=\inf A_u$。

• 若 $u\le F(x)$，则 $x\in A_u$，所以 $\inf A_u\le x$。
• 反之，若 $\inf A_u\le x$，则对每个 $n\ge 1$ 可取 $y_n\in A_u$ 使

$$y_n<\inf A_u+\frac{1}{n}\le x+\frac{1}{n}.$$

由 $F$ 单调不减，

$$u\le F(y_n)\le F\left(x+\frac{1}{n}\right).$$

令 $n\to \infty$，再用 CDF 的右连续性，得到 $u\le F(x)$。证毕。

因此，若 $U\sim \mathcal{U}(0,1)$ 并令 $X=F^{\leftarrow }(U)$，则

$$\mathbb{P}(X\le x)=\mathbb{P}(U\le F(x))=F(x),$$

所以这一构造对离散分布以及非严格单调的分布同样成立。

生成式模型

问题与采样过程

逆变换采样可以处理一维且 CDF 可求的简单分布。然而，对图像、音频等高维、具有复杂流形结构和多峰性质的真实分布 $q(\mathbf{x})$，通常既没有显式 CDF，也没有解析 PDF。

神经网络本身是确定性函数。为了产生随机样本，必须注入随机性，即从可直接采样的先验分布出发。无论目标分布多复杂，采样源头通常都是简单先验，例如

$$P_0=\mathcal{N}(0,I).$$

生成过程因而可以理解为从先验分布到数据分布的变换。核心问题是：如何用神经网络在“简单先验”与“复杂数据分布 $q$”之间建立桥梁？不同的生成模型给出了不同答案。

深层生成建模

深层生成模型

深层生成模型（deep generative model, DGM）利用深层神经网络学习高维数据的概率分布。

• 已知条件：从真实分布 $Q$（若存在密度则记为 $q(\mathbf{x})$）独立同分布抽取的有限数据集 $\{{\mathbf{x}}^{(i)}{\}}_{i=1}^N$。
• 核心目标：用神经网络参数化可计算的模型分布 $P_{\varphi }$（若存在密度则记为 $p_{\varphi }(\mathbf{x})$），使最优参数 ${\varphi }^{\star }$ 对应的模型尽可能逼近 $Q$。

训练可抽象为

$${\varphi }^{\star }\in \underset{\varphi }{\mathrm{argmin}}D(Q,P_{\varphi }),$$

在两者具有密度时也常写成 ${\mathrm{argmin}}_{\varphi }D(q\Vert p_{\varphi })$。这里 $D$ 是散度或任务损失。由于 $Q$ 未知，训练目标必须能由有限样本估计；模型优劣最终取决于生成样本与真实数据的统计相似性及具体任务指标。

分布差异的度量

前向 KL 散度

对概率测度 $Q,P_{\varphi }$，KL 散度严格定义为

$$D_{\mathrm{KL}}(Q\Vert P_{\varphi }):=\{\begin{array}{ll}\int \log \frac{\mathrm{d}Q}{\mathrm{d}{P}_{\varphi }}\mathrm{d}Q,& Q\ll P_{\varphi },\\ +\infty ,& Q/\ll P_{\varphi }.\end{array}$$

若 $Q,P_{\varphi }$ 关于同一参考测度 $\mu$ 分别有密度 $q,p_{\varphi }$，则

$$D_{\mathrm{KL}}(q\Vert p_{\varphi })=\int q(\mathbf{x})\log \frac{q(\mathbf{x})}{p_{\varphi }(\mathbf{x})}\mathrm{d}\mu (\mathbf{x})={\mathbb{E}}_{\mathbf{x}\sim q}\left[\log q(\mathbf{x})-\log p_{\varphi }(\mathbf{x})\right],$$

其中约定 $q>0,p_{\varphi }=0$ 的部分贡献 $+\infty$。因此最小化前向 KL 会迫使模型覆盖真实数据的全部模式：若存在正 $Q$-测度的区域满足 $p_{\varphi }=0$，则 $Q/\ll P_{\varphi }$，KL 直接为无穷大。

KL 最小化与最大似然

若 $Q\ll P_{\varphi }$，并且以下期望均有定义，则

$$\begin{array}{rl}{D}_{\mathrm{KL}}(q\Vert p_{\varphi })& =-{\mathbb{E}}_q[\log p_{\varphi }(\mathbf{x})]+{\mathbb{E}}_q[\log q(\mathbf{x})]\\ & =-{\mathbb{E}}_q[\log p_{\varphi }(\mathbf{x})]-H(q),\end{array}$$

其中

$$H(q):=-{\mathbb{E}}_q[\log q(\mathbf{x})]$$

是微分熵，而常数

$$C_Q:={\mathbb{E}}_q[\log q(\mathbf{x})]=-H(q)$$

与 $\varphi$ 无关。若 $C_Q$ 有限，且候选模型满足所需的绝对连续性和可积性，则

$$\underset{\varphi }{\mathrm{argmin}}{D}_{\mathrm{KL}}(q\Vert p_{\varphi })=\underset{\varphi }{\mathrm{argmax}}{\mathbb{E}}_q[\log p_{\varphi }(\mathbf{x})].$$

不能在 $Q/\ll P_{\varphi }$ 或出现未定义的 $\infty -\infty$ 时无条件使用这一等价关系。

给定 i.i.d. 样本 $\{{\mathbf{x}}^{(i)}{\}}_{i=1}^N$，用样本均值估计期望，得到经验负对数似然

$${\hat{\mathcal{L}}}_{\mathrm{MLE}}(\varphi )=-\frac{1}{N}\sum _{i=1}^N\log p_{\varphi }({\mathbf{x}}^{(i)}).$$

$f$-散度

定义（$f$-散度）　设 $P,R$ 是同一可测空间上的概率测度，并关于参考测度 $\mu$ 分别有密度 $p,r$。令 $f:(0,\infty )\to \mathbb{R}$ 为凸函数且 $f(1)=0$，并定义扩展值

$$f(0):=\underset{t\downarrow 0}{\lim }f(t),f_{\infty }^{\prime }:=\underset{t\to \infty }{\lim }\frac{f(t)}{t}.$$

则

$${\mathcal{D}}_f(P\Vert R):={\int }_{\{r>0\}}r(\mathbf{x})f\left(\frac{p(\mathbf{x})}{r(\mathbf{x})}\right)\mathrm{d}\mu (\mathbf{x})+f_{\infty }^{\prime }{\int }_{\{r=0\}}p(\mathbf{x})\mathrm{d}\mu (\mathbf{x}).$$

这等价于采用支撑约定

$$0f(a/0):=a{f}_{\infty }^{\prime }(a>0),0f(0/0):=0.$$

若额外假设 $P\ll R$，第二项消失，便得到常见的期望形式

$${\mathcal{D}}_f(P\Vert R)={\mathbb{E}}_{\mathbf{x}\sim R}\left[f\left(\frac{p(\mathbf{x})}{r(\mathbf{x})}\right)\right].$$

定理（非负性与取零条件）　若 $f$ 凸且 $f(1)=0$，则 ${\mathcal{D}}_f(P\Vert R)\ge 0$。仅凭凸性不能推出“取零当且仅当 $P=R$”；若 $f$ 在 $(0,\infty )$ 上严格凸，则

$${\mathcal{D}}_f(P\Vert R)=0⟺P=R.$$

证明　令

$$s:={\int }_{\{r=0\}}p\mathrm{d}\mu ,h:=\frac{p}{r}\text{（定义在 {r>0} 上）}.$$

于是 $\int h\mathrm{d}R=1-s$。取任意次梯度 $a\in \partial f(1)$。由凸性，

$$f(t)\ge a(t-1),f_{\infty }^{\prime }\ge a.$$

因此

$$\begin{array}{rl}{\mathcal{D}}_f(P\Vert R)& =\int f(h)\mathrm{d}R+f_{\infty }^{\prime }s\\ & \ge a\left(\int h\mathrm{d}R-1\right)+f_{\infty }^{\prime }s\\ & =s(f_{\infty }^{\prime }-a)\ge 0.\end{array}$$

若 $P=R$，显然散度为零。反之，若 $f$ 严格凸且散度为零，则严格凸性排除 $s>0$，并由 Jensen 等号条件得到 $h=1$，$R$-几乎处处成立，故 $P=R$。证毕。

KL 散度是 $f$-散度

取 $f(u)=u\log u$，则 $f_{\infty }^{\prime }=+\infty$。因此当 $P/\ll R$ 时散度为 $+\infty$；当 $P\ll R$ 时，

$$\begin{array}{rl}{\mathcal{D}}_f(P\Vert R)& =\int r(\mathbf{x})\frac{p(\mathbf{x})}{r(\mathbf{x})}\log \frac{p(\mathbf{x})}{r(\mathbf{x})}\mathrm{d}\mu (\mathbf{x})\\ & ={\mathbb{E}}_{\mathbf{x}\sim P}\left[\log \frac{p(\mathbf{x})}{r(\mathbf{x})}\right]\\ & =D_{\mathrm{KL}}(P\Vert R).\end{array}$$

Fisher 散度

定义（Fisher 散度）　设 $\Omega \subseteq {\mathbb{R}}^d$ 为开集，$p,r$ 是 $\Omega$ 上严格为正且一阶连续可微的密度，并且

$${\int }_{\Omega }p(\mathbf{x}){\Vert {\nabla }_{\mathbf{x}}\log p(\mathbf{x})-{\nabla }_{\mathbf{x}}\log r(\mathbf{x})\Vert }_2^2\mathrm{d}\mathbf{x}<\infty .$$

定义

$${\mathcal{D}}_{\mathrm{F}}(p\Vert r):={\mathbb{E}}_{\mathbf{x}\sim p}\left[{\Vert {\nabla }_{\mathbf{x}}\log p(\mathbf{x})-{\nabla }_{\mathbf{x}}\log r(\mathbf{x})\Vert }_2^2\right].$$

严格正性和 $C^1$ 条件保证两个分数函数存在；更一般时也可在共同支撑内部以弱导数定义，但必须另行说明边界条件与平方可积性。

合法概率密度与配分函数

相对于参考测度 $\mu$ 的合法概率密度必须满足：

• 非负性：$p_{\varphi }(\mathbf{x})\ge 0$，$\mu$-几乎处处成立；
• 归一化：$\int p_{\varphi }(\mathbf{x})\mathrm{d}\mu (\mathbf{x})=1$。

给定能量函数 $E_{\varphi }(\mathbf{x})\in \mathbb{R}$，先定义未归一化密度

$${\tilde{p}}_{\varphi }(\mathbf{x})=\exp (-E_{\varphi }(\mathbf{x})),$$

再定义配分函数

$$Z(\varphi ):=\int \exp (-E_{\varphi }({\mathbf{x}}^{\prime }))\mathrm{d}\mu ({\mathbf{x}}^{\prime }).$$

只有在

$$0<Z(\varphi )<\infty$$

时，

$$p_{\varphi }(\mathbf{x})=\frac{\exp (-E_{\varphi }(\mathbf{x}))}{Z(\varphi )}$$

才是合法概率密度。$Z(\varphi )$ 通常难以计算；若它发散，则该能量函数并未定义出概率分布。

生成模型分类

以下五类模型构成深层生成建模的主要谱系；后续内容重点讨论与扩散、流相关的模型。

能量模型（Energy-Based Models, EBM）

能量模型利用 $E_{\varphi }(\mathbf{x})$ 定义分布，样本越真实，能量越低：

$$p_{\varphi }(\mathbf{x})=\frac{\exp (-E_{\varphi }(\mathbf{x}))}{Z(\varphi )},Z(\varphi )=\int \exp (-E_{\varphi }(\mathbf{x}))\mathrm{d}\mu (\mathbf{x}),$$

并要求 $0<Z(\varphi )<\infty$。

自回归模型（Autoregressive Models, AR）

由概率链式法则分解联合分布。对 $\mathbf{x}=(x_1,\dots ,x_D{)}^{\top }$，

$$p_{\varphi }(\mathbf{x})=\prod _{i=1}^D{p}_{\varphi }(x_i\mid {\mathbf{x}}_{<i}).$$

变分自编码器（Variational Autoencoders, VAE）

VAE 引入隐变量 $\mathbf{z}$，以 $p_0(\mathbf{z})$ 为先验、$p_{\varphi }(\mathbf{x}\mid \mathbf{z})$ 为解码器，并用编码器 $q_{\theta }(\mathbf{z}\mid \mathbf{x})$ 近似后验。这里的 $q_{\theta }$ 是变分后验，与 DDPM 前向核 $q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1})$ 记号同形但含义不同。

对固定 $\mathbf{x}$，假设证据

$$p_{\varphi }(\mathbf{x})=\int p_0(\mathbf{z})p_{\varphi }(\mathbf{x}\mid \mathbf{z})\mathrm{d}\mathbf{z}$$

满足 $0<p_{\varphi }(\mathbf{x})<\infty$，$q_{\theta }(\cdot \mid \mathbf{x})\ll p_0$，且以下对数项可积，则证据下界为

$$\begin{array}{rl}{\mathcal{L}}_{\mathrm{ELBO}}(\theta ,\varphi ;\mathbf{x})& ={\mathbb{E}}_{\mathbf{z}\sim q_{\theta }(\cdot \mid \mathbf{x})}[\log p_{\varphi }(\mathbf{x}\mid \mathbf{z})]\\ & -D_{\mathrm{KL}}(q_{\theta }(\mathbf{z}\mid \mathbf{x})\Vert p_0(\mathbf{z})).\end{array}$$

若进一步有

$$q_{\theta }(\cdot \mid \mathbf{x})\ll p_{\varphi }(\cdot \mid \mathbf{x})$$

且 KL 项有限，则

$$\log p_{\varphi }(\mathbf{x})={\mathcal{L}}_{\mathrm{ELBO}}(\theta ,\varphi ;\mathbf{x})+D_{\mathrm{KL}}(q_{\theta }(\mathbf{z}\mid \mathbf{x})\Vert p_{\varphi }(\mathbf{z}\mid \mathbf{x}))\ge {\mathcal{L}}_{\mathrm{ELBO}}.$$

训练时最大化

$$\underset{\theta ,\varphi }{\max }{\mathcal{L}}_{\mathrm{ELBO}}(\theta ,\varphi ;\mathbf{x}).$$

若绝对连续性或可积性不成立，相应 KL 可为 $+\infty$、ELBO 可为 $-\infty$，不能把上式当作有限实数恒等式使用。

Normalizing Flows（NF）

设先验 $\mathbf{z}\sim p_0$，并令 $\mathbf{x}=f_{\varphi }(\mathbf{z})$。为了直接使用换元公式，要求

$$f_{\varphi }:{\mathbb{R}}^d\to {\mathbb{R}}^d$$

是 $C^1$ 微分同胚，其逆映射也为 $C^1$，且 Jacobian 行列式处处非零。令 $\mathbf{z}=f_{\varphi }^{-1}(\mathbf{x})$，则

$$p_{\varphi }(\mathbf{x})=p_0(f_{\varphi }^{-1}(\mathbf{x}))\left|\det D{f}_{\varphi }^{-1}(\mathbf{x})\right|,$$

从而

$$\log p_{\varphi }(\mathbf{x})=\log p_0(\mathbf{z})+\log \left|\det \frac{\partial f_{\varphi }^{-1}(\mathbf{x})}{\partial \mathbf{x}}\right|.$$

若映射不可逆、维数不同或 Jacobian 退化，则上述普通密度换元公式不再直接适用。

生成对抗网络（Generative Adversarial Networks, GAN）

GAN 是不要求显式模型密度的 likelihood-free 模型。生成器 $G_{\varphi }$ 与判别器 $D_{\zeta }$ 进行极小极大博弈：

$$\underset{G_{\varphi }}{\min }\underset{D_{\zeta }}{\max }\left\{{\mathbb{E}}_{\mathbf{x}\sim q}[\log D_{\zeta }(\mathbf{x})]+{\mathbb{E}}_{\mathbf{z}\sim p_0}\left[\log (1-D_{\zeta }(G_{\varphi }(\mathbf{z})))\right]\right\}.$$