变分自编码器

假设数据来自未知分布 $p_{\mathrm{data}}$，目标是用参数模型 $p_{\varphi }$ 逼近它。下文的 $\log$ 表示自然对数。

从自编码器到 VAE

自编码器由确定性的编码器和解码器组成。它能把样本重构回来，但只优化重构时，不能保证从预设的简单分布里抽出潜编码后仍得到高质量样本。

变分自编码器（Variational Autoencoder, VAE）给潜空间加上概率结构：先从先验采样潜编码，再由解码器生成数据。重构工具因此成为生成模型。

边际似然

极大似然需要边际分布

$$p_{\varphi }(\mathbf{x})=\int p_{\varphi }(\mathbf{x},\mathbf{z})d\mathbf{z}=\int p_{\varphi }(\mathbf{x}\mid \mathbf{z})p(\mathbf{z})d\mathbf{z}.\text{\hspace{1em}(1)}$$

这个积分通常没有闭式。若潜空间是 $d$ 维，每个维度放 $M$ 个求积节点，全张量网格的函数计算次数是 $\mathcal{O}(M^d)$，随 $d$ 指数增长。直接从先验 $p(\mathbf{z})$ 做蒙特卡洛时，对给定 $\mathbf{x}$ 有效的样本往往很少，估计方差会很大。

于是要先回答：给定观测 $\mathbf{x}$，哪些潜编码 $\mathbf{z}$ 以较高概率产生了它。

近似后验

贝叶斯公式给出真实后验

$$p_{\varphi }(\mathbf{z}\mid \mathbf{x})=\frac{p_{\varphi }(\mathbf{x}\mid \mathbf{z})p(\mathbf{z})}{p_{\varphi }(\mathbf{x})}.\text{\hspace{1em}(2)}$$

分母仍是 (1)，不能直接计算。VAE 用参数为 $\theta$ 的网络给出变分分布，近似这个后验：

$$q_{\theta }(\mathbf{z}\mid \mathbf{x})\approx p_{\varphi }(\mathbf{z}\mid \mathbf{x}).\text{\hspace{1em}(3)}$$

证据下界

把 (1) 改写成对 $q_{\theta }(\mathbf{z}\mid \mathbf{x})$ 的期望。$\log$ 是凹函数，Jensen 不等式给出证据下界（Evidence Lower Bound, ELBO）：

$$\begin{array}{rl}\log p_{\varphi }(\mathbf{x})& =\log \int q_{\theta }(\mathbf{z}\mid \mathbf{x})\frac{p_{\varphi }(\mathbf{x},\mathbf{z})}{q_{\theta }(\mathbf{z}\mid \mathbf{x})}d\mathbf{z}\\ & =\log {\mathbb{E}}_{\mathbf{z}\sim q_{\theta }(\mathbf{z}\mid \mathbf{x})}\left[\frac{p_{\varphi }(\mathbf{x},\mathbf{z})}{q_{\theta }(\mathbf{z}\mid \mathbf{x})}\right]\\ & \ge {\mathbb{E}}_{\mathbf{z}\sim q_{\theta }(\mathbf{z}\mid \mathbf{x})}\left[\log \frac{p_{\varphi }(\mathbf{x},\mathbf{z})}{q_{\theta }(\mathbf{z}\mid \mathbf{x})}\right]={\mathcal{L}}_{\mathrm{ELBO}}(\theta ,\varphi ;\mathbf{x}).\end{array}\text{\hspace{1em}(4)}$$

把联合分布拆成 $p_{\varphi }(\mathbf{x}\mid \mathbf{z})p(\mathbf{z})$，得到重构项与正则项：

$$\begin{array}{rl}{\mathcal{L}}_{\mathrm{ELBO}}(\theta ,\varphi ;\mathbf{x})& =\int q_{\theta }(\mathbf{z}\mid \mathbf{x})\log \frac{p_{\varphi }(\mathbf{x}\mid \mathbf{z})p(\mathbf{z})}{q_{\theta }(\mathbf{z}\mid \mathbf{x})}d\mathbf{z}\\ & ={\mathbb{E}}_{\mathbf{z}\sim q_{\theta }(\mathbf{z}\mid \mathbf{x})}[\log p_{\varphi }(\mathbf{x}\mid \mathbf{z})]-D_{\mathrm{KL}}\left(q_{\theta }(\mathbf{z}\mid \mathbf{x})\Vert p(\mathbf{z})\right).\end{array}\text{\hspace{1em}(5)}$$

第一项是重构项，第二项把近似后验拉向先验。训练时最大化数据上的平均 ELBO：

$$\underset{\theta ,\varphi }{\max }{\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}[{\mathcal{L}}_{\mathrm{ELBO}}(\theta ,\varphi ;\mathbf{x})].\text{\hspace{1em}(6)}$$

高斯假设与重参数化

标准 VAE 把近似后验取成对角高斯，解码分布取成各向同性高斯：

$$q_{\theta }(\mathbf{z}\mid \mathbf{x})=\mathcal{N}\left(\mathbf{z};{\mathbf{\mu }}_{\theta }(\mathbf{x}),\mathrm{diag}({\mathbf{\sigma }}_{\theta }^2(\mathbf{x}))\right),\text{\hspace{1em}(7)}$$ $$p_{\varphi }(\mathbf{x}\mid \mathbf{z})=\mathcal{N}\left(\mathbf{x};{\mathbf{\mu }}_{\varphi }(\mathbf{z}),{\sigma }^2\mathbf{I}\right).\text{\hspace{1em}(8)}$$

$\sigma >0$ 是预设超参数。先验取标准正态 $p(\mathbf{z})=\mathcal{N}(0,\mathbf{I})$。

重构项要对 $\mathbf{z}\sim q_{\theta }(\mathbf{z}\mid \mathbf{x})$ 取期望。直接从 $q_{\theta }$ 抽样时，随机性穿过 $\theta$，梯度传不回编码器。重参数化把随机性放进与参数无关的噪声里：

$$\mathbf{z}={\mathbf{\mu }}_{\theta }(\mathbf{x})+{\mathbf{\sigma }}_{\theta }(\mathbf{x})\odot \mathbf{ϵ},\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I}).\text{\hspace{1em}(9)}$$

$\mathbf{z}$ 对 $\theta$ 可微，重构项可以反向传播。

重构项

在 (8) 下，重构项等于负均方误差加常数：

$${\mathbb{E}}_{\mathbf{z}\sim q_{\theta }(\mathbf{z}\mid \mathbf{x})}[\log p_{\varphi }(\mathbf{x}\mid \mathbf{z})]=-\frac{1}{2{\sigma }^2}{\mathbb{E}}_{\mathbf{z}\sim q_{\theta }(\mathbf{z}\mid \mathbf{x})}\left[\Vert \mathbf{x}-{\mathbf{\mu }}_{\varphi }(\mathbf{z}){\Vert }^2\right]+C.\text{\hspace{1em}(10)}$$

证明. 设 $\mathbf{x}\in {\mathbb{R}}^D$。协方差 ${\sigma }^2\mathbf{I}$ 的行列式是 $|{\sigma }^2\mathbf{I}|={\sigma }^{2D}$，故

$$\begin{array}{rl}{p}_{\varphi }(\mathbf{x}\mid \mathbf{z})& =(2\pi {)}^{-D/2}{\sigma }^{-D}\exp \left(-\frac{1}{2{\sigma }^2}\Vert \mathbf{x}-{\mathbf{\mu }}_{\varphi }(\mathbf{z}){\Vert }^2\right),\\ \log p_{\varphi }(\mathbf{x}\mid \mathbf{z})& =-\frac{1}{2{\sigma }^2}\Vert \mathbf{x}-{\mathbf{\mu }}_{\varphi }(\mathbf{z}){\Vert }^2+C,\end{array}$$

其中 $C=\log ((2\pi {)}^{-D/2}{\sigma }^{-D})$ 只依赖 $D$ 与 $\sigma$，与 $\mathbf{z}$ 和网络参数无关。对 $q_{\theta }(\mathbf{z}\mid \mathbf{x})$ 取期望即得 (10)。$\square$

正则项

两个 $d$ 维高斯

$$p_1(\mathbf{x})=\mathcal{N}(\mathbf{x};{\mathbf{\mu }}_1,{\mathbf{\Sigma }}_1),p_2(\mathbf{x})=\mathcal{N}(\mathbf{x};{\mathbf{\mu }}_2,{\mathbf{\Sigma }}_2)$$

的 KL 散度有闭式

$$\begin{array}{rl}& D_{\mathrm{KL}}(p_1\Vert p_2)\\ & =\frac{1}{2}(\log \frac{|{\mathbf{\Sigma }}_2|}{|{\mathbf{\Sigma }}_1|}+\mathrm{tr}({\mathbf{\Sigma }}_2^{-1}{\mathbf{\Sigma }}_1)+({\mathbf{\mu }}_2-{\mathbf{\mu }}_1{)}^{\top }{\mathbf{\Sigma }}_2^{-1}({\mathbf{\mu }}_2-{\mathbf{\mu }}_1)-d).\end{array}\text{\hspace{1em}(11)}$$

训练里的正则项是把 (11) 代入 (7) 与标准正态先验。记 $\mathbf{\mu }={\mathbf{\mu }}_{\theta }(\mathbf{x})$，$\mathbf{\sigma }={\mathbf{\sigma }}_{\theta }(\mathbf{x})$，则 ${\mathbf{\Sigma }}_1=\mathrm{diag}({\mathbf{\sigma }}^2)$，${\mathbf{\Sigma }}_2=\mathbf{I}$，${\mathbf{\mu }}_2=0$。于是 $|{\mathbf{\Sigma }}_2|=1$，$|{\mathbf{\Sigma }}_1|={\prod }_i{\sigma }_i^2$，$\mathrm{tr}({\mathbf{\Sigma }}_1)={\sum }_i{\sigma }_i^2$，$({\mathbf{\mu }}_2-{\mathbf{\mu }}_1{)}^{\top }({\mathbf{\mu }}_2-{\mathbf{\mu }}_1)=\Vert \mathbf{\mu }{\Vert }^2$，得到

$$D_{\mathrm{KL}}\left(q_{\theta }(\mathbf{z}\mid \mathbf{x})\Vert p(\mathbf{z})\right)=\frac{1}{2}\sum _{i=1}^d({\mu }_i^2+{\sigma }_i^2-\log {\sigma }_i^2-1).\text{\hspace{1em}(12)}$$

最大化 ELBO 等价于最小化联合 KL

记推断联合分布与生成联合分布为

$$q_{\theta }(\mathbf{x},\mathbf{z})=p_{\mathrm{data}}(\mathbf{x})q_{\theta }(\mathbf{z}\mid \mathbf{x}),p_{\varphi }(\mathbf{x},\mathbf{z})=p(\mathbf{z})p_{\varphi }(\mathbf{x}\mid \mathbf{z}).$$

这里 $p_{\varphi }(\mathbf{z})=p(\mathbf{z})$，因为先验抽样不依赖 $\varphi$；$q_{\theta }(\mathbf{x})=p_{\mathrm{data}}(\mathbf{x})$，因为数据抽样不依赖 $\theta$。联合 KL 拆成边际 KL 与期望后验 KL：

$$\begin{array}{rl}& D_{\mathrm{KL}}\left(q_{\theta }(\mathbf{x},\mathbf{z})\Vert p_{\varphi }(\mathbf{x},\mathbf{z})\right)\\ & =D_{\mathrm{KL}}\left(p_{\mathrm{data}}(\mathbf{x})\Vert p_{\varphi }(\mathbf{x})\right)+{\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}\left[D_{\mathrm{KL}}\left(q_{\theta }(\mathbf{z}\mid \mathbf{x})\Vert p_{\varphi }(\mathbf{z}\mid \mathbf{x})\right)\right].\end{array}\text{\hspace{1em}(13)}$$

证明. 生成模型同时有分解 $p_{\varphi }(\mathbf{x},\mathbf{z})=p_{\varphi }(\mathbf{x})p_{\varphi }(\mathbf{z}\mid \mathbf{x})$。于是

$$\begin{array}{rl}& D_{\mathrm{KL}}\left(q_{\theta }(\mathbf{x},\mathbf{z})\Vert p_{\varphi }(\mathbf{x},\mathbf{z})\right)\\ & =\iint q_{\theta }(\mathbf{x},\mathbf{z})\log \frac{q_{\theta }(\mathbf{x},\mathbf{z})}{p_{\varphi }(\mathbf{x},\mathbf{z})}d\mathbf{z}d\mathbf{x}\\ & =\iint q_{\theta }(\mathbf{x},\mathbf{z})\log \frac{p_{\mathrm{data}}(\mathbf{x})q_{\theta }(\mathbf{z}\mid \mathbf{x})}{p_{\varphi }(\mathbf{x})p_{\varphi }(\mathbf{z}\mid \mathbf{x})}d\mathbf{z}d\mathbf{x}\\ & =\iint q_{\theta }(\mathbf{x},\mathbf{z})\left[\log \frac{p_{\mathrm{data}}(\mathbf{x})}{p_{\varphi }(\mathbf{x})}+\log \frac{q_{\theta }(\mathbf{z}\mid \mathbf{x})}{p_{\varphi }(\mathbf{z}\mid \mathbf{x})}\right]d\mathbf{z}d\mathbf{x}.\end{array}$$

第一项先对 $\mathbf{z}$ 积分。$\int q_{\theta }(\mathbf{x},\mathbf{z})d\mathbf{z}=p_{\mathrm{data}}(\mathbf{x})$，故

$$\iint q_{\theta }(\mathbf{x},\mathbf{z})\log \frac{p_{\mathrm{data}}(\mathbf{x})}{p_{\varphi }(\mathbf{x})}d\mathbf{z}d\mathbf{x}=D_{\mathrm{KL}}\left(p_{\mathrm{data}}(\mathbf{x})\Vert p_{\varphi }(\mathbf{x})\right).$$

第二项先把 $q_{\theta }(\mathbf{x},\mathbf{z})=p_{\mathrm{data}}(\mathbf{x})q_{\theta }(\mathbf{z}\mid \mathbf{x})$ 代入，内层就是条件 KL：

$$\begin{array}{rl}& \iint q_{\theta }(\mathbf{x},\mathbf{z})\log \frac{q_{\theta }(\mathbf{z}\mid \mathbf{x})}{p_{\varphi }(\mathbf{z}\mid \mathbf{x})}d\mathbf{z}d\mathbf{x}\\ & ={\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}\left[D_{\mathrm{KL}}\left(q_{\theta }(\mathbf{z}\mid \mathbf{x})\Vert p_{\varphi }(\mathbf{z}\mid \mathbf{x})\right)\right].\end{array}$$

两项相加即得 (13)。$\square$

对数似然与 ELBO 的差就是这个后验 KL：

$$\log p_{\varphi }(\mathbf{x})-{\mathcal{L}}_{\mathrm{ELBO}}(\theta ,\varphi ;\mathbf{x})=D_{\mathrm{KL}}\left(q_{\theta }(\mathbf{z}\mid \mathbf{x})\Vert p_{\varphi }(\mathbf{z}\mid \mathbf{x})\right).\text{\hspace{1em}(14)}$$

证明. $\log p_{\varphi }(\mathbf{x})$ 不依赖 $\mathbf{z}$，可以放进对 $q_{\theta }(\mathbf{z}\mid \mathbf{x})$ 的期望。由 (4) 中 ELBO 的定义，

$$\begin{array}{rl}& \log p_{\varphi }(\mathbf{x})-{\mathcal{L}}_{\mathrm{ELBO}}(\theta ,\varphi ;\mathbf{x})\\ & ={\mathbb{E}}_{\mathbf{z}\sim q_{\theta }(\mathbf{z}\mid \mathbf{x})}\left[\log p_{\varphi }(\mathbf{x})-\log \frac{p_{\varphi }(\mathbf{x},\mathbf{z})}{q_{\theta }(\mathbf{z}\mid \mathbf{x})}\right]\\ & ={\mathbb{E}}_{\mathbf{z}\sim q_{\theta }(\mathbf{z}\mid \mathbf{x})}\left[\log \frac{p_{\varphi }(\mathbf{x})q_{\theta }(\mathbf{z}\mid \mathbf{x})}{p_{\varphi }(\mathbf{x},\mathbf{z})}\right]\\ & ={\mathbb{E}}_{\mathbf{z}\sim q_{\theta }(\mathbf{z}\mid \mathbf{x})}\left[\log \frac{q_{\theta }(\mathbf{z}\mid \mathbf{x})}{p_{\varphi }(\mathbf{z}\mid \mathbf{x})}\right]\\ & =D_{\mathrm{KL}}\left(q_{\theta }(\mathbf{z}\mid \mathbf{x})\Vert p_{\varphi }(\mathbf{z}\mid \mathbf{x})\right).\end{array}$$

第三步用了 $p_{\varphi }(\mathbf{x},\mathbf{z})=p_{\varphi }(\mathbf{x})p_{\varphi }(\mathbf{z}\mid \mathbf{x})$。$\square$

(14) 说明 ELBO 的间隙就是近似后验与真实后验的 KL。$q_{\theta }(\mathbf{z}\mid \mathbf{x})=p_{\varphi }(\mathbf{z}\mid \mathbf{x})$ 时，下界成为等式。把 (14) 代回 (13)，再展开边际 KL：

$$\begin{array}{rl}& D_{\mathrm{KL}}\left(q_{\theta }(\mathbf{x},\mathbf{z})\Vert p_{\varphi }(\mathbf{x},\mathbf{z})\right)\\ & =D_{\mathrm{KL}}\left(p_{\mathrm{data}}(\mathbf{x})\Vert p_{\varphi }(\mathbf{x})\right)+{\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}\left[\log p_{\varphi }(\mathbf{x})-{\mathcal{L}}_{\mathrm{ELBO}}(\theta ,\varphi ;\mathbf{x})\right]\\ & ={\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}[\log p_{\mathrm{data}}(\mathbf{x})]-{\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}[{\mathcal{L}}_{\mathrm{ELBO}}(\theta ,\varphi ;\mathbf{x})].\end{array}\text{\hspace{1em}(15)}$$

证明. 由 (13)，左端等于边际 KL 加上期望后验 KL。再用 (14) 把后验 KL 换成 $\log p_{\varphi }(\mathbf{x})-{\mathcal{L}}_{\mathrm{ELBO}}(\theta ,\varphi ;\mathbf{x})$，得到 (15) 的第一个等号。边际 KL 等于 ${\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}[\log p_{\mathrm{data}}(\mathbf{x})-\log p_{\varphi }(\mathbf{x})]$，其中的 $\mathbb{E}[\log p_{\varphi }(\mathbf{x})]$ 与前一项里的 $\mathbb{E}[\log p_{\varphi }(\mathbf{x})]$ 相消，得到第二个等号。$\square$

(15) 末行的第一项是真实数据分布的负熵，与 $(\theta ,\varphi )$ 无关。因此

$$\underset{\theta ,\varphi }{\max }{\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}[{\mathcal{L}}_{\mathrm{ELBO}}(\theta ,\varphi ;\mathbf{x})]⟺\underset{\theta ,\varphi }{\min }{D}_{\mathrm{KL}}\left(q_{\theta }(\mathbf{x},\mathbf{z})\Vert p_{\varphi }(\mathbf{x},\mathbf{z})\right).\text{\hspace{1em}(16)}$$

表达力与模糊化

对角高斯是单峰的

(7) 把近似后验限制在对角高斯里。网络无论多深，输出的都是一个单峰高斯。真实后验 $p_{\varphi }(\mathbf{z}\mid \mathbf{x})$ 多峰时，这个变分族拟合不上，ELBO 变松，推断变弱。加深网络改变不了变分族，需要更丰富的近似分布。

最优解码器是条件均值

高斯解码器以均方误差为重构目标时，对固定的编码器，最优解码均值是近似后验下 $\mathbf{x}$ 的条件期望。同一 $\mathbf{z}$ 对应多个 $\mathbf{x}$ 时，这个平均值会把生成结果模糊化：

$${\mathbf{\mu }}^{\ast }(\mathbf{z})=\frac{{\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}[q_{\theta }(\mathbf{z}\mid \mathbf{x})\mathbf{x}]}{{\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}[q_{\theta }(\mathbf{z}\mid \mathbf{x})]}.\text{\hspace{1em}(17)}$$

证明. 设编码器已经给定。MSE 目标是

$$\begin{array}{rl}& \underset{\mathbf{\mu }}{\min }{\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}\left[{\mathbb{E}}_{\mathbf{z}\sim q_{\theta }(\mathbf{z}\mid \mathbf{x})}\left[\Vert \mathbf{x}-\mathbf{\mu }(\mathbf{z}){\Vert }^2\right]\right]\\ & =\underset{\mathbf{\mu }}{\min }\int q_{\theta }(\mathbf{z})\left[\int q_{\theta }(\mathbf{x}\mid \mathbf{z})\Vert \mathbf{x}-\mathbf{\mu }(\mathbf{z}){\Vert }^{2}d\mathbf{x}\right]d\mathbf{z}.\end{array}$$

外层对 $\mathbf{z}$ 积分，内层可以逐点最小化。固定 $\mathbf{z}$，记

$$J(\mathbf{\mu })=\int q_{\theta }(\mathbf{x}\mid \mathbf{z})\Vert \mathbf{x}-\mathbf{\mu }{\Vert }^{2}d\mathbf{x}.$$

对 $\mathbf{\mu }$ 求导：

$${\nabla }_{\mathbf{\mu }}J=-2\int q_{\theta }(\mathbf{x}\mid \mathbf{z})(\mathbf{x}-\mathbf{\mu })d\mathbf{x}.$$

令梯度为零，得到

$${\mathbf{\mu }}^{\ast }(\mathbf{z})=\int q_{\theta }(\mathbf{x}\mid \mathbf{z})\mathbf{x}d\mathbf{x}={\mathbb{E}}_{\mathbf{x}\sim q_{\theta }(\mathbf{x}\mid \mathbf{z})}[\mathbf{x}].$$

由 $q_{\theta }(\mathbf{x},\mathbf{z})=p_{\mathrm{data}}(\mathbf{x})q_{\theta }(\mathbf{z}\mid \mathbf{x})$，

$$q_{\theta }(\mathbf{x}\mid \mathbf{z})=\frac{q_{\theta }(\mathbf{z}\mid \mathbf{x})p_{\mathrm{data}}(\mathbf{x})}{q_{\theta }(\mathbf{z})},q_{\theta }(\mathbf{z})={\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}[q_{\theta }(\mathbf{z}\mid \mathbf{x})].$$

代回条件期望：

$${\mathbf{\mu }}^{\ast }(\mathbf{z})=\frac{1}{q_{\theta }(\mathbf{z})}\int q_{\theta }(\mathbf{z}\mid \mathbf{x})\mathbf{x}{p}_{\mathrm{data}}(\mathbf{x})d\mathbf{x}=\frac{{\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}[q_{\theta }(\mathbf{z}\mid \mathbf{x})\mathbf{x}]}{{\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}[q_{\theta }(\mathbf{z}\mid \mathbf{x})]}.$$

这就是 (17)。$\square$

KL 系数

实践中常把 ELBO 改成重构项与 KL 的加权和，也就是 $\beta$-VAE：

$${\mathcal{L}}_{\beta }(\theta ,\varphi ;\mathbf{x})=-{\mathbb{E}}_{\mathbf{z}\sim q_{\theta }(\mathbf{z}\mid \mathbf{x})}[\log p_{\varphi }(\mathbf{x}\mid \mathbf{z})]+\beta D_{\mathrm{KL}}\left(q_{\theta }(\mathbf{z}\mid \mathbf{x})\Vert p(\mathbf{z})\right).\text{\hspace{1em}(18)}$$

最小化 (18) 时，$\beta =1$ 对应标准 ELBO 的负值。$\beta$ 调节训练稳定性、潜空间连续性，以及生成与重构的取舍。

$\beta \to 0$

$\beta \to 0$ 时 KL 惩罚消失，目标退化为纯重构，模型回到普通自编码器。

重参数化 (9) 里的噪声只会增大重构误差。没有 KL 约束时，最优编码器把质量全部放在重构似然最大的一点：

$$q_{\theta }(\mathbf{z}\mid \mathbf{x})\to \delta \left(\mathbf{z}-{\mathbf{z}}^{\ast }(\mathbf{x})\right),{\mathbf{z}}^{\ast }(\mathbf{x})=\underset{\mathbf{z}}{\mathrm{argmax}}\log p_{\varphi }(\mathbf{x}\mid \mathbf{z}).\text{\hspace{1em}(19)}$$

也就是 ${\mathbf{\sigma }}_{\theta }^2(\mathbf{x})\to 0$。各样本的后验变成互不重叠的点质量，编码落在孤立流形上，流形之间出现空洞。重构可以很清晰，但从先验 $p(\mathbf{z})$ 采样容易掉进这些空洞。

KL 主导

$\beta$ 较大时，KL 项主导训练。它在数据上的期望可以拆成互信息与聚合后验 KL：

$$\begin{array}{rl}& {\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}\left[D_{\mathrm{KL}}\left(q_{\theta }(\mathbf{z}\mid \mathbf{x})\Vert p(\mathbf{z})\right)\right]\\ & ={\mathcal{I}}_q(\mathbf{x};\mathbf{z})+D_{\mathrm{KL}}\left(q_{\theta }(\mathbf{z})\Vert p(\mathbf{z})\right).\end{array}\text{\hspace{1em}(20)}$$

聚合后验是 $q_{\theta }(\mathbf{z})=\int p_{\mathrm{data}}(\mathbf{x})q_{\theta }(\mathbf{z}\mid \mathbf{x})d\mathbf{x}$。

证明. 在被积函数里插入 $q_{\theta }(\mathbf{z})/q_{\theta }(\mathbf{z})$：

$$\begin{array}{rl}& {\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}\left[D_{\mathrm{KL}}\left(q_{\theta }(\mathbf{z}\mid \mathbf{x})\Vert p(\mathbf{z})\right)\right]\\ & =\int p_{\mathrm{data}}(\mathbf{x})\int q_{\theta }(\mathbf{z}\mid \mathbf{x})\log \frac{q_{\theta }(\mathbf{z}\mid \mathbf{x})}{p(\mathbf{z})}d\mathbf{z}d\mathbf{x}\\ & =\int p_{\mathrm{data}}(\mathbf{x})\int q_{\theta }(\mathbf{z}\mid \mathbf{x})\log \frac{q_{\theta }(\mathbf{z}\mid \mathbf{x})}{q_{\theta }(\mathbf{z})}d\mathbf{z}d\mathbf{x}\\ & +\int p_{\mathrm{data}}(\mathbf{x})\int q_{\theta }(\mathbf{z}\mid \mathbf{x})\log \frac{q_{\theta }(\mathbf{z})}{p(\mathbf{z})}d\mathbf{z}d\mathbf{x}.\end{array}$$

第一项就是 ${\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}[D_{\mathrm{KL}}(q_{\theta }(\mathbf{z}\mid \mathbf{x})\Vert q_{\theta }(\mathbf{z}))]$，即 ${\mathcal{I}}_q(\mathbf{x};\mathbf{z})$。第二项交换积分顺序，内层 $\int p_{\mathrm{data}}(\mathbf{x})q_{\theta }(\mathbf{z}\mid \mathbf{x})d\mathbf{x}=q_{\theta }(\mathbf{z})$，得到 $D_{\mathrm{KL}}(q_{\theta }(\mathbf{z})\Vert p(\mathbf{z}))$。$\square$

${\mathcal{I}}_q(\mathbf{x};\mathbf{z})$ 是 $\mathbf{z}$ 携带的关于 $\mathbf{x}$ 的信息，生成时希望它大；$D_{\mathrm{KL}}(q_{\theta }(\mathbf{z})\Vert p(\mathbf{z}))$ 是潜空间整体形状相对先验的偏差，希望它小。互信息过小时，$\mathbf{z}$ 几乎不含 $\mathbf{x}$ 的信息，潜编码难以控制生成。

后验崩溃

若进一步 $q_{\theta }(\mathbf{z}\mid \mathbf{x})\approx p(\mathbf{z})$，近似后验与 $\mathbf{x}$ 无关，则 (17) 的分子分母都多出一个与 $\mathbf{x}$ 无关的 $p(\mathbf{z})$：

$${\mathbf{\mu }}^{\ast }(\mathbf{z})=\frac{p(\mathbf{z}){\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}[\mathbf{x}]}{p(\mathbf{z}){\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}[1]}={\mathbb{E}}_{\mathbf{x}\sim p_{\mathrm{data}}}[\mathbf{x}].\text{\hspace{1em}(21)}$$

对任意 $\mathbf{z}$，最优输出都是全体训练样本的平均值，也就是一张与 $\mathbf{z}$ 无关的全局均值图。