条件扩散与引导

前置

• 分数匹配

1. 条件分数

给定条件 $\mathbf{y}$，条件生成所需分数为

$${\nabla }_{\mathbf{x}}\log p_t(\mathbf{x}\mid \mathbf{y}).$$

由贝叶斯公式，

$$\boxed{{\nabla }_{\mathbf{x}}\log p_t(\mathbf{x}\mid \mathbf{y})={\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})+{\nabla }_{\mathbf{x}}\log p_t(\mathbf{y}\mid \mathbf{x})}.$$

第一项是无条件分数，第二项是条件似然分数。把它代入逆向 SDE 或 probability-flow ODE 即可引导生成。

本文覆盖四类方法：

• Classifier guidance：额外训练能处理带噪输入的分类器；需要额外网络和额外训练。
• Classifier-free guidance（CFG）：同一去噪网络通过条件丢弃同时学习有条件与无条件预测；不需要额外分类器，但训练过程必须支持空条件。
• Loss guidance（LGD）：用给定可微损失构造推理期引导；通常无需额外训练，但依赖近似。
• Model guidance：把已有的干净数据分类器或回归器用作属性映射；无需为每个噪声级重新训练，但仍需要通过去噪估计和模型反向传播。

2. Classifier guidance

训练噪声条件分类器

$$c_{\varphi }(\mathbf{y}\mid {\mathbf{x}}_t,t)\approx p_t(\mathbf{y}\mid {\mathbf{x}}_t).$$

则

$${\nabla }_{{\mathbf{x}}_t}\log p_t({\mathbf{x}}_t\mid \mathbf{y})\approx {\mathbf{s}}_{\theta }({\mathbf{x}}_t,t)+{\nabla }_{{\mathbf{x}}_t}\log c_{\varphi }(\mathbf{y}\mid {\mathbf{x}}_t,t).$$

使用引导强度 $w\ge 0$ 时常写成

$${\mathbf{s}}_{\mathrm{guided}}={\mathbf{s}}_{\theta }+w{\nabla }_{{\mathbf{x}}_t}\log c_{\varphi }(\mathbf{y}\mid {\mathbf{x}}_t,t).$$

$w=1$ 对应在两个网络均精确时的条件分数；$w>1$ 是为了条件遵从度而进行的外推，不再一般对应原始数据联合分布的精确条件分数。分类器必须在各噪声时刻训练，因为普通干净图像分类器在 ${\mathbf{x}}_t$ 上的梯度通常失真。

3. Classifier-free guidance

CFG 使用一个条件去噪网络。训练时以概率
$p_{\mathrm{drop}}\in (0,1)$ 把条件 $\mathbf{y}$ 替换为空条件
$\varnothing$：

• ${\mathbf{s}}_{\theta }({\mathbf{x}}_t,t,\mathbf{y})$ 学习
  ${\nabla }_{{\mathbf{x}}_t}\log p_t({\mathbf{x}}_t\mid \mathbf{y})$；
• ${\mathbf{s}}_{\theta }({\mathbf{x}}_t,t,\varnothing )$ 学习
  ${\nabla }_{{\mathbf{x}}_t}\log p_t({\mathbf{x}}_t)$。

CFG 不是让网络直接把“条件似然分数”和“无条件分数”作为两个输出；它学习的是有条件数据分数与无条件数据分数。两者之差才近似条件似然分数：

$${\mathbf{s}}_c-{\mathbf{s}}_u\approx {\nabla }_{{\mathbf{x}}_t}\log p_t(\mathbf{y}\mid {\mathbf{x}}_t).$$

令

$${\mathbf{s}}_c:={\mathbf{s}}_{\theta }({\mathbf{x}}_t,t,\mathbf{y}),{\mathbf{s}}_u:={\mathbf{s}}_{\theta }({\mathbf{x}}_t,t,\varnothing ).$$

标准组合为

$$\boxed{{\mathbf{s}}_{\mathrm{CFG}}={\mathbf{s}}_u+w({\mathbf{s}}_c-{\mathbf{s}}_u)=(1-w){\mathbf{s}}_u+w{\mathbf{s}}_c}.$$

• $w=0$：无条件生成；
• $w=1$：模型的条件预测；
• $w>1$：沿条件方向外推，通常提高条件一致性但可能降低多样性或造成过饱和。

另一常见记号令 $w=1+\omega$，则

$${\mathbf{s}}_{\mathrm{CFG}}=(1+\omega ){\mathbf{s}}_c-\omega {\mathbf{s}}_u.$$

两种写法的“guidance scale”零点不同，报告参数时必须说明约定。

4. Loss-guidance diffusion

设

$$v:{\mathbb{R}}^d\to {\mathbb{R}}^k$$

是属性映射，

$$\ell :{\mathbb{R}}^k\times \mathcal{Y}\to \mathbb{R}$$

是可微损失，损失越小表示 $v({\mathbf{x}}_0)$ 越符合目标 $\mathbf{y}$。

4.1 能量倾斜的目标分布

Loss-guided diffusion (Song et al., 2023) 可先对固定 $\mathbf{y}$ 定义目标条件分布

$$\boxed{p_{\ell }({\mathbf{x}}_0\mid \mathbf{y}):=\frac{p_0({\mathbf{x}}_0)\exp [-\ell (v({\mathbf{x}}_0),\mathbf{y})]}{Z(\mathbf{y})}},$$

其中

$$Z(\mathbf{y})=\int p_0({\mathbf{x}}_0)\exp [-\ell (v({\mathbf{x}}_0),\mathbf{y})]\mathrm{d}{\mathbf{x}}_0.$$

只有在

$$0<Z(\mathbf{y})={\mathbb{E}}_{p_0}\left[e^{-\ell (v({\mathbf{X}}_0),\mathbf{y})}\right]<\infty$$

时，上式才是合法概率密度。将该倾斜分布通过同一个前向扩散核推到时刻
$t$，可得精确关系

$$p_{\ell ,t}({\mathbf{x}}_t\mid \mathbf{y})=\frac{p_t({\mathbf{x}}_t)}{Z(\mathbf{y})}\mathbb{E}\left[e^{-\ell (v({\mathbf{X}}_0),\mathbf{y})}\mid {\mathbf{X}}_t={\mathbf{x}}_t\right],$$

从而精确引导项是

$${\nabla }_{{\mathbf{x}}_t}\log p_{\ell ,t}({\mathbf{x}}_t\mid \mathbf{y})-{\nabla }_{{\mathbf{x}}_t}\log p_t({\mathbf{x}}_t)={\nabla }_{{\mathbf{x}}_t}\log \mathbb{E}\left[e^{-\ell (v({\mathbf{X}}_0),\mathbf{y})}\mid {\mathbf{X}}_t={\mathbf{x}}_t\right].$$

这一定义只给出 ${\mathbf{x}}_0\mid \mathbf{y}$。若需要联合分布，必须另外指定条件先验 $r(\mathbf{y})$：

$$p_{\ell }({\mathbf{x}}_0,\mathbf{y})=r(\mathbf{y})p_{\ell }({\mathbf{x}}_0\mid \mathbf{y}).$$

由此诱导的 $p_{\ell }(\mathbf{y}\mid {\mathbf{x}}_0)$ 还包含对所有
${\mathbf{y}}^{\prime }$ 的归一化以及 $Z({\mathbf{y}}^{\prime })$，一般不等于
$\exp [-\ell (v({\mathbf{x}}_0),\mathbf{y})]$。因此不能把

$${\nabla }_{{\mathbf{x}}_0}\log p_{\ell }(\mathbf{y}\mid {\mathbf{x}}_0)=-{\nabla }_{{\mathbf{x}}_0}\ell$$

无条件地当作定理；只有在忽略或抵消这些归一化项的特定建模约定下才成立。

4.2 后验均值插件近似

线性高斯扰动

$${\mathbf{X}}_t=a_t{\mathbf{X}}_0+b_t\mathbf{ϵ}$$

下，Tweedie 公式给出无条件后验均值 (Chung et al., 2022)

$${\hat{\mathbf{x}}}_0({\mathbf{x}}_t):=\mathbb{E}[{\mathbf{X}}_0\mid {\mathbf{X}}_t={\mathbf{x}}_t]=\frac{{\mathbf{x}}_t}{a_t}+\frac{b_t^2}{a_t}{\nabla }_{{\mathbf{x}}_t}\log p_t({\mathbf{x}}_t).$$

LGD 常用启发式向量场

$$\boxed{{\mathbf{h}}_{\mathrm{LGD}}({\mathbf{x}}_t,\mathbf{y}):=-{\nabla }_{{\mathbf{x}}_t}\ell \left(v({\hat{\mathbf{x}}}_0({\mathbf{x}}_t)),\mathbf{y}\right)}$$

近似条件似然分数，再构造

$${\mathbf{s}}_{\mathrm{guided}}={\mathbf{s}}_{\theta }+\eta (t){\mathbf{h}}_{\mathrm{LGD}}.$$

该近似隐含两步：

1. 用干净状态后验的某个函数近似噪声时刻的条件似然；
2. 用后验均值插件
   $\mathbb{E}[f({\mathbf{X}}_0)\mid {\mathbf{X}}_t]\approx f(\mathbb{E}[{\mathbf{X}}_0\mid {\mathbf{X}}_t])$。

第二步可由在后验均值处的一阶 Taylor 展开解释：一阶中心矩为零，但被忽略的二阶项由 Hessian 与后验协方差控制。除非函数近似线性或后验高度集中，否则它不是等式，也没有自动保证近似
$p_0({\mathbf{x}}_0\mid \mathbf{y})$。

4.3 LGD 采样流程图意

原图“Loss-Guidance Diffusion 采样流程图”用 Markdown 序列重写如下：

1. 输入当前噪声状态 ${\mathbf{x}}_t$。
2. Denoiser 计算预测无条件分数
   ${\mathbf{s}}_{\theta }({\mathbf{x}}_t,t)$。
3. 将 ${\mathbf{x}}_t$ 与无条件分数送入 Posterior Mean，由 Tweedie 公式得到
   ${\hat{\mathbf{x}}}_0=\mathbb{E}[{\mathbf{X}}_0\mid {\mathbf{x}}_t]$。
4. attribute map 计算 $v({\hat{\mathbf{x}}}_0)$。
5. 把属性预测与目标 condition y 一起送入
   condition loss function，计算损失及其对 ${\mathbf{x}}_t$ 的梯度。
6. 该梯度形成 Predicted Conditional Score（近似引导项）。
7. 将近似引导项与 Predicted Unconditional Score 相加，得到
   Predicted Score。
8. Sampler 用该分数从 ${\mathbf{x}}_t$ 更新到
   ${\mathbf{x}}_{t-1}$。
9. 令 ${\mathbf{x}}_t\leftarrow {\mathbf{x}}_{t-1}$ 并循环至起点。

这段流程保留了原图的两个关键分支：无条件分数既直接进入相加节点，也与
${\mathbf{x}}_t$ 一起用于构造后验均值。

5. Model guidance

Model guidance 使用已在干净数据上训练的模型
$c_{\varphi }$，避免为每个噪声级重新训练分类头。稳妥做法是先计算
${\hat{\mathbf{x}}}_0({\mathbf{x}}_t)$，再在干净模型上求梯度。

5.1 回归模型

若

$$c_{\varphi }({\mathbf{x}}_0)\approx \mathbf{y}$$

且采用平方损失

$$\ell (c_{\varphi }({\mathbf{x}}_0),\mathbf{y})=\Vert c_{\varphi }({\mathbf{x}}_0)-\mathbf{y}{\Vert }_2^2,$$

则启发式引导项为

$$\begin{array}{rl}{\mathbf{h}}_{\mathrm{reg}}& =-{\nabla }_{{\mathbf{x}}_t}\ell (c_{\varphi }({\hat{\mathbf{x}}}_0({\mathbf{x}}_t)),\mathbf{y})\\ & =-2J_{c_{\varphi }\circ {\hat{\mathbf{x}}}_0}({\mathbf{x}}_t{)}^{\top }\left[c_{\varphi }({\hat{\mathbf{x}}}_0({\mathbf{x}}_t))-\mathbf{y}\right].\end{array}$$

5.2 分类模型

若 $c_{\varphi }(\mathbf{y}\mid {\mathbf{x}}_0)$ 是干净数据分类器，取

$$\ell =-\log c_{\varphi }(\mathbf{y}\mid {\mathbf{x}}_0),$$

则

$${\mathbf{h}}_{\mathrm{cls}}={\nabla }_{{\mathbf{x}}_t}\log c_{\varphi }(\mathbf{y}\mid {\hat{\mathbf{x}}}_0({\mathbf{x}}_t)).$$

这与 noisy classifier guidance 的区别是：模型看到的是估计的干净样本而不是直接看到
${\mathbf{x}}_t$。它利用已有模型，适用于分类和回归，但仍继承后验均值插件误差、分布外输入和梯度尺度不稳定等问题。

6. 使用边界

• 精确 classifier guidance 需要噪声条件分类器确实逼近
  $p_t(\mathbf{y}\mid {\mathbf{x}}_t)$。
• CFG 的 $w>1$ 是有用的外推，不应表述成对原条件分布的精确采样。
• LGD 和 model guidance 构造的是实用启发式向量场；除非另有证明，不能把它们写成精确条件分数定理。
• 对后验均值停止梯度（stop-gradient）与完整反向传播会产生不同引导场，必须在实现中明确。
• 引导强度 $\eta (t)$、损失量纲和分数尺度必须匹配；否则不同噪声级的引导不可比较。

Chung, H., Kim, J., McCann, M. T., Klasky, M. L., & Ye, J. C. (2022). Diffusion Posterior Sampling for General Noisy Inverse Problems. arXiv Preprint arXiv:2209.14687.

Song, J., Zhang, Q., Yin, H., Mardani, M., Liu, M.-Y., Kautz, J., Chen, Y., & Vahdat, A. (2023). Loss-Guided Diffusion Models for Plug-and-Play Controllable Generation. International Conference on Machine Learning, 32483–32498.