概率演化方程

前置

• 离散时间马尔可夫链
• 布朗运动

连续时间 Markov 跳跃过程

设 $X_t\in {\mathbb{R}}^d$ 是连续时间 Markov 过程，$p(\mathbf{x},t)$ 是其单时刻概率密度。先考虑纯跳跃情形：给定 $X_t=\mathbf{x}$，过程在短时间 $h$ 内跳到 $\mathbf{y}$ 附近的概率满足

$$\mathbb{P}(X_{t+h}\in \mathrm{d}\mathbf{y}\mid X_t=\mathbf{x})=hW(\mathbf{y}\mid \mathbf{x},t)\mathrm{d}\mathbf{y}+o(h)(\mathbf{y}\ne \mathbf{x}),$$

其中 $W(\mathbf{y}\mid \mathbf{x},t)\ge 0$ 是单位时间、单位体积的转移速率密度。总跳出率

$$\lambda (\mathbf{x},t):={\int }_{{\mathbb{R}}^d}W(\mathbf{y}\mid \mathbf{x},t)\mathrm{d}\mathbf{y}$$

假设有限，而留在原状态的概率是 $1-h\lambda (\mathbf{x},t)+o(h)$。这里的条件分布应理解为 Markov 转移核的正则条件版本；在连续状态空间中不能用概率通常为零的点事件比值来定义它。

以下推导默认 $p$、$W$ 可测，所需积分有限，并且前向方程有足够正则的密度解。在离散状态空间中，把积分换成求和即可。

Kolmogorov 主方程

流入 $\mathbf{x}$ 的概率率减去从 $\mathbf{x}$ 流出的概率率，得到 Kolmogorov 主方程

$${\partial }_{t}p(\mathbf{x},t)={\int }_{{\mathbb{R}}^d}\left[W(\mathbf{x}\mid {\mathbf{x}}^{\prime },t)p({\mathbf{x}}^{\prime },t)-W({\mathbf{x}}^{\prime }\mid \mathbf{x},t)p(\mathbf{x},t)\right]\mathrm{d}{\mathbf{x}}^{\prime }.$$

第一项表示从 ${\mathbf{x}}^{\prime }$ 跃迁到 $\mathbf{x}$ 对 $p(\mathbf{x},t)$ 产生的流入率，第二项表示从 $\mathbf{x}$ 跃迁到 ${\mathbf{x}}^{\prime }$ 的流出率。对所有 ${\mathbf{x}}^{\prime }$ 积分后，二者之差就是 $\mathbf{x}$ 点密度的总变化率。

若 $W$ 与 $t$ 无关，这一跳跃过程时齐；允许显含 $t$ 时，方程仍成立，但过程一般非时齐。

Kramers—Moyal 展开

令

$$\mathbf{z}:=\mathbf{x}-{\mathbf{x}}^{\prime }$$

并定义转移速率函数

$$w(\mathbf{x};\mathbf{z},t):=W(\mathbf{x}+\mathbf{z}\mid \mathbf{x},t).$$

它表示过程从 $\mathbf{x}$ 出发、跳跃 $\mathbf{z}$ 到达 $\mathbf{x}+\mathbf{z}$ 的速率。由 ${\mathbf{x}}^{\prime }=\mathbf{x}-\mathbf{z}$，

$$\begin{array}{rl}W(\mathbf{x}\mid {\mathbf{x}}^{\prime },t)& =W(\mathbf{x}\mid \mathbf{x}-\mathbf{z},t)=w(\mathbf{x}-\mathbf{z};\mathbf{z},t),\\ W({\mathbf{x}}^{\prime }\mid \mathbf{x},t)& =W(\mathbf{x}-\mathbf{z}\mid \mathbf{x},t)=w(\mathbf{x};-\mathbf{z},t).\end{array}$$

因此主方程可以写成

$$\begin{array}{rl}{\partial }_{t}p(\mathbf{x},t)& =\int \left[w(\mathbf{x}-\mathbf{z};\mathbf{z},t)p(\mathbf{x}-\mathbf{z},t)-w(\mathbf{x};-\mathbf{z},t)p(\mathbf{x},t)\right]\mathrm{d}\mathbf{z}.\end{array}$$

在第二项中作变量替换 $\mathbf{z}\mapsto -\mathbf{z}$：

$$\int w(\mathbf{x};-\mathbf{z},t)p(\mathbf{x},t)\mathrm{d}\mathbf{z}=\int w(\mathbf{x};\mathbf{z},t)p(\mathbf{x},t)\mathrm{d}\mathbf{z}.$$

于是

$$\begin{array}{rl}{\partial }_{t}p(\mathbf{x},t)=& \int w(\mathbf{x}-\mathbf{z};\mathbf{z},t)p(\mathbf{x}-\mathbf{z},t)\mathrm{d}\mathbf{z}\\ & -\int w(\mathbf{x};\mathbf{z},t)p(\mathbf{x},t)\mathrm{d}\mathbf{z}.\end{array}$$

记

$$\varphi (\mathbf{x},t;\mathbf{z}):=w(\mathbf{x};\mathbf{z},t)p(\mathbf{x},t).$$

对固定 $\mathbf{z}$，若 $\varphi$ 关于 $\mathbf{x}$ 足够光滑，则在 $\mathbf{x}$ 处作多元 Taylor 展开：

$$\begin{array}{rl}\varphi (\mathbf{x}-\mathbf{z},t;\mathbf{z})& =\sum _{n=0}^{\infty }\frac{1}{n!}(-\mathbf{z}\cdot \nabla {)}^n\varphi (\mathbf{x},t;\mathbf{z})\\ & =\sum _{n=0}^{\infty }\frac{(-1{)}^n}{n!}(\mathbf{z}\cdot \nabla {)}^n\left[w(\mathbf{x};\mathbf{z},t)p(\mathbf{x},t)\right].\end{array}$$

采用张量记号

$$(\mathbf{z}\cdot \nabla {)}^n:={\mathbf{z}}^{\otimes n}:{\nabla }^n,$$

其中 ${\mathbf{z}}^{\otimes n}$ 是 $n$ 阶张量积，${\nabla }^n$ 是 $n$ 阶微分算子张量，冒号表示所有指标的全收缩。

若可交换求和、积分与微分，代回主方程可得

$$\begin{array}{rl}{\partial }_{t}p(\mathbf{x},t)=& \sum _{n=0}^{\infty }\frac{(-1{)}^n}{n!}{\nabla }^n:\left[\left(\int {\mathbf{z}}^{\otimes n}w(\mathbf{x};\mathbf{z},t)\mathrm{d}\mathbf{z}\right)p(\mathbf{x},t)\right]\\ & -\int w(\mathbf{x};\mathbf{z},t)p(\mathbf{x},t)\mathrm{d}\mathbf{z}.\end{array}$$

$n=0$ 项正好是

$$\int w(\mathbf{x};\mathbf{z},t)p(\mathbf{x},t)\mathrm{d}\mathbf{z},$$

与流出项抵消。因此

$${\partial }_{t}p(\mathbf{x},t)=\sum _{n=1}^{\infty }\frac{(-1{)}^n}{n!}{\nabla }^n:\left[\left(\int {\mathbf{z}}^{\otimes n}w(\mathbf{x};\mathbf{z},t)\mathrm{d}\mathbf{z}\right)p(\mathbf{x},t)\right].$$

定义 $n$ 阶 Kramers—Moyal 矩系数

$${\mathbf{D}}^{(n)}(\mathbf{x},t):=\frac{1}{n!}{\int }_{{\mathbb{R}}^d}{\mathbf{z}}^{\otimes n}w(\mathbf{x};\mathbf{z},t)\mathrm{d}\mathbf{z}.$$

Kramers—Moyal 展开遂写为

$$\boxed{{\partial }_{t}p(\mathbf{x},t)=\sum _{n=1}^{\infty }(-1{)}^n{\nabla }^n:\left[{\mathbf{D}}^{(n)}(\mathbf{x},t)p(\mathbf{x},t)\right].}$$

展开成立所需的条件

以上无穷级数不是对任意跳跃过程都自动成立。至少需要：

• $X$ 具有 Markov 的局部转移率，且相应阶数的局部跳跃矩有限；
• $\mathbf{x}\mapsto w(\mathbf{x};\mathbf{z},t)p(\mathbf{x},t)$ 有足够阶数的导数；
• Taylor 余项可由关于 $\mathbf{z}$ 的可积函数控制，从而能够交换积分、微分和无穷求和；
• 在有边界的状态空间上，边界通量或边界条件与分部微分相容。

若这些强条件不能验证，Kramers—Moyal 展开只能看作形式展开；有限阶弱形式则可通过对光滑紧支撑测试函数作用来表述。

局部条件矩

令 $\Delta \mathbf{X}=X_{t+h}-X_t$。对上述跳跃率模型，给定 $X_t=\mathbf{x}$ 时，无跳跃部分对 $n\ge 1$ 的增量矩没有贡献，而一次跳跃部分满足

$$\begin{array}{rl}\mathbb{E}\left[(\Delta \mathbf{X}{)}^{\otimes n}\mid X_t=\mathbf{x}\right]& =h\int {\mathbf{z}}^{\otimes n}w(\mathbf{x};\mathbf{z},t)\mathrm{d}\mathbf{z}+o(h).\end{array}$$

所以在极限存在且余项对条件矩可控时，

$$\boxed{{\mathbf{D}}^{(n)}(\mathbf{x},t)=\frac{1}{n!}\underset{h\downarrow 0}{\lim }\frac{1}{h}\mathbb{E}\left[(\Delta \mathbf{X}{)}^{\otimes n}\mid X_t=\mathbf{x}\right].}$$

在连续状态空间中，这个条件期望同样指转移核的版本；等式可先对几乎处处的 $\mathbf{x}$ 成立，再在系数连续时延拓。

Fokker—Planck 方程

若 $n\ge 3$ 的 Kramers—Moyal 项为零，只保留前两阶，便得到 Fokker—Planck 方程

$$\boxed{{\partial }_{t}p(\mathbf{x},t)=-\nabla \cdot \left[{\mathbf{D}}^{(1)}(\mathbf{x},t)p(\mathbf{x},t)\right]+\nabla \nabla :\left[{\mathbf{D}}^{(2)}(\mathbf{x},t)p(\mathbf{x},t)\right].}$$

分量形式为

$${\partial }_{t}p=-\sum _i{\partial }_i(D_i^{(1)}p)+\sum _{i,j}{\partial }_i{\partial }_j(D_{ij}^{(2)}p).$$

精确地把无限展开截断在二阶需要过程确实具有扩散型局部矩；对一般跳跃过程，直接丢弃高阶项通常只是近似。

Itô SDE 与 Fokker—Planck 系数

考虑 $d$ 维 Itô 随机微分方程

$$\mathrm{d}{\mathbf{X}}_t=\mathbf{f}({\mathbf{X}}_t,t)\mathrm{d}t+\mathbf{G}({\mathbf{X}}_t,t)\mathrm{d}{\mathbf{W}}_t,$$

其中 ${\mathbf{W}}_t$ 是 $m$ 维标准布朗运动，$\mathbf{G}$ 是 $d\times m$ 矩阵。令

$$\mathbf{a}(\mathbf{x},t):=\mathbf{G}(\mathbf{x},t)\mathbf{G}(\mathbf{x},t{)}^{\top }.$$

局部 Lipschitz 与线性增长条件可用于保证 SDE 解的存在唯一性；要把前向方程写成下面的经典密度形式，还需 $X_t$ 具有足够光滑的密度，并要求 $\mathbf{f},\mathbf{a}$ 及其空间导数满足相应正则性和边界条件。较弱条件下方程应理解为分布或弱解。

在短时间 $h$ 内，

$$\Delta \mathbf{X}\approx \mathbf{f}h+\mathbf{G}\Delta \mathbf{W},\Delta \mathbf{W}\sim \mathcal{N}(0,h{I}_m),$$

其中系数在 $(\mathbf{x},t)$ 处取值。第一局部矩给出

$${\mathbf{D}}^{(1)}(\mathbf{x},t)=\underset{h\downarrow 0}{\lim }\frac{1}{h}\mathbb{E}[\Delta \mathbf{X}\mid X_t=\mathbf{x}]=\mathbf{f}(\mathbf{x},t).$$

对第二局部矩，

$${\mathbf{D}}^{(2)}=\frac{1}{2}\underset{h\downarrow 0}{\lim }\frac{1}{h}\mathbb{E}[\Delta \mathbf{X}(\Delta \mathbf{X}{)}^{\top }\mid X_t=\mathbf{x}].$$

展开外积：

$$\begin{array}{rl}\Delta \mathbf{X}(\Delta \mathbf{X}{)}^{\top }=& \mathbf{f}{\mathbf{f}}^{\top }{h}^2+\mathbf{f}(\Delta \mathbf{W}{)}^{\top }{\mathbf{G}}^{\top }h\\ & +\mathbf{G}\Delta \mathbf{W}{\mathbf{f}}^{\top }h+\mathbf{G}(\Delta \mathbf{W}\Delta {\mathbf{W}}^{\top }){\mathbf{G}}^{\top }.\end{array}$$

利用

$$\mathbb{E}[\Delta \mathbf{W}]=0,\mathbb{E}[\Delta \mathbf{W}\Delta {\mathbf{W}}^{\top }]=h{I}_m,$$

得到

$$\mathbb{E}[\Delta \mathbf{X}(\Delta \mathbf{X}{)}^{\top }\mid X_t=\mathbf{x}]=\mathbf{f}{\mathbf{f}}^{\top }{h}^2+\mathbf{G}{\mathbf{G}}^{\top }h+o(h).$$

因而

$$\begin{array}{rl}{\mathbf{D}}^{(2)}& =\frac{1}{2}\underset{h\downarrow 0}{\lim }\left[\mathbf{f}{\mathbf{f}}^{\top }h+\mathbf{G}{\mathbf{G}}^{\top }+o(1)\right]\\ & =\frac{1}{2}\mathbf{G}{\mathbf{G}}^{\top }=\frac{1}{2}\mathbf{a}.\end{array}$$

布朗增量的 $n$ 阶尺度是 $O(h^{n/2})$，结合漂移项可知 $n\ge 3$ 的局部条件矩除以 $h$ 后趋于零。因此与该 SDE 对应的 Fokker—Planck 方程为

$$\boxed{{\partial }_{t}p=-\nabla \cdot (\mathbf{f}p)+\frac{1}{2}\nabla \nabla :\left[(\mathbf{G}{\mathbf{G}}^{\top })p\right]=-\nabla \cdot (\mathbf{f}p)+\frac{1}{2}\sum _{i,j}{\partial }_i{\partial }_j(a_{ij}p).}$$

等价地，SDE 的生成元作用在光滑测试函数 $\phi$ 上为

$${\mathcal{L}}_t\phi =\mathbf{f}\cdot \nabla \phi +\frac{1}{2}\mathbf{a}:{\nabla }^2\phi ,$$

Fokker—Planck 算子正是其关于密度的形式伴随算子 ${\mathcal{L}}_t^{\ast }$。