离散时间马尔可夫链

前置

• 随机过程

信息流与转移核

设 $(\Omega ,\mathcal{F},\mathbb{P})$ 为概率空间，$(E,\mathcal{E})$ 为状态空间，$X=(X_n{)}_{n\in {\mathbb{N}}_0}$ 为取值于 $E$ 的随机过程。它的自然信息流为

$${\mathcal{F}}_n^X:=\sigma (X_0,\dots ,X_n).$$

映射

$$K_n:E\times \mathcal{E}\to [0,1]$$

称为一个 Markov 转移核，如果：

1. 对每个 $x\in E$，$A\mapsto K_n(x,A)$ 是 $(E,\mathcal{E})$ 上的概率测度；
2. 对每个 $A\in \mathcal{E}$，$x\mapsto K_n(x,A)$ 是 $\mathcal{E}$-可测函数。

若存在一族转移核 $(K_n)$，使得对任意 $A\in \mathcal{E}$，

$$\mathbb{P}(X_{n+1}\in A\mid {\mathcal{F}}_n^X)=K_n(X_n,A)\mathbb{P}\text{-a.s.},$$

则称 $X$ 为离散时间马尔可夫链。这表示：给定当前状态以后，下一步的条件分布不再依赖更早的历史。

用核而不是点事件条件概率作定义有两个好处。第一，它适用于连续状态空间，此时通常有 $\mathbb{P}(X_n=x)=0$；第二，即使某个状态在时刻 $n$ 的概率为零，$K_n(x,\cdot )$ 仍可作为链的转移机制在整个状态空间上定义。若只从给定过程提取条件分布，则正则条件概率一般需要 $E$ 为标准 Borel 空间等假设，并且只在 $X_n$ 的分布几乎处处意义下唯一。

对任意有界可测函数 $f:E\to \mathbb{R}$，记

$$(K_{n}f)(x):={\int }_{E}f(y)K_n(x,\mathrm{d}y).$$

Markov 性等价地写成

$$\mathbb{E}[f(X_{n+1})\mid {\mathcal{F}}_n^X]=(K_{n}f)(X_n)\mathbb{P}\text{-a.s.}$$

时齐链与多步转移

若所有 $K_n$ 都等于同一个核 $K$，则称链是时齐的。核的复合定义为

$$K^{m+1}(x,A)={\int }_E{K}^m(x,\mathrm{d}y)K(y,A),K^0(x,A)=1_A(x).$$

反复使用塔式性质可得，对 $m\ge n$，

$$\mathbb{P}(X_m\in A\mid {\mathcal{F}}_n^X)=K^{m-n}(X_n,A)\mathbb{P}\text{-a.s.}$$

这就是离散时间的 Chapman—Kolmogorov 结构。

给定初始分布 $\mu$ 和转移核 $K$，链的有限维分布由

$$\begin{array}{rl}& \mathbb{P}(X_0\in \mathrm{d}{x}_0,\dots ,X_n\in \mathrm{d}{x}_n)\\ & =\mu (\mathrm{d}{x}_0)K(x_0,\mathrm{d}{x}_1)\cdots K(x_{n-1},\mathrm{d}{x}_n)\end{array}$$

确定。在标准的可测空间条件下，这些有限维分布构成一个过程的概率律。

有限状态链与行向量约定

现在令 $E=\{1,\dots ,K\}$，$\mathcal{E}=2^E$。转移核等价于矩阵

$$Q=(Q_{ij}{)}_{K\times K},Q_{ij}:=K(i,\{j\}).$$

$Q$ 是行随机矩阵：

$$Q_{ij}\ge 0,\sum _{j=1}^K{Q}_{ij}=1,Q1=1,$$

其中 $1=(1,\dots ,1{)}^{\top }$。本文始终把概率分布写成行向量；若 $X_0$ 的分布为 ${\nu }_0$，则

$$\mathcal{L}(X_n)={\nu }_0{Q}^n,\mathbb{P}(X_{n+m}=j\mid X_n=i)=(Q^m{)}_{ij}$$

中第二个等式只在 $\mathbb{P}(X_n=i)>0$ 时可直接解释为点事件条件概率。

当 $\mathbb{P}(X_n=i)=0$ 时，$\mathbb{P}(X_{n+1}=j\mid X_n=i)$ 这一比值式条件概率没有定义，不能据此定义或检验第 $i$ 行。正确的对象是预先定义在所有状态上的核 $K$（或矩阵 $Q$）；Markov 条件只要求随机变量 $K(X_n,\cdot )$ 与条件分布几乎处处相等。特别地，从一条固定初始分布下观察到的过程律，未必能识别永远不可达状态对应的矩阵行。

矩阵乘法给出多步转移：

$$(Q^{m+n}{)}_{ij}=\sum _{k=1}^K(Q^m{)}_{ik}(Q^n{)}_{kj}.$$

这正是有限状态情形的 Chapman—Kolmogorov 方程。

平稳分布的存在性、唯一性与收敛条件见
平稳分布与遍历性。