贝叶斯网络

例

假设有一个袋子，里面有两枚硬币：

• Coin A (Fair): 正反面概率各为 $50\%$。
• Coin B (Biased): 正面概率为 $80\%$，反面为 $20\%$。

随机抓出一枚硬币，但不知道是哪一枚。此时你的先验概率（Prior是：

• $P(A)=0.5$
• $P(B)=0.5$

贝叶斯网络结构这个简单的网络只有两个节点：

• 节点 H (Hypothesis): 选中的是哪枚硬币（A 或 B）。
• 节点 O (Observation): 投掷的结果（正面 Heads 或 反面 Tails）。
• 关系： $H\to O$（硬币的种类决定了投出结果的概率分布）。

更新过程（贝叶斯推断）如果你投了一次硬币，结果是 正面 (Heads)。我们要更新对“抓到的是 Coin B”的看法。

第一步：计算似然度 (Likelihood)如果它是 A，投出正面的概率：$P(Heads|A)=0.5$如果它是 B，投出正面的概率：$P(Heads|B)=0.8$

第二步：应用贝叶斯公式更新$P(B|Heads)=\frac{P(Heads|B)\cdot P(B)}{P(Heads)}$其中，$P(Heads)$ 是全概率：$P(Heads)=(0.8\times 0.5)+(0.5\times 0.5)=0.4+0.25=0.65$计算后验概率：$P(B|Heads)=\frac{0.4}{0.65}\approx 0.615$

结论： 看到正面后，你对“这枚硬币是 B（偏心硬币）”的信心从 $50\%$ 上升到了 $61.5\%$。

形式化描述

形式化描述 (Formal Description)贝叶斯网络（Bayesian Network, BN）是一个有向无环图（DAG），由三元组 $(\mathbf{V},\mathbf{E},\mathbf{\Theta })$ 定义：

1. 结构定义节点 ($\mathbf{V}$)：每个节点 $X_i\in \mathbf{V}$ 代表一个随机变量。
2. 边 ($\mathbf{E}$)：有向边 $X_j\to X_i$ 表示变量间的直接因果关系或依赖关系，$X_j$ 被称为 $X_i$ 的父节点（Parents），记作 $Pa(X_i)$。
3. 因子分解 (Factorization)：联合概率分布可以分解为局部条件概率的乘积：$P(X_1,X_2,\dots ,X_n)={\prod }_{i=1}^{n}P(X_i\mid Pa(X_i))$ 贝叶斯网络依赖的是局部马尔可夫性质（Local Markov Property）：“给定父节点，该节点独立于所有非后代节点”。即：$P(X_i\mid \text{所有其他变量})=P(X_i\mid Pa(X_i))$。 公式里的随机变量已经经过了拓扑排序，越靠前越是祖先。

参数定义 ($\mathbf{\Theta }$)每个节点 $X_i$ 都关联一个条件概率表 (CPT)，定义了在父节点取不同值时，$X_i$ 的概率分布 $P(X_i\mid Pa(X_i))$.

推断与更新 (Inference & Update)当观测到部分变量的证据 $\mathbf{e}$（Evidence）(e是某个节点所代表的随机变量的观测值)时，我们关注目标变量 $\mathbf{Y}$ 的后验分布。根据贝叶斯准则：$P(\mathbf{Y}\mid \mathbf{e})=\frac{P(\mathbf{e}\mid \mathbf{Y})P(\mathbf{Y})}{P(\mathbf{e})}=\frac{P(\mathbf{e}\mid \mathbf{Y})P(\mathbf{Y})}{{\sum }_{\mathbf{Y}}P(\mathbf{e}\mid \mathbf{Y})P(\mathbf{Y})}$其中 $P(\mathbf{e})$ 被称为证据因子 (Evidence/Marginal Likelihood)，起归一化作用。

需要更新的节点

证据节点的子孙，不更新子孙的祖先。

证据节点的祖先，祖先的子孙。

收敛性分析