离散香农熵

约定：$\log$ 为自然对数，并取 $0\log 0=0$。

直觉

设 $(\Omega ,\mathcal{F},P)$ 为概率空间。本文考虑结果至多可数的一次观察，其所有可能结果可表示为可测分划

$$\alpha =\{A_i{\}}_{i\in I},$$

其中 $A_i$ 两两不交，且

$$P\left(\Omega \setminus \bigcup _{i\in I}{A}_i\right)=0.$$

观察结果为 $A_i$ 的概率是 $p_i=P(A_i)$。

概率越小的结果越意外，发生后提供的信息越多。因此，希望用一个函数

$$f:(0,1]\to \mathbb{R}$$

表示概率为 $p$ 的结果所提供的信息量。这个函数至少应满足：

1. 连续性： 概率的小变化只引起信息量的小变化；
2. 单调性： 若 $0<a<b\le 1$，则 $f(a)>f(b)$；
3. 独立可加性： 两个独立结果的联合概率为 $ab$，其总信息量应满足 $$f(ab)=f(a)+f(b).$$

这三条要求唯一确定了信息量的形式，至多相差一个正常数。

信息量的刻画

定理. 若连续函数 $f:(0,1]\to \mathbb{R}$ 严格递减，并满足

$$f(ab)=f(a)+f(b),a,b\in (0,1],$$

则存在常数 $c>0$，使得

$$f(t)=-c\log t,t\in (0,1].$$

证明. 首先，

$$f(1)=f(1\cdot 1)=2f(1),$$

故 $f(1)=0$。

定义

$$g:[0,+\infty )\to \mathbb{R},g(x)=f(e^{-x}).$$

函数 $g$ 连续，并且对任意 $x,y\ge 0$，

$$g(x+y)=f(e^{-x}{e}^{-y})=g(x)+g(y).$$

记 $c=g(1)$。由可加性，对任意 $m\in {\mathbb{N}}_0$，

$$g(m)=mc.$$

再对任意 $m\in {\mathbb{N}}_0$、$n\in {\mathbb{N}}_{+}$，

$$ng\left(\frac{m}{n}\right)=g(m)=mc,$$

从而

$$g\left(\frac{m}{n}\right)=c\frac{m}{n}.$$

所以 $g(r)=cr$ 对每个非负有理数 $r$ 成立。非负有理数在 $[0,+\infty )$ 中稠密，由 $g$ 的连续性，

$$g(x)=cx,x\ge 0.$$

由于 $e^{-1}<1$ 且 $f$ 严格递减，

$$c=g(1)=f(e^{-1})>f(1)=0.$$

最后，对任意 $t\in (0,1]$，令 $x=-\log t$，得到

$$f(t)=g(-\log t)=-c\log t.$$

$\square$

常数 $c$ 只决定信息量的单位。本文取 $c=1$。

定义

对满足 $P(A)>0$ 的事件 $A\in \mathcal{F}$，定义其信息量为

$$I(A)=-\log P(A).$$

若 $A,B$ 独立且概率均为正，则

$$I(A\cap B)=I(A)+I(B).$$

设 $\alpha =\{A_i{\}}_{i\in I}$ 为上述至多可数的可测分划。定义 $\alpha$ 的熵为观察结果信息量的期望：

$$\begin{array}{rl}S(\alpha )& =\sum _{\{i:P(A_i)>0\}}P(A_i)I(A_i)\\ & =-\sum _{i\in I}P(A_i)\log P(A_i)\in [0,+\infty ].\end{array}$$

因此，熵衡量一次观察平均能够获得多少信息，也等价地衡量观察结果的不确定程度。

若随机变量 $X$ 取至多可数个值，且各水平集可测，则这些水平集构成分划

$${\alpha }_X=\{X^{-1}(\{x\}):x\in X(\Omega )\},$$

并定义

$$S(X)=S({\alpha }_X).$$