自信息

自信息量

事件 $x_i$ 发生概率 $p(x_i)$ 的对数的负值。

$I(x_i) = -\log p(x_i)$

默认以 $2$ 为底，可不写底数 $2$。单位为比特（$bit$）。

性质

• 单调性：$p(x_1)>p(x_2)\rarr I(x_1) < I(x_2)$
• 确定性：$p(x)=1\rarr I(x)=0$
• 独立性：两个独立事件提供的总信息量，应等于它们各自的信息量之和

条件自信息量

事件 $x_i$ 在另一事件 $y_j$ 发生的情况下发生的概率的底数的负值。

$I(x_i|y_j) = -\log p(x_i|y_j)$

例 1.1

某小区有若干栋商品房，每栋有 5 个单元，每个单元有 12 户。甲到该小区找乙。若：

1. 甲只知道乙住在第 5 栋，他需要多少信息才能找到乙？
2. 甲只知道乙住在第 5 栋，还知道乙住在第 3 单元，他还需要多少信息才能找到乙？

联合事件的自信息量

事件 $x_i$ 和 $y_j$ 同时发生的概率的底数的负值。

$I(x_iy_j) = -\log p(x_iy_j)$

例 1.2

同时抛一对质地均匀的骰子，每个骰子各面朝上的概率均为 $\frac{1}{6}$。试求：

1. “两个点数均为 1”的自信息量；
2. “两个骰子抛出 3 和 5”的自信息量。