信息熵是信息论的基石，1948 年由克劳德·香农在《通信的数学理论》中提出。它回答一个看似简单的问题：一条消息里，到底"含有多少信息"？
直觉上，越不可能发生的事，一旦发生，带来的信息越多。"明天太阳照常升起"你早就知道，几乎不带来新信息；而"明天中彩票了"极其罕见，信息量巨大。香农把这种直觉精确成了数学。
一、从"自信息量"说起
对一个概率为 p 的事件，香农定义它的**自信息量（self-information）**为：
I(x) = -log₂ p(x)
单位是比特（bit）。为什么用对数？两个原因：
- 可加性：两个独立事件一起发生，总信息量应等于各自信息量相加，而对数恰好把"概率相乘"变成"信息量相加"；
- 递减性：p 越小，-log₂ p 越大——罕见事件信息量大，符合直觉。
几个直观的点：p=1/2 时 I=1 bit；p=1/4 时 I=2 bit；p 越接近 1，I 越接近 0。事件必然发生（p=1）时，信息量为 0——因为它没带来任何"新东西"。
二、信息熵：期望的信息量
单个事件的信息量还不够，我们更关心整个随机源平均每条消息携带多少信息。信息熵就是自信息量的期望：
H(X) = -Σ p(x) · log₂ p(x)
它度量一个随机变量的平均不确定度：熵越大，结果越"不可预测"。
三、两个例子，手算给你看
例子 1：公平硬币。 正反面概率各 1/2：
H = -(0.5·log₂0.5 + 0.5·log₂0.5)
= -((-0.5) + (-0.5))
= 1 bit
掷一次公平硬币，结果的不确定度正好是 1 比特——这也就是"比特"这个单位的由来：一个二选一且等可能的决策。
例子 2：有偏硬币。 正面概率 0.9，反面 0.1：
log₂0.9 ≈ -0.152，log₂0.1 ≈ -3.322
H = -(0.9·(-0.152) + 0.1·(-3.322)) ≈ 0.469 bit
同样是硬币，一旦"几乎总能猜中正面"，熵就从 1 bit 掉到约 0.469 bit。越确定，熵越小。
四、三个基本性质
- 非负：H ≥ 0，当且仅当结果完全确定时取 0；
- 有上界：n 种可能结果时，H ≤ log₂ n，当且仅当均匀分布时取到最大（如 8 面的均匀骰子，H = log₂8 = 3 bit）；
- 独立可加：两个独立随机变量的联合熵，等于各自熵之和。
性质 2 很关键：均匀 = 最不确定 = 熵最大。这也是"熵"常被理解成"混乱度/无序度"的原因。
五、它有什么用
- 无损压缩的下界：香农信源编码定理指出，平均每个符号的编码长度不可能低于熵 H。哈夫曼编码、算术编码都是在逼近这个下界。
- 密码学：熵越高的密钥越难被暴力破解——均匀随机的密钥熵最大，也最难猜。
- 机器学习：决策树靠"信息增益"选特征，分类任务最常用的交叉熵损失函数，都直接源自熵。
小结
- 自信息量 I = -log₂ p：罕见事件信息量大；
- 信息熵 H = -Σ p·log₂ p：随机源的平均不确定度；
- 均匀分布熵最大，越"可预测"熵越小；
- 它是无损压缩下界、决策树、交叉熵等概念的共同源头。
信息熵看似抽象，落到根上就一句话：用比特，度量"不确定"。
参考文献
- Claude E. Shannon, "A Mathematical Theory of Communication", Bell System Technical Journal, Vol. 27, pp. 379–423, 623–656, 1948.
- Thomas M. Cover, Joy A. Thomas, Elements of Information Theory (2nd ed.), Wiley-Interscience, 2006.
- David J. C. MacKay, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003（作者提供免费在线阅读）.
- Wikipedia: Entropy (information theory).