跳转到内容
← 返回深度阅读
应用数学约 17 分钟阅读

信息论基础

信息熵编码通信

关键词

信息论; 信息熵; 信道容量; 数据压缩; 霍夫曼编码; 交叉熵; KL 散度; DNA 信息

第1页 · Shannon 的革命

标题：1948——信息时代的数学宣言

1948 年，贝尔实验室的一位 32 岁的研究员 Claude Elwood Shannon 发表了一篇论文：《通信的数学理论》（A Mathematical Theory of Communication）。这篇只有几十页的论文奠定了整个数字时代的理论基础——从互联网到移动通信，从数据压缩到人工智能，所有现代信息技术都可以追溯到这篇文章。

Shannon 面对的问题是：能否精确地定义"信息"，并用数学方法描述通信的极限？ 在他之前，人们只知道如何传输信号，但不知道传输的效率边界在哪里。Shannon 的天才在于：他将"信息"从一个模糊的日常概念转化为一个精确的数学量。他的核心洞见是：信息是对不确定性的消除。 一个事件越不确定（越"令人惊讶"），它发生时携带的信息量越大。一个确定发生的事情不携带任何信息——你已经知道了，没有什么"惊喜"。这个看似简单的想法，催生了整个信息论大厦。

Shannon 还证明了两个惊人的定理：信源编码定理（数据可以被压缩到什么程度）和信道编码定理（在有噪声的信道上可靠传输的极限速率是多少）。这两个定理划定了通信的理论边界——在 Shannon 之前，没有人知道这些边界的存在。

第2页 · 信息熵

标题：不确定性可以用数字衡量

Shannon 定义的信息熵（information entropy）是信息论的核心概念。对于一个离散随机变量 $X$，取值 {x1,x2,…,xn}\{x_1, x_2, \ldots, x_n\}，概率分布为 {p1,p2,…,pn}\{p_1, p_2, \ldots, p_n\}，其熵定义为：

H(X)=−∑i=1npilog⁡2piH(X) = -\sum_{i=1}^{n} p_i \log_2 p_i

单位是比特（bit）。这个公式有几个深刻的直觉解释：

第一，自信息量。 事件 xix_i 发生时携带的信息量为 −log⁡2pi-\log_2 p_i。概率越小的事件，携带的信息量越大。"太阳从东边升起"（概率 ≈1\approx 1）的信息量接近 0；"掷骰子出现 7"（不可能）的信息量为无穷大（因为它永远不会发生，所以"发生"时是无穷大的惊讶）。

第二，期望惊讶度。 熵是自信息量的加权平均——即"平均来看，从这个分布中抽样一次能获得多少信息"。均匀分布的熵最大（最不确定），确定性分布的熵为 0（完全确定）。

第三，编码下界。 如果你想用二进制编码来表示从分布 $X$ 中抽取的符号，平均每个符号至少需要 $H(X)$ 个比特——不多不少。这就是 Shannon 第一定理（信源编码定理）的核心内容。

举一个例子：英语字母的熵。如果每个字母等概率出现（26 个字母），熵为 log⁡226≈4.7\log_2 26 \approx 4.7 比特。但英语字母并非等概率——"e"比"z"常见得多——实际熵约为 4.03 比特。进一步考虑字母之间的相关性（"q"后面几乎总是"u"），英语文本的熵降至约 1.0-1.5 比特/字符。这意味着理论上可以将英语文本压缩到每个字符只用 1-1.5 个比特。

第3页 · 信道编码定理

标题：噪声中的可靠通信——Shannon 最深刻的发现

现实中的通信信道总是有噪声的——无线信号被干扰，光纤中有散射，硬盘上有坏道。Shannon 的信道编码定理（Channel Coding Theorem，1948）回答了一个根本问题：在有噪声的信道上，可靠通信的最大速率是多少？Shannon 定义了信道容量（channel capacity）：

C=max⁡p(x)I(X;Y)C = \max_{p(x)} I(X; Y)

其中 $I(X; Y) = H(X) - H(X|Y)$ 是输入 $X$ 和输出 $Y$ 之间的互信息（mutual information），最大化是对所有可能的输入分布 $p(x)$ 取的。信道容量是信道能可靠传输信息的理论极限速率。

信道编码定理断言：对于任何码率 $R < C$，存在编码方案使得误码率可以任意接近零；但对于 $R > C$，可靠通信是不可能的。这个定理的意义是划时代的——它告诉我们，噪声不是不可战胜的，只要有足够巧妙的编码方案。Shannon 没有给出具体如何构造这样的编码——他只证明了"好编码的存在性"。这催生了编码理论这一庞大领域：从 Hamming 码（1950）到 Turbo 码（1993）到 LDPC 码（重新发现于 1996）到极化码（Arikan, 2009），每一代编码方案都在逼近 Shannon 极限。5G 通信标准采用的正是极化码和 LDPC 码——它们已经将实际通信效率推进到距离 Shannon 极限不到 1 分贝的范围内。

第4页 · 数据压缩的艺术

标题：消除冗余——信息论对数据压缩的指导

数据压缩是信息论最直接的应用。Shannon 第一定理告诉我们：任何无损压缩方案的平均码长都不可能低于信源的熵。接近这个极限的编码方案就是最优的。

霍夫曼编码（Huffman, 1952）是最经典的变长编码方案。其思想极其简单：给出现频率高的符号分配短码字，给出现频率低的符号分配长码字。具体做法是构建一棵二叉树——将符号按概率从低到高排序，每次合并概率最小的两个节点，直到只剩一个根节点。霍夫曼编码是贪心最优的——在所有前缀编码中，它的平均码长最短。

但霍夫曼编码有一个局限：它假设每个符号的编码是独立的，忽略了符号之间的相关性。算术编码（arithmetic coding）和LZ 系列算法（Lempel-Ziv, 1977/1978）突破了这个限制。LZ 算法通过识别和利用数据中的重复模式来实现压缩——它不需要预先知道符号的概率分布，而是"边读边学"。GZIP、PNG、ZIP 等广泛使用的压缩格式都基于 LZ 算法的变体。

从更深层的理论角度看，Kolmogorov 复杂度提供了另一种理解压缩的框架。一个字符串的 Kolmogorov 复杂度 $K(x)$ 是能生成该字符串的最短程序的长度。随机字符串的 Kolmogorov 复杂度很高（无法压缩），而有规律的字符串复杂度低（可以压缩）。Kolmogorov 复杂度是不可计算的——你无法写一个程序来精确计算任意字符串的 $K(x)$——但它提供了理解"什么是随机性"的深刻视角。

第5页 · DNA：大自然的信息存储

标题：生命密码——生物学中的信息论

信息论不仅是工程工具，它在理解生命本身方面也发挥着关键作用。DNA 是自然界最令人惊叹的信息存储系统：四碱基字母表（A、T、C、G）编码了构建和维持生命所需的全部信息。

人类基因组包含约 30 亿个碱基对。如果每个碱基用 2 比特编码（4 种碱基 = log⁡24=2\log_2 4 = 2 比特），一个人类基因组的信息量约为 60 亿比特 = 750 兆字节——大约相当于一张 CD 的容量。但基因组并非全是"有意义"的——编码蛋白质的外显子只占约 1.5%，其余为内含子、重复序列和调控区域。这些"非编码"区域并非都是"垃圾"——许多参与基因调控、染色体结构维持等功能。

信息论在分子生物学中有具体的应用。序列比对（sequence alignment）用信息熵来衡量两个 DNA 或蛋白质序列之间的相似性——这是基因组学和进化生物学的基础工具。Shannon 熵被用来分析 DNA 序列的复杂性：编码区域通常具有较高的熵（更多样化的碱基分布），而某些调控区域有较低的熵（碱基分布更偏向）。

DNA 信息存储也正在成为前沿技术。由于 DNA 的信息密度极高（每克 DNA 可存储约 215 PB 数据）且极其稳定（在适当条件下可保存数千年），研究者正在开发用合成 DNA 存储数字数据的技术。2016 年，微软和华盛顿大学成功将 200 MB 数据编码进 DNA 并完整读取（创下当时的世界纪录）——这可能是未来长期数据存储的方向。

第6页 · 信息论与机器学习

标题：交叉熵、KL 散度与深度学习的灵魂

信息论的概念在机器学习中无处不在，其中最重要的两个是交叉熵和 KL 散度。

交叉熵（cross-entropy）衡量用分布 $q$ 编码来自分布 $p$ 的数据的平均码长：

H(p,q)=−∑ipilog⁡qiH(p, q) = -\sum_{i} p_i \log q_i

当 $q = p$ 时，交叉熵等于熵 $H(p)$——这是最优编码。交叉熵损失函数是分类任务中最常用的损失函数：它衡量模型预测分布 $q$ 与真实标签分布 $p$ 之间的差距。最小化交叉熵等价于让模型的预测尽可能接近真实分布。

KL 散度（Kullback-Leibler divergence）是交叉熵与熵的差：

DKL(p∥q)=H(p,q)−H(p)=∑ipilog⁡piqiD_{KL}(p \| q) = H(p, q) - H(p) = \sum_{i} p_i \log \frac{p_i}{q_i}

KL 散度衡量两个分布之间的"距离"——严格来说它不是真正的距离（因为不对称），但它是衡量分布差异的核心工具。DKL(p∥q)≥0D_{KL}(p \| q) \geq 0，等号成立当且仅当 $p = q$。

变分推断（variational inference）是 KL 散度最重要的应用之一。当后验分布 P(θ∣D)P(\theta|D) 难以精确计算时，我们用一个简单的分布 q(θ)q(\theta) 来近似它，最小化 DKL(q∥P(θ∣D))D_{KL}(q \| P(\theta|D))。变分自编码器（VAE）正是基于这个框架——它用神经网络参数化近似后验，实现了强大的生成模型。

信息论还为理解深度学习提供了新的视角。信息瓶颈理论（Tishby, 2000）认为深度网络的训练过程是逐步压缩输入信息、同时保留与输出相关信息的过程。虽然这一理论仍有争议，但它激发了大量关于深度学习泛化能力和表示学习的研究。

第7页 · 信息是物理的吗？

标题：从 "It from Bit" 到量子信息论

信息论的影响远超工程和生物学——它甚至触及了物理学和哲学的根基。

1989 年，物理学家 John Archibald Wheeler 提出了一个大胆的口号："It from Bit"——宇宙万物（"It"）的终极本质是信息（"Bit"）。Wheeler 认为，物理实在的每一个元素在某个最基础的层面上都具有信息论性质——"每一个物理量都源于对是/否问题的二元选择"。这不是隐喻，而是一个关于实在本质的哲学命题。

这一思想在多个物理领域找到了呼应。黑洞信息悖论（black hole information paradox）是理论物理学的核心难题之一：当物质落入黑洞时，它携带的信息是否永远丢失了？如果信息不能被销毁（量子力学的基本原则），那么黑洞蒸发时信息去了哪里？Hawking 最初认为信息被销毁，后来改变了看法。2019 年的"岛屿公式"（island formula）计算为信息保存提供了新的理论支持。

兰道尔原理（Landauer's Principle, 1961）将信息与热力学直接联系起来：擦除一比特的信息至少需要耗散 kBTln⁡2k_B T \ln 2 的能量——其中 kBk_B 是玻尔兹曼常数，$T$ 是温度。这意味着信息不是抽象的数学概念——它是有物理代价的。计算必然产生热量，这是热力学第二定律对信息处理施加的根本限制。

量子信息论将 Shannon 的框架扩展到量子力学领域。量子比特（qubit）可以处于叠加态，量子纠缠可以实现超越经典极限的信息传输。量子纠错码、量子密钥分发、量子计算——这些前沿技术都建立在量子信息论的数学基础之上。

信息论从一个解决通信工程问题的数学理论，逐渐成长为连接数学、物理学、生物学和哲学的桥梁。Shannon 1948 年那篇论文播下的种子，至今仍在生长。

事实卡

  • 卡1：Shannon（1948）定义了信息熵 H=−∑pilog⁡piH = -\sum p_i \log p_i，将"信息"从模糊概念变为精确数学量，奠定了数字时代的理论基础。
  • 卡2：信道编码定理证明了可靠通信的极限速率（信道容量）的存在——5G 采用的极化码和 LDPC 码已逼近该极限不到 1 分贝。
  • 卡3：人类基因组约 30 亿碱基对 = 750 MB 信息——DNA 是大自然最令人惊叹的信息存储系统。
  • 卡4：交叉熵损失函数是深度学习分类任务的核心——它衡量模型预测分布与真实分布之间的信息差距。
  • 卡5：兰道尔原理（1961）证明擦除 1 比特信息至少耗散 kBTln⁡2k_BT\ln 2 能量——信息是有物理代价的。

引用

"信息是物理的。" — Rolf Landauer

"信息论的诸多概念——熵、互信息、信道容量——像骨架一样支撑着整个数字文明。" — Thomas Cover

跨域连接

  • 信息论：熵度量的是意外程度而非重要程度，两条定理都由此推出——压缩的下界是熵，可靠传输的上界是信道容量。这两条都是不可能性结果：它们不告诉你怎么做，只告诉你做不到什么，因此任何"突破香农极限"的宣称都可以先按不成立处理。
  • 霍夫曼编码：给高频符号短码、低频符号长码，在所有前缀码里平均码长最短。局限也很清楚：它假设符号彼此独立，看不见"这个符号后面几乎必然跟着那个"这类相关性。真实文本的冗余大半藏在相关性里，所以后来的方法转向了识别重复片段。
  • 基因测序：四种碱基对应两个比特，信息密度极高且在合适条件下可长期稳定，因而被当作存储介质研究。瓶颈不在容量而在读写：合成与测序都有错误率，必须先加纠错编码再写入，实际可用容量因此明显低于理论密度。
  • 麦克斯韦妖：妖要按分子速度开关闸门，就必须先测量并记住信息。悖论的解在于记忆有限，迟早要擦除，而擦除一个比特必然向环境耗散能量。这一步把信息与热力学接上了：第二定律没有被违反，只是代价出现在"忘记"这一步，而不是"测量"那一步。
  • 感知生理学：自然语言的实际熵远低于字母表允许的上界，多出来的部分就是冗余。这解释了为什么在嘈杂环境里漏听几个音仍能听懂整句：听觉系统实际是在用上下文做纠错。冗余越低的信号越省，也越经不起丢失，低码率语音编码的脆弱正源于此。

参考文献

  1. Shannon, C.E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27, 379–423, 623–656.
  2. Cover, T.M. & Thomas, J.A. (2006). Elements of Information Theory. 2nd ed. Wiley.
  3. Huffman, D.A. (1952). A Method for the Construction of Minimum-Redundancy Codes. Proceedings of the IRE, 40, 1098–1101.
  4. Kolmogorov, A.N. (1965). Three approaches to the quantitative definition of information. Problems of Information Transmission, 1, 1–7.
  5. Tishby, N., Pereira, F.C. & Bialek, W. (1999). The Information Bottleneck Method. arXiv:physics/0004057.
  6. Landauer, R. (1961). Irreversibility and heat generation in the computing process. IBM Journal of Research and Development, 5, 183–191.
  7. Wheeler, J.A. (1990). Information, physics, quantum: The search for links. Complexity, Entropy, and the Physics of Information. Westview Press.