克劳德·香农

1948 年，《贝尔系统技术期刊》分两期（7 月与 10 月）刊发了一篇合计约五十页的长文，题目平淡无奇：《通信的数学理论》。克劳德·香农（Claude Shannon）在这篇文章里做了一件看上去不可能的事：把"信息"这个飘忽不定的直觉，变成了可以精确计算的数学量。这不仅仅是一篇通信工程论文——它创造了一门全新的科学。

破除误解：信息论不是关于"信息的含义"#

很多人以为信息论研究的是语义——一条消息"说了什么"，以及它是否"有意义"。香农从一开始就明确拒绝了这个方向：

"通信的语义方面与工程问题无关。"

信息论研究的是传输信息所需的最少资源——不管那些信息在说什么。正因如此，它才有了跨越人类语言、基因序列、神经信号、量子比特的普适力量。

现场：贝尔实验室的"魔术师"#

克劳德·埃尔伍德·香农 1916 年 4 月 30 日生于密歇根州彼托斯基（Petoskey），1936 年以数学和电气工程双学士从密歇根大学毕业。随后他在 MIT 攻读硕士，写出了计算机科学史上引用最多的硕士论文之一：证明布尔代数可以用来分析和设计电路——这篇 1937 年的硕士论文几乎单枪匹马地创立了数字电路设计。

二战期间他在贝尔实验室从事密码工作，接触了大量通信噪声问题，为 1948 年的论文积累了核心洞见。贝尔实验室是那个时代最理想的环境：既有工程压力（电话线能传多少信号？），又有理论自由。

在贝尔实验室，同事们记得他常常在走廊上骑独角轮车，同时抛接三个球——这是他的业余爱好。他还建造了会下国际象棋的机器、会走迷宫的电子老鼠，以及一台"终极机器"：按下开关，一只手会伸出来把开关关掉。

核心：熵、比特与信道容量#

信息量的度量#

香农面对的第一个问题：如何量化"一条消息包含多少信息"？

他的答案是：一条消息的信息量，等于它出现的意外程度。越出乎意料的消息，携带越多信息。如果你已经确定地知道会发生什么，那条消息传达零信息。

数学表达为香农熵：

$$H = -\sum_{i} p_i \log_2 p_i$$

其中 $p_i$ 是每个可能符号的概率，对数以 2 为底得到的单位是比特（bit，这个词由 John Tukey 提出，香农在论文中正式采用）。

一枚公平硬币抛一次，结果的熵恰好是 1 比特——这是最小的不确定性单元。英语文本的熵大约是每字母 1 比特（因为字母之间有大量统计规律可利用），远低于随机序列的每字母约 4.7 比特。

信道容量定理#

香农最惊人的定理或许是：只要信息传输速率低于信道容量，就可以实现任意低的错误率，无论信道噪声多大。信道容量 $C$（比特/秒）由下式给出：

$$C = B \log_2\!\left(1 + \frac{S}{N}\right)$$

其中 $B$ 是带宽，$S/N$ 是信噪比。这就是"香农极限"（Shannon Limit）。

这个结论令工程师震惊：在此之前，人们普遍以为噪声越大错误就必然越多，无法规避。香农证明这是错的——错误可以被纠正，代价是引入冗余编码（redundancy）。今天从 Wi-Fi 到光纤到 4G/5G，一切数字通信系统都在逼近但仍未完全到达这条理论极限。

密码学的同期突破#

香农在密码学方向的贡献同样具有奠基意义。他 1945 年完成、1949 年解密发表的《保密系统的通信理论》，从信息论角度严格证明了一次性密码本（one-time pad）是唯一绝对安全的加密方案，同时建立了"混乱"（confusion）与"扩散"（diffusion）这两个现代分组密码设计的核心原则，直接影响了 DES、AES 的设计哲学。

代价与争议#

香农的工作被同时代人几乎立刻接受——这在科学史上相当罕见。但也因此引发了一场"帝国主义扩张"：各领域研究者争相把"熵"和"信息"的概念引入自己的领域，有时严重误用。香农本人在 1956 年专门撰文《时髦的绷带》（The Bandwagon），警告信息论不是万能钥匙，不适当的类比弊大于利。

他晚年患有阿尔茨海默症，2001 年 2 月 24 日在马萨诸塞州梅德福去世，享年 84 岁。

香农的研究方法：玩出来的严肃科学#

香农的工作方式与大多数数学家不同。他出了名地喜欢把玩具问题推到极致，在看似无关的娱乐中发现深刻的结构。他的"信息游乐场"（information playground）思维方式，产生了若干影响深远的成果：

机器下棋：1950 年，他发表了《为弈棋编程》（Programming a Computer for Playing Chess），系统提出了博弈树搜索的基本框架——α-β 剪枝等现代棋类 AI 技术的起点。

迷宫电子鼠：1951 年，他制造了名为"Theseus"的电子迷宫鼠，通过继电器电路实现了迷宫记忆和路径学习。这是早期机器学习的物理演示之一。

穿戴式计算机：1960 年代，他与同事秘密研制了一台穿戴式轮盘赌预测设备——可能是历史上第一台穿戴式计算机，尽管在赌场中使用该设备在法律上处于灰色地带。

香农的学术遗产与局限#

香农的 1948 年论文被后来的研究者誉为"不只是一篇论文，而是一个领域"。但这种赞誉也带来了一种扭曲：后来者有时把信息论的框架用到它并不适用的地方。

他本人对信息论热潮的克制态度，体现了科学家罕见的自我警醒：知道自己的工具适用于哪里，以及更重要地，不适用于哪里。

晚年，香农刻意远离学术活动，深居简出，专注于业余数学问题和机械玩具。他的信息论领域，在他生命的最后几十年继续以指数速度发展，但他本人的直接贡献已经停止——他已经做完了他能做的最重要的事。

跨域连接#

• 统计力学：两个熵的公式相同，含义并不相同。玻尔兹曼熵数的是与宏观态相容的微观态数目，香农熵数的是信源的平均不确定度——前者的概率来自态密度，后者来自符号统计。真正把两侧账目打通的是兰道尔原理：擦除一比特必须向环境放热，于是信息这一侧的赤字要在物理那一侧结清。
• 语料语言学：英语文本每字母约一比特，远低于随机序列，差额就是冗余。冗余不是浪费：它让接收方能在噪声中恢复原文，也让说话被打断时内容仍在。推论相当硬——任何压缩到接近熵的编码都同时丧失抗噪能力，这正是压缩与纠错必须分作两步做的原因。
• 信息哲学：把"含义"从定义里剔除，才使同一套度量能同时用于基因、神经与量子比特；代价是它对"这条消息说了什么"完全沉默。后来把信息论套到语义上的做法之所以频频失效，正是跨过了这条他自己划下的界。判据其实很简单：只依赖概率分布的用法才合法，一旦依赖解释就出界了。
• 神经元：感觉系统对常见刺激的反应会逐渐减弱，把有限的编码资源让给意外事件。这与"越意外信息越多"是同一条原理的生物实现：编码效率取决于刺激的统计分布，而不是刺激的强度。可检验的推论是，改变刺激的分布，神经元的调谐曲线会随之移动。
• 纠错码：信道容量定理是一个存在性结果——它保证存在使错误率任意低的编码，却不给出任何构造方法。一个不给方法的定理，靠给出上界改变了整个工程议程：此后几十年的工作都在"离极限还差多少"这条明确坐标上推进，而不是各凭直觉猜什么算好。

生平年表#

信息与物理的深层联系#

1961 年，IBM 研究员罗尔夫·兰道尔（Rolf Landauer）提出了一个将信息论与热力学直接相连的原理：兰道尔原理——擦除 1 比特信息至少会向环境中释放 $k_B T \ln 2$ 的热量（其中 $k_B$ 是玻尔兹曼常数，$T$ 是温度）。

这意味着信息的擦除不是免费的，它有物理上不可避免的能量代价。这把香农的抽象信息度量，连接到了物理学中的热力学第二定律（熵增原理）。

相比之下，逻辑上可逆的计算操作（如量子计算的幺正变换）原则上不需要耗能，因为它不擦除信息——这是可逆计算和量子计算研究的物理动机之一。

兰道尔原理在实验上已被多次验证（2012 年前后精确验证），它把"计算究竟需要多少能量"这个问题从工程层面推进到了物理层面：任何计算设备，无论多么高效，只要涉及信息擦除，就必须消耗能量。随着计算机能效逼近物理极限，这个原理正从理论兴趣变成工程约束。

香农的 1948 年：一篇论文建立了一门学科#

香农的 1948 年论文在学术史上的地位极为特殊。大多数科学领域需要数十年、数代研究者才能积累出一套基础框架；信息论的基础框架几乎是香农一人在一篇论文里独自建立的：信息的度量、信道容量、无噪声信道编码定理、有噪声信道编码定理、率失真理论的初稿……这种密度在科学史上极为罕见。

即使是那些在技术上不直接用到信息论的领域，也受到了这篇论文的间接影响：它向整整一代科学家展示了"把模糊的直觉概念变成精确数学"的可能性，这种思维方式本身具有示范效应。

信息论的边疆：量子信息#

经典信息论的量子推广，从 1990 年代起发展成为一个独立领域。

量子比特（qubit）：与经典比特（0 或 1）不同，量子比特可以处于叠加态 $\alpha|0\rangle + \beta|1\rangle$（$|\alpha|^2 + |\beta|^2 = 1$）。测量时"坍缩"到 0 或 1，概率分别为 $|\alpha|^2$ 和 $|\beta|^2$。

冯·诺伊曼熵：量子态 $\rho$（密度矩阵）的熵为 $S(\rho) = -\text{Tr}(\rho \log \rho)$，是香农熵的量子推广。

量子纠缠与超密编码：两个纠缠量子比特可以传递 2 个经典比特的信息，只用 1 个量子比特的传输——这突破了经典香农容量定理，因为量子信道本身可以携带超经典的信息资源（纠缠）。

量子信息论的核心定理（量子信道容量定理）比经典版本复杂得多，至今仍有一些情形未完全解决，是信息论最活跃的研究前沿之一。

参考文献#

• Shannon, C. E. A Mathematical Theory of Communication. Bell System Technical Journal 27 (1948): 379–423, 623–656.
• Shannon, C. E. Communication Theory of Secrecy Systems. Bell System Technical Journal 28 (1949): 656–715.
• Shannon, C. E. The Bandwagon. IRE Transactions on Information Theory 2 (1956): 3.

延伸阅读#

• Gleick, J. The Information: A History, a Theory, a Flood. Pantheon (2011). （优秀科普，含大量香农章节）
• Soni, J. & Goodman, R. A Mind at Play: How Claude Shannon Invented the Information Age. Simon & Schuster (2017).