克劳德·香农

破除误解：信息论不是关于"信息的含义"#

很多人以为信息论研究的是语义——一条消息"说了什么"，以及它是否"有意义"。香农从一开始就明确拒绝了这个方向：

"通信的语义方面与工程问题无关。"

信息论研究的是传输信息所需的最少资源——不管那些信息在说什么。正因如此，它才有了跨越人类语言、基因序列、神经信号、量子比特的普适力量。把语义剔出定义，并不是否认含义重要，而是把工程上可计算的部分先钉死：信道要传多少、噪声会损多少、冗余该留多少。语义、意图与价值判断可以另开账本；若一开始就把它们混进度量，普适性立刻塌掉。香农刻意守住这条界，才让同一套公式既能管电话线，也能管硬盘与卫星下行。

现场：贝尔实验室的"魔术师"#

克劳德·埃尔伍德·香农 1916 年 4 月 30 日生于密歇根州彼托斯基（Petoskey），1936 年以数学和电气工程双学士从密歇根大学毕业。随后他在 MIT 攻读硕士，写出了计算机科学史上引用最多的硕士论文之一：证明布尔代数可以用来分析和设计电路——这篇 1937 年的硕士论文几乎单枪匹马地创立了数字电路设计。

二战期间他在贝尔实验室从事密码工作，接触了大量通信噪声问题，为 1948 年的论文积累了核心洞见。贝尔实验室是那个时代最理想的环境：既有工程压力（电话线能传多少信号？），又有理论自由。战时密码室里他反复碰到同一类约束：密钥材料有限、线路有噪声、对手会窃听。这些约束后来被他写成容量与保密的数学条件，而不是写成经验口号。他也不是只写论文的人——会骑独轮、会搭机械玩具的同一双手，习惯把抽象命题先做成可摸到的装置，再回头抽干其中的结构。

在贝尔实验室，同事们记得他常常在走廊上骑独角轮车，同时抛接三个球——这是他的业余爱好。他还建造了会下国际象棋的机器、会走迷宫的电子老鼠，以及一台"终极机器"：按下开关，一只手会伸出来把开关关掉。同事常把他当成实验室里的异类：白天算噪声与编码，晚上把继电器焊进会自己关掉自己的盒子。这种"先玩后证"的节奏，后来被传记作者一再强调——对香农而言，玩具不是消遣，而是把不确定性、反馈与控制做成可观察对象的捷径。

核心：熵、比特与信道容量#

信息量的度量#

香农面对的第一个问题：如何量化"一条消息包含多少信息"？

他的答案是：一条消息的信息量，等于它出现的意外程度。越出乎意料的消息，携带越多信息。如果你已经确定地知道会发生什么，那条消息传达零信息。

数学表达为香农熵：

$$H = -\sum_{i} p_i \log_2 p_i$$

其中 $p_i$ 是每个可能符号的概率，对数以 2 为底得到的单位是比特（bit，这个词由 John Tukey 提出，香农在论文中正式采用）。

一枚公平硬币抛一次，结果的熵恰好是 1 比特——这是最小的不确定性单元。英语文本的熵大约是每字母 1 比特（因为字母之间有大量统计规律可利用），远低于随机序列的每字母约 4.7 比特。熵公式要求的是概率分布，而不是消息里的故事情节：同一句问候在完全随机的信源模型里可能很"贵"，在高度可预测的自然语言模型里却很"便宜"。压缩算法真正在榨的，正是这种可预测性；一旦分布估错，标称比特数就会系统性偏离实际可压空间。

信道容量定理#

香农最惊人的定理或许是：只要信息传输速率低于信道容量，就可以实现任意低的错误率，无论信道噪声多大。信道容量 $C$（比特/秒）由下式给出：

$$C = B \log_2\!\left(1 + \frac{S}{N}\right)$$

其中 $B$ 是带宽，$S/N$ 是信噪比。这就是"香农极限"（Shannon Limit）。

这个结论令工程师震惊：在此之前，人们普遍以为噪声越大错误就必然越多，无法规避。香农证明这是错的——错误可以被纠正，代价是引入冗余编码（redundancy）。今天从 Wi-Fi 到光纤到 4G/5G，一切数字通信系统都在逼近但仍未完全到达这条理论极限。工程上的意义是可核对的：给定带宽与信噪比，你就能算出一条不可逾越的上界；任何声称"在同等条件下传得更快且错误任意低"的方案，都必须先解释它如何越过这条界，否则只是把噪声藏进了别处。现代编码（Turbo、LDPC 等）之所以被反复拿来对照极限，正是因为香农把目标钉成了可度量的距离，而不是模糊的"更好一点"。

密码学的同期突破#

香农在密码学方向的贡献同样具有奠基意义。他 1945 年完成、1949 年解密发表的《保密系统的通信理论》，从信息论角度严格证明了一次性密码本（one-time pad）是唯一绝对安全的加密方案，同时建立了"混乱"（confusion）与"扩散"（diffusion）这两个现代分组密码设计的核心原则，直接影响了 DES、AES 的设计哲学。他把保密问题改写成信息论语言：密文相对明文还剩多少不确定性，密钥是否被用尽，攻击者从统计上看是否仍一无所知。一次性密码本的"绝对安全"因此不再是口号，而成了可证明的充要条件——密钥必须真随机、与明文等长且绝不重用。混乱与扩散则给出了分组密码的构造直觉：让密钥与明文的关系尽量纠缠，让明文每一位的影响尽快铺满整块密文。

代价与争议#

香农的工作被同时代人几乎立刻接受——这在科学史上相当罕见。但也因此引发了一场"帝国主义扩张"：各领域研究者争相把"熵"和"信息"的概念引入自己的领域，有时严重误用。香农本人在 1956 年专门撰文《时髦的绷带》（The Bandwagon），警告信息论不是万能钥匙，不适当的类比弊大于利。他点名批评的，正是把"熵""信道""噪声"当修辞标签到处贴的风气：生物学论文里突然出现未定义的"信息流"，管理报告里把组织沟通直接等同于香农信道，却从不给出分布与容量。香农要守的是工具的边界——能算的地方算清楚，不能算的地方不要假装已经算清。

他晚年患有阿尔茨海默症，2001 年 2 月 24 日在马萨诸塞州梅德福去世，享年 84 岁。

香农的研究方法：玩出来的严肃科学#

香农的工作方式与大多数数学家不同。他出了名地喜欢把玩具问题推到极致，在看似无关的娱乐中发现深刻的结构。他的"信息游乐场"（information playground）思维方式，产生了若干影响深远的成果：

机器下棋：1950 年，他发表了《为弈棋编程》（Programming a Computer for Playing Chess），系统提出了博弈树搜索的基本框架——α-β 剪枝等现代棋类 AI 技术的起点。

迷宫电子鼠：1951 年，他制造了名为"Theseus"的电子迷宫鼠，通过继电器电路实现了迷宫记忆和路径学习。这是早期机器学习的物理演示之一。

穿戴式计算机：1960 年代，他与同事秘密研制了一台穿戴式轮盘赌预测设备——可能是历史上第一台穿戴式计算机，尽管在赌场中使用该设备在法律上处于灰色地带。这些项目共享同一方法论：先把问题缩成可重复的物理实验，再问"其中有多少不确定性可以被观测与利用"。下棋论文给出的是搜索与评估的骨架，而不是今天的深度网络；迷宫鼠演示的是状态记忆，而不是端到端学习。把它们读成"早期 AI 预言"容易过火，更稳妥的读法是：香农擅长把控制、反馈与信息放进同一张工作台。

香农的学术遗产与局限#

香农的 1948 年论文被后来的研究者誉为"不只是一篇论文，而是一个领域"。但这种赞誉也带来了一种扭曲：后来者有时把信息论的框架用到它并不适用的地方。

他本人对信息论热潮的克制态度，体现了科学家罕见的自我警醒：知道自己的工具适用于哪里，以及更重要地，不适用于哪里。

晚年，香农刻意远离学术活动，深居简出，专注于业余数学问题和机械玩具。他的信息论领域，在他生命的最后几十年继续以指数速度发展，但他本人的直接贡献已经停止——他已经做完了他能做的最重要的事。后来者常争论"信息论该不该管语义"——这其实是在重开他当年故意关上的门。更有用的分法是：当你只需要速率、冗余与错误指数时，走香农账本；当你需要解释、责任与意义时，换另一套工具，并承认两套账不能偷换单位。他的遗产因此既是公式，也是一份使用说明书上的"不适用"栏目。

跨域连接#

• 统计力学：两个熵的公式相同，含义并不相同。玻尔兹曼熵数的是与宏观态相容的微观态数目，香农熵数的是信源的平均不确定度——前者的概率来自态密度，后者来自符号统计。真正把两侧账目打通的是兰道尔原理：擦除一比特必须向环境放热，于是信息这一侧的赤字要在物理那一侧结清。
• 语料语言学：英语文本每字母约一比特，远低于随机序列，差额就是冗余。冗余不是浪费：它让接收方能在噪声中恢复原文，也让说话被打断时内容仍在。推论相当硬——任何压缩到接近熵的编码都同时丧失抗噪能力，这正是压缩与纠错必须分作两步做的原因。
• 信息哲学：把"含义"从定义里剔除，才使同一套度量能同时用于基因、神经与量子比特；代价是它对"这条消息说了什么"完全沉默。后来把信息论套到语义上的做法之所以频频失效，正是跨过了这条他自己划下的界。判据其实很简单：只依赖概率分布的用法才合法，一旦依赖解释就出界了。
• 神经元：感觉系统对常见刺激的反应会逐渐减弱，把有限的编码资源让给意外事件。这与"越意外信息越多"是同一条原理的生物实现：编码效率取决于刺激的统计分布，而不是刺激的强度。可检验的推论是，改变刺激的分布，神经元的调谐曲线会随之移动。
• 纠错码：信道容量定理是一个存在性结果——它保证存在使错误率任意低的编码，却不给出任何构造方法。一个不给方法的定理，靠给出上界改变了整个工程议程：此后几十年的工作都在"离极限还差多少"这条明确坐标上推进，而不是各凭直觉猜什么算好。

生平年表#

信息与物理的深层联系#

1961 年，IBM 研究员罗尔夫·兰道尔（Rolf Landauer）提出了一个将信息论与热力学直接相连的原理：兰道尔原理——擦除 1 比特信息至少会向环境中释放 $k_B T \ln 2$ 的热量（其中 $k_B$ 是玻尔兹曼常数，$T$ 是温度）。

这意味着信息的擦除不是免费的，它有物理上不可避免的能量代价。这把香农的抽象信息度量，连接到了物理学中的热力学第二定律（熵增原理）。

相比之下，逻辑上可逆的计算操作（如量子计算的幺正变换）原则上不需要耗能，因为它不擦除信息——这是可逆计算和量子计算研究的物理动机之一。

兰道尔原理在实验上已被多次验证（2012 年前后精确验证），它把"计算究竟需要多少能量"这个问题从工程层面推进到了物理层面：任何计算设备，无论多么高效，只要涉及信息擦除，就必须消耗能量。随着计算机能效逼近物理极限，这个原理正从理论兴趣变成工程约束。需要分清两件事：香农给出的是通信与编码的极限，兰道尔给出的是擦除的热力学下界；二者相关，却不是同一条定理的两个名字。把"算得快"自动翻译成"必然更耗电"会漏掉可逆与近似计算的空间；把"信息就是负熵"说成标语，又会掩盖测量、控制与环境温浴的具体条件。严谨的做法是逐项写清：擦了几比特、在什么温度、哪一步不可逆。

香农的 1948 年：一篇论文建立了一门学科#

香农的 1948 年论文在学术史上的地位极为特殊。大多数科学领域需要数十年、数代研究者才能积累出一套基础框架；信息论的基础框架几乎是香农一人在一篇论文里独自建立的：信息的度量、信道容量、无噪声信道编码定理、有噪声信道编码定理、率失真理论的初稿……这种密度在科学史上极为罕见。

即使是那些在技术上不直接用到信息论的领域，也受到了这篇论文的间接影响：它向整整一代科学家展示了"把模糊的直觉概念变成精确数学"的可能性，这种思维方式本身具有示范效应。回看结构，论文几乎按工程问题的提问顺序展开：先定义度量，再给无噪声与有噪声两条编码定理，并留下率失真的种子。后来教科书把这些拆成多门课，容易让人忘记它们最初是同一条论证链上的节点。也正因为密度过高，误读同样密集——有人只拿走"比特"一词，有人只记住信道公式，却跳过冗余与随机编码这些使定理成立的条件。

信息论的边疆：量子信息#

经典信息论的量子推广，从 1990 年代起发展成为一个独立领域。

量子比特（qubit）：与经典比特（0 或 1）不同，量子比特可以处于叠加态 $\alpha|0\rangle + \beta|1\rangle$（$|\alpha|^2 + |\beta|^2 = 1$）。测量时"坍缩"到 0 或 1，概率分别为 $|\alpha|^2$ 和 $|\beta|^2$。

冯·诺伊曼熵：量子态 $\rho$（密度矩阵）的熵为 $S(\rho) = -\text{Tr}(\rho \log \rho)$，是香农熵的量子推广。

量子纠缠与超密编码：两个纠缠量子比特可以传递 2 个经典比特的信息，只用 1 个量子比特的传输——这突破了经典香农容量定理，因为量子信道本身可以携带超经典的信息资源（纠缠）。

量子信息论的核心定理（量子信道容量定理）比经典版本复杂得多，至今仍有一些情形未完全解决，是信息论最活跃的研究前沿之一。对经典香农框架而言，量子侧最刺眼的提醒是：复制、测量与纠缠会改写"什么叫传输一次"。超密编码与传送态并不否定经典容量直觉，而是表明资源清单必须加长——除了量子比特本身，还要计入预共享纠缠与经典辅助通信。把这些进展读回 1948 年论文，更能看清香农贡献的层次：他钉死的是经典概率信源与信道的账本；量子账本是后继者另立的，既受他启发，也不再是他原文的简单替换。

参考文献#

• Shannon, C. E. A Mathematical Theory of Communication. Bell System Technical Journal 27 (1948): 379–423, 623–656.
• Shannon, C. E. Communication Theory of Secrecy Systems. Bell System Technical Journal 28 (1949): 656–715.
• Shannon, C. E. The Bandwagon. IRE Transactions on Information Theory 2 (1956): 3.

延伸阅读#

• Gleick, J. The Information: A History, a Theory, a Flood. Pantheon (2011). （优秀科普，含大量香农章节）
• Soni, J. & Goodman, R. A Mind at Play: How Claude Shannon Invented the Information Age. Simon & Schuster (2017).