神经网络

破除误解：神经网络和生物大脑的相似性非常有限#

"神经网络"这个名字引发了无尽的混淆——很多人以为人工神经网络是对人类大脑的忠实模拟。实际上，两者只在极抽象的层面上相似：都是由大量相互连接的计算单元组成，都通过调整连接强度来学习。

在几乎所有具体细节上，两者截然不同： - 生物神经元通过离散的电脉冲（脉冲频率编码）通信；人工神经元输出连续值 - 人脑有约 860 亿个神经元、约 $10^{14}$ 个突触（百万亿量级，常见估计）；最大的 AI 模型有数千亿参数，但组织方式完全不同 - 生物学习机制至今未完全理解；反向传播是否在生物神经系统中发生，仍有争议

现代神经网络是数学优化工具，不是大脑的仿真。

1943 年那篇论文的目标更窄。McCulloch 与 Pitts 把神经元写成阈值开关，是为了证明这样的开关网络足以计算任意逻辑函数。脉冲波形、离子通道、胶质细胞和神经调质全部被抽象掉了。这是一个逻辑演算，不是生物物理模型；后来的人工网络继承的是"用可微函数代替开关"的数学路线，而不是把皮质微电路搬进硅片。

1989 年，Francis Crick 在《自然》发表短评《神经网络的近期热潮》。他承认这些算法给出了网络能学会复杂映射的存在性证明，但随即指出：反向传播若按字面实现，似乎要求误差信号沿轴突逆向快速传递。新皮层里一个神经元的输出突触通常不同时既兴奋又抑制，而人工网络的权重可正可负。他的判断很干脆：这些网络在几乎每一个重要方面都不像大脑。

为什么说反向传播"不像大脑"？一个具体障碍是权重传输问题（Weight Transport Problem）。反向传播在计算梯度时，反向通路必须精确复用前向通路的权重矩阵（两者对称）。

但真实神经元的前向突触与反向连接在物理上是分离的，没有已知机制能让它们时刻保持权重同步。

2016 年 Lillicrap 等人在《自然·通讯》提出反馈对齐（Feedback Alignment）作为回应：他们证明，即使反向通路用一组固定的随机权重，网络也能在训练中让前向权重逐渐"对齐"到有用方向，在 MNIST、CIFAR 等小数据集上接近反向传播——但在 ImageNet 这类大规模任务上仍明显逊色。这说明大脑即便不用标准反向传播，也可能存在别的高效误差传播机制，这是计算神经科学的活跃前沿。

核心：单个神经元#

人工神经元（也叫节点或单元）执行简单的计算：

$$z = \sum_{i=1}^{n} w_i x_i + b = \mathbf{w}^T \mathbf{x} + b$$

$$a = \sigma(z)$$

其中 $\mathbf{x}$ 是输入，$\mathbf{w}$ 是权重，$b$ 是偏置，$\sigma$ 是激活函数。激活函数引入非线性：

没有非线性激活函数，多层神经网络等价于单层——因为线性函数的复合仍然是线性函数。激活函数是神经网络"学习复杂函数"能力的来源。

McCulloch-Pitts 的开关没有可调权重。Rosenblatt 1958 年的感知机才把学习写进模型：分对了不动，分错了把权重朝纠正方向调一步。单层加上这条规则，就能在线性可分的数据上收敛；也正是这一层，撑不住异或。多层要等反向传播把"每一层该调多少"算出来。

前馈神经网络：层的结构#

将神经元排列为层（Layer）：

输入层     隐藏层 1    隐藏层 2    输出层
 x_1  ----> O O O ---> O O O ---> O
 x_2  ----> O O O ---> O O O ---> O
 ...        ...         ...

• 输入层：接收原始特征
• 隐藏层：提取越来越抽象的特征表示（"表示学习"）
• 输出层：产生最终预测

神经网络的"深度"指隐藏层数量。浅层网络（1-2 层）理论上能拟合任何函数（通用近似定理），但需要指数级神经元数量；深层网络更高效地表示复杂函数。

通用近似定理（Universal Approximation Theorem）：具有至少一个隐藏层和足够多神经元的神经网络，能以任意精度逼近任意连续函数（在有界紧致集上）。这给出了神经网络理论上"为什么有效"的保证，但没有说明实践中需要多大的网络，以及如何训练。

1989 年，Cybenko 证明单隐层、sigmoid 激活、宽度足够的前馈网络，能在紧致集上一致逼近任意连续函数。同年 Hornik、Stinchcombe 与 White 把条件放宽到一类有界、非恒常的激活。定理保证的是存在性，不是可训练性。宽度可能大到无法用，梯度也可能传不回去——寒冬里真正缺的，不是表达力证明，而是一份能在多层上稳定计算梯度的算法。

训练：反向传播与梯度下降#

神经网络学习的过程是：调整权重 $\mathbf{W}$ 和偏置 $\mathbf{b}$，最小化损失函数 $L$（衡量预测与真实标签的差距）。

梯度下降：沿着损失函数对参数的梯度方向（下坡方向）更新参数：

$$\mathbf{w} \leftarrow \mathbf{w} - \eta \frac{\partial L}{\partial \mathbf{w}}$$

其中 $\eta$ 是学习率（Learning Rate），控制步长。

问题是：如何高效计算 $\frac{\partial L}{\partial \mathbf{w}}$？神经网络有数百万参数，逐一有限差分计算代价不可接受。

反向传播（Backpropagation）：应用链式法则，从输出层向输入层反向传播误差，高效计算所有参数的梯度。1986 年由 Rumelhart、Hinton、Williams 在 Nature 论文中推广（注：更早的独立发现包括 Werbos 1974 年的博士论文）。

反向传播并不是 1986 年才出现的链式法则。芬兰学者 Linnainmaa 在 1970 年的硕士论文里给出了后来称为反向模式自动微分的算法，1976 年发表于 BIT：一次反向遍历的代价与一次前向相当，而不是对每个参数做一次有限差分。Werbos 在 1974 年的哈佛博士论文《Beyond Regression》里讨论了把这类微分用于多层网络。Rumelhart、Hinton 与 Williams 的贡献，是把它写成神经网络共同体读得懂的形式，并表明隐藏层确实能学到内部表示。实现细节见 梯度下降与反向传播。

算法流程： 1. 前向传播：给定输入，计算每层输出，直到得到最终预测 $\hat{y}$ 2. 计算损失：$L = \text{Loss}(\hat{y}, y)$（如均方误差或交叉熵） 3. 反向传播：用链式法则逐层计算 $\frac{\partial L}{\partial \mathbf{W}^{(l)}}$ 和 $\frac{\partial L}{\partial \mathbf{b}^{(l)}}$ 4. 参数更新：梯度下降更新参数 5. 重复直到收敛

随机梯度下降（SGD）：每次只用一个（或一小批）样本计算梯度，而非整个数据集。噪声更大，但更新更快，且噪声有时帮助跳出局部极小值。Adam（Adaptive Moment Estimation，2014 年，Kingma & Ba 提出）是目前最常用的优化器，自适应调整每个参数的学习率。

深层网络为何长期难以训练：梯度消失#

反向传播在数学上是优雅的，但它曾有一个致命的实践难题：梯度消失（Vanishing Gradient）。

1991 年，Sepp Hochreiter 在慕尼黑工业大学的毕业论文里给出了严格分析。链式法则把浅层参数的梯度写成一长串导数的连乘；只要每一项都小于 1，连乘的结果就会随层数指数级地缩小。

Sigmoid 激活函数恰好是重灾区：它的导数最大值只有 0.25。在一个十几层的网络里，前几层收到的梯度会被压缩到几乎为零，权重基本不再更新——网络的浅层"学不动"。

这正是上面激活函数表里 Sigmoid"现已少用于隐藏层"的真正原因，也是神经网络在 1990 年代一度停滞的技术根源之一。

ReLU 的流行很大程度上就是对这个问题的回应：当输入为正时它的导数恒为 1，连乘不再衰减，梯度能畅通地传回浅层。后来的残差连接（ResNet，2015）、批归一化（Batch Normalization，2015）等技巧进一步缓解了梯度消失及其反面"梯度爆炸"，才让上百层的网络真正可以训练。

1990 年代并不是没有人知道多层网络在理论上能算异或。缺的是一份不会在十几层里把梯度乘没的训练方法。Hochreiter 的分析解释了为什么反向传播被重新发现之后，深度仍然上不去：算法有了，数值通道没有。连乘的量级被拉回一附近之前，深度只停留在纸面上。

神经网络的历史：两次寒冬与两次春天#

把第一次寒冬写成"1969 年一本书杀死了神经网络"，会把一本计算几何著作误当成宣战书。明斯基与佩珀特证明的是单层感知机的能力边界：线性不可分的函数——课堂例子是异或——单层学不会；他们并没有证明多层网络同样无能。制度层面的收缩更直接地来自经费。1973 年英国科学委员会委托 James Lighthill 提交《人工智能综述》，结论是该领域未能兑现当初承诺的重大影响，随后英国高校的 AI 资助大幅收缩。更完整的制度史见 感知机与第一次 AI 寒冬。

第二次低潮也不是"支持向量机更好"一句话能概括的。1980 年代专家系统曾成为一门生意，围绕 Lisp 机器形成了专用硬件市场；约 1987 年，通用工作站的性价比追上专用机，这条硬件产业链迅速塌掉。神经网络当时仍被梯度消失卡住，统计学习方法填了空档。那一轮产品化失败的机制，见 专家系统与第二次 AI 寒冬。

代价与争议#

可解释性问题：神经网络是"黑箱"——难以理解为什么它对某个输入给出某个输出。特别在医疗、法律、金融等高风险领域，这是重大障碍。可解释 AI（XAI）方法（LIME、SHAP、Grad-CAM）提供部分解释，但没有根本解决。

对抗样本（Adversarial Examples）：2013 年，Szegedy 等在《Intriguing Properties of Neural Networks》中发现，给图像添加人眼几乎不可见的微小扰动，就能让高性能分类器输出完全错误的结果。

次年，Goodfellow、Shlens 与 Szegedy 给出了最著名的例子：一张原本被以 57.7% 置信度判为"熊猫"的照片，叠加一层精心设计的噪声后，人眼看仍是熊猫，模型却以 99.3% 的置信度判成"长臂猿"。他们指出，这种脆弱性恰恰源于网络近乎线性的性质，而非过度复杂。这揭示了神经网络的鲁棒性缺陷，对自动驾驶等安全关键应用是严峻威胁。

计算成本与能耗：大型神经网络训练需要数百到数千块 GPU 运行数天乃至数月。GPT-4 的训练成本估计超过 1 亿美元（OpenAI 的 Sam Altman 在 2023 年的公开场合被问及是否花了 1 亿美元时，回答"不止这个数"）。这种规模的计算需求使 AI 研究逐渐向大公司集中，引发公平获取和环境影响的担忧。

"越大越好"的趋势本身也有争议。Kaplan 等人 2020 年提出，模型性能随参数量、数据量、算力按平滑的幂律提升（"缩放定律"）。

但 2022 年 DeepMind 的 Chinchilla 工作（Hoffmann 等，训练了 400 多个模型）反驳道：在固定算力下，当时多数大模型其实"训练不足"——参数和数据应当同比例增长，经验上每个参数约配 20 个训练 token。按此标准，一个 700 亿参数的模型应训练约 1.4 万亿 token 才算算力最优。这场"把算力花在更大的模型，还是更多的数据上"的辩论，直接重塑了此后大模型的设计取向。

跨域连接#

• 线性变换：线性映射的复合仍是线性映射，这条初等事实直接判定了非线性激活的必要性——没有它，任意深的网络都塌缩回单层。通用近似定理补上另一半：单隐层已能逼近任意连续函数，但所需宽度可能指数增长，深度用复合换宽度。推论是表达力从来不是瓶颈，可优化性与样本效率才是。
• 最优化：梯度消失是连乘的量级问题。反向传播把浅层梯度写成逐层雅可比的乘积，只要每项量级稳定小于一，结果就随深度指数衰减，正文提到那个导数上界不足四分之一的激活函数正是重灾区。于是有了统一解释：正区间导数为一的激活、残差通路与归一化，做的都是把这个乘积的量级拉回一附近。
• 卷积神经网络：卷积的归纳偏置可以逐条写出来——局部性、权重共享、平移等变。它们不是普适真理而是关于数据的假设，在自然图像上成立，在没有空间结构的表格数据上不成立。推论因此对称：同等参数量下卷积在图像上远胜全连接，而把它搬到打乱列序也无所谓的数据上，反而更差。
• 神经元：反向传播要求反向通路精确复用前向权重矩阵，而真实突触的前后向连接在物理上分离，没有已知机制维持这种同步。正文提到的反馈对齐说明随机反向权重也能让前向权重逐渐对齐，但在大规模任务上仍明显逊色。这是一条可证伪的预测：若大脑确实做类似的误差传播，就应能找到替代的权重协调机制。
• 知觉生理学：视觉皮层与卷积网络都呈现由局部到整体的层级，但不变性并不相同，对抗样本正是判决性证据：人眼几乎看不见的微小扰动能让分类器从熊猫翻成长臂猿。这说明网络学到的是在训练分布上够用的判别方向，而非人类那种对高频扰动稳健的表征——层级相似并不蕴含鲁棒性相似。

参考文献#

• McCulloch, W. & Pitts, W. A Logical Calculus of the Ideas Immanent in Nervous Activity. Bulletin of Mathematical Biophysics 5, 1943.
• Rosenblatt, F. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Psychological Review 65(6), 386–408 (1958).
• Minsky, M. & Papert, S. Perceptrons: An Introduction to Computational Geometry. MIT Press, 1969.
• Lighthill, J. Artificial Intelligence: A General Survey. In: Artificial Intelligence: a paper symposium. Science Research Council, London, 1973.
• Werbos, P. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. PhD thesis, Harvard University, 1974.
• Linnainmaa, S. Taylor Expansion of the Accumulated Rounding Error. BIT 16, 146–160 (1976).
• Rumelhart, D., Hinton, G., & Williams, R. Learning Representations by Back-propagating Errors. Nature 323, 1986.
• Crick, F. The Recent Excitement about Neural Networks. Nature 337, 129–132 (1989).
• Cybenko, G. Approximation by Superpositions of a Sigmoidal Function. Mathematics of Control, Signals and Systems 2, 303–314 (1989).
• Hornik, K., Stinchcombe, M. & White, H. Multilayer Feedforward Networks are Universal Approximators. Neural Networks 2(5), 359–366 (1989).
• Hochreiter, S. Untersuchungen zu dynamischen neuronalen Netzen. Diploma thesis, Technische Universität München, 1991.（梯度消失问题的首次系统分析）
• Krizhevsky, A., Sutskever, I., & Hinton, G. ImageNet Classification with Deep Convolutional Neural Networks. NeurIPS, 2012.
• Szegedy, C. et al. Intriguing Properties of Neural Networks. ICLR, 2014.
• Goodfellow, I., Shlens, J., & Szegedy, C. Explaining and Harnessing Adversarial Examples. ICLR, 2015.
• LeCun, Y., Bengio, Y., & Hinton, G. Deep Learning. Nature 521, 2015.
• Lillicrap, T., Cownden, D., Tweed, D., & Akerman, C. Random Synaptic Feedback Weights Support Error Backpropagation for Deep Learning. Nature Communications 7, 2016.
• Goodfellow, I., Bengio, Y., & Courville, A. Deep Learning. MIT Press, 2016. （免费在线版）
• Kaplan, J. et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020.
• Hoffmann, J. et al. Training Compute-Optimal Large Language Models (Chinchilla). NeurIPS, 2022.
• The Royal Swedish Academy of Sciences. The Nobel Prize in Physics 2024 — John J. Hopfield and Geoffrey E. Hinton. Scientific Background, 2024.

延伸阅读#

• Nielsen, M. Neural Networks and Deep Learning. 在线书籍，neuralnetworksanddeeplearning.com, 2015.