跳转到内容
← 返回深度阅读
应用约 11 分钟阅读

人工智能的数学

应用人工智能机器学习神经网络优化

关键词

人工智能; 机器学习; 神经网络; 梯度下降; 反向传播; 优化; 概率论; 线性代数

第1页 · AI的数学基础

标题：AI不是魔法——它是数学

人工智能（AI）的每一个突破背后都有深刻的数学原理。神经网络不是"黑箱"——它们是精心设计的数学函数。训练过程不是"学习"——它是优化问题的求解。理解AI的数学基础，是理解AI能力（和局限性）的关键。

AI的核心数学工具包括：线性代数（向量、矩阵、张量运算）、微积分（梯度计算、链式法则）、概率论（不确定性建模、贝叶斯推断）和优化理论（损失函数最小化、梯度下降）。

一个典型的深度学习模型可以表示为复合函数 f(x)=fL∘fL−1∘⋯∘f1(x)f(x) = f_L \circ f_{L-1} \circ \cdots \circ f_1(x)，其中每一层 fif_i 是一个仿射变换加一个非线性激活函数。训练就是找到参数 θ\theta 使得损失函数 L(θ)=1N∑i=1Nℓ(fθ(xi),yi)\mathcal{L}(\theta) = \frac{1}{N}\sum_{i=1}^N \ell(f_\theta(x_i), y_i) 最小化。

第2页 · 神经网络的数学

标题：万能近似定理——神经网络的表达能力

人工神经元是神经网络的基本单元。它接收输入向量 $x$，计算加权和 z=wTx+bz = w^T x + b，然后通过激活函数 σ\sigma 输出 a=σ(z)a = \sigma(z)。常用的激活函数包括 sigmoid、tanh 和 ReLU（max⁡(0,z)\max(0, z)）。

万能近似定理（Cybenko, 1989; Hornik, 1991）证明了：具有单个隐藏层和足够多神经元的前馈神经网络可以以任意精度逼近任何连续函数。这一定理解释了神经网络的强大表达能力——但没有告诉我们需要多少神经元，也没有告诉我们如何找到正确的参数。

反向传播算法（Rumelhart, Hinton & Williams, 1986）是训练神经网络的核心算法。它利用链式法则高效地计算损失函数对每一层参数的梯度。反向传播的时间复杂度与前向传播相当——这使得训练深层网络成为可能。

第3页 · 优化与训练

标题：梯度下降——在损失函数的景观中寻找最优点

训练神经网络的核心是优化问题：找到使损失函数最小的参数。损失函数的"景观"通常是非凸的——有许多局部最小值和鞍点。

梯度下降是最基本的优化算法：θt+1=θt−α∇θL(θt)\theta_{t+1} = \theta_t - \alpha \nabla_\theta \mathcal{L}(\theta_t)，其中 α\alpha 是学习率。梯度下降的直觉是"沿着最陡的方向下山"——但学习率的选择至关重要：太大会发散，太小会收敛太慢。

随机梯度下降（SGD）在每次迭代中只使用一小批数据来估计梯度——这大大降低了计算成本，同时引入了随机性（有助于跳出局部最小值）。SGD的各种变体（如Adam、RMSprop、AdaGrad）自适应地调整学习率。

令人惊讶的是，尽管神经网络的损失函数是非凸的，SGD通常能找到"足够好"的局部最小值。最近的研究表明，在高维空间中，大多数临界点是鞍点而非局部最小值——这解释了为什么SGD在实践中如此有效。

第4页 · 概率与学习

标题：贝叶斯学习——不确定性下的推理

概率论为机器学习提供了处理不确定性的框架。贝叶斯学习将模型参数视为随机变量，用后验分布 P(θ∣D)∝P(D∣θ)P(θ)P(\theta|D) \propto P(D|\theta)P(\theta) 描述参数的不确定性。

最大似然估计（MLE）选择使观测数据最可能的参数：θ^=arg⁡max⁡θP(D∣θ)\hat{\theta} = \arg\max_\theta P(D|\theta)。最大后验估计（MAP）结合先验：θ^=arg⁡max⁡θP(D∣θ)P(θ)\hat{\theta} = \arg\max_\theta P(D|\theta)P(\theta)。MLE等价于在均匀先验下的MAP。

变分推断用一个简单的分布 q(θ)q(\theta) 近似后验 P(θ∣D)P(\theta|D)——通过最小化两者之间的KL散度。变分自编码器（VAE）将变分推断与深度学习结合——学习数据的潜在表示。

扩散模型（如DALL-E、Stable Diffusion）的数学基础是随机微分方程——通过逐步添加和去除噪声来生成数据。扩散模型的训练目标等价于去噪自编码器——这将概率生成模型与深度学习联系起来。

第5页 · AI的数学前沿

标题：从理论到实践——AI数学的未解决问题

AI的数学理论仍有许多未解决问题。

泛化之谜：深度神经网络的参数数量远超训练数据量——根据经典统计学习理论，它们应该过拟合。但实际上，深度网络通常泛化得很好。这一现象的数学解释仍在探索中——可能与隐式正则化、损失景观的几何结构和SGD的随机性有关。

注意力机制与Transformer：自注意力机制的数学本质是将输入序列映射为查询、键、值三个矩阵，然后计算注意力权重。Transformer的表达能力和训练效率的理论分析是当前的研究热点。

可解释性：深度学习模型的决策过程通常不透明。如何从数学上理解和解释神经网络的行为？特征可视化、显著性映射和概念激活向量是当前的方法——但完整的理论框架尚未建立。

对齐问题：如何确保AI系统的行为与人类价值观一致？这不仅是一个技术问题，也是一个数学问题——如何形式化"价值观"和"一致性"？

事实卡

  • 卡1：万能近似定理（1989）证明了单隐藏层神经网络可以逼近任何连续函数——这是神经网络理论基础的里程碑。
  • 卡2：反向传播算法（1986）利用链式法则高效计算梯度——是深度学习的核心算法。
  • 卡3：注意力机制的计算复杂度是 O(n2)O(n^2)——这是Transformer处理长序列的主要瓶颈。
  • 卡4：扩散模型的数学基础是随机微分方程——这是概率论、随机过程和深度学习的交叉。

引用

"AI是新的电力。" — 吴恩达

"机器学习是统计学的延伸——用计算代替假设。" — 利奥·布雷曼

跨域连接

  • 线性代数：注意力机制的核心是查询与键做内积再归一化，本质是在高维空间里算相似度。平方级的复杂度不是实现粗糙，而是"每个位置都要看所有位置"这条定义直接推出的——要把代价降下来，就必须改这条定义本身，稀疏与线性化注意力做的正是这件事。
  • 自旋玻璃：高维随机景观里的临界点绝大多数是鞍点而非局部极小，因为成为极小值要求所有方向的曲率同号，这在维数升高时概率急剧下降。这解释了梯度下降为什么在非凸问题上仍然可用——它主要在逃离鞍点，而不是在无数坏极小值里挑。
  • 计算材料设计：把候选材料嵌入连续的高维表示后，搜索从枚举变成在景观上做梯度式移动。推论是表示的几何决定了搜索效率——若表示空间里的相似性不对应性质相近，再强的优化器也只是在乱走，表示学习因此比优化器选择更值得投入。
  • 神经可塑性：生物突触的更新是局部的，只用得上前后神经元的活动；反向传播却要求全局误差沿网络逆向传播。把二者直接等同是错的——这条差异正是"大脑是否在做梯度下降"至今仍有争议的技术核心。
  • 人工智能对齐：要把"价值一致"写成可优化的目标，就必须先把它形式化；形式化一旦不完整，优化器会精确地钻进缺口。推论是对齐的难点不在算力而在目标的可写性——形式化越不完整，能力越强偏离越远。

从公式到系统：四类误差不能混为一谈

人工智能模型的失败至少有四个来源。表示误差来自输入没有保留任务所需的信息；近似误差来自模型族表达不了真正关系；估计误差来自样本有限，使训练得到的参数偏离总体最优；优化误差则是训练过程没有找到给定模型族中的好解。增加参数可能降低近似误差，却同时放大估计与优化难度，因此“模型更大”不是单向改进。

训练损失也不等于现实目标。交叉熵、均方误差或奖励模型只是可计算代理；数据分布改变、标签带偏、反馈被操纵时，代理仍可能继续下降，而系统效用已经恶化。评估必须把训练集拟合、同分布泛化、分布外稳健性、校准和真实任务后果分开报告。一个分类器准确率很高，也可能在少数高代价类别上不可用。

数学在这里的角色不是为模型罩上确定性，而是把假设暴露出来：损失函数选择了什么价值，正则化排除了哪些解，采样过程代表了谁，置信度是否与真实频率对应。只有这些接口能被检查，模型结果才从一次数值输出变成可复核的知识主张。

参考文献

  1. Rumelhart, David, Geoffrey Hinton & Ronald Williams. "Learning Representations by Back-Propagating Errors." Nature, 1986.
  2. Cybenko, George. "Approximation by Superpositions of a Sigmoidal Function." Mathematics of Control, Signals and Systems, 1989.
  3. Goodfellow, Ian, Yoshua Bengio & Aaron Courville. Deep Learning. MIT Press, 2016.
  4. Bishop, Christopher. Pattern Recognition and Machine Learning. Springer, 2006.
  5. 周志华. 《机器学习》. 清华大学出版社, 2016.
  6. Vaswani, Ashish et al. "Attention Is All You Need." NeurIPS, 2017.