跳转到内容
← 返回概念
概率论/统计学约 15 分钟阅读

贝叶斯推断

概率统计推断贝叶斯先验

一个直觉：你其实每天都在做贝叶斯推断

听到隔壁房间"砰"的一声，你脑子里会闪过几个可能：猫打翻了花瓶？有人进来了？还是楼上掉了东西？你不会立刻断定是哪一个，而是根据它们平时各有多常见，先有个大致的"心里有数"。这个"事先的看法"，就是先验。

接着你转头看了一眼——发现猫正若无其事地舔爪子，地上没有碎片。这条新证据立刻改变了你的判断："猫打翻花瓶"的可能性骤降，"楼上掉东西"升上来了。用新证据去修正旧看法——这正是贝叶斯推断的全部精神，那个看起来吓人的公式 P(A∣B)=P(B∣A) P(A)P(B)P(A|B)=\dfrac{P(B|A)\,P(A)}{P(B)}，只是把这个再自然不过的过程写成了可以计算的形式。

这里藏着它最深刻、也最容易被误解的一点：贝叶斯把概率看作信念的强度，而不只是"长期重复的频率"。所以它敢回答一个频率派回避的问题——"看到这些数据后，这个假设成立的概率是多少？"代价是你必须先把"事先的看法"摆上台面（先验从哪来？）。但好处是，它给了我们一套数学化的、可以随证据不断更新的认知方式：信念不是一锤定音，而是终生被数据反复打磨。

定义

贝叶斯推断（Bayesian Inference）是一种基于贝叶斯定理的统计推断方法——它将概率解释为信念的度量而非频率，并提供了一种在获得新证据后系统更新信念的数学框架。

贝叶斯定理的核心公式：

P(A∣B)=P(B∣A)⋅P(A)P(B)P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}

其中 $P(A)$ 是先验概率（prior），$P(B|A)$ 是似然（likelihood），$P(A|B)$ 是后验概率（posterior）。

这个简单的公式蕴含了深刻的哲学：观察数据如何改变我们对世界的信念。贝叶斯推断的独特之处在于它回答了频率派无法回答的问题——"给定观察到的数据，假设成立的概率是多少？"频率派只能说"如果假设成立，观察到这样数据的概率是多少"——这两个问题看似相似，实则有本质区别。

贝叶斯 vs 频率派

贝叶斯统计与频率派统计的根本分歧在于概率的本质：

  • 频率派：概率是事件在大量重复实验中的相对频率。参数是固定但未知的常数，不能有概率分布。置信区间和假设检验基于重复抽样的思想实验。
  • 贝叶斯派：概率是信念的合理度量。参数可以有概率分布——它反映了我们对参数值的不确定性。贝叶斯推断直接回答"参数为某值的概率是多少"。

这一分歧不仅是技术性的，更是认识论的。频率派拒绝给参数赋予概率分布；贝叶斯派认为这是自然且必要的。在实践中，贝叶斯方法的优势在于：它能自然地融合先验知识、处理小样本问题，并给出直观的概率解释。贝叶斯方法的历史起伏耐人寻味。贝叶斯和拉普拉斯在 18-19 世纪使用贝叶斯方法，但 20 世纪频率派（以 Fisher、Neyman-Pearson 为代表）主导了统计学。

直到 1990 年代 Markov Chain Monte Carlo（MCMC）方法的出现，使得复杂贝叶斯模型的计算成为可能，贝叶斯方法才迎来了复兴。

先验、似然与后验

贝叶斯推断的三个核心概念：

先验 P(θ)P(\theta)：在观察数据之前，我们对参数 θ\theta 的信念。先验可以是：

  • 无信息先验：如均匀分布——表示对参数值没有偏好。Jeffreys 先验是一种信息几何意义下的无信息先验。
  • 共轭先验：与似然函数配对后，后验分布与先验属于同一分布族——如 Beta 分布是二项分布的共轭先验。共轭先验使得后验可以解析求解。
  • 信息先验：基于领域知识或之前的研究。在层次模型中，先验本身也有超先验——这形成了信念的层级结构。

似然 P(D∣θ)P(D|\theta)：在参数为 θ\theta 的假设下，观察到数据 $D$ 的概率。似然函数是贝叶斯推断的核心——它连接了数据与参数。

注意：似然是 θ\theta 的函数，不是概率分布——对 θ\theta 积分不等于 1。

后验 P(θ∣D)P(\theta|D)：观察到数据后，对参数的更新信念。

后验正比于先验与似然的乘积：

P(θ∣D)∝P(D∣θ)⋅P(θ)P(\theta|D) \propto P(D|\theta) \cdot P(\theta)

直觉上：后验 ∝ 先验 × 似然——你的信念 = 你之前的信念 × 数据告诉你的信息。当数据量很大时，先验的影响逐渐消失——后验被似然主导。这体现了贝叶斯方法的自洽性：数据足够多时，不同先验会收敛到相同后验。

日常应用

医学诊断：某种疾病的发病率为 0.1%（先验），检测的灵敏度为 99%，特异度为 95%。一个人检测阳性，他真正患病的概率是多少？

P(病∣阳性)=P(阳性∣病)⋅P(病)P(阳性)=0.99×0.0010.99×0.001+0.05×0.999≈1.9%P(\text{病}|\text{阳性}) = \frac{P(\text{阳性}|\text{病}) \cdot P(\text{病})}{P(\text{阳性})} = \frac{0.99 \times 0.001}{0.99 \times 0.001 + 0.05 \times 0.999} \approx 1.9\%

即使检测呈阳性，真正患病的概率仅为约 2%——这就是基率谬误：人们倾向于忽略先验概率（疾病的低发病率），过度关注似然（检测的高灵敏度）。这个反直觉的结果在 COVID-19 大规模检测中引起了广泛困惑。

垃圾邮件过滤：贝叶斯垃圾邮件过滤器是贝叶斯推断的经典应用。给定一封邮件中的词语 w1,w2,…,wnw_1, w_2, \ldots, w_n，它计算：

P(垃圾∣w1,…,wn)∝P(垃圾)∏iP(wi∣垃圾)P(\text{垃圾}|w_1,\ldots,w_n) \propto P(\text{垃圾}) \prod_i P(w_i|\text{垃圾})

每个词语的出现概率从训练数据中学习。朴素贝叶斯分类器虽然假设词语条件独立（这是"朴素"的含义），但在实际中表现优异——这是机器学习中"错误的模型，正确的预测"的经典案例。Paul Graham 在 2002 年用贝叶斯过滤器实现了高效的垃圾邮件检测。

法律与证据：贝叶斯定理在法律推理中有重要应用。DNA 证据的解读本质上是贝叶斯的——给定 DNA 匹配（证据），嫌疑人有罪（假设）的后验概率取决于先验概率（基率）和似然比。

"检察官谬误"就是混淆了 $P(\text{证据}|\text{无罪})$ 和 $P(\text{无罪}|\text{证据})$——这两个概率可以相差几个数量级。

贝叶斯大脑假说

贝叶斯大脑假说（Bayesian Brain Hypothesis）认为大脑是一个贝叶斯推断机器——它不断地用感觉数据更新对世界的内部模型。

这一假说的关键证据：

  • 视觉错觉：许多视觉错觉可以用贝叶斯最优推断来解释——大脑将先验知识（如光源来自上方）与感觉输入结合，产生最优但有时错误的感知。凹凸错觉就是先验"光源从上方来"与实际光照冲突的结果。
  • 运动控制：大脑整合来自不同感觉通道的信息（视觉、本体感觉、前庭系统），以贝叶斯最优的方式加权——更可靠的信号权重更大。这解释了为什么在黑暗中你更依赖触觉而非视觉。
  • 知觉学习：先验可以通过经验更新——这解释了为什么专家能感知到新手看不到的模式。放射科医生看 X 光片的能力就是先验不断精炼的结果。

Karl Friston 的自由能原理将这一思想推向极致：大脑的所有活动都可以理解为最小化预测误差（自由能）——感知是推断世界的状态，行动是改变世界以符合预测。这一统一框架试图解释从知觉到行动、从学习到注意力的所有认知功能——尽管其可证伪性仍有争议。

贝叶斯深度学习

在当代 AI 中，贝叶斯方法与深度学习的融合是前沿方向：

不确定性量化：标准神经网络给出点估计，不提供不确定性。贝叶斯神经网络（BNN）对权重赋予分布，能区分认知不确定性（模型不知道——可以通过更多数据减少）和偶然不确定性（数据内在噪声——不可减少）。

在自动驾驶等安全关键应用中，知道"模型不知道什么"至关重要——一个自知不确定的系统比一个盲目自信的系统安全得多。

贝叶斯优化：在超参数搜索中，贝叶斯优化用高斯过程建模目标函数，用采集函数（如期望改进）选择下一个评估点——比随机搜索或网格搜索高效得多。

AutoML 系统大量使用贝叶斯优化。

变分推断：精确的贝叶斯后验通常不可解析求解。变分推断用一个简单的分布 q(θ)q(\theta) 近似后验 P(θ∣D)P(\theta|D)，通过最小化 KL 散度 DKL(q∥p)D_{KL}(q \| p) 来求解。这是现代贝叶斯深度学习的核心计算工具。变分自编码器（VAE）就是变分推断在深度生成模型中的应用。

概率编程：Stan、PyMC、Edward 等概率编程语言使得贝叶斯建模变得 accessible——用户只需指定模型（先验 + 似然），推断由引擎自动完成。这降低了贝叶斯方法的使用门槛，使得非统计学家也能进行贝叶斯分析。

贝叶斯与信息论

贝叶斯推断与信息论之间存在深刻的联系。贝叶斯更新等价于最小化 KL 散度：

DKL(Ppost∥Pprior)=∫Ppost(θ)ln⁡Ppost(θ)Pprior(θ)dθD_{KL}(P_{\text{post}} \| P_{\text{prior}}) = \int P_{\text{post}}(\theta) \ln \frac{P_{\text{post}}(\theta)}{P_{\text{prior}}(\theta)} d\theta

后验分布是在满足数据约束下与先验分布 KL 散度最小的分布——这体现了"最小惊讶原则"。信息增益（互信息）I(θ;D)=H(θ)−H(θ∣D)I(\theta; D) = H(\theta) - H(\theta|D) 量化了数据提供的信息量。

贝叶斯奥卡姆剃刀：贝叶斯框架自动惩罚复杂模型——复杂模型的先验概率分散在更大的参数空间中，因此边际似然 P(D)=∫P(D∣θ)P(θ)dθP(D) = \int P(D|\theta)P(\theta)d\theta 自然偏好简单模型。这为模型选择提供了原则性的贝叶斯方法。

贝叶斯非参数方法

当模型复杂度本身不确定时，贝叶斯非参数方法允许模型复杂度随数据增长：

高斯过程（GP）是函数空间上的贝叶斯推断——先验是函数上的分布，后验是给定观测数据后函数的条件分布。GP 在空间统计、机器学习和贝叶斯优化中广泛应用。

狄利克雷过程（DP）是分布上的先验——它允许从数据中自动推断聚类数目。DP 混合模型是无监督学习中确定聚类数目的贝叶斯方法。

贝叶斯深度学习中的 dropout 近似：Gal 和 Ghahramani（2016）证明，带有 dropout 的深度网络的多次前向传播近似于贝叶斯后验推断——这为深度学习提供了不确定性估计的实用方法。

计算挑战

贝叶斯推断的主要计算挑战在于后验分布通常无法解析求解。现代计算方法包括：

  • 马尔可夫链蒙特卡洛（MCMC）：Metropolis-Hastings 算法和 Gibbs 采样器从后验中抽取样本。Hamiltonian Monte Carlo（HMC）利用哈密顿动力学提高采样效率——Stan 概率编程语言使用 HMC 作为默认求解器。
  • 变分推断（VI）：将推断转化为优化问题——比 MCMC 快但可能欠估计不确定性。自动微分变分推断（ADVI）使得变分方法可以自动应用于任意模型。
  • 期望传播（EP）：局部近似方法，适用于大规模在线学习。

跨域连接

  • 贝叶斯定理：先验、似然、后验的关系只是条件概率定义的一次改写，真正的工作量在于先验从哪来。共轭先验流行的理由是后验能解析求解，而不是它更接近真相——这是一次公开写在纸面上的妥协，因此换一族先验重算一遍，是检验结论稳健性的最低要求。
  • 临床诊断：医生说"再加查一项"，操作上就是把上一步的后验当作这一步的先验，似然比连乘。推论是检查的先后顺序不改变最终后验，却改变中途停手时的判断——这正是序贯检查方案必须预先写死停止规则的原因，而顺序无关本身是定理，不是经验法则。
  • 预测加工：把知觉建模为先验与感觉证据的加权，权重由各自的可靠度决定。可检验推论是人为增大感觉噪声后，判断应更向先验回归——这一偏移在多感觉整合实验里是可以直接测量的量，先验强度也能通过训练历史被实验操纵。
  • 证伪主义：波普尔要求理论被单个反例推翻，贝叶斯给出的却是连续的信念下调，幅度由似然比决定。把二者直接等同是错的：辅助假设可以吸收反例，这在贝叶斯记账里表现为概率被转移到别处，而不是归零。
  • 信息不对称：信号博弈假定各方按贝叶斯规则更新对对方类型的信念，"理性"因此被改写成"正确地更新概率"。推论是均衡依赖先验的共同知识——一旦先验不再共享，同一串信号可以支撑好几个自洽的结局，信号模型的多重均衡正由此而来。

参考文献

  1. Thomas Bayes, "An Essay towards Solving a Problem in the Doctrine of Chances" (1763).
  2. Richard McElreath, Statistical Rethinking (2nd ed., 2020).
  3. Edwin Jaynes, Probability Theory: The Logic of Science (2003).
  4. David Barber, Bayesian Reasoning and Machine Learning (2012).
  5. 陈希孺, 《数理统计学简史》, 湖南教育出版社, 2002.

贝叶斯推断用贝叶斯定理把先验分布与数据似然结合为后验分布，从而在新证据下更新对参数的信念。它支撑了垃圾邮件过滤、医学诊断、A/B 测试与许多机器学习方法，并通过可信区间量化不确定性。