大数定律

一个直觉：为什么"多试几次"就能逼近真相#

抛一枚均匀硬币，正面概率是 $1/2$。但你抛 10 次，完全可能出现 7 次正面（频率 0.7，离 0.5 很远）。那凭什么我们敢说硬币是公平的？

凭的就是大数定律：抛得越多，正面出现的频率就越稳稳地贴近 $1/2$。抛 100 次、1 万次、100 万次，频率几乎必然收敛到 0.5。大数定律是整个概率论的"地基"——它把"概率"这个抽象数字，和"长期重复试验的频率"这个可观测的现实，严格地焊在了一起。没有它，赌场、保险、民调、蒙特卡洛模拟全都失去理论依据。

关键要破除一个流行的误解，下文会专门讲：大数定律不是说"前面正面多了，后面必须补几个反面来平衡"。硬币没有记忆，已经出现的正面不会把后面的结果往反面拉；频率靠近一半，靠的是新试验把旧偏差摊薄。

雅各布·伯努利在三百年前要严格证明的，正是这件事的一个特例。他处理的是独立同分布的成败试验，证明成功比例会依概率贴向真实概率 $p$——那是弱大数定律的伯努利版本，不是后来柯尔莫哥洛夫那条几乎必然收敛的强大数定律。

定理陈述#

设 $X_1, X_2, \ldots$ 是独立同分布的随机变量，期望 $\mathbb{E}[X_i] = \mu$ 存在且有限。记样本均值 $\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i$。大数定律有两个版本，强弱之分在于"收敛"的含义不同。

弱大数定律（依概率收敛）说的是概率本身在消失，而不是某一条轨道必须收敛。对任意 $\varepsilon > 0$，下列极限成立：

$$\lim_{n \to \infty} P\left(\left|\bar{X}_n - \mu\right| > \varepsilon\right) = 0.$$

它说：$n$ 足够大时，样本均值偏离 $\mu$ 超过任意给定误差的概率趋于零。这正是伯努利 1713 年对独立同分布伯努利试验所证明的那种收敛：不是保证每一条轨道都老老实实走回来，而是"偏得离谱"这件事本身变得越来越不可能。泊松后来把这一类命题叫做 loi des grands nombres（大数定律），这个名字沿用至今。

强大数定律（几乎必然收敛）把判断从"这一刻的概率"换成"整条轨道的归宿"。它断言下面这件事的概率等于 1：

$$P\left(\lim_{n \to \infty} \bar{X}_n = \mu\right) = 1.$$

它更强：除了一个概率为零的例外集合，每一条具体的随机轨道本身都收敛到 $\mu$。柯尔莫哥洛夫证明：只要期望 $\mu$ 有限，强大数定律就成立。博雷尔 1909 年先对公平抛硬币给出了几乎必然收敛的版本；一般独立同分布情形，要等到测度论概率成熟之后。

弱 vs 强：一个关键而微妙的区别#

很多人分不清这两个版本，但区别真实而深刻。弱定律谈的是某个固定时刻上偏差过大的概率；强定律谈的是整条无穷试验序列会不会收敛。前者伯努利已经碰到，后者要到 20 世纪初才有严格语言。

• 弱定律谈的是"在第 $n$ 步这一时刻，偏差大的概率小"——它允许 $\bar X_n$ 偶尔（无穷多次地）跳出误差带，只要跳出的概率越来越小。
• 强定律谈的是"整条无穷序列的最终归宿"——它断言对几乎每一次试验，从某一步之后 $\bar X_n$ 就永远待在误差带里，不再跳出。

类比：弱定律说"任意指定的某天，下雨的概率很低"；强定律说"几乎每一年，从某天起就再也不下雨了"。后者显然是更强的论断。强定律蕴含弱定律，反之不成立。

在应用里，人们日常说的"样本够大就接近平均值"，对应的其实是弱定律：下一次抽样的均值不太可能偏得太远。强定律回答的是另一件事——如果你把试验无限做下去，这条具体的轨迹会不会收敛。伯努利证明的是前者的特例；博雷尔和柯尔莫哥洛夫证明的是后者。

证明思路#

弱定律（切比雪夫的两行证明）。 若再假设方差 $\sigma^2$ 有限，证明短得惊人。样本均值的方差为 $\mathrm{Var}(\bar X_n) = \sigma^2/n$。直接套用切比雪夫不等式：

$$P\left(|\bar X_n - \mu| > \varepsilon\right) \le \frac{\mathrm{Var}(\bar X_n)}{\varepsilon^2} = \frac{\sigma^2}{n\varepsilon^2} \xrightarrow{n\to\infty} 0.$$

核心机制一目了然：把 $n$ 个独立量平均，方差被压缩了 $n$ 倍，于是分布越挤越窄，紧紧收向 $\mu$。（伯努利 1713 年的原始证明没有切比雪夫这把利器，他用二项分布的直接估计硬算，篇幅长得多。）他处理的还只是 0-1 试验，不是任意有限期望的随机变量；弱定律的现代一般形式要晚得多。

要强调的是，方差有限只是为了让证明变短，并非弱定律的真正前提。辛钦（Aleksandr Khinchin）1929 年用特征函数的方法证明：对独立同分布序列，只要期望 $\mu$ 有限，弱大数定律就成立——哪怕方差是无穷大。换句话说，切比雪夫那条捷径所要求的"方差有限"可以被彻底拿掉；弱定律因此也常被叫做辛钦定律，正是为了标出这条 1929 年才写清的一般条件。

强定律则要深得多，需要博雷尔-坎泰利引理或柯尔莫哥洛夫的极大值不等式来控制整条轨道的行为，是 20 世纪测度论概率的成果。博雷尔 1909 年对抛硬币——也就是独立同分布的伯努利试验——给出了强大数定律：几乎每一条无穷正反面序列里，正面频率都收敛到 $1/2$。一般分布、只要求期望有限的版本，是柯尔莫哥洛夫在公理化概率论里完成的，远超出伯努利当年能写的范围。

破除两个常见误解#

误解一："赌徒谬误"——前面正面多了，后面会补反面来平衡。 大错特错。硬币没有记忆，每次都是独立的 $1/2$。大数定律靠的不是"补偿"，而是"稀释"：已经出现的那点偏差（比如多了 5 次正面），在分母 $n$ 越来越大时被摊薄到可以忽略，而不是被未来的反面抵消。

前 100 次多 5 个正面，影响是 $5/100=5\%$；到 100 万次，那 5 个的影响只剩 $0.0005\%$——偏差还在，只是被海量新数据淹没了。赌场最清楚这一点：上一手输赢并不改变下一手的期望，庄家赚的是次数，不是"该来的反面"。

误解二：大数定律保证"短期内"也接近平均。 它只是个渐近结论（$n\to\infty$），并不承诺抛几十次就看得见 $1/2$。小样本可以偏得离谱——这正是伯努利算出需要两万多次试验才能达到他所谓道德确定性的原因。

真正描述"偏多少、收敛多快"的是它的搭档中心极限定理：大数定律说 $\bar X_n \to \mu$（收敛到一个点），中心极限定理进一步说，放大 $\sqrt n$ 倍后的涨落 $\sqrt n(\bar X_n - \mu)$ 趋于正态分布。一个管"去哪"，一个管"怎么去"。伯努利算出的那 25550 次，就是在提醒：所谓"长期"，可以长得超出日常直觉。

当均值不存在：柯西分布给的警告#

大数定律不是"取平均一定灵"的免费午餐——它有一个不可省略的前提：期望 $\mu$ 必须存在且有限。一旦这个前提塌了，结论可以彻底失效。

最经典的反例是柯西分布（标准柯西分布的概率密度为 $\frac{1}{\pi(1+x^2)}$）。它的尾巴极重，重到定义期望的那个积分根本不绝对收敛——期望不是无穷大，而是压根不存在。

对独立同分布的标准柯西样本，样本均值 $\bar X_n$ 不但不收敛，反而仍然服从标准柯西分布：取 100 万个数求平均，和只取 1 个数一样飘忽不定，永远稳定不下来。平均运算在这里完全失效——不是收敛得慢，而是根本没有一个有限的目标可以收敛过去。

这个前提到底有多关键？柯尔莫哥洛夫给出了锐利的回答：对独立同分布序列，$\mathbb{E}|X| < \infty$ 既是强大数定律成立的充分条件，也是必要条件。期望一旦不存在，样本均值几乎必然不收敛到任何有限值。

这对现实是真切的提醒。面对重尾数据——金融收益的极端暴涨暴跌、网络流量、地震释放的能量、城市人口规模——盲目相信"样本量足够大就能把噪声压下去"可能是危险的：那个被默认存在的"真实平均值"也许根本不存在。

赌场里的每一手牌、保险公司的一张普通车险保单，赔付都有上限，期望因此有限，大数定律才站得住。金融里某些资产的收益分布却更接近柯西那样的重尾：样本均值会被极端值一次次拽走，"长期平均收益"这个说法本身可能没有数学对象。这就是为什么赌场和精算表能靠重复次数吃饭，而某些金融市场的"平均"会骗人。

历史#

雅各布·伯努利（Jacob Bernoulli，1654–1705）把后来被称为大数定律的命题写进遗著《猜度术》（Ars Conjectandi）。手稿在他 1705 年去世后，由侄儿尼古拉·伯努利整理，1713 年才在巴塞尔印出，距离他离世已过八年。他证明的是独立同分布伯努利试验的弱定律：成功次数除以试验次数，依概率收敛到成功概率 $p$。这不是柯尔莫哥洛夫那种几乎必然收敛的强大数定律，适用范围也仅限于 0-1 试验，不是任意有限期望的随机变量。

他把这条结果称作自己的"黄金定理"，并自述思考了二十年。这是把"概率"与"长期频率"联系起来的第一个数学定理，被视为概率论成为一门严肃学科的奠基时刻。值得一提的是，伯努利原始的样本量估计相当保守：为达到他所谓的"道德确定性"（出错概率不超过 $1/1000$），他算出在真实比例 $p = 3/5$ 时竟需要多达 25550 次试验，才能确保观测频率落在真值 $\pm 1/50$ 的窄带内。这个数字大得出奇，恰恰从反面印证了上文的误解二——大数定律的收敛其实相当缓慢。

西梅翁·泊松（Siméon Poisson）后来给这条定理起了沿用至今的名字。1835 年他在巴黎科学院《会议报告》（Comptes rendus）里写下 loi des grands nombres；1837 年又在《关于刑事与民事审判概率的研究》（Recherches sur la probabilité des jugements）里系统阐述。名字是泊松的，定理本身则更早：伯努利已经对成败试验给出了弱定律。

切比雪夫用他的不等式给出了方差有限时弱定律的简洁证明，把伯努利的二项硬算推广到更一般的独立随机变量。埃米尔·博雷尔（Émile Borel）在 1909 年的论文《可数概率及其算术应用》（"Les probabilités dénombrables et leurs applications arithmétiques"）里证明了抛硬币的强大数定律：几乎所有无穷正反面序列的正面频率都收敛到 $1/2$。那是强大数定律的第一个严格版本，对象仍是伯努利试验，不是任意分布。

辛钦 1929 年证明：对独立同分布序列，只要期望有限，弱大数定律就成立——不必再假设方差有限。安德雷·柯尔莫哥洛夫（Andrey Kolmogorov）1933 年在《概率论基础》（Grundbegriffe der Wahrscheinlichkeitsrechnung）里给出最一般的强大数定律：独立同分布且期望有限即足够。从伯努利的弱定律特例，到泊松的命名，再到辛钦的弱定律与柯尔莫哥洛夫的强定律，中间隔了两个世纪。

应用#

大数定律是无数现实系统的隐形支柱。这些系统能够运转，前提几乎都一样：单次结果的期望存在且有限，并且重复次数足够大。缺了前一条，再多的样本也只是在平均一个不存在的目标。

1. 保险与精算：单个客户何时出险无法预测，但承保足够多客户后，总赔付率高度可预测——保险业的全部商业逻辑建立于此。普通车险、寿险的单笔赔付有上限，期望有限，平均值才会随保单数收敛；一旦赔付变成柯西式重尾（某些巨灾、无上限的金融风险），"大数"本身救不了定价。
2. 蒙特卡洛方法：用随机抽样的平均值近似积分或期望，收敛性由大数定律保证。被积的量必须有有限期望，否则抽样平均不会收敛到任何有限值——这正是柯西反例在计算里的对应物。
3. 统计估计：用样本均值估计总体均值之所以"可靠"，正是因为样本量大时它收敛到真值（即估计量的"相合性"）。相合性是弱定律的统计语言：估计量依概率贴向真参数。
4. 民意调查与抽样：大样本的比例稳定地反映总体比例。比例是 0-1 变量的均值，期望必然有限，所以这里用的其实就是伯努利当年证明的那一类弱定律。
5. 赌场与高频交易：庄家的微小优势在海量重复下几乎必然兑现为稳定盈利。轮盘、骰子、二十一点的赔付表都给出有限期望，庄家吃的就是那一点正期望加上次数；金融里某些"平均收益"则可能根本没有期望，重尾会把样本均值一次次打飞。

关键分界不在"试的次数够不够"，而在"有没有一个有限的期望可以收敛过去"。赌场和保险公司卖的是期望存在的重复博弈；某些金融市场里的样本均值，看起来也在"取平均"，数学对象却可能更接近柯西分布。大数定律保护前者，不保护后者。

跨域连接#

• 风险与不确定性：保险卖的不是预测某人何时出险，而是把大量近似独立的风险汇总，使总赔付率的相对波动随保单数收缩。推论是风险一旦高度相关（同一场飓风、同一次疫情），规模再大也不起作用——巨灾险因此只能靠再保险与资本金，其定价逻辑与普通险种完全不同。
• 市场微观结构：做市商每笔报价的优势极小，盈利完全依赖成交笔数足够多把方差压下去。推论是成交量骤降或订单流变得相关时，同一套策略的相对波动会立刻放大——这正是流动性枯竭时做市商集体撤退的机制，也是高频策略必须追求笔数的原因。
• 中心极限定理：大数定律说均值去哪，它进一步说偏差有多大。赌场的优势靠这两条一起兑现：期望为正保证方向，涨落收缩保证在有限时间内几乎必然实现；只要有一条不成立，庄家的商业模式就不成立。
• 决策心理学：赌徒谬误把"频率终将回到一半"读成"欠下的反面会被补上"。机制上收敛靠的是稀释而非补偿：早期偏差的绝对量并不改变，只是被越来越大的分母摊薄。可检验后果是连续同色之后，下一次的实际频率毫无偏移。
• 临床试验：随机化之所以能让组间可比，靠的是样本量大时协变量分布的偏差被摊平；小样本里随机化并不保证平衡。推论是小规模试验必须用分层或区组随机，"随机化万能"是这条定理最常见的误读，多中心试验按中心分层随机也出于同一理由。

参考文献#

1. Jacob Bernoulli, Ars Conjectandi, Basel, 1713.
2. S.-D. Poisson, Recherches sur la probabilité des jugements en matière criminelle et en matière civile, Bachelier, Paris, 1837.
3. A. Ya. Khinchin, "Sur la loi des grands nombres", Comptes rendus de l'Académie des Sciences, 189: 477–479, 1929.
4. A. N. Kolmogorov, Grundbegriffe der Wahrscheinlichkeitsrechnung (Foundations of the Theory of Probability), Springer, 1933.
5. Patrick Billingsley, Probability and Measure, 3rd ed., Wiley, 1995.
6. Stephen M. Stigler, The History of Statistics: The Measurement of Uncertainty before 1900, Harvard University Press, 1986.

延伸阅读#

1. Émile Borel, "Les probabilités dénombrables et leurs applications arithmétiques", Rendiconti del Circolo Matematico di Palermo, 27: 247–271, 1909.
2. William Feller, An Introduction to Probability Theory and Its Applications, Vol. 1, 3rd ed., Wiley, 1968.
3. Eugene Seneta, "A Tricentenary history of the Law of Large Numbers", Bernoulli, 19(4): 1088–1121, 2013.

大数定律证明：独立同分布随机变量的样本均值，随样本量增大而收敛于其期望值（弱定律为依概率收敛，强定律为几乎必然收敛）。它把"概率"这一抽象数值与"长期频率"这一可观测现实严格联系起来，是保险精算、民意调查与蒙特卡洛模拟的理论依据。