跳转到内容
← 返回深度阅读
应用约 16 分钟阅读

概率与决策

应用概率论决策论期望效用贝叶斯

关键词

概率论; 决策论; 期望效用; 贝叶斯定理; 风险; 不确定性; 博弈; 保险

第1页 · 赌博与概率的诞生

标题:赌徒的问题催生了一门数学学科

概率论的起源与赌博密切相关。1654年,法国赌徒梅雷骑士(Chevalier de Méré)向数学家帕斯卡(Blaise Pascal)提出了一个关于"点数分配"的问题:两个赌徒在中途停止赌博时,应该如何公平地分配赌注?帕斯卡与费马在通信中解决了这个问题——他们的讨论标志着概率论的诞生。惠更斯(Christiaan Huygens)在1657年发表了第一本概率论教材《论赌博中的计算》。

雅各布·伯努利(Jacob Bernoulli)在1713年出版的《猜度术》中证明了大数定律——这是概率论与统计学之间的桥梁。大数定律断言:随着试验次数增加,事件发生的频率趋近于其概率。这一定律为从经验数据推断概率提供了理论基础。

第2页 · 期望效用理论

标题:理性决策的数学——期望效用理论

决策论研究在不确定性下如何做出最优决策。丹尼尔·伯努利(Daniel Bernoulli,1738)提出了期望效用理论:理性人应该最大化期望效用而非期望收益。效用函数 $u(x)$ 描述了财富带来的主观价值——风险厌恶者的函数通常是凹的。期望效用理论解释了圣彼得堡悖论:一个抛硬币直到出现正面的赌局,货币期望值可以发散,但很少有人愿意支付极高价格参与。若初始财富为 $w$、票价为 $c$、奖金为 xix_i,相关量是 ∑ipiu(w−c+xi)\sum_i p_i u(w-c+x_i),而不是脱离初始财富直接对奖金取对数。对数效用使额外一元钱对富人的作用小于对穷人的作用;结论仍依赖财富、效用函数和赌局能否实际兑现巨额奖金。

冯·诺依曼和摩根斯坦(1944)将期望效用理论公理化:如果决策者的偏好满足几条合理的公理(完备性、传递性、连续性、独立性),则存在一个效用函数使得决策者最大化期望效用。这一结果为期望效用理论提供了严格的数学基础。

这里的“理性”首先是规范性的一致标准,不是对真实人的完整心理描述。阿莱悖论、框架效应和损失厌恶说明,人会系统性违反某些公理;这并不会让表示定理失效,而是说明“若满足这些公理,则可如此表示”和“人事实上怎样选择”是两个问题。实践中应先说明采用哪种规范,再判断偏离来自计算困难、价值冲突,还是公理本身不适合当前场景。

第3页 · 贝叶斯决策

标题:从先验到后验——贝叶斯定理与决策

贝叶斯定理:P(θ∣D)=P(D∣θ)P(θ)P(D)P(\theta|D) = \frac{P(D|\theta)P(\theta)}{P(D)}——将先验信念 P(θ)P(\theta) 与观测数据 $D$ 结合,得到后验信念 P(θ∣D)P(\theta|D)。

贝叶斯决策理论将贝叶斯定理与期望效用理论结合:选择行动 $a$ 以最大化后验期望效用 ∫u(a,θ)P(θ∣D)dθ\int u(a, \theta) P(\theta|D) d\theta。这将"学习"(从数据更新信念)和"行动"(在不确定性下做决策)统一在一个框架下。

概率有不同解释。频率学派把概率联系到可重复试验的长期频率,主观贝叶斯观点则把它视为一个主体在现有信息下的信念程度。天气、骰子和一次性政策变化未必共享同一种本体论,但都可进入决策模型。关键不是把一个小数当作脱离条件的真理,而是交代信息集、模型和更新规则,并检验概率判断能否经受新数据。

贝叶斯方法在医学诊断中有重要应用。假设某种疾病的患病率为1%(先验),检测试剂的灵敏度为99%(真阳性率),特异度为95%(真阴性率)。如果一个人检测阳性,他真正患病的概率是多少?贝叶斯定理给出:$P(\text{病}|\text{阳性}) = \frac{0.99 \times 0.01}{0.99 \times 0.01 + 0.05 \times 0.99} \approx 16.7\%$。这个反直觉的结果说明:即使检测很准确,低患病率也意味着阳性结果的假阳性率很高。

第4页 · 风险与不确定性

标题:奈特不确定性——概率不能描述一切

弗兰克·奈特(Frank Knight,1921)区分了风险和不确定性。风险是可以用概率量化的不确定性——如掷骰子的结果。不确定性则连合适概率都难以确定——如新制度下金融危机是否发生。面对奈特式不确定性,问题不是期望效用“必然不适用”,而是概率从哪里来:严格的主观贝叶斯主义仍会要求给出信念概率,另一些理论则允许一组概率分布,或直接对模糊性表现出厌恶。

埃尔斯伯格悖论把这种差异做成了实验。一个罐中有已知数量的红球,而黑球与黄球的比例未知;许多人宁愿押注已知概率,也不愿押注客观胜率可能相同但构成不明的颜色,并在另一组选项中给出无法由单一主观概率同时解释的选择。它说明人区分“坏运气”和“对概率本身没把握”,也推动了多先验、最大最小期望效用等模糊性模型。

对不确定性的数学处理有多种方法。鲁棒优化假设参数在某个不确定集内变化,寻找在最坏情况下最优的决策。模糊集理论用隶属度函数替代概率分布来描述不确定性。随机序方法比较不确定前景的优劣而不假设具体的概率分布。

第5页 · 概率与人工智能

标题:概率推理——AI的数学基础

概率论是现代人工智能的核心数学框架。贝叶斯网络用有向无环图表示变量之间的条件独立关系——是概率推理的强大工具。马尔可夫链蒙特卡洛(MCMC)方法用随机采样来近似复杂的后验分布——是贝叶斯推断的核心算法。在深度学习中,交叉熵损失函数基于概率论——它衡量模型预测分布与真实分布之间的差异。变分自编码器(VAE)和生成对抗网络(GAN)用概率模型生成数据。强化学习中的策略梯度方法用概率分布描述智能体的行为策略。

校准(calibration)是概率预测的重要性质:如果模型说"80%概率下雨",那么在所有说"80%概率"的情况中,确实应该有80%下雨。校准的模型是可信的——它知道它知道什么,也知道它不知道什么。

但校准不是全部。一个永远报基础率的模型可能校准良好,却没有区分高风险与低风险个体的能力;另一个排序能力很强的模型,也可能把真实的20%风险系统性报成40%。因此要同时检查校准、区分度和与决策阈值相关的净收益。布赖尔分数 1n∑i(pi−yi)2\frac{1}{n}\sum_i(p_i-y_i)^2 用平方误差评价二元概率预测,是一种严格适当评分规则:在理想条件下,诚实报告自己的真实概率能使期望得分最优。

概率模型还会随环境变化而失准。医院更换检测人群、金融市场进入新制度、推荐系统改变用户所看到的内容,都可能改变基础率或数据生成机制。上线前的交叉验证无法永久保证校准,实际系统还需要按时间和人群分层监测,并明确概率漂移到什么程度就触发重估或停用。

事实卡

  1. 卡1

    帕斯卡和费马在1654年解决了点数分配问题——概率论由此诞生。

  2. 卡2

    丹尼尔·伯努利在1738年提出期望效用理论——解决了圣彼得堡悖论。

  3. 卡3

    贝叶斯定理将先验信念与数据结合——是统计推断和机器学习的基础。

  4. 卡4

    奈特(1921)区分了风险和不确定性——概率不能描述一切。

引用

"概率是将常识转化为计算的科学。"
皮埃尔-西蒙·拉普拉斯

跨域连接

  • 前景理论:把效用函数换成相对参照点的价值函数,损失一侧更陡。可检验推论是同一笔钱按"得到"或"避免失去"描述,选择会翻转——这不是算错了,而是参照点被表述改变了;正因如此,默认选项的设定本身就是一种权力。
  • 风险感知:人对小概率事件的权重不随概率线性变化,罕见巨灾被高估、常见小险被低估。推论是保险购买行为与精算公平价格系统性背离,且方向可预测——这让"非理性"从一句评语变成可建模、可定价的量。
  • 概率论:期望值只是概率测度下的一次积分,它对分布形状不敏感——同一个期望可以对应风险天差地别的两个赌局。因此"最大化期望收益"作为决策规则需要额外辩护:只有当决策可以重复足够多次,大数定律才把它变成合理选择;一次性的重大决策尤其需要效用。
  • 卫生经济学评价:把治疗方案按质量调整生命年排序,本质是给不同健康状态赋一套效用刻度。推论是排序结果对刻度的取法高度敏感——同一批证据换一组效用权重,优先次序就会改变,因此报告必须公开权重来源与敏感性分析。
  • 效用怪物:把决策规则从个人推广到社会,效用加总立刻暴露问题——一个从任何资源中都能获得超常效用的个体会吞掉全部分配。这提醒我们期望效用是保证个人一致性的工具,并不自动成为社会选择的工具。

从概率到行动还缺哪几步

一个概率本身不产生决策。要从“某事件发生的概率是 (p)”走到行动,至少还需要结果集合、每种结果的价值以及可以选择的方案。期望效用把它们组合为“概率乘效用再求和”,但这不是价值中立的计算器:效用函数怎样弯曲,决定决策者把多大代价放在尾部风险上;时间跨度怎样选择,决定近期损失与远期收益如何比较。

实务中还要区分三种不确定性。随机性描述模型内部的波动;参数不确定性来自样本有限;模型不确定性则意味着候选模型遗漏了机制。增加样本通常能压低第二种,却未必触及第三种。只报告一个点概率会把三者折叠成虚假的精确感,因此稳健决策会比较多个模型、做敏感性分析,并寻找在一组合理假设下都不过分糟糕的行动。

最后要问信息是否值得获取。一次检测、调查或试点只有在它可能改变行动时才有决策价值;若任何结果都不会改变选择,更多数据只是延迟。反过来,当两个方案的期望效用接近且信息可能翻转排序时,小规模试验的价值可能很高。概率论由此不只是预测工具,也是判断“现在行动还是先学习”的语言。

这个思想可写成信息价值:比较“先获得信息再选择”的最大期望效用与“现在就选择”的最大期望效用,再扣除获取信息的成本。完美信息价值给出任何研究最多值得花多少钱,样本信息价值则评价现实可行的试验。它也揭示一个常见误区:统计上能显著减少不确定性的研究,若不可能改变行动,其决策价值仍可能接近零。

决策阈值同样必须显式化。医学筛查中,漏诊和误治的损失不同;欺诈检测中,拦下一笔正常交易与放过一次欺诈也不等价。把“概率超过50%”当作默认行动规则,暗中假设两类错误成本相同。更一般地,阈值由结果损失、资源约束和替代方案共同决定,概率模型只提供输入,不能替组织完成价值判断。

一次性决定与可重复决定

期望值是对概率加权的平均,不保证一次结果接近平均。保险公司承保大量近似独立风险时,可以依靠风险池让总损失相对稳定;一个家庭面对一次灾难性医疗支出,却无法靠“长期重复”把坏结果摊薄。两者使用同一概率,却因财富约束、可重复性与破产边界不同而需要不同决策规则。

这也解释了为什么小概率巨灾不能只用“概率很低”打发。若某个结果会摧毁继续行动的能力,效用函数、风险约束或安全底线必须显式表示。另一方面,把任何最坏情形都当作绝对禁令会使行动瘫痪;鲁棒决策应说明保护到哪个假设集合、付出多少机会成本,以及新信息出现后怎样更新。

相关性也会破坏表面上的分散化。持有一百只股票并不一定比十只更安全,若它们在危机时受同一融资条件影响;为多个地区投保也不一定形成独立风险池,若同一气候事件同时触发赔付。概率模型若把共同冲击遗漏掉,会在平常时期显得校准,在尾部事件中一起失败。

谁的效用、哪段时间

个人期望效用定理只约束一个决策者对彩票的偏好表示,不能自动告诉社会如何加总不同人的福利。医疗资源、气候政策或平台治理还要决定谁承担风险、未来损失怎样折现、不可补偿的权利是否允许被平均收益抵消。把这些选择藏进一个“效用分数”,不会让价值争议消失,只会让它更难审计。

实际决策记录因此至少应包含:概率及其来源、后果与时间跨度、效用或损失的定义、不可接受边界、敏感性分析和复核日期。这样当预测失准时,团队能分辨是数据变了、模型错了,还是价值判断本来就需要修订,而不是把所有失败都归咎于“概率不准”。

怎样复盘一组概率预测

单个事件发生后,不能仅凭结果判断概率是否“正确”。预报10%降雨而恰好下雨,并不自动表示预测失败;低概率事件本来就会发生。评价者需要积累许多可比预测,检查报10%的情形是否约有一成发生,并用布赖尔分数、对数评分等规则比较候选模型。

复盘还应选择诚实的基线。疾病模型至少要超过按患病率恒定预测,天气模型要与气候常值或现行业务系统比较。一个准确率95%的模型若面对95%阴性事件,可能从未识别任何阳性;报告相对基线的评分改善与各阈值混淆矩阵,才能看出它是否提供新增信息。

预测区间与情景概率也要接受覆盖率检验。若团队声称90%区间,长期应有约九成真实值落入区间;区间过窄显示过度自信,过宽虽容易覆盖却可能无助于行动。对不可频繁重复的战略事件,可以保留预测理由、关键假设和更新日志,让后来者判断偏差来自信息不足还是推理过程。

组织激励会扭曲概率。若“报出确定答案”比诚实表达不确定更受奖励,预测者会把60%写成90%;若错误预测会被追责而不行动没有成本,又会普遍回避风险。采用适当评分、记录决策时可得信息,并把预测质量与结果运气分开评价,才可能形成真正可校准的制度。

参考文献

  1. Laplace, Pierre-Simon. Théorie analytique des probabilités. 1812.
  2. Bernoulli, Daniel. "Specimen Theoriae Novae de Mensura Sortis." 1738.
  3. von Neumann, John & Oskar Morgenstern. Theory of Games and Economic Behavior. 1944.
  4. Knight, Frank. Risk, Uncertainty and Profit. 1921.
  5. 何书元. 《概率论》. 北京大学出版社, 2005.
  6. Pearl, Judea. Probabilistic Reasoning in Intelligent Systems. Morgan Kaufmann, 1988.
  7. Brier, Glenn W. "Verification of Forecasts Expressed in Terms of Probability." Monthly Weather Review, 1950. DOI: 10.1175/1520-0493(1950)078<0001:VOFEIT>2.0.CO;2.
  8. Ellsberg, Daniel. "Risk, Ambiguity, and the Savage Axioms." Quarterly Journal of Economics, 1961. DOI: 10.2307/1884324.