概率与决策
关键词
概率论; 决策论; 期望效用; 贝叶斯定理; 风险; 不确定性; 博弈; 保险
第1页 · 赌博与概率的诞生
标题:赌徒的问题催生了一门数学学科
概率论的起源与赌博密切相关。1654年,法国赌徒梅雷骑士(Chevalier de Méré)向数学家帕斯卡(Blaise Pascal)提出了一个关于"点数分配"的问题:两个赌徒在中途停止赌博时,应该如何公平地分配赌注?帕斯卡与费马在通信中解决了这个问题——他们的讨论标志着概率论的诞生。惠更斯(Christiaan Huygens)在1657年发表了第一本概率论教材《论赌博中的计算》。
雅各布·伯努利(Jacob Bernoulli)在1713年出版的《猜度术》中证明了大数定律——这是概率论与统计学之间的桥梁。大数定律断言:随着试验次数增加,事件发生的频率趋近于其概率。这一定律为从经验数据推断概率提供了理论基础。
第2页 · 期望效用理论
标题:理性决策的数学——期望效用理论
决策论研究在不确定性下如何做出最优决策。丹尼尔·伯努利(Daniel Bernoulli,1738)提出了期望效用理论:理性人应该最大化期望效用而非期望收益。效用函数 $u(x)$ 描述了财富带来的主观价值——风险厌恶者的函数通常是凹的。期望效用理论解释了圣彼得堡悖论:一个抛硬币直到出现正面的赌局,货币期望值可以发散,但很少有人愿意支付极高价格参与。若初始财富为 $w$、票价为 $c$、奖金为 ,相关量是 ,而不是脱离初始财富直接对奖金取对数。对数效用使额外一元钱对富人的作用小于对穷人的作用;结论仍依赖财富、效用函数和赌局能否实际兑现巨额奖金。
冯·诺依曼和摩根斯坦(1944)将期望效用理论公理化:如果决策者的偏好满足几条合理的公理(完备性、传递性、连续性、独立性),则存在一个效用函数使得决策者最大化期望效用。这一结果为期望效用理论提供了严格的数学基础。
这里的“理性”首先是规范性的一致标准,不是对真实人的完整心理描述。阿莱悖论、框架效应和损失厌恶说明,人会系统性违反某些公理;这并不会让表示定理失效,而是说明“若满足这些公理,则可如此表示”和“人事实上怎样选择”是两个问题。实践中应先说明采用哪种规范,再判断偏离来自计算困难、价值冲突,还是公理本身不适合当前场景。
第3页 · 贝叶斯决策
标题:从先验到后验——贝叶斯定理与决策
贝叶斯定理:——将先验信念 与观测数据 $D$ 结合,得到后验信念 。
贝叶斯决策理论将贝叶斯定理与期望效用理论结合:选择行动 $a$ 以最大化后验期望效用 。这将"学习"(从数据更新信念)和"行动"(在不确定性下做决策)统一在一个框架下。
概率有不同解释。频率学派把概率联系到可重复试验的长期频率,主观贝叶斯观点则把它视为一个主体在现有信息下的信念程度。天气、骰子和一次性政策变化未必共享同一种本体论,但都可进入决策模型。关键不是把一个小数当作脱离条件的真理,而是交代信息集、模型和更新规则,并检验概率判断能否经受新数据。
贝叶斯方法在医学诊断中有重要应用。假设某种疾病的患病率为1%(先验),检测试剂的灵敏度为99%(真阳性率),特异度为95%(真阴性率)。如果一个人检测阳性,他真正患病的概率是多少?贝叶斯定理给出:$P(\text{病}|\text{阳性}) = \frac{0.99 \times 0.01}{0.99 \times 0.01 + 0.05 \times 0.99} \approx 16.7\%$。这个反直觉的结果说明:即使检测很准确,低患病率也意味着阳性结果的假阳性率很高。
第4页 · 风险与不确定性
标题:奈特不确定性——概率不能描述一切
弗兰克·奈特(Frank Knight,1921)区分了风险和不确定性。风险是可以用概率量化的不确定性——如掷骰子的结果。不确定性则连合适概率都难以确定——如新制度下金融危机是否发生。面对奈特式不确定性,问题不是期望效用“必然不适用”,而是概率从哪里来:严格的主观贝叶斯主义仍会要求给出信念概率,另一些理论则允许一组概率分布,或直接对模糊性表现出厌恶。
埃尔斯伯格悖论把这种差异做成了实验。一个罐中有已知数量的红球,而黑球与黄球的比例未知;许多人宁愿押注已知概率,也不愿押注客观胜率可能相同但构成不明的颜色,并在另一组选项中给出无法由单一主观概率同时解释的选择。它说明人区分“坏运气”和“对概率本身没把握”,也推动了多先验、最大最小期望效用等模糊性模型。
对不确定性的数学处理有多种方法。鲁棒优化假设参数在某个不确定集内变化,寻找在最坏情况下最优的决策。模糊集理论用隶属度函数替代概率分布来描述不确定性。随机序方法比较不确定前景的优劣而不假设具体的概率分布。
第5页 · 概率与人工智能
标题:概率推理——AI的数学基础
概率论是现代人工智能的核心数学框架。贝叶斯网络用有向无环图表示变量之间的条件独立关系——是概率推理的强大工具。马尔可夫链蒙特卡洛(MCMC)方法用随机采样来近似复杂的后验分布——是贝叶斯推断的核心算法。在深度学习中,交叉熵损失函数基于概率论——它衡量模型预测分布与真实分布之间的差异。变分自编码器(VAE)和生成对抗网络(GAN)用概率模型生成数据。强化学习中的策略梯度方法用概率分布描述智能体的行为策略。
校准(calibration)是概率预测的重要性质:如果模型说"80%概率下雨",那么在所有说"80%概率"的情况中,确实应该有80%下雨。校准的模型是可信的——它知道它知道什么,也知道它不知道什么。
但校准不是全部。一个永远报基础率的模型可能校准良好,却没有区分高风险与低风险个体的能力;另一个排序能力很强的模型,也可能把真实的20%风险系统性报成40%。因此要同时检查校准、区分度和与决策阈值相关的净收益。布赖尔分数 用平方误差评价二元概率预测,是一种严格适当评分规则:在理想条件下,诚实报告自己的真实概率能使期望得分最优。
概率模型还会随环境变化而失准。医院更换检测人群、金融市场进入新制度、推荐系统改变用户所看到的内容,都可能改变基础率或数据生成机制。上线前的交叉验证无法永久保证校准,实际系统还需要按时间和人群分层监测,并明确概率漂移到什么程度就触发重估或停用。
事实卡
- 卡1
帕斯卡和费马在1654年解决了点数分配问题——概率论由此诞生。
- 卡2
丹尼尔·伯努利在1738年提出期望效用理论——解决了圣彼得堡悖论。
- 卡3
贝叶斯定理将先验信念与数据结合——是统计推断和机器学习的基础。
- 卡4
奈特(1921)区分了风险和不确定性——概率不能描述一切。
引用
"概率是将常识转化为计算的科学。"
跨域连接
- 前景理论:把效用函数换成相对参照点的价值函数,损失一侧更陡。可检验推论是同一笔钱按"得到"或"避免失去"描述,选择会翻转——这不是算错了,而是参照点被表述改变了;正因如此,默认选项的设定本身就是一种权力。
- 风险感知:人对小概率事件的权重不随概率线性变化,罕见巨灾被高估、常见小险被低估。推论是保险购买行为与精算公平价格系统性背离,且方向可预测——这让"非理性"从一句评语变成可建模、可定价的量。
- 概率论:期望值只是概率测度下的一次积分,它对分布形状不敏感——同一个期望可以对应风险天差地别的两个赌局。因此"最大化期望收益"作为决策规则需要额外辩护:只有当决策可以重复足够多次,大数定律才把它变成合理选择;一次性的重大决策尤其需要效用。
- 卫生经济学评价:把治疗方案按质量调整生命年排序,本质是给不同健康状态赋一套效用刻度。推论是排序结果对刻度的取法高度敏感——同一批证据换一组效用权重,优先次序就会改变,因此报告必须公开权重来源与敏感性分析。
- 效用怪物:把决策规则从个人推广到社会,效用加总立刻暴露问题——一个从任何资源中都能获得超常效用的个体会吞掉全部分配。这提醒我们期望效用是保证个人一致性的工具,并不自动成为社会选择的工具。
从概率到行动还缺哪几步
一个概率本身不产生决策。要从“某事件发生的概率是 (p)”走到行动,至少还需要结果集合、每种结果的价值以及可以选择的方案。期望效用把它们组合为“概率乘效用再求和”,但这不是价值中立的计算器:效用函数怎样弯曲,决定决策者把多大代价放在尾部风险上;时间跨度怎样选择,决定近期损失与远期收益如何比较。
实务中还要区分三种不确定性。随机性描述模型内部的波动;参数不确定性来自样本有限;模型不确定性则意味着候选模型遗漏了机制。增加样本通常能压低第二种,却未必触及第三种。只报告一个点概率会把三者折叠成虚假的精确感,因此稳健决策会比较多个模型、做敏感性分析,并寻找在一组合理假设下都不过分糟糕的行动。
最后要问信息是否值得获取。一次检测、调查或试点只有在它可能改变行动时才有决策价值;若任何结果都不会改变选择,更多数据只是延迟。反过来,当两个方案的期望效用接近且信息可能翻转排序时,小规模试验的价值可能很高。概率论由此不只是预测工具,也是判断“现在行动还是先学习”的语言。
这个思想可写成信息价值:比较“先获得信息再选择”的最大期望效用与“现在就选择”的最大期望效用,再扣除获取信息的成本。完美信息价值给出任何研究最多值得花多少钱,样本信息价值则评价现实可行的试验。它也揭示一个常见误区:统计上能显著减少不确定性的研究,若不可能改变行动,其决策价值仍可能接近零。
决策阈值同样必须显式化。医学筛查中,漏诊和误治的损失不同;欺诈检测中,拦下一笔正常交易与放过一次欺诈也不等价。把“概率超过50%”当作默认行动规则,暗中假设两类错误成本相同。更一般地,阈值由结果损失、资源约束和替代方案共同决定,概率模型只提供输入,不能替组织完成价值判断。
一次性决定与可重复决定
期望值是对概率加权的平均,不保证一次结果接近平均。保险公司承保大量近似独立风险时,可以依靠风险池让总损失相对稳定;一个家庭面对一次灾难性医疗支出,却无法靠“长期重复”把坏结果摊薄。两者使用同一概率,却因财富约束、可重复性与破产边界不同而需要不同决策规则。
这也解释了为什么小概率巨灾不能只用“概率很低”打发。若某个结果会摧毁继续行动的能力,效用函数、风险约束或安全底线必须显式表示。另一方面,把任何最坏情形都当作绝对禁令会使行动瘫痪;鲁棒决策应说明保护到哪个假设集合、付出多少机会成本,以及新信息出现后怎样更新。
相关性也会破坏表面上的分散化。持有一百只股票并不一定比十只更安全,若它们在危机时受同一融资条件影响;为多个地区投保也不一定形成独立风险池,若同一气候事件同时触发赔付。概率模型若把共同冲击遗漏掉,会在平常时期显得校准,在尾部事件中一起失败。
谁的效用、哪段时间
个人期望效用定理只约束一个决策者对彩票的偏好表示,不能自动告诉社会如何加总不同人的福利。医疗资源、气候政策或平台治理还要决定谁承担风险、未来损失怎样折现、不可补偿的权利是否允许被平均收益抵消。把这些选择藏进一个“效用分数”,不会让价值争议消失,只会让它更难审计。
实际决策记录因此至少应包含:概率及其来源、后果与时间跨度、效用或损失的定义、不可接受边界、敏感性分析和复核日期。这样当预测失准时,团队能分辨是数据变了、模型错了,还是价值判断本来就需要修订,而不是把所有失败都归咎于“概率不准”。
怎样复盘一组概率预测
单个事件发生后,不能仅凭结果判断概率是否“正确”。预报10%降雨而恰好下雨,并不自动表示预测失败;低概率事件本来就会发生。评价者需要积累许多可比预测,检查报10%的情形是否约有一成发生,并用布赖尔分数、对数评分等规则比较候选模型。
复盘还应选择诚实的基线。疾病模型至少要超过按患病率恒定预测,天气模型要与气候常值或现行业务系统比较。一个准确率95%的模型若面对95%阴性事件,可能从未识别任何阳性;报告相对基线的评分改善与各阈值混淆矩阵,才能看出它是否提供新增信息。
预测区间与情景概率也要接受覆盖率检验。若团队声称90%区间,长期应有约九成真实值落入区间;区间过窄显示过度自信,过宽虽容易覆盖却可能无助于行动。对不可频繁重复的战略事件,可以保留预测理由、关键假设和更新日志,让后来者判断偏差来自信息不足还是推理过程。
组织激励会扭曲概率。若“报出确定答案”比诚实表达不确定更受奖励,预测者会把60%写成90%;若错误预测会被追责而不行动没有成本,又会普遍回避风险。采用适当评分、记录决策时可得信息,并把预测质量与结果运气分开评价,才可能形成真正可校准的制度。
参考文献
- Laplace, Pierre-Simon. Théorie analytique des probabilités. 1812.
- Bernoulli, Daniel. "Specimen Theoriae Novae de Mensura Sortis." 1738.
- von Neumann, John & Oskar Morgenstern. Theory of Games and Economic Behavior. 1944.
- Knight, Frank. Risk, Uncertainty and Profit. 1921.
- 何书元. 《概率论》. 北京大学出版社, 2005.
- Pearl, Judea. Probabilistic Reasoning in Intelligent Systems. Morgan Kaufmann, 1988.
- Brier, Glenn W. "Verification of Forecasts Expressed in Terms of Probability." Monthly Weather Review, 1950. DOI: 10.1175/1520-0493(1950)078<0001:VOFEIT>2.0.CO;2.
- Ellsberg, Daniel. "Risk, Ambiguity, and the Savage Axioms." Quarterly Journal of Economics, 1961. DOI: 10.2307/1884324.