跳转到内容
← 返回先驱
人工智能1936–约 17 分钟阅读

朱迪亚·珀尔

Judea Pearl

贝叶斯网络do演算因果图图灵奖概率推理

1980 年代中期,人工智能的主流产品是规则库:若症状清单匹配,则推出病名,再给一条「确定性因子」。朱迪亚·珀尔(Judea Pearl,1936 年 9 月 4 日生于特拉维夫)认为这条路在概率上不自洽——两条相关证据被当成独立,同一事实被两条规则重复计数,网络一环就循环加分。他改用有向无环图:每个节点是随机变量,每条边是直接依赖,联合分布被因子化为

P(x1,…,xn)=∏iP(xi∣pa(i)).P(x_1,\ldots,x_n)=\prod_i P(x_i\mid \mathrm{pa}(i)).

这就是贝叶斯网络。1988 年的专著《智能系统中的概率推理》把它写成可计算的对象:不是一份专家语录,而是一张图加一组条件概率表。2011 年,珀尔因「概率与因果推理的演算法」获图灵奖。真正让他与统计机器学习分道的,是 1990 年代之后的第二步:把图上的「看见」和「做到」分开。

破除误解:贝叶斯网络不是「把贝叶斯公式画成图」

贝叶斯公式是更新信念的算术。贝叶斯网络是对联合分布的稀疏表示加上一套条件独立判据。图的价值不在把先验写成圆圈,而在 d-分离:一条路径被阻断,当且仅当它经过已观察的链或分叉,或经过未观察的对撞。独立关系因此可以从图上读出,而不必每次展开整个联合表。没有 d-分离,图只是插图;有了它,图是定理的句法。

第二个误解是把因果图当成相关图。相关图可以给任何两个相关变量连边;因果图的箭头声称的是稳定的机制——干预 $X$ 会沿箭头改变 $Y$,反向的相关不必能干预。珀尔的 do 演算处理的是 P(y∣do(x))P(y\mid \mathrm{do}(x)),不是 P(y∣x)P(y\mid x)。把回归系数读成「$X$ 导致 $Y$ 的强度」,是在用看见代替做到。

第三个误解来自 专家系统与第二次 AI 寒冬 的事后叙事:似乎符号规则失败之后,统计学习自然接班,珀尔只是过渡人物。贝叶斯网络确实用概率替换了确定性因子,但它仍然是可解释的稀疏模型,不是端到端拟合。珀尔后来批评的,恰恰是下一轮潮流:只优化预测损失、拒绝写出干预语义。他不是深度学习的前传,而是一条平行的、坚持机制的路线。

现场:从 d-分离到 do 演算

贝叶斯网络的推断是条件化:观察一部分节点,求另一部分的后验。精确推断在一般图上是 NP 难的;珀尔给出的信念传播在树上精确,在有环图上成为后来的近似算法。变量消除、联合树,是同一因子化的不同调度。工程上它让医疗与故障诊断可以更新局部证据而不重算整张表——这是规则库做不到的记账。

信念传播的消息是相邻因子之间的求和与乘法。树上,每个节点等所有孩子的消息到齐再向上传,根上的后验精确。有环时同一证据会沿环走两圈,消息被重复计数,定点可能不存在或不对应真后验。洛珀与珀尔等人后来用环路校正与区域图修补,但教学上必须先承认:树是定理,环是启发式。把「贝叶斯网络在工业里能跑」写成「一般图上的推断已解决」,会把 NP 难吞进一次幸运的收敛。

辛普森悖论是因果图最早的教学压力测试。合并表与分层表可以给出相反的关联方向,因为混杂 $Z$ 同时影响处理与结果。后门准则直接回答「该不该分层」:若 $Z$ 阻断全部后门,应该条件化;若 $Z$ 是对撞或中介,条件化会打开不该打开的路径。没有图,你只看见两张互相打架的百分比;有图,你知道哪一张对应干预。伯克利招生的经典讨论之所以难缠,正是因为「系」既可以是混杂,也可以是中介,取决于你把「选系」画成处理之前还是处理之后。图强迫这道建模题被写出来。

因果一层需要新的语法。干预 do(X=x)\mathrm{do}(X=x) 从图上删掉所有指向 $X$ 的边,再把 $X$ 固定为 $x$。所得分布 P(y∣do(x))P(y\mid\mathrm{do}(x)) 描述的是:若我们强制 $X=x$,$Y$ 会怎样,而不是「碰巧看见 $X=x$ 的那些人」。后门准则给出可观察的替换:若变量集 $Z$ 阻断所有从 $X$ 到 $Y$ 的后门路径,且 $Z$ 不含 $X$ 的后代,则

P(y∣do(x))=∑zP(y∣x,z)P(z).P(y\mid\mathrm{do}(x))=\sum_z P(y\mid x,z)P(z).

前门准则处理 $X$ 与 $Y$ 之间存在不可观察混淆、但存在中介 $M$ 的情形。do 演算的三条规则(插入或删除观察、交换行动与观察、插入或删除行动)给出完整的语法操作:在对应的图条件下,可以把含 do 的式子改写成不含 do 的式子。完备性后来被证明:若因果效应可被观察分布识别,则 do 演算能找到改写。

这套演算把「相关不是因果」从口号变成算法。你必须先画图,声明哪些箭头被假设,哪些混淆被允许。图错了,识别公式就错——诚实在于把假设画出来,而不是假装回归已经中立。珀尔 2000 年的《因果关系》(2009 年第二版)把结构因果模型写成方程组加图:每个变量是其父节点与独立噪声的函数。线性情形下这就是结构方程模型;非线性与离散情形下,函数可以任意,独立噪声承担外生性。机器学习概览 里的预测模型优化 P(y∣x)P(y\mid x);因果模型多问一层 P(y∣do(x))P(y\mid\mathrm{do}(x)),以及反事实 P(yx∣x′,y′)P(y_x\mid x',y')——若实际是 $x'$ 且看到 $y'$,若当时是 $x$ 会怎样。

反事实是因果阶梯的第三层。第一层是关联(看见),第二层是干预(做到),第三层是想象(否则会怎样)。珀尔认为多数机器学习停在第一层,多数政策评估需要第二层,责任与公平的个体问题需要第三层。强化学习 天然在第二层上工作:智能体做的是 do(action)\mathrm{do}(\text{action}),而不是观察别人的动作与回报的相关。离线强化学习与情景混淆,正是后门问题换了一身衣服——历史策略造成的数据,不等于当前策略的干预分布。

随机化实验是 do 的物理实现:把处理分配做成掷硬币,等于切断指向处理的边。珀尔并不反对实验;他反对的是「没有实验就无法谈因果」以及「有了回归就等于做了实验」。随机化算法 把硬币用作计算资源;随机化实验把硬币用作识别资源。两种硬币都在制造独立性,但独立性服务的对象不同——一个是运行时间或错误概率,一个是处理与潜在结果的外生性。把实验里的随机与算法里的随机写成同一个词而不声明量词,会把统计学与理论计算机科学的硬币混进同一只口袋。

与规则、与势结局、与预测模型的三场争论

对专家系统,珀尔的批评是概率记账。确定性因子不能正确处理公共原因与对撞;d-分离能。寒冬之后活下来的诊断系统,很多其实是贝叶斯网络换了产品名。他没有宣称规则无用:当机制本身是规范(税法、协议),规则仍是对的表示。错的是把不确定世界硬写成确定性蕴涵。

对统计学,争论更尖锐。鲁宾的势结局框架用 $Y(1),Y(0)$ 定义个体因果效应,用可忽略性为随机化或观测研究辩护。珀尔认为图能把可忽略性翻译成可见的阻断条件,否则「没有未测量混淆」是一句无法检查的口头禅。鲁宾一侧则警惕:图把未画出的箭头当成不存在,等于把假设画成知识。双方在随机化实验上重合,在观测数据的识别策略上分叉。赫克曼等计量经济学家走结构方程传统,与珀尔更近,但对经济学识别(工具变量、局部平均处理效应)有自己的完整性标准。把这场争论写成「珀尔战胜了统计」是宣传;写成「统计不需要图」同样是宣传。可检验的分歧是:假设要不要画成可以 d-分离的对象。

对机器学习,珀尔 2010 年代的公开评论常常刺耳:再多的拟合也不回答干预。反对者指出,在稳定环境里预测已经极有价值,因果图在高维上不可得,端到端系统用不变性与数据增强也能抗一部分分布偏移。更公允的读法是分工。预测回答「看见 $x$ 时 $y$ 的条件分布」;策略回答「改 $x$ 时 $y$ 会怎样」。机器学习 两者都需要。珀尔提供的是后一句的语法,不是前一句的替代品。决策树可以同时出现在两层:作为 P(y∣x)P(y\mid x) 的分段估计,或作为处理分配规则的可解释近似——树不会自动升级成因果,除非分裂标准与识别假设被显式写出。

代价与争议

图从哪里来。 do 演算的完备性是相对图的。图若来自领域专家的自信,错误箭头会变成错误政策。因果发现算法(PC、FCI 等)能在假设下从独立关系恢复马尔可夫等价类,通常恢复不了全部方向。珀尔把发现当作辅助,把识别当作核心;批评者认为这把最难的一步——建模——赶出了论文。诚实的使用应把图的每条缺边当成可被数据或实验挑战的假设,而不是当成定理前提的装饰。

可计算性与尺度。 精确推断在树宽大的图上爆炸;因果识别在隐藏变量多时可能不可识别。珀尔的例子常是几个节点的教学图,工业推荐系统是上亿参数。这不是否证,是范围。小图上的识别公式可以约束大模型的训练目标(不变风险、反事实数据增强),但不能从公式里长出参数。把图灵奖读成「已经解决 AI 的因果问题」,会低估仍未识别的效应和仍未可扩展的推断。

公众写作。 《为什么》(2018)把阶梯写成畅销书,也把对手写成不愿画图的统计学家。科普必要,简化会制造门徒气。专业文献里 do 演算的规则比那本书的寓言精确得多。读珀尔应把 1988、2000、2018 三本书分层:概率图模型、识别演算、文化论战。

中介分析是第三层里最容易被软件带偏的一块。总效应可以沿直接路径与经 $M$ 的路径分解,但分解在存在非线性与交互时对「关掉一条路径」的含义极其敏感。珀尔给出的自然直接效应与自然间接效应,用嵌套的反事实定义路径;若把它们当成两次回归系数相加,会在存在 $X$–$M$ 交互时读错。软件包输出三颗星,不等于识别假设已被图批准。这正是他把因果写成演算而不是写成按钮的原因:按钮会把未声明的 do 藏进默认选项。

「相关不是因果」之所以能被做成算法,是因为它被拆成三个可分别判定的问题。第一个问题是表示。贝叶斯网用条件独立压缩联合分布,回答第一层查询。消息传递、变量消除、联结树,都是在算这层。没有图,机器学习仍然可以拟合观测条件;有图,拟合对象变成一组更小的局部条件,并能回答这一观测应该更新哪些节点。

第二个问题是识别。给定图与观测分布,某个干预查询是否等于一串标准条件概率的组合?do-演算的规则允许在图上合法地插入或删除干预符号、交换观测与干预。若经过有限步重写能消去所有干预符号,查询可识别;若完整性定理说不能,那就不是再多采一点样本能补上的。样本解决估计,不解决识别。把两件事混为一谈,会把因果推断写成更大的回归。

第三个问题是反事实。要回答这个病人若未服药会怎样,需要个体层面的潜在结果。结构因果模型把每个变量写成父节点与外生噪声的函数。个体的噪声一旦由事实结果部分锁定,就可以在干预后的方程里再求一遍。这一步对数据要求最高,也最容易被讲成命运故事。珀尔的写法应当反过来读:多数反事实查询在只有观测数据时不可识别,例外必须由图与方程逐条批准。

可计算化的尖锐处正在批准这个词。给定图,识别算法应当在有限步内输出公式或输出失败。失败不是态度,而是对象:缺少的是哪一条边的方向、哪一个未观测共因的标记。珀尔把人工智能里常见的「再让模型看更多例子」从因果查询上拆掉。例子再多,也补不上图里没有声明的那条手术。预测误差可以靠样本下降;干预误差在不可识别时不会下降。这才是相关不是因果变成算法之后剩下的硬核,不是劝人谦虚。

do-演算后来被证明在某种意义上是完备的:若一个干预查询在给定图上可识别,则三条重写规则足够把它变成观测公式。完备性把人物贡献从提出了有用的口诀抬到给出了决策手续。手续仍可能因为图画错而给出错误公式,但它不会在可识别时无声地卡住,也不会在不可识别时假装给出一个回归系数。图灵奖承认的是手续,不是那句已经被说了一百年的提醒。

跨域连接

  • 概率:贝叶斯网络是联合分布的因子化,d-分离是条件独立的图论判定。do 把概率空间本身改写——删边后得到的是另一个测度,不是原测度上的条件。把 P(y∣x)P(y\mid x) 与 P(y∣do(x))P(y\mid\mathrm{do}(x)) 写成同一个符号,是整场混乱的源头。随机化实验用硬币强制后一个测度与处理分配独立。
  • 图论:DAG、路径、对撞、祖先,是珀尔语言的骨架。后门是图上的割:一组顶点切断从处理到结果的非因果路径。识别不是回归分析的方言,是图上的可达性与阻断。图论在这里不是比喻,是证明系统的对象语言。
  • 证明:do 演算三条规则构成一套形式系统:在图条件满足时,含干预的式子可被改写成观察式子。完备性定理说这套规则相对于识别任务是够用的。因果推断因此有证明,而不只是有软件包。证明相对于图,正如几何证明相对于公理——换图即换理论。
  • 线性代数:线性结构方程把箭头写成系数矩阵,总效应是路径系数的乘积和,可以用矩阵代数一次读出。识别在线性高斯情形下常化为协方差约束与秩条件。非线性世界里矩阵不再够用,但线性情况仍是最干净的对照:回归系数等于因果效应,当且仅当对应的矩阵因式对应后门或无混淆结构。
  • 信息哲学:珀尔把「知道相关」与「知道若我行动会怎样」分成两种知识。前者可由观察积累,后者需要机制或实验。反事实再加第三种:对未发生世界的合法陈述。知识在这里按干预深度分层,而不是按数据量分层。更多参数可以加密第一层,不必自动购买第二层。
  • 理性预期:经济主体若只对相关性做外推,政策一变,回归系数就失效。这正是卢卡斯批评的计算版本。do 算子问的是政策被执行之后的分布,而不是政策被观测到的那个旧分布。理性预期要求模型对干预封闭;珀尔提供的是一种让封闭性可以失败、并且失败时会显式报错的语言。

人物小记:坚持把机制画成可以删除的边

珀尔在 UCLA 长期任教,训练了整代图模型与因果推断研究者。他的公众形象在 2010 年代因畅销书与对深度学习的批评而两极化:一边被视为因果革命的立法者,一边被视为不愿承认预测已经足够好的老人。两种画像都太省事。

若把贡献压成一句:他把概率从规则评分里救出来,又把因果从相关表里救出来,两次都是靠给图规定删除与阻断的合法操作。 贝叶斯网络删除的是条件独立上的冗余边;do 删除的是指向被干预变量的边。删除是机制,不是修辞。机器学习可以不采用他的符号,但不能永久回避他的分层:看见、做到、否则会怎样,回答的不是同一道题。

参考文献

  • Pearl, J. Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. Morgan Kaufmann, 1988.
  • Pearl, J. Causal Diagrams for Empirical Research. Biometrika 82(4), 1995.
  • Pearl, J. Causality: Models, Reasoning, and Inference. 2nd ed., Cambridge University Press, 2009.(第一版 2000)
  • Pearl, J. The Do-Calculus Revisited. UAI, 2012.
  • Spirtes, P., Glymour, C. & Scheines, R. Causation, Prediction, and Search. 2nd ed., MIT Press, 2000.(与珀尔平行的因果发现传统)
  • Rubin, D. B. Estimating Causal Effects of Treatments in Randomized and Nonrandomized Studies. Journal of Educational Psychology 66(5), 1974.
  • Pearl, J. & Mackenzie, D. The Book of Why. Basic Books, 2018.

延伸阅读

  • Pearl, J., Glymour, M. & Jewell, N. P. Causal Inference in Statistics: A Primer. Wiley, 2016.
  • Sutton, R. S. & Barto, A. G. Reinforcement Learning: An Introduction. 2nd ed., MIT Press, 2018.(干预分布与策略评估的对照读物)