双重差分:没有随机实验时怎样评估政策
Difference-in-Differences for Policy Evaluation
破除误解:前后变化不是政策效果
某地实施最低工资后,就业下降了;某国通过控烟法后,住院人数减少了;某城市修建地铁后,沿线房价上涨了。把政策前后的差直接称为“政策效果”,是评估中最常见的错误。
政策发生的同时,经济周期、人口结构、季节、全国性冲击和预期都在变化。即使没有政策,结果也可能改变。双重差分(Difference-in-Differences, DiD)试图用一个未受政策影响但趋势可比的群体,估计“如果没有政策,本来会怎样”。它不是自动制造因果关系的回归技巧,而是一种关于反事实趋势的研究设计。
前后对比只做了一次相减,把所有碰巧同时发生的事都算进政策。双重差分要的是第二次相减:处理组的变化,减去对照组在同一时段本会发生的变化。少了这一步,剩下的只是时间,不是因果。
把处理组自己的前后差叫政策效果,等于默认对照世界是静止的。现实里衰退、迁徙、价格和预期都在动。自然实验 的资格来自制度时点与可比对照,不来自软件里随手加的交互项。
两次相减消掉了什么
设处理组在政策前后的平均结果分别为 与 ,对照组为 与 。双重差分估计量是:
第一次相减去掉处理组不随时间变化的特征,例如长期产业结构或地理条件。第二次相减去掉两组共同遭遇的时间冲击,例如全国经济衰退。剩下的差被解释为政策效应。
举例说,实施政策的地区就业率下降 3 个百分点,而相似对照地区同期下降 5 个百分点。简单前后比较会说政策“减少就业”,双重差分却得到 $(-3)-(-5)=+2$ 个百分点:在共同衰退背景下,处理地区相对少降了 2 点。
公式消掉的是两组共有的时间冲击,以及处理组里不随时间变的特征。它消不掉处理组特有的、恰好在政策前后拐弯的趋势。若处理地区在立法前就业已经相对对照加速或减速,第二次相减仍会把这条旧斜率算进“政策效果”。识别来自比较的资格,不来自把交互项写进回归。
核心不是公式,而是平行趋势
上述解释依赖一个无法直接观察的条件:若没有政策,处理组与对照组的结果变化应当相同。这就是平行趋势假设。它不要求两组起点相同,只要求未受处理时的趋势差保持稳定。
研究者常画出政策前多期趋势,观察两组是否大体平行。这是必要诊断,却不是证明。政策前趋势相似,不保证政策后在无处理情况下仍会相似;样本少时,即使存在有意义的预趋势,统计检验也可能没有能力拒绝“无差异”。因此,“政策前系数不显著”不能被翻译成“平行趋势已经证实”。
事件研究图把政策前各期的相对差异画成一条线,读图的人容易把“线看起来平”当成已经过关。Roth 等人提醒:预趋势检验经常没有足够效力,去拒绝那些足以改变结论的偏离。制度故事必须能解释,为什么对照地区在无处理时会与处理地区走同一条斜率。
可信论证需要制度知识:政策为何在这个时间、这些地区实施,处理地区是否因恶化趋势而主动采用,对照地区是否受到同一政策的预期影响。如果答案不清楚,再漂亮的事件研究图也只是装饰。
经典案例:新泽西最低工资
1992 年 4 月 1 日,新泽西州把最低工资从每小时 4.25 美元提高到 5.05 美元;宾夕法尼亚州东部仍停留在联邦最低工资 4.25 美元。装置、问卷与工资单之争见 卡德–克鲁格新泽西最低工资研究。卡德与克鲁格在涨薪前约一个月,用电话调查汉堡王、肯德基、Wendy's 与 Roy Rogers 四家连锁。样本框里 473 家门店当时通得了电话,完成访谈 410 家,总回应率 87%,新泽西一侧更高。全时当量就业把兼职计为半个全职,并把经理算进去。
第一波均值大约是:宾州每店 23.3 人,新泽西 20.4 人。第二波变成:宾州约 21.2 人,新泽西约 21.0 人。处理组相对对照的双重差分约为 +2.76 个全时当量,相当于相对增益约 13%,t 统计量为 2.03。
论文还用州内对照做规格检验:第一波时薪已达 5 美元及以上的新泽西门店,就业收缩幅度与宾州几乎相同。这些高薪店本不该被新的法定下限绑住,这条对照用来检查宾州是不是只是碰巧一起变差。
研究之所以影响巨大,不只是结论挑战了简单竞争模型,更因为它展示了相邻地区政策差异如何形成准实验。设计仍然可以被争论。
企业调查怎样测就业、两个地区是否受到相同需求冲击、雇主是否提前调整,都会改变估计。纽马克与沃舍尔 2000 年改用部分门店的工资单记录,得到相对就业下降的估计。卡德与克鲁格同年用劳工统计局行政数据作答,认为系统就业损失仍不明显。双重差分不消灭争议,而是把争议集中到可检查的假设与测量上。
多期数据为何让旧方法出错
现实政策往往分批实施:一些州先采用,另一些州后采用。传统双向固定效应回归曾被大量使用,它把单位和年份固定效应加入同一个模型,再估计处理指标。两期两组的经典双重差分相对干净;错峰处理一旦叠上随时间变化的效应,旧回归就不再等价于“用从未处理者对照”。
Goodman-Bacon 证明,在错峰实施情形下,这个系数可分解为许多两组两期比较的加权平均。问题是,已经受处理的早期组可能被拿来充当晚期组的“对照”。若政策效果随时间变化,这些比较会混入错误反事实,某些隐含权重甚至可能为负,使整体系数方向失真。事件研究若仍用同一套双向固定效应去估动态路径,会把同一失败模式带进每一期的点估计。
Callaway 与 Sant’Anna 等现代方法改为按“首次受处理批次 × 时间”估计组时平均处理效应,再用透明权重聚合。Sun 与 Abraham 则强调,在效应异质时,传统事件研究的期次系数会把其他批次的效应泄漏进来。它们并非万能替代品,但迫使研究者说清楚:比较的是哪一批、哪个时点、以谁为对照,以及最终目标参数是什么。
交错处理最危险的失败,不是“数据期数不够多”,而是对照被污染。把已经改过法的州继续当对照,等于用一条已经被政策改写的历史,去代理另一条尚未发生的历史。若早期采用者的效应在后期衰减或反转,晚期采用者的估计会被拖向错误方向。报告一个总平均系数,会把这种污染藏进一个看起来很整洁的数字里。
五类最危险的失败
1. 政策由趋势触发
犯罪率上升最快的城市更可能部署新警务技术。即使技术毫无作用,处理组也可能因均值回归而随后下降。政策采用机制本身破坏平行趋势。
若立法者是在结果已经恶化之后才动手,处理组在政策前的斜率就与对照不同。这时“政策后好转”可能只是回归均值,不是干预有效。要先写清:谁在什么信息下决定采用,而不是先画完图再补故事。
2. 提前反应
企业在新税正式生效前迁移投资,病人在医保扩张前推迟治疗。若把公告后、生效前仍标为“未处理”,基线已经被污染。
最低工资若在生效前两年就已立法,雇主可能提前改排班、改价格或改用工构成。把公告日与生效日当成同一处理时点,会把预期效应算进“政策前”,再把剩下的变化误读成生效日的冲击。时点定义是设计的一部分,不是数据整理的细节。
3. 溢出效应
一地禁烟可能把消费带到邻区,一州提高最低工资可能影响跨州通勤。对照组被政策间接影响后,估计的不再是“处理对无处理”。
卡德与克鲁格选择宾州东部,正是因为市场相连;相连也意味着溢出更难排除。对照若因处理而变好或变差,双重差分会把溢出算进处理效应,方向可正可负。地理邻近能提高趋势可比,也能破坏“对照未受影响”这一条。
4. 同期政策捆绑
教育改革与财政补贴同时推出,观察到的变化无法归给其中一项。加入更多控制变量不能自动拆开完全同步的制度变化。
交错处理里,各州采用时点不同,看起来好像能分开;若每个采用时点都捆绑同一套配套法案,批次差异仍然不是单一政策的差异。目标参数必须写明:要识别的是哪一条法律,还是一整包制度。
5. 结果构成变化
政策改变谁被纳入数据。例如医疗保障扩大后,更多轻症患者进入就诊记录,平均病情下降可能来自样本组成,而非真实健康改善。
就业调查若在涨薪后改变全职与兼职的定义,全时当量的升降可能来自计法,而不是人头。构成变化让“同一结果变量”不再测量同一群人。稳健性检查需要同时报告样本进入、退出与变量定义,而不是只换一组控制变量。
一份可审计的实践清单
好的双重差分研究至少应展示原始趋势与样本构成,说明政策采用机制,预先定义处理时点,讨论提前反应与溢出,报告不同对照组和时间窗的稳健性,并把动态效果与单一平均数区分开。缺任何一项,读者就无法审计第二次相减是否有资格代表反事实。
安慰剂检验也应有机制含义:把假政策日期提前,或选择理论上不应受影响的结果变量。如果“政策”在生效前就产生效果,通常意味着设计捕捉了旧趋势。但安慰剂通过同样不是最终证明,因为一个错误模型也可能恰好通过有限的检查。
错峰数据还要额外交待:早期处理组有没有被当成晚期对照,权重是否出现负值,以及聚合到一个数字之前,组时效应长什么样。只换一套“更现代”的命令、却不改处理定义与对照资格,并不能把双向固定效应的旧问题自动修掉。
双重差分的价值不在于让观察数据看起来像实验,而在于迫使我们明确写出反事实。公式只有两次相减;真正困难的是找到一组人,使第二次相减有资格代表第一个世界里没有发生的历史。
从平均效应回到政治问题
政策效应很少对所有人相同。住房补贴可能改善租户的支付能力,同时被供给受限地区的房东部分吸收;投票便利化可能主要影响交通不便或工作时间不稳定的人群。只报告一个总体 DiD 系数,会把分配冲突藏在平均数里。
异质性分析应由机制预先引导,而不是事后遍历几十个子组寻找显著结果。研究者需要说明为什么某类群体应更早、更强或更弱地响应,并报告多重比较与样本量限制。若政策会改变人口迁移或样本进入,所谓“不同群体效果”还可能混入构成变化。政治学评估的终点不只是判断平均值是否偏离零,还要回答收益和成本由谁承担、通过何种机构路径发生,以及这种分配是否持续。
交错处理把这个问题变得更尖。先立法的州与后立法的州,往往在党派、财政和产业构成上本来就不同;一个加权平均会把“谁先动”的政治选择,写成“政策平均有效”。读系数之前,先问这个平均是对哪些批次、哪些年份、以谁为对照算出来的。
最低工资上调对快餐店就业的平均效应,即使符号稳定,也不回答小店与大店、全职与兼职是否同向移动。纽马克与沃舍尔、卡德与克鲁格后来的争执,有一半发生在测量对象上,而不是发生在公式上。政治学评估要的不只是一个平均符号,还要问这个平均把谁的损失藏进去了。
跨域连接
- 因果推断与可信性革命:DiD 把相关研究转向设计导向研究:识别来自政策时点与群体差异,而非控制变量越多越好。它也说明“准实验”不是数据的天然属性,而是对制度过程、反事实和估计量共同做出的论证。
- 过程追踪与因果机制:DiD 估计平均变化,过程追踪检查政策如何产生变化。若定量结果说改革有效,而档案与访谈显示执行从未落地,两种证据的冲突不是任选其一,而是提示处理定义、机制或数据需要重查。
- 贝叶斯推断:平行趋势不是能被一次显著性检验判真假的命题。政策机制与历史背景构成先验可信度,数据更新判断;这种思路能阻止研究者把“未拒绝零假设”误写成“已证明不存在预趋势”。
- 证据与证明:法庭与政策评估都要从不完整材料重建反事实,但证明标准不同。DiD 给出总体平均效应及不确定区间,无法直接回答某个个体是否因政策受损;把群体因果量硬套到个案,会犯层级错误。
- 统计学:标准误、聚类与预趋势检验决定一张图能承担多少因果主张。把平行趋势检验的 p 值写成已证明可识别,是把未能拒绝零假设误当成证实;统计条目把这种层级错误写得很清楚。个案不是总体。
参考文献
- Card, D. & Krueger, A. B. “Minimum Wages and Employment.” American Economic Review, 1994, 84(4): 772–793.
- Neumark, D. & Wascher, W. “Minimum Wages and Employment: Comment.” American Economic Review, 2000, 90(5): 1362–1396. DOI: 10.1257/aer.90.5.1362.
- Card, D. & Krueger, A. B. “Minimum Wages and Employment: Reply.” American Economic Review, 2000, 90(5): 1397–1420. DOI: 10.1257/aer.90.5.1397.
- Goodman-Bacon, A. “Difference-in-Differences with Variation in Treatment Timing.” Journal of Econometrics, 2021, 225(2): 254–277. DOI: 10.1016/j.jeconom.2021.03.014.
- Callaway, B. & Sant’Anna, P. H. C. “Difference-in-Differences with Multiple Time Periods.” Journal of Econometrics, 2021, 225(2): 200–230. DOI: 10.1016/j.jeconom.2020.12.001.
- Sun, L. & Abraham, S. “Estimating Dynamic Treatment Effects in Event Studies with Heterogeneous Treatment Effects.” Journal of Econometrics, 2021, 225(2): 175–199. DOI: 10.1016/j.jeconom.2020.09.006.
- Roth, J. et al. “What’s Trending in Difference-in-Differences?” Journal of Econometrics, 2023, 235(2): 2218–2244. DOI: 10.1016/j.jeconom.2023.03.008.
延伸阅读
- Cunningham, S. Causal Inference: The Mixtape. Yale University Press, 2021.