政治实验与自然实验

破除误解#

实验不是“做了干预以后结果变了”。如果所有参与者都接受干预，我们不知道没有干预时会发生什么。实验的核心是构造可信的反事实。随机分配让处理组与对照组在平均意义上可比，因此两组结果差异可以被解释为处理效应，而不是原有差异。自然实验也不是任何自然发生的事件。

它要求某种制度规则、边界、抽签或外部冲击产生近似随机的处理分配。仅仅“政策突然变化”并不足以证明因果。

潜在结果#

对每个单位，可以想象两个潜在结果：接受处理时的结果，以及不接受处理时的结果。同一个单位不可能同时处于两种状态，这就是因果推断的基本难题。实验用不同单位近似这两个世界。随机化不是保证每个个体完全相同，而是使处理分配不系统依赖潜在结果。在足够样本和正确实施下，组间平均差异具有明确识别基础。

随机化单位#

随机化可以发生在个人、家庭、村庄、选区、学校或机构层面。如果干预通过群体实施，仍按个人随机会造成污染。例如向同一村庄部分居民提供政治信息，信息可能在邻里传播。整群随机可以减少污染，却会降低独立单位数量。一百个村庄每村一百人，不等于一万个独立处理单位。统计分析必须反映随机化层级和组内相关。

处理、结果与时间#

处理必须可复现地定义。“民主教育”“反腐宣传”“候选人接触”都太宽。研究者要说明内容、媒介、频率、执行者和接触时点。结果也应在研究前界定。如果测量十几个态度，只报告显著的一项，随机误差会被包装成发现。预注册、明确主要结果和多重比较修正可以减少选择性报告。短期态度变化不等于长期政治行为。

立即测量、选举日行为和一年后信任可能给出不同结论。

操纵检验#

处理被发送，不代表处理被接收或理解。短信可能没有读，培训可能缺席，信息可能被误解。操纵检验帮助判断干预是否改变了预期认知。但操纵检验也可能受处理影响，不能随意作为控制变量。研究者需要区分“分配到处理”的意向处理效应，与“实际接受处理”的效应。后者通常需要更强假设。

依从与流失#

政治实验常遇到不依从。被分配上门动员的人可能没有开门，对照组也可能从其他竞选活动获得相似信息。意向处理分析保留随机分配的完整性，估计提供干预的平均效果。样本流失更加危险。如果处理让某类参与者更不愿回答后测，留下的两组就不再可比。研究者应报告各组流失并分析其模式，而不是只分析完成者。

溢出与干扰#

经典实验常假设一个人的处理不影响另一个人的结果。政治世界却高度网络化。选民交谈、政党协调、媒体转发、地方官学习都可能产生溢出。处理一个村庄可能影响邻村，动员一个家庭成员可能改变全家投票。干扰不只是麻烦，也可能是研究对象。设计可以随机化饱和度、网络邻居或空间距离，分别估计直接和间接效应。

田野实验#

田野实验把随机干预放入真实政治环境。Gerber 与 Green 对约三万名登记选民随机分配上门拜访、邮件和电话动员，是现代政治学田野实验的代表。真实环境提高行为结果的可信度，也降低研究者控制。竞选活动、媒体事件、地方组织和参与者互动都可能改变处理。研究报告需要描述实施偏差，而不是把“田野”当成天然外部效度。

调查实验#

调查实验在问卷中随机改变信息、框架、候选人属性或政策描述。它成本较低，适合检验心理机制和异质性。缺点是处理常很短，结果多为自报态度，参与者知道自己正在回答问题。一个人说更支持某政策，不代表他会捐款、投票或承受真实成本。调查实验应避免把表达效应直接升级为现实行为结论。

实验室实验#

实验室允许精确控制信息、支付和互动结构。政治心理、谈判、公共品和信任研究常使用实验室游戏。受试者可能主要是大学生，任务也可能简化真实权力。这不自动使研究无效。关键是理论依赖普遍认知机制，还是依赖特定制度经验。外部效度必须由理论和重复研究论证，不能靠一句“仍需进一步研究”带过。

自然实验#

自然实验利用研究者未操控的分配过程。抽签服兵役、行政边界、资格阈值、分阶段改革或规则意外变化，都可能制造可比组。研究重点不是事件是否“自然”，而是处理分配是否像随机。研究者应调查制度如何真正执行：官员能否操纵阈值？居民能否迁移？规则是否同时改变其他政策？如果分配机制不可信，再复杂的估计也不能修复设计。

回归不连续#

当处理由明确阈值决定，阈值附近单位可能近似可比。例如得票率刚过某门槛的候选人与刚未过门槛者，可能用于研究当选经验的后续影响。设计依赖几个关键条件：阈值附近不能精确操纵，其他决定因素在阈值处应平滑，结果跳跃应主要来自处理。结论通常只适用于阈值附近。

把局部效应推广到所有单位，需要额外理论。

工具变量#

工具变量利用一个影响处理、却只通过处理影响结果的外部来源。排除限制是最难证明的部分。一个历史边界可能影响当前制度，也可能通过文化、基础设施或冲突直接影响结果。只要存在其他路径，工具变量解释就会动摇。强相关不是有效工具的充分条件。工具变量研究需要制度知识、机制分析和敏感性检验，而不是只报告第一阶段显著。

差分中的差分#

差分中的差分比较处理组与对照组在政策前后的变化差异。它的核心不是有前后数据，而是平行趋势：若没有政策，两组本应沿相似趋势发展。事件研究图可以检查政策前动态，但不能从有限的平稳期证明未来一定平行。同时发生的地区政策、提前反应和处理时间不同，都需要专门处理。

方法名称不能替代制度叙述。

外部效度#

内部效度回答“这个设计中处理造成了什么”，外部效度回答“结果能推广到哪里”。处理效果可能依赖制度、执行者、受众和时间。一次地方选举的上门动员效果，不能直接推广到威权环境、全国选举或社交媒体动员。重复研究应有理论地改变场景，而不是机械复制。研究者还应报告效应异质性，但不能在大量分组中事后寻找显著差异。

机制与平均效应#

实验能识别处理效应，不自动识别机制。政治信息可能通过知识、情绪、身份或社会规范起作用。测量中介变量会引入新的因果问题，因为中介不是随机分配。机制研究可以结合额外随机化、过程资料、行为指标和定性访谈。不要因为某个中介在处理后变化，就断言完整因果链已经证明。

权力与伦理#

政治实验可能改变真实选举、公共资源和群体关系。参与者可能不知道自己被干预；政府或组织可能利用实验识别易影响群体；公开结果也可能帮助更有效的操纵。APSA 的人类参与者原则要求研究者考虑同意、欺骗、保密、伤害、影响和补偿，而不仅是是否获得伦理审查豁免。“风险很低”必须从参与者处境判断。

在威权环境中，一条政治短信或一份名单可能产生研究者未承担的风险。

实施清单#

可靠实验应说明：

1. 处理、结果和分析单位。
2. 随机化或近似随机分配机制。
3. 样本量依据和主要结果。
4. 不依从、流失与溢出处理。
5. 分析是否遵循随机化层级。
6. 多重比较与异质性计划。
7. 外部效度和范围条件。
8. 人类参与者保护及潜在政治影响。
9. 数据、代码与不可公开材料的理由。

识别设计越漂亮，越需要检查它是否对应真实制度。

跨域连接#

• 可信度革命：政治学与经济学共享同一次转向：从建模型跑回归，转到识别因果。它的代价常被低估——干净的识别通常来自局部、特殊或边缘的分配机制，于是内部效度上升的同时，结论适用的人群在收缩。
• 临床试验：意向处理分析、依从性与失访，政治实验与药物试验遇到的是同一套问题。关键在于退出的方向性：如果处理本身让某类参与者更不愿回答后测，剩下的两组就不再可比，而这类损失无法靠加大样本弥补。
• 预注册与注册报告：如果测量十几个态度却只报告显著的那一项，随机误差就会被包装成发现。预注册的作用不是限制探索，而是把探索与检验分开记账——事后发现仍然有价值，只是不能同时充当自己的验证。
• 实验与准实验：经典设计假设一个人的处理不影响另一个人的结果，而政治世界高度网络化。溢出不只是麻烦，也可以是研究对象：随机化处理饱和度或网络邻居，能把直接效应与间接效应分别估计出来。
• 公共政策：自然实验的门槛不是事件是否"自然"，而是分配是否像随机。必须实地追问制度如何执行——官员能否操纵阈值、居民能否迁移、规则是否同时改变了别的政策。分配机制不可信时，再精巧的估计量也修不回来；断点设计的结论通常也只适用于阈值附近，推广到全体单位需要额外的理论论证，而不是更大的样本。

参考文献#

• Gerber, Alan S. and Donald P. Green. “The Effects of Canvassing, Telephone Calls, and Direct Mail on Voter Turnout.” American Political Science Review 94(3), 2000, 653–663. DOI: 10.2307/2585837.
• Dunning, Thad. Natural Experiments in the Social Sciences: A Design-Based Approach. Cambridge University Press, 2012. DOI: 10.1017/CBO9781139084444.
• Gerber, Alan S. and Donald P. Green. Field Experiments: Design, Analysis, and Interpretation. W. W. Norton, 2012.
• American Political Science Association. Principles and Guidance for Human Subjects Research. APSA Council, 2020.
• Morton, Rebecca B. and Kenneth C. Williams. Experimental Political Science and the Study of Causality. Cambridge University Press, 2010.

延伸阅读#

• Imbens, Guido W. and Donald B. Rubin. Causal Inference for Statistics, Social, and Biomedical Sciences. Cambridge University Press, 2015.
• Blair, Graeme, Alexander Coppock and Macartan Humphreys. Research Design in the Social Sciences. Princeton University Press, 2023.