实验与准实验

破除误解#

实验不是自然科学的专利，社会学也不是只能观察不能干预。只要研究者能把人、组织、班级、社区或信息随机分配到不同条件，就可以用实验研究社会机制。问题不是社会能不能实验，而是什么问题适合实验，什么干预合乎伦理，实验结果能推广到哪里。

准实验不是一种设计，而是一族设计。双重差分（DID）用时间差减去组间差；断点回归（RDD）用制度门槛两侧的局部比较；工具变量（IV）用外生冲击推动处理、再看结果。三者都在模仿随机化，模仿的位置不同，站得住的假设也不同。把它们统称为“自然实验”而不写出假设，等于把识别策略藏进修辞。

因果问题#

实验和准实验的核心，是反事实。我们想知道某个处理是否改变结果：培训是否提高就业，信息提示是否改变投票，去污名化课程是否减少偏见，福利政策是否改善儿童健康。

难点在于同一个人不可能同时接受和不接受处理。随机分配通过让处理组和控制组在平均意义上可比，解决这个问题。若分配真随机，结果差异就可以更可信地归因于处理。

社会实验必须明确处理是什么。“教育”太宽泛，无法实验；一套具体课程、一次信息提示、一项奖学金、一个面试回电条件、一个社区干预，才是可操作处理。

霍兰 1986 年那句常被引用的话——没有操纵，就没有因果——说的是这种处理必须可想象为干预。阶级、性别、殖民历史很难被随机分配，不等于它们没有因果力量，只是实验答不了那种问题。实验擅长局部、可操作、可重复的处理；结构变迁要交给历史和观察设计。

实验类型#

实验室实验在控制环境中进行，适合研究机制。例如合作、信任、惩罚、歧视和规范遵从。它的优势是控制强，缺点是场景可能离现实较远。

田野实验在真实社会场景中进行。经典例子包括简历回电实验：研究者发送资历相同但姓名暗示族群或性别不同的简历，观察雇主回应差异。田野实验外部效度更强，但伦理和控制更复杂。

调查实验把随机处理嵌入问卷。研究者可以随机改变问题框架、候选人信息、政策描述或故事细节，观察态度变化。它成本较低，适合研究认知框架和偏见，但结果仍是回答，不一定等于真实行为。

组织和政策实验则在学校、社区、企业或政府项目中进行。它们最接近政策评估，但实施难度高，常涉及多层级随机化和长期追踪。

德瓦·佩格 2003 年在《美国社会学杂志》发表的密尔沃基审计，把田野实验做成了社会学能指给人看的那种证据。2001 年 6 到 12 月，成对的年轻男性去申请 350 个入门职位。简历匹配，差别只有一项：其中一人报告因持有可卡因服刑十八个月。白人无犯罪记录的回电率约 34%，有记录约 17%；黑人无记录约 14%，有记录约 5%。种族的惩罚至少不小于犯罪记录。雇主当时并不知道自己进了实验。这正是审计研究的力量和伦理代价。

调查实验常被用来探测框架和偏见。同一项政策，被写成“就业计划”或“福利开支”，支持率会变。见 调查研究 和 认知偏差。它能干净地识别措辞效应，却识别不了投票日真实行为。把问卷里的态度差直接写成“政策改变了公众”，是调查实验最常见的越界。

准实验设计#

准实验利用现实世界中的“近似随机”变化。双重差分比较政策实施前后处理地区与未处理地区的变化差异。它要求处理组和对照组在没有政策时本应有相似趋势。

断点回归利用制度阈值。例如考试分数高于某线才能获得奖学金，阈值附近的人非常相似，刚过线和刚没过线的差异可以用来估计奖学金效果。

工具变量利用一个影响处理但不直接影响结果的外生因素。例如距离学校远近影响受教育机会，但是否能作为工具变量，要看它是否还通过家庭、地区和劳动力市场影响结果。工具变量强大，也最容易被误用。

自然实验利用不可由研究对象选择的冲击，例如抽签、政策分批、灾害边界、行政规则改变。关键是证明冲击足够外生，并且没有其他同时变化的因素解释结果。

卡德和克鲁格 1994 年对新泽西最低工资的研究，是双重差分进入经验社会科学的一张名片。1992 年 4 月 1 日，新泽西把最低工资从 4.25 美元提到 5.05 美元，宾夕法尼亚维持 4.25 美元。两人调查了约 410 家快餐店。相对宾州，新泽西店的全职当量就业没有下降，估计还多了约 2.5 到 2.8 人（约 13%）。结论后来被反复重估，争议本身说明了一件事：DID 的可信性全部压在平行趋势上。若两组本就会分道，差分再漂亮也不是因果。

断点回归估计的是门槛附近的局部效应。刚过奖学金分数线的人和刚没过的人，在可观察特征上往往几乎一样；把门槛当成局部随机化，理由就在这里。离门槛越远，这个理由越弱。把阈值处的效应推广到分数分布的两端，是 RDD 最常见的过度承诺。坎贝尔和斯坦利 1960 年代就已经把这种设计写进准实验清单，后来的计量工作主要是把“看起来像断点”变成可检验的密度、操纵和带宽问题。

工具变量识别的通常不是平均处理效应，而是依从者的局部平均处理效应（LATE）：那些因为工具才改变处理状态的人。排除限制必须成立——工具只能通过处理影响结果，不能走别的路。学校距离若还标记了房价、就业和邻里网络，它就不是好工具。IV 看起来像数学，失败时几乎总是社会学：你以为自己只推动了受教育年限，其实推动了一整包人生。

三种准实验不要混着用词。DID 靠平行趋势，RDD 靠门槛附近不可操纵，IV 靠相关性和排除限制。写“我们用了准实验”而不写是哪一种、假设是什么，等于没有设计。

内部效度#

内部效度关注因果结论在研究内部是否可信。随机化是否成功？是否有人拒绝接受处理？处理组和控制组是否互相污染？是否有样本流失？结果测量是否一致？

样本流失尤其危险。若处理组中受影响最大的人更容易退出，结果会偏。研究者需要报告流失率，比较流失者特征，并做敏感性分析。

合规问题也常见。被分到培训组的人未必参加，被分到控制组的人可能自己寻找培训。研究者要区分意向治疗效应和实际接受处理的效应。

溢出效应也会破坏实验。若控制组通过同学、同事或邻居得到处理信息，两组差异会被稀释。若一个社区的干预改变了周边社区行为，简单比较处理地和对照地就会低估或误判效果。社会关系越密集，实验越需要考虑网络和空间外溢。

意向治疗（ITT）回答的是“被分到处理”的效果，不管有没有真去。对政策来说，这往往才是有用的量：政府能分配名额，不能强迫每个人用满。实际接受处理的效应更接近机制，却需要额外假设。把 ITT 和 LATE 当成同一个数字，会让失败的执行看起来像无效的项目。

准实验有自己的内部效度清单。DID 要看处理前趋势是否真平行，以及处理期间有没有别的政策叠上来。RDD 要看人们是否为了过线而操纵分数，密度是否在门槛处堆积。IV 要讲清楚工具为什么不影响结果的其他通道。每一条都可以被质疑。可被质疑不是缺点，把质疑写出来才是准实验比“我们控制了很多变量”更诚实的地方。

外部效度#

外部效度关注结果能否推广。一次在大学生中进行的偏见实验，能否推广到职场招聘？一个城市的社区干预，能否推广到农村或其他国家？短期信息提示，能否产生长期态度改变？

实验结果常高度依赖场景。处理强度、机构能力、文化规范、资源基础和执行者都影响效果。社会学实验不能只报告“有效”或“无效”，还要说明在什么条件下有效。

多地点重复实验、异质性分析和机制测量可以改善外部效度。若同一机制在不同场景中反复出现，结论更可信。

佩格的数字不能直接写成“美国劳动力市场的种族惩罚”。那是 2001 年密尔沃基的入门职位、面对面申请、特定犯罪类型。换城市、换网申、换重罪种类，数字会动。审计实验的力量是内部效度：雇主面对的是几乎相同的人。它的边界也在这里：它测量的是那一次筛选，不是职业生涯。

准实验的外部效度更窄，而且常常被故意写窄。RDD 承认自己只谈门槛附近；IV 承认自己只谈依从者。把局部效应说成“教育的回报”或“最低工资的效应”，是把识别策略的诚实又交回去。见 统计模型。

伦理#

社会实验的伦理比技术更难。研究者是否可以隐藏身份？是否可以给某些人资源、不给另一些人？是否可以制造歧视体验？是否可以观察真实雇主的行为而不告知？

伦理判断要考虑风险、知情同意、欺骗、补偿、公平和公共利益。某些审计实验需要一定程度的隐瞒，否则无法测量歧视，但研究者必须尽量降低对第三方的成本和伤害。

政策实验也有分配正义问题。若一个项目可能有益，为什么不给所有人？常见做法是等待名单、分阶段实施或在资源有限时随机分配。随机化不应成为剥夺权利的借口。

佩格让雇主花费时间审假简历，受试者无法知情同意。这是审计研究反复被问的问题。辩护通常是：若不隐瞒，测到的就是社会期望，不是雇佣行为；伤害被控制在一次短暂筛选，并且研究回答的是公共问题。反对意见同样具体：研究者占用了真实的招聘名额，也可能强化了“某些姓名不被回电”的经验。伦理委员会能批手续，批不掉这个结构矛盾。

政策现场实验的另一条线是：一旦已有足够证据表明干预有益，继续把人留在对照组就不再只是方法问题。随机化的正当性依赖于“我们确实还不知道”。知道了还随机，是把识别策略用成了拒绝给予。

机制与异质性#

知道一个项目有效还不够。社会学要问为什么有效，对谁有效，在什么条件下有效。培训提高就业，可能是技能提升，也可能是证书信号、社交网络扩展、求职信心增加或雇主偏见改变。

机制测量可以通过中介变量、访谈、田野观察和过程数据实现。异质性分析则比较不同群体效果，例如性别、阶层、地区、初始能力和组织环境差异。

如果只报告平均效果，可能掩盖不平等。一个政策平均有效，却只帮助原本资源较多的人，社会意义就完全不同。

机制研究还要避免把中介变量当作自动解释。若一次信息提示提高了投票率，可能因为知识增加，也可能因为被提醒、被规范压力触发，或因为研究者联系本身让人感到被观察。只有把行为记录、后续访谈和替代处理结合起来，才能更接近真正机制。

异质性也不是事后到处寻找显著差异。研究者应在理论上预先说明为什么某些群体效果可能不同，并谨慎处理多重比较。否则，实验会变成在噪声中寻找漂亮故事。

调查实验尤其容易把认知机制写得过满。框架变了、态度变了，不等于大脑里发生了研究者命名的那种偏差。见 认知偏差。把一次措辞操纵当成“证实了某条偏差定律”，忽略的是：受试者在问卷里合作完成任务，和在生活里分配注意力，不是同一件事。

实验不能替代什么#

实验擅长回答清楚处理的局部因果问题，却不擅长解释长时段结构变迁。我们很难随机分配阶级、国家制度、殖民历史、家庭出身或城市化路径。

实验也不能替代概念工作。若研究者没有清楚定义偏见、信任、污名、社会资本或组织文化，随机化只能产生看似精确但概念贫弱的结果。

因此，实验最好与理论、历史、统计和质性方法结合。它是因果工具箱中的一件强工具，不是全部工具箱。

准实验把边界往外推了一点：政策门槛、行政抽签、分批实施，让一些本来不能随机的处理变得可识别。它仍然推不进斯考切波尔那种问题。没有人能给法国 1789 年、俄国 1917 年和中国 1911 年分配对照国。那些题目属于比较历史分析。承认实验和准实验的强，也要承认它们的管辖范围。管辖范围以外的因果，不是不存在，是这套工具够不着。

跨域连接#

• 因果推断的可信性革命：经济学与社会学在同一时期走了不同的路——一个把重心放在识别策略（工具变量、断点、双重差分），一个更依赖实地实验。两者互补而非替代：当处理无法被分配时，识别的可信性成为质量标准；当可以分配时，随机化仍是最强的检验。
• 越轨与社会控制：审计研究（配对简历、配对求租申请）是社会学最有力的实验工具——它能在真实市场中直接测量歧视，而不依赖被歧视者的自我报告或雇主的自陈。其伦理代价同样明确：被试无法知情同意，且研究本身占用了对方的时间与资源。
• 可重复性危机与开放科学：实地实验的效应量普遍小于实验室，而这不是缩水而是信息：真实环境中存在实验室排除掉的竞争性影响。因此"实验室有效、现场无效"最常见的解释不是原发现是假的，而是效应被现实中的其他力量抵消了。
• 生命伦理学：涉及公共政策的实地实验有一个特殊问题——对照组被有意排除在可能有益的干预之外，而受影响的是真实的福利。这使随机化的正当性依赖于"我们确实不知道它是否有效"这一前提，一旦证据已经充分，继续随机分配就不再正当。
• 因果推断：实验与观察研究：政策变更、行政边界、抽签制度提供了"准随机"的分配，而每一种的可信度取决于一个可被质疑的假设：接受处理与否是否真的与结果无关。明确写出这一假设并说明为何可信，是评价准实验研究的第一步，而它在实务中常被一句"外生冲击"带过。

参考文献#

• Campbell, Donald T. and Stanley, Julian C. Experimental and Quasi-Experimental Designs for Research. Houghton Mifflin, 1963.
• Shadish, William R., Cook, Thomas D., and Campbell, Donald T. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin, 2002.
• Gerber, Alan S. and Green, Donald P. Field Experiments. W. W. Norton, 2012.
• Angrist, Joshua D. and Pischke, Jorn-Steffen. Mostly Harmless Econometrics. Princeton University Press, 2009.
• Pager, Devah. “The Mark of a Criminal Record.” American Journal of Sociology, 2003.
• Card, David and Krueger, Alan B. “Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania.” American Economic Review, 1994.
• Imbens, Guido W. and Angrist, Joshua D. “Identification and Estimation of Local Average Treatment Effects.” Econometrica, 1994.

延伸阅读#

• Duflo, Esther, Glennerster, Rachel, and Kremer, Michael. “Using Randomization in Development Economics Research.” 2007.
• Imbens, Guido W. and Rubin, Donald B. Causal Inference for Statistics, Social, and Biomedical Sciences. Cambridge University Press, 2015.
• Holland, Paul W. “Statistics and Causal Inference.” Journal of the American Statistical Association, 1986.