教育里的随机对照

破除误解#

核心：处理、结局与实施必须分开写#

试验的合法句子是：这个处理，对这个样本，在这个结局上，相对于这个对照，平均差多少。处理必须可描述——不是“用了科学方法”，而是间隔时间表、样例厚度或现金条件。结局必须声明：即时测验、延迟测验、入学还是工资。对照必须说明教师是否也改变了行为。实施一旦走样，你估计的是名义处理，不是设计处理。田纳西 STAR 改的是班额，见 田纳西 STAR；佩里改的是有无高强度学前装置，见 佩里学前研究。两份现场不要写成同一种“教育有效”。

什么有效资料中心的层级，把随机与低流失写成更强。强是针对内部效度。外部效度仍要问：这所学校的教师准备、班额和考试利害，是否像你的现场。间隔效应在实验室很大，在被证书洗刷的学期里可能被课表吞掉。认知条件与制度条件叠在一起。拆不开，就不能说“科学已经证明该怎么教”。

整群随机在教育里更常见：随机的是班或校，不是单个儿童。分析必须处理群内相关，否则标准误会被低估。技术细节属于方法论文。对读者重要的是：一篇只随机了两所学校的“全县推广”，证据配不上决定。效度论证同样适用：使用过宽，链条在决定处断开。

现场里，试验显形为同意书、前测和“实验班”标签。标签本身会改变行为。霍桑效应与补偿竞争，是教育评价的老对手。教师若知道自己在对照，可能更努力或更沮丧。处理不是药丸。人会读懂自己被分到哪一组。

儿童作为被试，伦理更硬。知情同意通常经过监护人与学校。退出权必须真实。本域只讨论已发表试验的公开报告。把教室变成未审查的随机场，不是操作说明。涉及残障或语言少数时，排除规则会改写结局：把最难教的人排除后，平均效应会变好看。好看来自样本清洗。

把试验写成一种证据，不是写成唯一证据。课堂民族志看见的洗刷、话轮和隐性课程，RCT常常测不到。两种材料互相校正，才接近L4脊柱问的那句：测量与民族志怎样互证。互证不是各说各话。它是让对方能提出对方设计看不见的反例。

因此，阅读“经证实的教学法”，应先找处理操作定义、结局时间、样本和流失。四件说不清，海报上的效应量只是修辞。修辞会进入采购：自适应系统尤其喜欢引用二西格玛。引用已经在技术篇拆过。

把试验写成证据，采购仍可能只读摘要第一句。自适应系统引用布鲁姆二西格玛时，很少同时引用实施失败与样本。读者要养成一种习惯：先找对照，再找结局时间，再找流失。三件没有，效应量只是装饰。装饰会进入教师培训幻灯片，再进入课表压力。

整群随机的学校若事先已经愿意改革，外推到被迫执行的系统会失败。自愿本身是选择。选择不是随机能够事后修补的。报告必须写招募如何发生。招募故事比p值更能限制借用。

伦理审查若只存在于大学委员会，学校现场的权力关系仍可能强迫参加。退出权写在纸上，儿童却要面对教师目光。本域把这种紧张写成限制，而不是写成可以靠更巧妙的设计绕过的技术问题。

把随机对照写成教育证据，还要写处理是什么。处理若是“发一套平板”，真正改变的可能是家庭作业时间、教师备课分钟或学生被记录的次数。次数上升会被仪表盘写成参与。参与不是学会。试验必须预先声明结局：延迟保持、迁移还是就学天数。声明越窄，后来的政策借用越应当受限制。限制常在新闻稿里消失。

规模化失败往往不是因为对照不干净，而是因为对照学校后来也被要求做同样的事。污染会让效应量变小，也会让成功故事更难被复制。复制失败随后被解释成教师不努力。努力叙事取消了装置：材料、时间表、编制。本域把装置写回句子。没有装置的显著，只是一次局部天气。

把试验写成可借用的证据，读者还要问钱从哪来。资助者若同时卖同一套材料，显著会更容易被写成产品说明书。说明书不是论文。论文应能让反对者找到对照、流失和预注册。找不到这三件，本域把它留在解释层：有人主张有效，尚未成为可对质的装置描述。

南希·卡特赖特在《寻找原因并使用它们》里把因果写成能力：一种安排只在特定支撑条件下显示出某种倾向，而不是一张可以到处粘贴的定律。随机对照可以在这一现场、这一对照、这一结局上给出平均差。平均差不是已经猎到可迁移的原因。要把差写成可借用的原因，还需要机制句子：处理通过哪一种装置改变了哪一种条件。没有机制，借用只是希望下一次天气相同。

安格斯·迪顿与卡特赖特后来把这场争论写进公共讨论：随机并不自动担保外部效度。内部干净，只说明这一次对照成立。换学校、换教师准备、换考试利害，支撑条件可能已经消失。班纳吉与迪弗洛一系则辩护：精心设计的现场试验，至少能在真实约束里给出可反驳的局部答案，总比从未对照的全国口号更可对质。两边争的不是要不要证据，是局部答案何时够格进入学制。

什么有效资料中心是过滤器，不是福音书。它把随机、流失和测量写成可评级的手续。过滤器的用处是挡住广告式“经证实”。把它当成唯一合法知识，会把坎贝尔传统里的准实验、以及课堂民族志能看见的洗刷，一并赶出门外。

评级低不等于故事假。评级高也不等于全国应当采购。手册是筛选装置。装置不能替你完成外推论证。

整群随机的真实样本量，常常是学校数，不是花名册上的儿童数。同一所学校里的学生共享教师、铃声和走廊规范，观测并不独立。若只随机了很少几所学校，再把儿童当成独立抽签，标准误会被写成过窄。过窄的显著，会在下一轮复制里消失。报告必须写群的数目、群内相关如何被处理、以及对照学校后来是否被要求做同样的事。这三句写不清，全县推广只是修辞。

处理若在学校层面随机，教师之间的交谈会成为污染通道。对照班的教师可能借材料、改口令，或反过来故意保持原状以证明自己本来就对。污染不是道德失败，它是教育现场的默认社交。预注册若只写儿童结局、不写学校层面的实施日志，走样会在分析阶段才被发现。那时你已经很难区分：效应小是因为处理无效，还是因为对照也被处理了。

斯蒂芬·劳登布什把整群试验的设计写成：功效取决于群的数目与群内相关，而不是把花名册加总之后的自我安慰。学校是随机单位时，再多儿童也救不了只有两所学校的设计。政策文件喜欢写“覆盖全县学生”。读者要改写成：覆盖了几所被随机的学校。后一句才限制借用。前一句只是覆盖修辞。

把随机对照写成教育证据，还要承认许多公平问题无法把人抽签。你不能把残障支持随机拿走，也不能把母语可懂性随机取消，来“看一看平均差”。坎贝尔传统包含准实验，正是因为有些处理在伦理上不可随机。过滤器若把这些设计全部降级成轶事，会让最需要证据的公平问题变成无法提问。不能提问，不是科学更硬，是问题被手续赶出门外。

争议#

争议的第一线，是证据层级是否压制其他知识。有人主张先RCT再推广；有人指出许多公平问题无法随机。双方都要把决定的大小写出来。

第二线是教师作为处理者。教师不是固定剂量。专业判断会让同一方案变成不同课。平均效应可能掩盖这一点。

第三线是国际借用。在一地有效的现金或教学法，换语言与学制后可能消失。零件要一起旅行。

第四线是发展经济学试验与学校教育结局是否可互换。现金、驱虫或教材发放可以改变就学天数。就学不是学会。把贫穷经济学传统里的显著，直接写成教学法已经证实，是结局错位。班纳吉与迪弗洛强调可执行的局部干预；迪顿提醒没有理论的碎片难以拼成学制。教育借用时必须分开：你改的是到校，还是课内加工。

第五线是把资料中心的“符合标准”当成采购合同。评级服务的是内部效度筛选。采购要问的是：你们的教师编制、班额和证书考试，是否像试验现场。问句不被回答时，过滤器就被用成了福音。本域把这种用法留在解释层：有人主张已经科学，尚未完成外推论证。

卡特赖特的能力论还会改写“复制失败”的读法。失败可能是处理无效，也可能是支撑条件没一起旅行：班额、备课分钟、考试利害都不一样。把失败写成教师不努力，等于拒绝写装置。机制句子若从未被写出，复制本来就没有对象。对象不是品牌名字，是可描述的分钟与材料。

外部效度争论容易被收成站队：要么只信随机，要么只信故事。更可对质的问法是：下一次借用，你准备改哪一个支撑条件，又准备保留哪一个。改与留都必须写进限制。限制写不清，显著只是上一现场的天气记录。天气不能当课表。

托马斯·库克曾把教育评价界拒绝随机的理由逐条摊开：伦理、政治可行性、教师作为处理者、以及“复杂课堂无法抽签”。有些理由成立，有些是把难写成不可能。不能随机的公平问题仍然存在。能随机却从未对照的采购，也仍然存在。两种情况不要互相取消。过滤器要挡的是后一种广告，不是前一种伦理限制。

班纳吉与迪弗洛把试验写成可执行的局部学习：一次回答一个窄问题，再在新现场重复。迪顿的警告是：窄问题堆成一堆，仍可能拼不出学制理论。教育现场尤其如此。间隔时间表在一所自愿学校显著，不自动告诉你证书洗刷后的学期会发生什么。局部答案要带着机制一起走。没有机制，重复只是换一所学校再测一次天气。

跨域连接#

• 因果推断：心理学方法把随机与观察研究写成不同的识别策略。教育借用时，必须声明群随机与实施走样。策略不是招牌。群随机与走样必须写进限制，不能只写显著。处理是分钟与材料，不是品牌名字。产品说明书不是对照试验。
• 可信性革命：经济学把识别写硬了。就学与学习仍是不同结局。硬设计对错了结局，仍然不能问责教学。就学上升不等于学习上升，结局要分开论证。污染与走样要写进限制，新闻稿常把它们删掉。反对者要能找到流失数字。
• WEIRD 样本与可推广性：便利学校上的效应，不能写成全球儿童的神经本质。声明样本，是最低诚实。便利学校上的教学法，不能当成神经事实推广。预注册对抗的是资助者喜欢的显著故事。预注册是对抗选择性报告的工具。
• 确认偏误：资助者会寻找支持已采购方案的显著结果。预注册与完整报告，是为了对抗这种寻找。资助者喜欢的显著，需要预注册来对抗。就学天数和学习结局必须分开报告。就学与学习仍不是同一结局。
• 认识论：知道需要辩护。效应量是一种辩护材料，不是真理印章。没有操作定义的“有效”，只是权威符号。效应量是材料，不是已经完成的知道。没有装置的效应量，只是局部天气。解释层的有效，不能直接写进课表。

参考文献#

• Campbell, Donald T., and Julian C. Stanley. Experimental and Quasi-Experimental Designs for Research. Chicago: Rand McNally, 1963.
• What Works Clearinghouse. Procedures and Standards Handbook. 各版。讨论证据层级，不是课堂处方大全。
• Gueron, Judith M., and Howard Rolston. Fighting for Reliable Evidence. New York: Russell Sage Foundation, 2013.
• Banerjee, Abhijit V., and Esther Duflo. Poor Economics. New York: PublicAffairs, 2011. 解释层发展试验传统，须与教育结局分开读。
• Cartwright, Nancy. Hunting Causes and Using Them: Approaches in Philosophy and Economics. Cambridge: Cambridge University Press, 2007.
• Deaton, Angus. "Instruments, Randomization, and Learning about Development." Journal of Economic Literature 48, no. 2 (2010): 424–455.
• Deaton, Angus, and Nancy Cartwright. "Understanding and Misunderstanding Randomized Controlled Trials." Social Science & Medicine 210 (2018): 2–21.
• Raudenbush, Stephen W. "Statistical Analysis and Optimal Design for Cluster Randomized Trials." Psychological Methods 2, no. 2 (1997): 173–185.
• Cook, Thomas D. "Randomized Experiments in Educational Policy Research: A Critical Examination of the Reasons the Educational Evaluation Community Has Offered for Not Doing Them." Educational Evaluation and Policy Analysis 24, no. 3 (2002): 175–199.

延伸阅读#

• 教育试验的伦理审查说明，应与效应量一起出现在报告里，而不是只出现在附录。