实验背景
2010年代初,心理学界经历了一场前所未有的信任危机。 一系列标志性研究的复制失败—— 包括达里尔·贝姆(Daryl Bem)声称证明"预知未来"的论文、 "权力姿势"(power posing)效应的争议、 以及"自我损耗"(ego depletion)理论的瓦解—— 引发了对心理学研究方法和结论可靠性的广泛质疑。 这场危机并非突然出现,而是长期积累的方法论问题的一次集中爆发。
问题的根源可以追溯到学术界长期存在的激励结构偏差。 "发表或灭亡"(publish or perish)的学术文化鼓励研究者追求具有新闻价值的"显著"结果, 而学术期刊也倾向于发表正面、新颖的发现而非重复验证或阴性结果。 这种偏倚导致了一系列可疑的研究实践: 选择性报告显著结果(p-hacking)、 事后修改假设(HARKing)、样本量不足、以及灵活的数据分析策略。
诺贝尔奖得主丹尼尔·卡尼曼(Daniel Kahneman)在一封公开信中 将这场危机比作"一场信任崩塌的社会心理学风暴"。
实验设计
2015年,开放科学合作组织(Open Science Collaboration) 发表了心理学史上最大规模的复制研究结果,发表在《科学》(Science)杂志上。 这项研究由弗吉尼亚大学的布莱恩·诺塞克(Brian Nosek)领导, 汇集了来自全球多个机构的270名心理学家, 旨在系统性地复制100项已发表的心理学实验。 (Open Science Collaboration, 2015)
研究的样本选取采用了分层随机抽样方法。 研究者从三家顶级心理学期刊中选取了2008年发表的100项实验研究。 选择标准包括:每项研究必须包含一个明确的统计检验结果、 研究方法必须适合在实验室中复制、 且研究团队必须愿意提供原始材料和程序。
每项复制研究都由原始研究的作者和独立复制团队共同参与。 复制团队在开始前与原始作者进行了沟通,以确保复制的保真度。 复制研究的样本量通常为原始研究的2.5至3倍,以提高统计检验力。 复制成功的主要标准是效应量是否在原始研究的95%置信区间内, 以及复制研究的p值是否小于0.05。 每项复制研究的方案和分析计划均在数据收集前进行了预注册。
关键发现
复制研究的结果令人警醒。 在100项原始研究中,97%报告了统计显著的结果(p < 0.05)。 然而,在复制研究中,仅有36%的结果达到了统计显著性。 从效应量来看,原始研究的平均效应量为r = 0.403, 而复制研究的平均效应量仅为r = 0.197——约为原始效应量的一半。
不同类型的心理学子领域呈现出显著差异。 认知心理学的复制成功率(约50%)高于社会心理学(约25%)。 使用实验操控(如启动效应、框架效应)的社会心理学研究复制率尤其低。 值得注意的是,原始研究的效应量越大、统计显著性越强、样本量越大, 复制成功率越高。
关于效应量的衰减模式也提供了重要信息。 即便在那些"成功复制"的研究中,复制效应量也普遍低于原始效应量。 这一"效应量压缩"现象表明, 许多原始研究可能系统性地高估了真实效应的大小—— 这是小样本研究中"赢者的诅咒"效应的典型表现。
深层解读
心理学复制危机的本质是一场科学方法论和学术文化的危机。 它揭示了"零假设显著性检验"(NHST)框架的深层缺陷—— p值本身并不能衡量研究结论的可靠性, 它仅仅反映了在零假设为真时观察到当前或更极端结果的概率。 当研究者进行多次分析并只报告最显著的结果时, p值就失去了其统计意义。
复制危机也推动了"开放科学"(Open Science)运动的兴起。 开放科学倡导的核心实践包括: 预注册——在数据收集前公开研究假设和分析计划; 开放数据和开放材料——共享原始数据和实验材料; 注册报告——期刊在数据收集前审稿并承诺发表,以消除结果偏倚。 这些改革旨在从根本上解决选择性报告和结果导向的研究文化问题。
从科学哲学的角度来看,复制危机也促使学者们重新思考"可证伪性"—— 如果一项研究的结果无法被独立复制,它是否真正满足了科学知识的标准?
争议与复制
对复制危机研究本身的解读也存在争议。 一些学者指出,复制失败并不一定意味着原始研究是错误的—— 它可能反映了操作定义的差异、被试群体的变化、或实验情境的微妙差异。 诺塞克团队对此进行了详细回应,认为这些批评在方法论上站不住脚。
在更积极的方面,复制危机也催生了大量建设性的改革。 截至2025年,数百种心理学期刊已采纳了开放数据政策或注册报告格式; 许多资助机构要求研究者在申请中说明统计检验力和样本量计划。 一些曾经"失败"的理论在经过更严格的方法论检验后被重新评估。
复制危机虽然暴露了心理学的脆弱性, 但也为这个学科的长期健康发展奠定了基础。 正如诺塞克所言:"复制危机不是心理学的终结, 而是心理学成为一门更好科学的开始。"
跨域连接
- 统计学:危机的技术核心是一个可精确陈述的问题——在"研究者自由度"存在的条件下,即使不存在真效应,也很容易得到 p < .05。分析路径(何时停止收集、剔除哪些被试、控制哪些变量)若在看到数据后决定,显著性检验的名义错误率就不再成立。这不是舞弊,是统计前提被违反。
- 可重复性危机与开放科学:制度层面的回应比技术修正更有效——预注册把分析计划固定在看到数据之前,注册报告把发表决定移到结果产生之前。这两项改动直接切断了上一条中的机制,其效果已在多项大规模复制项目中显现:预注册研究报告阳性结果的比例显著低于常规发表流程。
- 因果推断的可信性革命:经济学在更早时期经历了同类冲击并给出了不同的答案——它的重点放在识别策略(工具变量、断点、双重差分)而非复制。两条路径的对照很有信息量:当实验可行时,复制是最强的检验;当实验不可行时,识别的可信性成为替代的质量标准。
- 媒体与公共领域:危机对公共信任的影响有一个反直觉的侧面——公开自我纠错在短期内看起来像"心理学不可靠",长期却是使其可靠的唯一途径。如何在传播中呈现这一过程,是科学与公众关系中的实际难题:"结论被推翻"与"方法在改进"是同一件事的两种叙述。
- 软件测试:可重复性在计算研究中还有一层更基础的含义——同样的数据与代码能否得到同样的数字。共享代码与数据、固定随机种子、容器化环境,处理的是这一层;而它与"换一批被试还能否得到同样效应"是两个不同的问题,用同一个词指称两者,常使讨论失焦。
统计结果与效应量
开放科学合作组织(2015)的核心数据如下:在100项原始研究中,97%报告了显著结果(p < 0.05);在复制研究中,仅36%达到显著性。原始研究的平均效应量r = 0.403,复制研究的平均效应量r = 0.197——衰减幅度约为51%。
按子领域分类,认知心理学的复制率约为50%,社会心理学约为25%。实验操控类研究(如启动效应)的复制率最低,约为15%。原始研究的p值越接近0.05,复制成功率越低——p值在0.04-0.05之间的研究复制率仅为约20%。
效应量衰减的模式也很有信息量。在成功复制的36项研究中,平均效应量为r = 0.29,仍低于原始的r = 0.40。在未成功复制的64项研究中,平均效应量仅为r = 0.14——这一"效应量压缩"模式支持了"赢者的诅咒"假说。
伦理争议
复制危机本身不涉及传统意义上的研究伦理问题,但它揭示了学术界更深层次的伦理困境——系统性的方法论偏差是否构成"学术不端"?
一些学者认为,p-hacking和HARKing等可疑研究实践虽然不构成传统意义上的学术欺诈(如数据伪造),但仍然违反了科学诚信的基本原则。另一些学者则认为,这些实践更多反映了方法论培训的不足和激励结构的偏差,而非个人的道德失范。
复制危机还引发了关于"公开失败"的伦理讨论。在传统学术文化中,发表阴性结果(复制失败)被视为"不具新闻价值"。开放科学运动倡导建立新的学术规范——将复制失败视为对科学知识的重要贡献,而非对原始研究者的"攻击"。
复制尝试
在更广泛的科学领域,复制危机并非心理学独有。2016年《自然》杂志的一项调查显示,超过70%的研究者曾尝试复制他人的实验并失败。在癌症生物学领域,早年 Begley 与 Ellis(2012)报告 Amgen 仅能复制 53 项标志性研究中的 6 项(约 11%);规模更大的"癌症生物学可重复性项目"(Errington et al., 2021)则因原始论文方法披露不足,最终只完成了计划中 193 项实验的约 1/4,且在能够复制的实验中,效应量平均比原始研究小约 85%。在经济学领域,Camerer等人(2016)的复制研究发现约60%的实验经济学研究可以被复制。
在心理学内部,不同子领域的复制率差异显著。认知心理学的复制率(约50%)高于社会心理学(约25%),可能与认知心理学更严格的实验控制和更客观的测量工具有关。使用生理指标或行为反应时间作为因变量的研究复制率高于使用自我报告的研究。
现代理解
复制危机推动了心理学研究实践的根本性改革。截至2025年,超过300种心理学期刊采纳了开放数据政策;超过50种期刊提供"注册报告"(Registered Reports)格式——在数据收集前完成同行评审并承诺发表。
预注册(preregistration)已成为最佳实践标准。研究者在数据收集前公开研究假设、样本量计划和分析策略,以防止事后修改假设和选择性报告。截至2025年,OSF(Open Science Framework)上预注册的心理学研究超过50,000项。
在统计方法层面,贝叶斯方法作为NHST的替代方案得到了更广泛的采用。贝叶斯因子(Bayes Factor)提供了比p值更直观的证据强度指标——BF₁₀ > 10表示强证据支持备择假设,BF₁₀ < 0.1表示强证据支持零假设。这一方法有助于区分"无证据"和"有证据支持无效应"。
参考文献
- Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.
- Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359-1366.
- Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J., & Munafò, M. R. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365-376.
- Kahneman, D. (2012). A proposal to deal with questions about priming effects. Open letter published on the website of the Society for Personality and Social Psychology.
- Earp, B. D., & Trafimow, D. (2015). Replication, falsification, and the crisis of confidence in social psychology. Frontiers in Psychology, 6, 621.
- Begley, C. G., & Ellis, L. M. (2012). Raise standards for preclinical cancer research. Nature, 483(7391), 531-533.
- Errington, T. M., Mathur, M., Soderberg, C. K., Denis, A., Perfito, N., Iorns, E., & Nosek, B. A. (2021). Investigating the replicability of preclinical cancer biology. eLife, 10, e71601.
- Camerer, C. F., et al. (2016). Evaluating replicability of laboratory experiments in economics. Science, 351(6280), 1433-1436.