跳转到内容
← 返回经典实验
科学心理学2015 年约 17 分钟阅读

心理学复制危机

Replication Crisis in Psychology

Open Science Collaboration
复制危机方法论p值开放科学元科学

实验背景

2010年代初,心理学界经历了一场前所未有的信任危机。 一系列标志性研究的复制失败—— 包括达里尔·贝姆(Daryl Bem)声称证明"预知未来"的论文、 "权力姿势"(power posing)效应的争议、 以及"自我损耗"(ego depletion)理论的瓦解—— 引发了对心理学研究方法和结论可靠性的广泛质疑。 这场危机并非突然出现,而是长期积累的方法论问题的一次集中爆发。它也不是"发现大批造假者"的丑闻,而是对正常科研流程的压力测试:当许多诚实研究者都按期刊奖励的方式选题、分析和写作时,文献仍可能系统性偏向漂亮但脆弱的结果。危机因此把焦点从个人品德移向制度设计。

问题的根源可以追溯到学术界长期存在的激励结构偏差。 "发表或灭亡"(publish or perish)的学术文化鼓励研究者追求具有新闻价值的"显著"结果, 而学术期刊也倾向于发表正面、新颖的发现而非重复验证或阴性结果。 这种偏倚导致了一系列可疑的研究实践: 选择性报告显著结果(p-hacking)、 事后修改假设(HARKing)、样本量不足、以及灵活的数据分析策略。

诺贝尔奖得主丹尼尔·卡尼曼(Daniel Kahneman)在2012年的公开信中警告,社会启动研究正面临一场逼近的"车祸",并建议支持者组织协作复制,以免整个研究领域的可信度被少数争议拖垮。这封信的重要性不在于一句修辞,而在于资深研究者公开承认:单篇显著论文已经不足以承担理论声誉。

实验设计

2015年,开放科学合作组织(Open Science Collaboration) 发表了心理学史上最大规模的复制研究结果,发表在《科学》(Science)杂志上。 这项研究由弗吉尼亚大学的布莱恩·诺塞克(Brian Nosek)领导, 汇集了来自全球多个机构的270名心理学家, 旨在系统性地复制100项已发表的心理学实验。 (Open Science Collaboration, 2015)

项目从《心理科学》《人格与社会心理学杂志》和《实验心理学杂志:学习、记忆与认知》2008年论文中,按预先设定的时间段与可执行标准挑选目标,最终完成100项复制。它并不是对全部心理学研究的简单随机抽样:复杂、昂贵、依赖特殊样本或难在期限内实施的研究更可能被排除。因此,36%的显著复制率描述的是这一组实验的结果,不能机械外推为"心理学只有36%是真的"。

复制团队尽量向原作者索取材料、核对程序,并在收集数据前公开方案和分析计划。样本量按较高统计检验力规划,通常明显大于原研究。项目没有把"成功"压缩成单一裁决,而是并列考察五类证据:复制结果是否显著且方向一致、原效应是否落入复制研究的置信区间、效应量变化、对是否复制成功的主观评价,以及原研究与复制研究合并后的证据。不同指标给出的比例并不完全相同,这正说明"可复制"不是一个天然的二元属性。

关键发现

复制研究的结果令人警醒。 在100项原始研究中,97%报告了统计显著的结果(p < 0.05)。 然而,在复制研究中,仅有36%的结果达到了统计显著性。 从效应量来看,原始研究的平均效应量为r = 0.403, 而复制研究的平均效应量仅为r = 0.197——约为原始效应量的一半。

不同类型的心理学子领域呈现出显著差异。 认知心理学的复制成功率(约50%)高于社会心理学(约25%)。 使用实验操控(如启动效应、框架效应)的社会心理学研究复制率尤其低。 值得注意的是,原始研究的效应量越大、统计证据越强,复制成功率越高。更能预测复制的不是某个主题听起来多可信,而是原始证据本身有多精确;这使危机从学科口水战转回可量化的研究设计问题。

关于效应量的衰减模式也提供了重要信息。 即便在那些"成功复制"的研究中,复制效应量也普遍低于原始效应量。 这一"效应量压缩"现象表明, 许多原始研究可能系统性地高估了真实效应的大小—— 这是小样本研究中"赢者的诅咒"效应的典型表现。假设真实效应较小,抽样波动会产生一批高、一批低的估计;期刊若只发表越过显著性阈值的那一批,就等于从波动上端截取样本。后续复制即便完全无偏,也大概率向真实均值回落。这种"回归均值"不要求原作者做错任何计算。

深层解读

心理学复制危机的本质是一场科学方法论和学术文化的危机。 它揭示了"零假设显著性检验"(NHST)框架的深层缺陷—— p值本身并不能衡量研究结论的可靠性, 它仅仅反映了在零假设为真时观察到当前或更极端结果的概率。 当研究者进行多次分析并只报告最显著的结果时,p值就失去了其名义错误率。以二十个彼此独立、实际无效的检验为例,每个都用0.05阈值,至少出现一个假阳性的概率约为64%,而不是5%。真实研究中的分析路径并非完全独立,但停止收样、剔除异常值、切换因变量和协变量的自由度,足以让显著结果变得异常容易。问题不在p值公式,而在分析路径没有被如实计入。

复制危机也推动了"开放科学"(Open Science)运动的兴起。 开放科学倡导的核心实践包括: 预注册——在数据收集前公开研究假设和分析计划; 开放数据和开放材料——共享原始数据和实验材料; 注册报告——期刊在数据收集前审稿并承诺发表,以消除结果偏倚。 这些改革旨在从根本上解决选择性报告和结果导向的研究文化问题。它们各自修复不同环节:预注册区分验证性分析与探索性分析,但不保证设计合理;开放材料便于发现操作差异,但不能消除情境异质性;注册报告则把期刊的录用承诺前移到结果出现之前,直接削弱"只有阳性才值得发表"的筛选压力。把三者当成一枚万能徽章,反而会制造新的形式主义。

从科学哲学的角度来看,复制危机也促使学者们重新思考"可证伪性"—— 如果一项研究的结果无法被独立复制,它是否真正满足了科学知识的标准?这里还需区分"重复"与"复制":前者用同一数据和代码重现数字,检查计算链;后者换一批数据重新检验效应,检查经验规律。直接复制尽量保持操作不变,概念复制则用不同操作检验同一理论。三组区分针对不同故障,不能拿代码可运行替代新样本的证据,也不能拿一次概念复制失败判定某个具体实验造假。

争议与复制

对复制危机研究本身的解读也存在争议。 一些学者指出,复制失败并不一定意味着原始研究是错误的——它可能反映操作定义、被试群体或实验情境的差异。这个提醒有原则上的合理性,却不能事后无限扩张:若理论只有在原论文成功后才补充"隐藏边界条件",它就会变得不可证伪。更好的回应是事先说明调节变量,并通过多实验室设计同时估计平均效应与地点间异质性,而不是把每次失败都解释为复制者手艺不佳。

在更积极的方面,复制危机也催生了大量建设性的改革。 截至2025年,数百种心理学期刊已采纳了开放数据政策或注册报告格式; 许多资助机构要求研究者在申请中说明统计检验力和样本量计划。 一些曾经"失败"的理论在经过更严格的方法论检验后被重新评估。多实验室协作尤其重要:同一份预注册方案在多个国家同步实施,可以把"这个效应平均是否存在"与"它在哪些文化或场景中变化"拆开估计。复制由此不再只是原论文的判决席,也成为发现边界条件的测量工具。

复制危机虽然暴露了心理学的脆弱性, 但也为这个学科的长期健康发展奠定了基础。 正如诺塞克所言:"复制危机不是心理学的终结, 而是心理学成为一门更好科学的开始。"

跨域连接

  • 统计学:危机的技术核心是一个可精确陈述的问题——在"研究者自由度"存在的条件下,即使不存在真效应,也很容易得到 p < .05。分析路径(何时停止收集、剔除哪些被试、控制哪些变量)若在看到数据后决定,显著性检验的名义错误率就不再成立。这不是舞弊,是统计前提被违反。
  • 可重复性危机与开放科学:制度层面的回应比技术修正更有效——预注册把分析计划固定在看到数据之前,注册报告把发表决定移到结果产生之前。这两项改动直接切断了上一条中的机制,其效果已在多项大规模复制项目中显现:预注册研究报告阳性结果的比例显著低于常规发表流程。
  • 因果推断的可信性革命:经济学在更早时期经历了同类冲击并给出了不同的答案——它的重点放在识别策略(工具变量、断点、双重差分)而非复制。两条路径的对照很有信息量:当实验可行时,复制是最强的检验;当实验不可行时,识别的可信性成为替代的质量标准。
  • 媒体与公共领域:危机对公共信任的影响有一个反直觉的侧面——公开自我纠错在短期内看起来像"心理学不可靠",长期却是使其可靠的唯一途径。如何在传播中呈现这一过程,是科学与公众关系中的实际难题:"结论被推翻"与"方法在改进"是同一件事的两种叙述。
  • 软件测试:可重复性在计算研究中还有一层更基础的含义——同样的数据与代码能否得到同样的数字。共享代码与数据、固定随机种子、容器化环境,处理的是这一层;而它与"换一批被试还能否得到同样效应"是两个不同的问题,用同一个词指称两者,常使讨论失焦。

统计结果与效应量

开放科学合作组织(2015)的核心数据如下:在100项原始研究中,97%报告了显著结果(p < 0.05);在复制研究中,仅36%达到显著性。原始研究的平均效应量r = 0.403,复制研究的平均效应量r = 0.197——衰减幅度约为51%。

按子领域看,项目中的认知心理学研究复制表现高于社会心理学研究,但这组差异同时混合了样本量、测量噪声、效应强弱与选题方式,不能直接解释成某一子领域"更科学"。原始统计证据越接近阈值,后续结果通常越不稳定;与其背诵分段复制率,不如查看效应量及其区间、预期检验力和多项证据是否同向。

效应量衰减的模式也很有信息量。总体效应量从原研究约r = 0.40降至复制研究约r = 0.20,且复制估计大多小于原估计。这一效应量压缩与发表偏倚、低检验力和赢者的诅咒相容,但仅凭差值无法给三种机制精确分账。更重要的实践含义是:按首篇论文的效应量规划应用或干预,往往会低估所需样本并高估现实收益。

伦理争议

复制危机本身不涉及传统意义上的研究伦理问题,但它揭示了学术界更深层次的伦理困境——系统性的方法论偏差是否构成"学术不端"?

一些学者认为,p-hacking和HARKing等可疑研究实践虽然不构成传统意义上的学术欺诈(如数据伪造),但仍然违反了科学诚信的基本原则。另一些学者则认为,这些实践更多反映了方法论培训的不足和激励结构的偏差,而非个人的道德失范。

复制危机还引发了关于"公开失败"的伦理讨论。在传统学术文化中,发表阴性结果(复制失败)被视为"不具新闻价值"。开放科学运动倡导建立新的学术规范——将复制失败视为对科学知识的重要贡献,而非对原始研究者的"攻击"。同时,复制团队负有对等责任:在公开材料前核对程序、避免把合理分歧人格化、报告全部结果并让原作者有机会指出事实错误。把复制写成抓错竞赛会奖励冲突流量,把原作者置于防御姿态,也会妨碍最有价值的材料共享。

复制尝试

在更广泛的科学领域,复制危机并非心理学独有。2016年《自然》杂志的一项调查显示,超过70%的研究者曾尝试复制他人的实验并失败。在癌症生物学领域,早年 Begley 与 Ellis(2012)报告 Amgen 仅能复制 53 项标志性研究中的 6 项(约 11%);规模更大的"癌症生物学可重复性项目"(Errington et al., 2021)则因原始论文方法披露不足,最终只完成了计划中 193 项实验的约 1/4,且在能够复制的实验中,效应量平均比原始研究小约 85%。在经济学领域,Camerer等人(2016)的复制研究发现约60%的实验经济学研究可以被复制。

在心理学内部,不同子领域的复制率差异显著。认知心理学的复制率(约50%)高于社会心理学(约25%),可能与认知心理学更严格的实验控制和更客观的测量工具有关。使用生理指标或行为反应时间作为因变量的研究复制率高于使用自我报告的研究。

另一类无法按原方案重做的研究,问题不在 p-hacking,而在伦理。Rosenhan 假病人研究 靠欺骗入院处与占用床位;今天的审查很难批准同等装置。影响力极大、可审计性极弱,与“换一批被试后效应量腰斩”不是同一句话。复制危机要分开这两种失败。

现代理解

复制危机推动了心理学研究实践的根本性改革。截至2025年,超过300种心理学期刊采纳了开放数据政策;超过50种期刊提供"注册报告"(Registered Reports)格式——在数据收集前完成同行评审并承诺发表。

预注册(preregistration)已成为重要实践。研究者在数据收集前公开假设、样本量计划、排除规则和分析策略,以便读者区分事先检验与事后探索。偏离预注册并非禁忌——现实数据常迫使研究者改动计划——关键是透明标注偏离及理由。真正有信息量的预注册必须具体到主要结果和决策规则;只写"将使用适当统计方法"并不能约束研究者自由度。

在统计方法层面,贝叶斯方法作为NHST的替代方案得到了更广泛的采用。贝叶斯因子(Bayes Factor)提供了比p值更直观的证据强度指标——BF₁₀ > 10表示强证据支持备择假设,BF₁₀ < 0.1表示强证据支持零假设。这一方法有助于区分"无证据"和"有证据支持无效应"。但贝叶斯分析同样依赖先验与模型选择,不会自动消除选择性报告。更普遍的改进是报告效应量与不确定区间、用模拟或先验研究规划样本、开展稳健性分析,并让所有合理分析路径的结果可见;统计语言可以更换,透明的决策链不能省略。

参考文献

  1. Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.
  2. Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359-1366.
  3. Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J., & Munafò, M. R. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365-376.
  4. Kahneman, D. (2012). A proposal to deal with questions about priming effects. Open letter published on the website of the Society for Personality and Social Psychology.
  5. Earp, B. D., & Trafimow, D. (2015). Replication, falsification, and the crisis of confidence in social psychology. Frontiers in Psychology, 6, 621.
  6. Begley, C. G., & Ellis, L. M. (2012). Raise standards for preclinical cancer research. Nature, 483(7391), 531-533.
  7. Errington, T. M., Mathur, M., Soderberg, C. K., Denis, A., Perfito, N., Iorns, E., & Nosek, B. A. (2021). Investigating the replicability of preclinical cancer biology. eLife, 10, e71601.
  8. Camerer, C. F., et al. (2016). Evaluating replicability of laboratory experiments in economics. Science, 351(6280), 1433-1436.