跳转到内容
← 返回研究前沿
科学方法与元科学2020s20 分钟阅读

复制危机之后:开放科学如何重塑心理学

After the Replication Crisis: How Open Science Is Reshaping Psychology

2011 年,心理学史上最奇特的一篇论文被接受发表在顶级期刊《人格与社会心理学杂志》。作者 Daryl Bem 报告了支持"未来事件反向影响当前认知"的统计结果——例如,被试在刺激由计算机随机选定之前作出选择,结果被解释为高于机会水平。 这篇论文通过了同行评审。它的方法学看起来和其他"正常"的心理学实验毫无二致。

复制危机开放科学预注册注册报告元科学

2011 年,心理学史上最奇特的一篇论文被接受发表在顶级期刊《人格与社会心理学杂志》。作者 Daryl Bem 报告了支持"未来事件反向影响当前认知"的统计结果——例如,被试在刺激由计算机随机选定之前作出选择,结果被解释为高于机会水平。

这篇论文通过了同行评审。它的方法学看起来和其他"正常"的心理学实验毫无二致。

这不是巧合——这恰恰是问题所在。

破除误解:这不是"几个坏苹果"的问题

复制危机最常见的误读是把它归结为少数不诚实研究者的造假丑闻。实际上,心理学复制危机的根源要深得多——它暴露的是整个科研激励结构、发表标准和研究实践中长期存在的系统性缺陷。

Bem 报告的 9 个实验中有 8 个达到传统的统计显著标准,合并平均效应量约为 d = 0.22。论文之所以成为转折点,不是因为它被证明采用了当时所有研究者都会使用的某一套操作,而是因为一个极不寻常的主张,竟能用领域内熟悉的设计、分析和发表程序得到一组看似普通的"阳性结果"。

随后对这类研究实践的诊断集中在研究者自由度:如果停止收样、排除观察、选择因变量、加入协变量和报告分析的规则没有预先确定,研究者可以在同一批数据上走过许多分析路径,只展示其中越过阈值的一条。Simmons、Nelson 和 Simonsohn 的模拟表明,一组貌似温和而未披露的灵活操作,可以把真零效应下的假阳性率从名义上的 5% 推高到 60.7%[fpp]。这说明的是分析制度的风险,不能反向证明某位作者一定做过模拟中的每一步。

现场:2011—2015 年,"心理学的危机时刻"

2011 年是一个转折年。Bem 的预知论文发表的同年,三件事同时发生:

第一件:社会心理学家 Diederik Stapel 的数据造假案被揭发,涉及数十篇论文,其中包括那篇声称街道肮脏程度影响种族歧视态度的研究。这个案子直接推动荷兰学界启动大规模的科研诚信调查。

第二件:Simonsohn、Nelson 和 Simmons 发表论文《False-Positive Psychology》,用数学推导和模拟研究表明:如果研究者拥有足够的"自由度"(灵活的样本量、多个测量、多个条件),他们几乎必然会偶然获得统计显著结果,即便真实效应为零[fpp]

第三件:Nosek 团队宣布启动大规模复制计划——心理科学可重复性项目(Reproducibility Project: Psychology,RPP)。

2015 年,RPP 结果发布在《科学》杂志。原研究中 97% 的结果达到统计显著,复制研究中这一比例为 36%;复制效应量平均约为原效应量的一半;原研究与复制研究的效应方向大多一致,但强度和不确定性差异很大[rpp]

这组指标不能被压成"100 项中只有 36 项是真的"。复制成功可以按显著性、效应方向、置信区间、效应量差异或主观评估定义,各种定义回答的问题不同。低功效、抽样波动、程序差异、原效应高估和真实情境异质性都可能造成不一致。RPP 的核心贡献是把"能否复制"变成可量化、可争论的研究对象,而不是给每个原发现盖真假印章。

经典效应如何被重新估计

复制危机最具体的贡献,是迫使领域把一个宽泛标签拆成可检验的操作、结果与边界条件。下面不是"真/假名单",而是几种证据被重新估计的典型路径。

早期强主张受到削弱

自我损耗(ego depletion):Roy Baumeister 的理论认为,意志力是一种有限的资源,可以被耗尽,从而导致后续任务表现变差。这个理论催生了数百项研究。然而,2016 年 Hagger 等人组织的 23 个实验室预先注册的大规模复制尝试显示,自我损耗效应接近于零(d = 0.04)[hagger2016]。这使"意志力是一种会被短时耗尽的单一资源"受到强烈质疑。后续研究对任务、操纵和理论机制仍有争论,因此更稳妥的结论是:早期文献不足以支持一个稳定、普遍且达到原报告强度的效应。

权力姿势效应(power posing):Amy Cuddy 的研究声称,摆出"高权力"肢体姿势(双腿分开、双手叉腰)可以提升睾酮、降低皮质醇,进而改善绩效表现和冒险行为。2015 年 Ranehill 等人在更大样本(N=200)的预注册复制研究中发现:姿势效应确实影响主观感受(感觉更有力量),但对激素水平和风险行为没有可重复的效应[ranehill]。共同作者 Dana Carney 本人后来公开声明她不再相信权力姿势的激素效应[carney]。行为效应的研究结论仍然混乱。

社会启动效应(social priming):这一类效应声称无意识地接触某个概念会改变行为——例如阅读与"老年"相关的词汇后走路变慢(John Bargh 的经典研究),或持有温热咖啡杯后评价他人更"温暖"。若干高关注直接复制未重现早期结果,包括针对 Bargh 老年启动效应的研究(Doyen et al., 2012)。研究者对复制忠实度、实验者期待和情境调节持续争论。"社会启动"涵盖许多不同操作和结果,不能由单个失败复制整体判死刑;能够成立的更窄主张是:部分经典、强效且易泛化的叙述没有经受住更严格检验[bargh]

颠覆性的"笔叼嘴"面部反馈效应:Fritz Strack 1988 年的研究声称,用嘴叼笔(迫使面部肌肉模拟微笑)可以让人觉得漫画更有趣。2016 年,一个由 17 个实验室完成、总样本 N = 1894 的注册复制报告未重现原效应(d = 0.03,接近零)[strack2016]。不过,该复制研究使用摄像头记录参与者,之后围绕观察情境是否构成调节因素又开展了研究。这让合理结论变成"效应大小及边界仍需估计",而不是简单从"成立"翻转为"不存在"。

长期研究项目也需要拆分

认知失调(cognitive dissonance):相关效应拥有跨数十年的实验传统,但"自由选择""努力合理化"等范式各有混淆与替代理论。它更适合作为证据仍在累积、机制仍有竞争解释的研究纲领,而不是简单列入"已复制"名单。

内隐联结测试(IAT)测量的内隐偏见:IAT 分数具有非零但不高的重测稳定性,与行为指标的平均关联也较弱;估计会随任务、行为标准、聚合层级和样本而变化。它可以研究群体层面的关联结构,却不应被当作稳定诊断个人偏见的单次测验。

旁观者效应(bystander effect):元分析支持旁观者数量在一些条件下降低个体帮助概率,但危险程度、施助能力、群体关系和"至少一人是否帮助"会改变结论。监控录像研究发现多数被记录冲突中至少有人介入,并不直接否定个体层面的责任分散;它提醒我们区分分析单位和真实场景。

条件恐惧学习(fear conditioning) 及其消退:基本的巴甫洛夫条件反射机制在人类和动物中都极为稳健,是基础神经科学的重要基础。

开放科学的应对:工具箱在 2020 年代已经成熟

复制危机不只是破坏,它也推动了研究实践的实质性变革。以下几项工具在 2020 年代已经从"倡议"变成了制度。

预注册(Pre-registration)

研究者在接触主要结果之前,为研究假设、方法和分析计划留下带时间戳的记录。它让读者能够区分预先计划的验证性分析与事后形成的探索性分析,但不会自动消除偏差:模糊的计划仍留下自由度,合理偏离也可能发生,未发表的预注册研究仍会形成文件抽屉。关键不是"完全照表执行",而是透明报告计划、偏离及理由。

注册报告(Registered Reports)

这是一种期刊发表流程的结构性变革:期刊通常在数据收集之前,基于研究问题的重要性和方法的严谨性作出原则性接收,而不是等结果出现后才决定。它显著削弱"只有显著结果才能发表"的激励,但最终发表仍取决于方案遵循、质量检查和结论是否受数据支持。

注册报告把研究质量审查提前,并通过"原则性接收"降低结果对发表决定的影响。Scheel 等人比较了截至 2018 年的 71 篇心理学注册报告与 152 篇传统报告:按每篇第一项假设编码,传统报告的阳性结果比例为 96%,注册报告为 44%[^registered-reports]。这项观察性比较支持"传统文献存在过量阳性结果"的担忧,但两组研究问题、作者和期刊并非随机分配,不能把 52 个百分点全部解释为注册报告的因果效果。

开放数据与开放材料(Open Data & Open Materials)

开放数据与材料可以支持分析复核、再分析和方法复用,但也受到知情同意、隐私、知识产权和数据治理约束。"可按 FAIR 原则受控访问"不等于"所有原始数据无条件公开"。

2023 年生效的美国 NIH 数据管理与共享政策,要求适用研究在申请时提交并遵守数据管理与共享计划,并在伦理、法律和技术限制下最大化适当共享。相关论文所依据的数据原则上不晚于论文公开时共享;政策并没有要求所有 NIH 项目的全部原始数据都在论文发表时向任何人无条件开放[nih2023]

大规模多实验室复制(Many Labs 项目)

由 Nosek 等人组织的 Many Labs 项目在全球多个实验室同时复制同一批研究,有助于估计平均效应及地点间异质性。Many Labs 2(2018)在来自 36 个国家和地区的样本中检验了 28 个效应,结果高度分化:有的效应跨地点较一致,有的整体接近于零,而地点间差异并不总能由预先提出的样本特征解释[ml2]

代价与争议:开放科学运动的张力

变革从来不是无代价的。

过度矫正的担忧:部分研究者担心,"p < 0.05 即显著"被全面质疑之后,领域陷入了另一个极端——把所有未被大规模预注册复制的研究都视为无效。这忽视了复制研究本身的局限:情境、文化、时代背景都可能合理地导致效应大小不同,而非"原始研究是假的"。

WEIRD 样本问题:复制危机的讨论促使领域正视另一个盲点——绝大多数心理学研究的被试来自 Western(西方)、Educated(受过高等教育)、Industrialized(工业化)、Rich(富裕)、Democratic(民主)国家(WEIRD)。这些人群只占全球人口的一小部分,却常被用来支持关于"人类心理"的普遍结论。这一批评由 Henrich、Heine 和 Norenzayan 在 2010 年系统提出[weird]。今天样本来源受到更多关注,但采样、理论和研究资源的全球不平等并未因此消失。

开放科学的不平等:预注册本身未必昂贵,但大样本、多实验室协调、数据整理和长期存储都需要资源;开放获取费用也可能转移负担。统一的"最佳实践"若忽略语言、基础设施和本地治理,可能让资源匮乏机构承担更高合规成本。

"复制危机"的范围之争:危机的程度本身就是一个有争议的实证问题。复制实验是否足够忠实?文化和时间变迁能解释多少异质性?哪一种成功标准最有信息?在没有模型化研究先验、功效、选择性发表和异质性之前,不能从 36% 直接倒推出整个心理学的"真实阳性率"。

未知的边界

  • 效应量缩水不是定律,但有可解释机制:在低功效和选择性发表共同存在时,最先越过显著性阈值的估计往往偏大,这就是一种"赢者诅咒"。后续更大样本也可能得到相近或更大效应,因此应比较估计值与不确定性,而不是预设复制必然缩水。
  • 机制研究的复制性:复制危机主要针对的是行为/现象层面的效应。但心理学中另一类研究——关于认知机制、神经基础的研究——有着不同的复制性格局,尚未被同等规模地评估。
  • 预注册能否被"游戏化":批评者已记录了一些案例,研究者在预注册之后仍然通过"不在预注册计划内的探索性分析"发表显著结果,而不明确说明哪些是探索性的。预注册的实际改进效果需要继续跟踪。
  • 元科学本身的方法学:评估复制率的元分析本身也有方法学挑战——如何选择纳入研究?如何定义"复制成功"?这些问题还在讨论中。

跨域连接

  • 证伪主义:这场危机重新激活了可证伪性与辅助假设的讨论,而它最实际的贡献是把规范要求变成了制度:预注册要求先说出什么结果会算作反驳。复制数据本身不会证明某一种科学哲学,但它使"事后调整辅助假设"这一行为第一次可以被识别与统计。
  • 统计学:技术核心可以被精确陈述——在研究者自由度存在时,即使不存在真效应也很容易得到显著结果。围绕 p 值阈值的提案(如把新发现的默认阈值降至更严的水平)是有条件的制度建议而非已被接受的定律,且它无法解决自由度本身的问题。
  • 因果推断的可信性革命:经济学更早经历同类冲击并给出了不同答案——重心放在识别策略而非复制。两条路径互补:当实验可行时复制是最强的检验,当实验不可行时识别的可信性成为替代的质量标准。
  • 工作与劳动组织:改革的阻力有明确的制度来源——发表数量决定职位与经费,而预注册与注册报告降低产出速度。因此讨论研究者的品德收效有限:只要激励结构不变,方法论改革就依赖少数人承担额外成本,这也是改革推进极不均衡的根本原因。
  • 媒体与公共领域:公开自我纠错短期看像"这门学科不可靠",长期却是使其可靠的唯一途径。"结论被推翻"与"方法在改进"是同一件事的两种叙述,而公众获得的几乎总是前一种——如何呈现这一过程,是科学传播中尚未解决的实际难题。

参考文献

  • Open Science Collaboration. Estimating the reproducibility of psychological science. Science 349, aac4716 (2015). DOI: 10.1126/science.aac4716. [RPP 原始报告]
  • Simmons, J.P., Nelson, L.D., & Simonsohn, U. False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science 22, 1359–1366 (2011).
  • Nosek, B.A. et al. Promoting an open research culture. Science 348, 1422–1425 (2015).
  • Chambers, C. The Seven Deadly Sins of Psychology: A Manifesto for Reforming the Culture of Scientific Practice. Princeton University Press, 2017.
  • Henrich, J., Heine, S.J., & Norenzayan, A. The weirdest people in the world? Behavioral and Brain Sciences 33, 61–83 (2010).
  • Hagger, M.S. et al. A multilab preregistered replication of the ego-depletion effect. Perspectives on Psychological Science 11, 546–573 (2016).
  • Klein, R.A. et al. (Many Labs 2). Investigating variation in replicability: A "many labs" replication project. Advances in Methods and Practices in Psychological Science 1, 443–490 (2018).
  • Scheel, A.M., Schijen, M.R.M.J., & Lakens, D. An excess of positive results: Comparing the standard psychology literature with Registered Reports. Advances in Methods and Practices in Psychological Science 4(2), 2021.

脚注

  1. [fpp]Simmons, Nelson & Simonsohn, Psychological Science 22 (2011),展示了未披露分析自由度如何在真零效应数据上抬高假阳性率。
  2. [rpp]Open Science Collaboration, Science 349 (2015),100 项研究中约 36% 在直接复制中获得显著相同方向效应。
  3. [hagger2016]Hagger et al., Perspectives on Psychological Science 11 (2016),23 个实验室预注册复制 ego-depletion,d = 0.04。
  4. [ranehill]Ranehill et al., Psychological Science 26 (2015),N=200 预注册复制,姿势对激素水平无可重复效应。
  5. [carney]Dana Carney 的公开声明于 2016 年发布,可在她的个人学术主页查阅。
  6. [bargh]Doyen et al. (2012),对老年启动范式的一次直接复制及实验者期待效应检验。
  7. [strack2016]Wagenmakers et al., Perspectives on Psychological Science 11 (2016),17 个实验室对笔叼嘴面部反馈范式的注册复制报告。
  8. [nih2023]NIH 数据管理与共享政策(DMS Policy),2023 年 1 月生效。
  9. [ml2]Klein et al., Advances in Methods and Practices in Psychological Science 1 (2018),28 个效应在 36 个地点的大规模检验。
  10. [weird]Henrich, Heine & Norenzayan, Behavioral and Brain Sciences 33 (2010)。
  11. [benjamin]Benjamin et al., Nature Human Behaviour 2 (2018),72 位作者建议把新发现的默认显著性阈值改为 0.005。
  12. [ioannidis]Ioannidis, J.P.A. Why most published research findings are false. PLOS Medicine 2 (2005)。