破除误解
心理学论文里最常见的一句话是"结果显著，p < .05"。这句话很容易让人误以为：只要显著，发现就重要；只要不显著，发现就不存在。效应量与统计功效正是用来纠正这两个误解的工具。
效应量问的是：差异到底有多大？一项研究可能因为样本很大而发现一个统计显著但现实中几乎无意义的差异；也可能因为样本太小而错过一个实际很重要的效果。统计功效问的是：如果真实效果存在，我们的研究有多大概率把它检测出来？低功效研究就像拿模糊的望远镜看星空，看不见不等于那里没有星星。
可复制性危机让这两个概念变得格外重要。许多心理学研究的问题并不只是研究者"造假"，而是长期依赖小样本、灵活分析和只报告显著结果。结果是：已发表文献中的效应往往被高估，后来大样本重复研究则显得"推翻经典"。
p 值没有回答的问题
p 值回答的是一个很窄的问题：如果零假设为真，观察到当前数据或更极端数据的概率有多大。它不告诉我们假设为真的概率，不告诉我们效果大小，也不告诉我们结果是否有实际意义。
例如，两种教学方法平均成绩相差 0.5 分。在 10 万名学生样本中，这个差异可能非常显著；但对教育政策而言，它可能微不足道。反过来，一种心理治疗可能让症状分数下降 5 分，但样本只有 18 人，p 值不显著；这不能证明治疗无效，只能说明这项研究没有足够证据。
因此，严谨报告应至少同时给出：效应量、置信区间、样本量、功效或样本量规划、分析计划。p 值只是证据的一部分，而不是研究质量的总开关。
常见效应量
心理学常用的效应量有几类。
Cohen's d 衡量两组均值差异相对于组内标准差的大小。若 d = 0.50，意思是两组均值相差半个标准差。科恩曾把 0.2、0.5、0.8 粗略称为小、中、大效应，但这不是自然法则。对公共卫生而言，d = 0.10 的干预若能影响数百万人，仍可能很重要；对昂贵临床治疗而言，d = 0.50 也未必值得推广。
相关系数 r 衡量两个变量线性关联的强度。r = .30 在个体预测上并不强，却可能在群体层面有相当意义。许多社会心理现象本来就受到情境、人格、文化和测量误差共同影响，不能期待像物理常数那样稳定。
优势比、风险比和相对风险降低 常见于医学和健康心理学。它们要小心解释：相对风险降低 50% 听起来巨大，但如果基线风险从 2/10000 降到 1/10000，绝对收益其实很小。
效应量的价值，是把"有没有"的问题推进到"有多大、在什么语境下有意义"。
统计功效：为什么小样本会制造幻觉
统计功效通常定义为 1 - β，也就是在真实效应存在时拒绝零假设的概率。心理学常把 80% 功效作为最低规划目标：如果某个效应真实存在，同样设计重复 100 次，约 80 次应能检测到它。
低功效会带来三个后果。
第一，真效果容易被漏掉，造成假阴性。第二，只有那些偶然估计得特别大的研究才更可能显著发表，这会造成"赢家诅咒"：文献中的显著效应平均偏大。第三，低功效研究即便显著，假阳性比例也会上升，尤其是在研究者可以尝试多种分析方式时。
雅各布·科恩在 1962 年和 1988 年反复提醒心理学界：许多研究样本太小，根本没有能力发现中等以下效应。几十年后，可复制性危机证明这个警告并未过时。
半个世纪的忽视：从科恩的调查到 Ioannidis
科恩 1962 年的警告不是感慨，是算术。他逐一计算了 1960 年《异常与社会心理学杂志》全部论文的统计功效：发现小效应的平均功效只有 0.18，中等效应 0.48，大效应 0.83（Cohen, 1962）。换句话说，当时的心理学研究面对一个真实存在的中等效应，发现它的概率不如抛硬币。
更有讽刺意味的是 27 年后的复查。塞德迈尔与吉仁泽（Sedlmeier & Gigerenzer, 1989）以同样方法分析 1984 年的《异常心理学杂志》，发现针对中等效应的中位功效不升反降，跌到 0.37——四分之一个世纪的方法论论文、教科书与培训班，没有改变实际发表的样本量。这段历史是理解"为什么心理学必须懂功效"的第一课：知道功效不等于规划功效，制度的激励不指向它，知识就只会躺在方法学章节里。
2005 年，约翰·约安尼季斯（John Ioannidis）把这个问题推到了逻辑终点。他那篇成为元科学奠基文献的论文（Ioannidis, 2005）用一个简单的框架说明：一个已发表阳性结果为真的概率（阳性预测值），不只取决于功效，还取决于研究领域里"真实关系"与"被检验关系"的先验比例、偏倚程度与竞争团队数量。 在功效低、被检验假设又多又随意的领域——这几乎是为某些心理学分支画像——大多数已发表的阳性结果可以是假的。这篇论文的被引量以万计，它把"功效不足"从一个统计学家的洁癖，变成了整个实证科学的可信度问题。
超越 p 值：改革方案的版图与争议
如果 p 值文化病在"把连续证据压成二元开关"，那药方是什么？过去十年的改革大致沿三条路线展开，彼此并不兼容。
第一条：改门槛。 本杰明等 72 位作者联名提议（Benjamin et al., 2018），把"统计显著"的默认阈值从 0.05 收紧到 0.005，理由是 0.05 对应的证据强度远比多数人以为的弱。支持者认为这能立竿见影地降低假阳性；反对者则指出，这只是把同一个二元开关换了个位置，还会推高样本量成本。
第二条：废开关。 2016 年，美国统计学会发布了罕见的官方声明（Wasserstein & Lazar, 2016），六条原则中最要害的两条是：p 值不衡量假设为真的概率，也不衡量效应大小；科学结论不应只依据 p 值是否跨过某个阈值。2019 年该学会的执行编辑更进一步，公开主张彻底停用"统计显著"这个词（Wasserstein, Schirm & Lazar, 2019）——一个学科的官方学会宣布自己最核心的术语该退休，这在科学史上并不多见。
第三条：换语言。 用估计代替检验：报告效应量与置信区间（即"新统计学"路线，Cumming 的著作是代表），或用贝叶斯因子表达证据相对强度。这条路线的哲学分歧最深——贝叶斯派与频率派争论的不只是公式，而是"证据"这个词到底意味着什么。
诚实的现状是：没有哪条路线被普遍接受，而几乎所有路线在一点上达成共识——单篇论文的 p 值不应再被当作结论本身。 对心理学读者而言，这比任何具体的统计技术都重要：你要问的不是"它显著吗"，而是"估计多大、误差多宽、能否独立重复"。
可复制性危机中的角色
2015 年开放科学协作组重复 100 项心理学研究，只有约三分之一达到与原研究相同的显著性，重复研究的平均效应量也明显缩小。这一结果不是说心理学整体无效，而是揭示了一个系统性偏差：小样本、选择性报告和发表偏倚会把文献变成"最乐观结果的展览馆"。
效应量与功效可以帮助学科自我修复。预注册要求研究者在看数据前写明假设与分析计划；大样本多实验室重复能给出更稳定估计；元分析不只问单篇论文是否显著，而是综合估计效应大小及异质性；开放数据让他人能检查分析决策。
如何读一篇研究
读心理学研究时，可以按五个问题快速判断质量。
第一，作者是否报告效应量与置信区间？没有它们，"显著"很难解释。
第二，样本量是否足以检测研究声称的重要效应？若研究只纳入几十人，却讨论很微弱的社会行为差异，就要警惕。
第三，研究是否预注册？探索性研究不是坏事，但探索性发现应被明确标注，不能包装成事先假设。
第四，效应是否在独立样本中重复？单次显著发现只是起点，不是结论。
第五，效果是否具有现实意义？一个统计上可靠的效应，仍可能太小、成本太高或情境太窄。
一个直观例子：为什么"显著"会误导
假设研究者想检验一种睡眠干预是否能降低焦虑。真实效果其实很小，平均只能让焦虑量表下降 1 分。若研究只招募 30 人，测量误差又很大，绝大多数重复研究都看不到稳定差异。可一旦某次实验刚好抽到反应特别好的一组人，结果就可能显著，并被发表出来。读者看到的是"睡眠干预显著降低焦虑"，却看不到实验室里那些没有显著结果、没有发表的小研究。
再假设另一项干预真实效果中等，但研究者样本太少，结果 p = .08。把它简单判定为"无效"同样粗暴。更好的做法是报告效应量和置信区间：如果区间很宽，说明研究还不够精确；如果多个独立研究的估计方向一致，元分析可能给出更可靠判断。
因此，效应量与功效训练的不是一种统计技巧，而是一种科学谦逊：不要把单篇论文的二元结论当作事实本身，要看估计有多大、误差有多宽、证据能否累积。
对实践者意味着什么
对教师、咨询师、医生或产品研究者来说，效应量比 p 值更接近实践判断。一个学习策略若平均提升很小，但几乎零成本、可大规模推广，仍可能值得采用；一个心理干预若效应较大，但只在高度筛选样本中出现、成本高昂、需要专业人员密集投入，就不能直接推广到普通学校或社区。
功效分析也能保护研究对象。样本量过小的研究可能浪费参与者时间，甚至让他们承担无意义风险；样本量过大的研究则可能用资源去证明微不足道的差异。好的样本量规划，是科学质量、伦理责任和资源使用之间的平衡。
跨域连接
- 统计学：功效不足的研究有一个被普遍忽略的后果——它不只是更容易漏掉真效应，它还使已发表的显著结果系统性地高估效应量。因为在低功效下，只有偶然偏大的样本估计才能越过显著性门槛。这一"胜者诅咒"是复制失败的主要数学来源之一（元分析如何校正它，见 元分析与证据综合）。
- 临床试验：样本量估算是试验注册的强制要求，而它依赖一个事先设定的"最小临床重要差异"——即多大的改善才值得改变实践。这个数字是临床判断而非统计判断，因此功效分析的起点从来不是纯技术的。
- 因果推断的可信性革命：检验交互作用所需的样本量比检验主效应大一个数量级，而这直接解释了候选基因 × 环境交互研究为何几乎整体未能复制。这条经验有普遍价值：任何声称"效应只在某类人中存在"的结论，都需要远超常规的样本才能支持。
- 可重复性危机与开放科学：功效问题在心理学中被指出得非常早（科恩在 1960 年代就作过系统统计），而它在半个世纪里未被实质改善。这说明方法论知识的存在不等于实践的改变：改变需要激励结构的调整，而非更多的提醒。
- 风险与不确定性：统计显著与实质重要的区分在政策评估中最为关键——足够大的样本可以让任何微小的差异变得显著。因此正确的报告方式是效应量加置信区间，而以显著性作为决策开关，等于把一个连续的证据强度问题压成了二元判断。
参考文献
- Cohen, Jacob. "A Power Primer." Psychological Bulletin 112(1), 1992. PubMed: https://pubmed.ncbi.nlm.nih.gov/19565683/
- Cohen, Jacob. Statistical Power Analysis for the Behavioral Sciences (2nd ed., Lawrence Erlbaum, 1988).
- Open Science Collaboration. "Estimating the reproducibility of psychological science." Science 349(6251), 2015. https://www.science.org/doi/10.1126/science.aac4716
- Simmons, Joseph P., Nelson, Leif D., and Simonsohn, Uri. "False-Positive Psychology." Psychological Science 22(11), 2011.
- Cumming, Geoff. Understanding The New Statistics (Routledge, 2012).
- Cohen, Jacob. "The statistical power of abnormal-social psychological research: A review." Journal of Abnormal and Social Psychology 65(3), 1962, 145–153.
- Sedlmeier, Peter, and Gigerenzer, Gerd. "Do studies of statistical power have an effect on the power of studies?" Psychological Bulletin 105(2), 1989, 309–316.
- Ioannidis, John P. A. "Why most published research findings are false." PLoS Medicine 2(8), 2005, e124. DOI: 10.1371/journal.pmed.0020124
- Wasserstein, Ronald L., and Lazar, Nicole A. "The ASA's statement on p-values: Context, process, and purpose." The American Statistician 70(2), 2016, 129–133. DOI: 10.1080/00031305.2016.1154108
- Benjamin, Daniel J., et al. "Redefine statistical significance." Nature Human Behaviour 2(1), 2018, 6–10.
- Wasserstein, Ronald L., Schirm, Allen L., and Lazar, Nicole A. "Moving to a world beyond 'p < 0.05'." The American Statistician 73(sup1), 2019, 1–19.
延伸阅读
- Lakens, Daniël. "Calculating and reporting effect sizes to facilitate cumulative science." Frontiers in Psychology 4, 2013.
- Button, Katherine S., et al. "Power failure: why small sample size undermines the reliability of neuroscience." Nature Reviews Neuroscience 14, 2013.