实验语言学与因果推断

实验把理论差异转成可观察对照#

语言理论常预测某形式在特定条件下更易理解、更自然或更可能产生。实验通过操控一个因素、控制其他差异并随机分配试次，检验结果是否随操控变化。它不是给直觉加数字，而是迫使竞争解释做出不同预测。

实验也不能取代语料与田野。它牺牲部分自然情境换取控制，结论范围由材料、任务、参与者和实施环境共同限定。

构念需要操作化#

“复杂”“可预测”“礼貌”或“语言能力”不是仪器直接读数。研究者要说明用句法层级、条件概率、评分或反应时怎样表示构念，并承认每个指标包含其他过程。

操作化有效性要靠多方法和操控检查。若所谓句法复杂条件同时更长、更低频，观察到的代价不能唯一归因结构。

最小对照要真正最小#

句子可接受性研究常构造只差一个关键因素的材料，例如是否有依存关系、是否跨越某边界。词汇、长度、合理性和语篇应尽量匹配，并用多组项目避免某一句偶然怪异主导结果。

自然语言因素难完全正交，拉丁方设计让每位参与者只看到每个项目一个版本，同时在群体中平衡条件。项目列表和分配方案应公开。

可接受性判断常被说成「内省、不可靠」。Sprouse、Schütze 与 Almeida 2013 年在《Lingua》换了一种检验：从 2001–2010 年《Linguistic Inquiry》随机抽出约 150 对现象、296 个英语数据点，让 936 名未受训被试用幅度估计、七点量表和二选一三种任务评分。正式实验与期刊里的非正式判断约有 95% 一致，误差大约正负五个百分点。这不是说内省已经够用。对已经发表的句法对比，受控评分往往能复现方向；材料是否匹配、项目是否多样、统计是否把词项当样本，仍然决定你能不能把这个方向写成对语言的普遍结论。

随机化切断系统混杂#

参与者随机进入条件，使已知和未知背景平均分布，是因果推断的核心。试次顺序随机化或分块可减少疲劳与策略偏差；但学习、启动和携带效应有时要求明确顺序设计。

不能随机分配的语言经历，如双语身份或方言，只能作为观察性组别。组间差异可能来自教育、迁移和社会地位，统计控制不能保证消除未测混杂。

因变量应匹配理论时间尺度#

可接受性评分反映综合判断，反应时和眼动更接近加工过程，产出选择显示竞争结果，声学测量展示动作实现，ERP 提供时间锁定神经差异。它们互有关联却不等价。

若理论关于最终语法知识，只用毫秒反应可能不充分；若理论关于增量预测，只看句末评分又太粗。先选构念，再选指标，而不是反过来围绕现有设备编故事。

1980 年，Kutas 与 Hillyard 在《科学》报告阅读实验：物理上异常的词（字号突然变大）引出晚期正波，语义上不合适的词则引出约 400 毫秒的负波，即 N400。同一时间窗、不同违规类型，电位方向相反。这说明 ERP 能把「看起来怪」和「意义上接不上」拆开，但它测的是时间锁定的神经差异，不是语法知识本身。心理语言学加工 里的反应时、眼动与 ERP 可以互证，却不能互相替代。

1995 年，Tanenhaus、Spivey-Knowlton、Eberhard 与 Sedivy 在《科学》用视觉世界范式显示：听者在听到名词的早期音节时，已经把目光移向场景里对应的物体。加工不是等句子说完再判决，而是与视觉注意同步展开。若理论关于增量预测，眼动比句末评分更接近那个时间尺度。

评分尺度不是天然等距尺#

李克特评分、有界滑杆和二选一会诱发不同策略。数值 6 与 7 的差不必等于 2 与 3，顺序模型有时比线性模型更适合。量表端点、说明和练习会改变参与者参照。

幅度估计和强制选择可补充，但没有无偏任务。重复多种材料并建模参与者尺度使用，比争论唯一正确量表更有价值。

反应时分布通常右偏#

少量极慢试次会拉高平均值，机械删除超过两个标准差的值又依赖条件分布。对数正态、移位 Wald 或分位数分析可更贴近生成过程，选择应在看结果前确定。

速度与准确率存在权衡。条件更快但错误更多不能简单称促进，漂移扩散模型可分离证据积累与反应边界，但参数解释需要足够试次和模型检验。

功效取决于参与者、项目和效应结构#

语言实验同时抽样参与者和句子项目，样本量不能只数人数。效应可能因参与者、词项和语言背景变化，混合模型需表示这些随机来源。

功效分析最好基于模拟，输入预期效应、方差、项目数和排除率。使用先前小研究的显著效应会高估功效；合理范围和敏感性曲线比单一魔法数字更诚实。

1973 年，Clark 在《言语学习与言语行为杂志》把这件事写成「语言作固定效应谬误」：研究者几乎从不证明结果能推广到所选词句之外，却直接写成对语言本身为真。词项也是样本，不是一次性用完的固定清单。2008 年，Baayen、Davidson 与 Bates 在《记忆与语言杂志》展示交叉随机效应：被试与项目不是嵌套，一次模型同时对两类总体做推广。2013 年 Barr、Levy、Scheepers 与 Tily 主张确认性检验应使用设计所允许的最大随机结构——随机截距加上随机斜率。2017 年 Matuschek、Kliegl、Vasishth、Baayen 与 Bates 用模拟指出：最大模型若不被数据支持，会损失功效；用似然比等准则选出数据撑得住的随机结构，一类错误不必升高，功效往往更好。最大不是教条。设计与数据共同决定模型该复杂到哪一步。

显著性不是效应的重要性#

p 值描述在模型与零假设下数据至少如此极端的概率，不是零假设为真的概率，也不表示结果可重复。大样本可让微小差异显著，小样本则让有意义差异不显著。

应报告效应量、置信或可信区间、原始分布和理论最小重要差异。二元“显著/不显著”尤其不能证明两个条件彼此不同：一个显著另一个不显著不等于二者差异显著。

多重分析路径会制造偶然发现#

若研究者尝试多种排除、时间窗、因变量和子组，只报告最显著结果，名义错误率失效。探索本身有价值，但必须与确认性检验分开。

预注册在采集或查看结果前冻结问题、样本、排除和模型，注册报告还可在结果未知时接受论文。偏离计划并非禁忌，只要透明标注并解释。

Simmons、Nelson 与 Simonsohn 2011 年在《心理科学》把这种灵活性叫做研究者自由度：因变量选哪一个、要不要继续加人、要不要控制性别、要不要丢掉某个条件——每一项单独看都像合理分析，合在一起却能把名义百分之五的假阳性抬高。他们的模拟里，几项常见选择叠加后，假阳性可以涨到三成以上。预注册不是仪式，是把这些选择从「看完数据再决定」改成采集前冻结。这与可重复性危机里的对策是同一套，只是语言学还多了一层项目随机性。

操控检查也可能改变主要任务#

询问参与者是否注意到语法、情绪或身份线索，可验证操控，却可能让他们猜到目的。检查可放在末尾、用独立样本或使用不显眼指标，具体取决于污染风险。

失败操控不表示理论必错，而表示实验未创造预期差异。成功操控也不证明只有目标构念改变。

填充项和掩饰任务需要设计#

若一半句子都不合语法，参与者会形成异常预期；若关键结构重复，他们可能学习或疲劳。填充项平衡答案、结构和自然度，掩饰研究目标，但不能引入新的条件相关线索。

材料列表应分析长度、词频、答案比例和局部重复。共享完整刺激能让复现实验定位差异。

儿童与临床实验有额外缺失机制#

婴儿可能哭闹或转头，失语者可能疲劳，缺失往往与条件和能力相关。只分析完成全部试次的人会选择出更适应任务的样本。排除规则、停止标准和每条件有效试次要预先规定。

ManyBabies 等多实验室合作通过共同协议量化实验室、方法和语言背景差异。大团队不是自动正确，但能揭示单一实验室看不到的异质性。

ManyBabies 1 检验婴儿是否更爱听指向婴儿的言语，而不是指向成人的言语。69 个实验室在 16 个国家采集数据，最终分析 2329 名 3 至 15 个月的婴儿。总体效应 Cohen's d 为 0.35，95% 置信区间 [0.29, 0.42]，显著大于零，但小于既往文献元分析的 0.67。效应在较大婴儿、刺激与母语方言匹配、以及转头偏好程序中更强。多实验室复制因此不只是「效应还在不在」，而是把年龄、语言经验和测量方法写成可估计的变异来源。

线上实验扩大样本也改变环境#

远程实验可接触更多地区和语言，却无法完全控制设备、延迟、噪声和帮助。浏览器反应时精度适合部分效应，不适合所有毫秒差异；音频播放和录音需校准测试。十几毫秒的实验室效应搬上网，误差项里会混进耳机、后台进程和网络抖动。样本变大，不等于测量更精。

线上参与不等于全球代表。平台支付、网络、识字和语言界面仍筛选群体，研究应报告招募渠道与设备分布。

跨语言实验需要功能等价#

逐字翻译刺激会改变词长、频率、语法和文化合理性。跨语言研究应从同一理论操控出发，为每种语言构造自然材料，并分别预试，再比较标准化效应与结构差异。

同一任务在某语言可能依赖书面标点，在另一语言依赖形态。功能等价比表面相同更重要，语言特定调整必须记录。

因果推断需要明确估计目标#

随机实验可估计特定操控在特定样本和实施条件下的平均效应。它不自动回答长期学习、政策或自然互动后果。外推需要机制、群体和环境证据。

中介分析想解释效应经何过程发生，但中介变量通常未随机化，因果要求更强。不要把条件→脑信号→行为的时间顺序直接当成已证实机制链。

重复失败可能来自多种差异#

直接重复尽量保持材料与程序，概念重复用新操作检验同一理论。结果不同可能来自原效应偶然、样本差异、实施偏差或真实边界条件。事后为每次失败发明调节变量会让理论不可证伪。

多实验室、预先定义异质性分析和元分析能区分平均效应与环境变化。重复的目标是改进理论精度，不是给研究者贴可信标签。

开放材料不等于公开敏感数据#

刺激、代码、匿名派生数据和分析环境通常可共享；声音、视频、临床和小社群数据可能需要受控访问。知情同意应在采集前说明共享层级，而不是结束后再决定。

可复现性可以通过合成数据、数据字典、容器和可信执行环境实现。开放原则必须与参与者安全和社群权利并行。

一份实验审查清单#

从理论预测开始，检查操控是否唯一、材料是否多样、参与者与项目是否随机化、因变量是否匹配时间尺度。再看功效、排除、预注册、模型、效应量和全部分析路径。

最后问结果能外推到哪些语言、群体和场景，是否由语料或自然互动支持。实验的专业性不在设备昂贵，而在替代解释被逐步排除。

跨域连接#

• 可重复性危机与开放科学：心理学经历的整套问题——研究者自由度、多重分析路径、发表偏倚、功效不足——在实验语言学中同样成立，而且语言学的项目（词、句子）本身就是随机来源，功效计算比典型心理学实验更复杂。预注册、开放材料与多实验室复制这些对策同样适用。
• 统计学：显著性不是效应的重要性，反应时分布右偏使均值不是好的集中趋势度量，多重比较会制造偶然发现。这些不是「统计学家的挑剔」，而是决定一项结果能否被相信的条件。
• 贝叶斯推断：贝叶斯因子能表达「支持零假设」这件事，而频率派的不显著只能说「没能拒绝」。在检验「某因素无效应」的理论主张时，这个区别是实质性的——许多语言学争论恰恰需要证据支持无差异。
• 认知偏差：可接受度判断必须被测量而非由研究者内省。研究者对自己理论所预测的句子有系统性的判断偏移，这不是诚信问题而是认知事实，也是为什么要用未受训练的被试与填充项。
• 语言田野调查：跨语言实验需要功能等价而非字面翻译——同一份材料在两种语言里可能激活不同的加工过程，此时组间差异测到的是材料差异而非语言差异。田野方法提供的正是判断等价所需的语境知识，这也是实验室研究扩展到小型语言社群时无法跳过的一步。

参考文献#

• Barr, Dale J., et al. “Random Effects Structure for Confirmatory Hypothesis Testing.” Journal of Memory and Language 68.3 (2013): 255–278. DOI: 10.1016/j.jml.2012.11.001.
• Baayen, R. H., D. J. Davidson, and D. M. Bates. “Mixed-Effects Modeling with Crossed Random Effects for Subjects and Items.” Journal of Memory and Language 59.4 (2008): 390–412. DOI: 10.1016/j.jml.2007.12.005.
• Clark, Herbert H. “The Language-as-Fixed-Effect Fallacy.” Journal of Verbal Learning and Verbal Behavior 12.4 (1973): 335–359.
• Kutas, Marta, and Steven A. Hillyard. “Reading Senseless Sentences: Brain Potentials Reflect Semantic Incongruity.” Science 207.4427 (1980): 203–205. DOI: 10.1126/science.7350657.
• ManyBabies Consortium. “Quantifying Sources of Variability in Infancy Research Using the Infant-Directed-Speech Preference.” Advances in Methods and Practices in Psychological Science 3.1 (2020): 24–52. DOI: 10.1177/2515245919900809. 项目
• Matuschek, Hannes, et al. “Balancing Type I Error and Power in Linear Mixed Models.” Journal of Memory and Language 94 (2017): 305–315. DOI: 10.1016/j.jml.2017.01.001.
• Simmons, Joseph P., Leif D. Nelson, and Uri Simonsohn. “False-Positive Psychology.” Psychological Science 22.11 (2011): 1359–1366. DOI: 10.1177/0956797611417632.
• Sprouse, Jon, Carson T. Schütze, and Diogo Almeida. “A Comparison of Informal and Formal Acceptability Judgments Using a Random Sample from Linguistic Inquiry 2001–2010.” Lingua 134 (2013): 219–248.
• Tanenhaus, Michael K., et al. “Integration of Visual and Linguistic Information in Spoken Language Comprehension.” Science 268.5217 (1995): 1632–1634. DOI: 10.1126/science.7777863.
• Vasishth, Shravan, et al. “Statistical Methods for Linguistic Research.” In The Cambridge Handbook of Experimental Syntax, 2021.
• Open Science Framework. “Registrations and Preregistrations.” 指南