大语言模型：认知科学的预测模型、研究工具与研究对象

问题不只是“它是否理解”#

大语言模型能回答心理测验、预测部分实验结果，也能生成看似具有年龄、职业或政治立场的调查回答。这些表现容易诱发两个相反结论：一方把任务成功直接解释为人类式理解，另一方则认为统计学习系统不可能为认知科学提供任何信息。

更可检验的做法，是先区分大语言模型在研究中的三种角色：

1. 人类行为的预测模型：输入任务与情境，预测人类反应分布；
2. 研究工具：辅助生成刺激、编码文本、预演问卷或预测实验结果；
3. 研究对象：用受控实验描述模型的能力、错误和版本差异。

同一个结果在三种角色下含义不同。模型准确预测人类选择，不代表它使用了与人类相同的机制；模型通过人类测验，也不代表测验对机器测量了同一构念。

三层证据不能混在一起#

输出相似#

模型与人类给出相同答案，或两者的平均反应方向一致。这是最弱的一层：答案可能来自记忆、语言线索、不同算法，甚至评分规则中的捷径。

预测充分#

模型不仅命中平均答案，还能预测不同任务条件、个体或实验中的反应概率和效应大小。预测必须在真正留出的数据、参与者、任务或研究上评价，并与简单基线和人类预测比较。

机制解释#

研究提出内部表征或计算过程，并用干预、过程数据、竞争模型和新预测加以区分。这比行为拟合要求更高。高预测准确度不会自动识别心理机制，正如天气预报准确不等于解释了全部大气动力学。

认知科学可以重视第一层和第二层的工具价值，同时拒绝把它们未经论证地升级为第三层。

角色一：预测人类行为#

从“硅基样本”到条件预测#

Argyle 等人使用真实美国调查参与者的社会人口与政治背景作为条件，让 GPT-3 生成开放式和封闭式政治态度回答，并把模型与原参与者的回答联系起来。这项研究提出“算法保真度”：模型在限定任务中能否保留人类反应与背景特征之间的关系。

它支持的是特定模型、提示、美国政治语料和调查任务中的条件拟合，不是“人口统计提示可以替代该群体”。身份标签可能把群体内差异压缩成训练语料中的刻板关联；模型也没有参与者的生活经历、利益约束和回答后果。

因此，模型生成的是合成观测，不是新增的人类被试。对一个模型采样一万次增加的是模型输出数量，不是一万个独立个体；把这些输出当独立样本会造成伪重复和虚假的精度。

通用行为预测模型#

2025 年发表的 Centaur 将 Llama 3.1 70B 在 Psych-101 数据集上微调。该数据集统一整理了 160 项心理实验。研究报告显示，模型能预测留出的参与者与实验，并在一些未纳入训练任务上保持预测能力。

这一结果的重要性在于：自然语言任务描述与行为数据可以共同训练跨任务预测模型。它仍不证明模型获得了人类认知架构。微调模型可能通过一种与人类不同的高维函数逼近反应分布，且其适用范围受 Psych-101 的任务、样本与编码方式约束。

评价此类模型至少应比较：

• 只预测总体平均反应的基线；
• 经典认知模型与层级统计模型；
• 未微调基础模型；
• 留出参与者、留出刺激、留出任务和留出研究；
• 概率校准，而不只是准确率或相关系数。

预测社会实验效应#

2026 年一项研究汇集 70 项预注册、具有全国代表性的美国调查实验，共包含 469 个处理效应和 119,330 名参与者。GPT-4 对实验效应的预测与真实效应高度相关，整体表现接近汇总后的人类预测者；但模型系统性高估了效应大小。研究还在 15 个大型实验集合、606 个效应上做了外部检验。

这说明模型可以成为实验设计阶段的预测基线，也说明方向预测、排序、数值校准是不同能力。高相关可能与系统性高估同时存在。它不能证明模型可代替目标人群：真实参与者仍然提供了定义、校准和验证预测所需的结果数据。

角色二：研究工具#

实验前的压力测试#

模型可以快速寻找问卷歧义、生成刺激候选、模拟不同措辞的可能反应，帮助研究者在招募参与者前发现设计缺陷。

但预演结果不应成为删掉“不符合理论”的条件的理由。提示词、筛选规则和人工修改要进入方案与版本记录；关键刺激仍需由目标人群做理解检查和操纵检验。

文本编码与量表开发#

LLM 可以辅助开放回答分类、访谈主题标注和题目生成。评价不能只报告模型与一名编码者的一致率，还应使用盲法标注的代表性样本，分析类别、语言和群体间误差，并保留人工复核路径。

生成题目只是测量开发的起点。内容效度、反应过程、内部结构、与外部变量关系及使用后果，仍需在人类样本中建立证据。

文献与实验结果预测#

BrainBench 研究把 2023 年《神经科学杂志》论文摘要中的真实结果，与由专家或 GPT-4 改写的相反但合理结果配对，让模型和神经科学专家判断哪一个是真实结果。大语言模型在该封闭选择任务上平均超过受测专家。

这不是让模型在只见实验设计时自由预测未知未来结果。任务材料来自已发表论文，预训练污染难以完全排除；二选一识别也比生成效应方向、大小与不确定性更容易。其价值更接近评估文献规律识别和假设排序，而不是证明模型理解神经机制。

角色三：把模型作为研究对象#

心理任务可以描述机器行为，但不自动测得同一心理构念#

锚定、框架、基础率和类比任务可以系统比较不同模型版本。Binz 与 Schulz 对 GPT-3 施测一组经典认知任务，展示了心理学实验如何成为机器行为的描述工具。

然而，给机器使用“偏差”“记忆”或“人格”等词，需要操作性限定。人类量表中的反应反映动机、体验、社会情境与测量误差；模型输出还受到提示模板、分词、解码和训练语料影响。相同分数不保证相同生成过程。

可以把这看作新的测量等值问题：

• 题目对人类与模型是否具有相同含义；
• 人类量表的因子结构是否适用于模型输出；
• 改变提示表面形式后，排序是否稳定；
• 分数是否预测模型在独立真实任务中的行为；
• 量表标签是否诱导研究者拟人化。

在这些证据建立前，更准确的写法是“模型在该任务上呈现某种反应模式”，而不是“模型拥有某种人格或体验”。

接地问题需要拆成可检验问题#

纯文本模型没有人类的身体发育史，却能从语言和多模态数据中学习大量关于世界的规律。这不会独自解决“意义是否必须接地”的哲学争论。

经验研究可以分别测试：

• 语言统计足以支持哪些关系判断；
• 哪些任务需要在线感知与行动反馈；
• 在新物体、新因果机制和分布外环境中能否迁移；
• 加入视觉、机器人行动或环境交互后，错误模式如何改变。

“在基准上成功”与“具有与人类相同的感知意义”之间，需要这些中间证据，而不是一次哲学跳跃。

主要方法风险#

数据污染与任务曝光#

公开心理任务、答案和论文可能进入预训练数据。仅改写题目措辞不能保证排除记忆。优先使用发布后新建的刺激、受控程序生成任务、私有留出集和时间切分，并报告无法审计训练数据造成的不确定性。

提示与版本漂移#

角色设定、选项顺序、温度、系统提示和接口更新都可能改变结果。闭源服务还会在模型名称不变时更新后台实现。研究必须记录模型快照、日期、接口、全部消息、采样参数和重复次数。

单一“最佳提示”只展示研究者选择后的结果。应预先定义合理提示族，估计结论在措辞与解码设置之间的稳定性。

伪重复与不确定性#

同一模型的重复采样共享参数、训练数据与提示环境，不能按独立参与者处理。推断单位可能是模型、模型家族、提示模板、任务或随机种子，取决于研究问题。

若只测试一个模型和一组提示，最诚实的结论是该配置的描述性结果。想推广到“LLM”这一类别，需要跨架构、规模、训练方式和时间快照的层级设计。

人类基线并不天然公平#

模型常使用确定指令、无限耐心和即时文本输入，而人类受到时间、疲劳、报酬和专业背景影响。比较前应统一信息、时间、工具使用和评分机会，并报告人类样本的招募与代表性。

“超过专家”可能只表示在特定封闭任务和约束下准确率更高，不等于在提出问题、审查证据、承担责任和现实决策上整体超过专家。

群体模拟与刻板化#

用“你是一位某族群的低收入女性”等身份提示生成回答，会把社会类别当作固定心理本质。它可能复制语料中的刻板印象，同时抹去地区、历史、制度和个体经验。

若研究目标涉及群体分布，应以真实、经过同意且具有适当治理的人类数据为基准，检验校准、组内变异和误差分配。模型输出不能用于替代缺席群体的发言或估计其真实偏好。

一套可复现的研究流程#

1. 明确模型角色：预测模型、研究工具还是研究对象；
2. 定义目标量：预测谁、哪种任务、何种输出与时间范围；
3. 预注册模型、提示族、采样和评分规则；
4. 设置简单基线、经典模型和适当人类比较；
5. 分离开发集与真正留出的参与者、刺激、任务或研究；
6. 报告准确度、校准、误差分布与失败案例；
7. 对版本、提示、选项顺序和解码参数做敏感性分析；
8. 处理伪重复、污染、群体刻板化和隐私风险；
9. 保存可共享的提示、原始输出、代码、模型日期与人工决策；
10. 把输出相似、预测充分和机制解释写成不同结论。

如何阅读一项 LLM 认知研究#

先问研究究竟要预测人类、辅助研究，还是描述模型。角色不清，结论通常会越界。

再看测试是否真正留出，公开题目是否可能被训练数据覆盖，提示与版本是否完整记录。

检查统计单位：大量生成回答是否错误地被当作大量独立参与者；人类比较是否在信息、时间和任务条件上公平。

最后判断作者证明的是答案相似、跨条件预测，还是内部机制。前两者可以有重要科学和工程价值，但不能自动回答意识、理解或人类认知机制。

跨域连接#

• 信度与效度：把为人类设计的测验用于模型，其效度前提在根本上不成立——量表能推断人的能力，依赖它与大量未被测能力的共变，而模型没有这一共变结构。在人类测验上得高分因而推不出测验之外的表现，这一点在能力评估报告中反复被忽略。
• 因果推断：实验与观察研究：模型能预测处理效应，不代表它识别了产生效应的机制或可替代随机实验。更实际的用法是把模型当作生成假设与预筛材料的工具（如批量生成候选刺激），而把确证留给真人被试——这一分工在近年的"合成被试"研究中常被混淆。
• 科学哲学：预测充分与机制解释服务不同目标，不能由任务表现直接推导心灵属性。这一区分在这里格外要紧，因为模型的输出是语言的——它能流利地描述自己"为什么"这样回答，而这段描述未必对应实际的计算路径。
• 可重复性危机与开放科学：模型研究有一层特有的不可复现性——训练数据污染、版本静默更新、接口随时关闭。这意味着即使代码公开，结论也可能在原理上无法被重现，因而报告模型版本与访问日期，在这一领域应当被当作与报告样本量同等基本的要求。
• 测量等价与公平比较：用群体提示模拟人群（"扮演一位 X 群体的受访者"）把身份、制度与历史压缩成了一个文本标签，其输出更接近训练语料中关于该群体的刻板描述，而非该群体的真实分布。这使它在多数派立场上看似可信，在最需要研究的少数立场上系统性失真。

核心判断#

大语言模型扩大了认知科学能够拟合、预演和比较的行为范围，但它没有取消研究设计：

模型输出是由特定数据、参数、提示和采样过程生成的观测；它可以预测人类，却不是人类样本，也不因预测准确而自动成为人类机制的解释。

真正成熟的研究不会在“智能”与“随机鹦鹉”之间做一次性裁决，而会精确说明模型在哪些任务、样本和版本上提供了什么证据，以及证据在哪里停止。

参考文献#

1. Argyle, L. P., et al. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337-351. DOI: 10.1017/pan.2023.2.
2. Binz, M., & Schulz, E. (2023). Using cognitive psychology to understand GPT-3. Proceedings of the National Academy of Sciences, 120(6), e2218523120. DOI: 10.1073/pnas.2218523120.
3. Webb, T. W., Holyoak, K. J., & Lu, H. (2023). Emergent analogical reasoning in large language models. Nature Human Behaviour, 7, 1526-1541. DOI: 10.1038/s41562-023-01659-w.
4. Luo, X., et al. (2025). Large language models surpass human experts in predicting neuroscience results. Nature Human Behaviour, 9, 305-315. DOI: 10.1038/s41562-024-02046-9.
5. Binz, M., et al. (2025). A foundation model to predict and capture human cognition. Nature, 644, 1002-1009. DOI: 10.1038/s41586-025-09215-4.
6. Ashokkumar, A., et al. (2026). Large language models can predict the results of social science experiments. Nature. DOI: 10.1038/s41586-026-10742-x.
7. Opedal, A., et al. (2024). Do language models exhibit the same cognitive biases in problem solving as human learners? Proceedings of the 41st International Conference on Machine Learning, 38762-38778.
8. Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? FAccT '21, 610-623.

延伸阅读#

1. Mitchell, M. (2021). Abstraction and analogy-making in artificial intelligence. Annals of the New York Academy of Sciences, 1505(1), 79-101.
2. Shanahan, M. (2024). Talking about large language models. Communications of the ACM, 67(2), 68-79.
3. Frank, M. C. (2023). Baby steps in evaluating the capacities of large language models. Nature Reviews Psychology, 2, 451-452.