语料库语言学

语料库是有设计的语言样本#

语料库不是把能找到的文本堆在一起，而是按研究目标采集、记录来源并可系统检索的语言资料。它可以包含书面文本、对话录音、手语视频、儿童纵向记录或历史手稿，每种媒介都有不同抽样和转写问题。

规模大不能补救来源不明。十亿条社交平台帖子可能只代表有设备、愿公开、通过平台筛选的一部分使用者；几百段精细田野录音反而更适合研究互动结构。

布朗语料库由 Francis 与 Kučera 在布朗大学于 1963–1964 年编成，1964 年发布使用手册。它收录 1961 年在美国首次刊行的书面英语，五百篇样本，每篇约两千词，合计约一百零一万四千词，按十五种体裁分层。

1967 年的《当代美国英语计算分析》给出词频与词类统计。它不是「英语」，是「一九六一年美国编辑书面语」的有设计样本。LOB 语料库后来按同一框架做英国对应本。

总体与样本必须明确#

若问题是“当代城市青年怎样使用某词”，语料应覆盖城市、年龄、场景与时间；若数据只有报纸，结论只能关于新闻书面语。目标总体、抽样框和实际样本之间的差距需要公开。

便利样本并非不可用，但不能伪装成语言整体。研究者应报告来源比例、缺失群体、重复内容和平台机制，并用分层或加权评估结论是否依赖某一体裁。

英国国家语料库 1994 年完成，约一亿词：书面约九成，口语转写约一成。口语采集与转写更贵，所以这个比例不能当成「说话只占生活的十分之一」。

设计刻意反对「能抓到什么就收什么」。样本带 CLAWS 词类标注和详细来源头。规模大不能自动补救设计空缺。

代表性不是一次完成的标签#

语言持续变化，所谓平衡语料只在特定时期和目标上平衡。小说、新闻、课堂、家庭和客服的频率分布不同，没有一套比例适合所有问题。

更实用做法是记录设计维度，让使用者按问题重组子语料。覆盖范围、可比性和采样透明度比宣称“代表自然语言”更可审计。

Biber 1988 年的《口语与书面语的变异》用多维度分析，说明「口语/书面」不是一根轴。小说对话、学术论文和面对面交谈在信息密度、介入程度上分开。所谓平衡，只对特定研究问题成立。把一种体裁比例写进手册，并不等于对所有问题都有代表性。

口语与手语需要多层转写#

录音转写要决定重叠、停顿、截断、非词声音和方言形式怎样表示；手语视频还需时间对齐手形、非手部标记、指向空间与双手活动。标准正字法会提高检索，却可能抹掉研究对象。

因此常同时保存外交式转写、规范化层、词素分析和媒体时间码。每层都是分析，不应覆盖原始记录。标注指南和版本历史使其他人知道差异从哪里产生。

分词不是所有语言的简单空格切割#

汉语、日语和泰语词间通常无空格，黏着与多式综合语言的一个正字法词可包含许多语素，英语缩写和连字符也有边界争议。token、word、lemma 和 morpheme 必须分层定义。

统计词频前要说明单位。不同分词器会改变长尾、搭配和模型输入，跨语言“词数”若单位不同就不可直接比较。汉语分词规范一旦不同，词数、搭配窗口和关键词表都会变。报告「每百万词」之前，先报告什么算一个词。

词形还原与词性标注加入理论#

lemma 把屈折形式归到词典项，词性标签把形式按句法分布分类。自动工具可大幅扩展规模，但在歧义、方言和低资源语言上误差集中。标签不是原始事实，而是标注体系的理论选择。

抽样人工校验应按类别与群体报告精确率、召回率和一致性。只给总体准确率会掩盖稀有但关键形式几乎全错。

一致率不能证明标签正确#

两位标注者高度一致，可能共同遵循清楚规范，也可能共同误解。低一致则可能表明类别连续、指南不足或数据本身有歧义。Cohen’s kappa 等指标校正偶然一致，但受类别不平衡影响。

合理流程包括独立标注、分歧讨论、指南修订、保留不确定标签和外部专家复核。强迫每个实例进入单一类别会制造虚假确定性。

频率要有分母和离散度#

原始出现次数随语料规模变化，常换算为每百万词频率。但同一总频率可能来自每篇文本少量出现，也可能集中在一个作者或事件。离散度和文档频率揭示分布广度。

历史比较还要控制语料规模、体裁和拼写变化。某词频率上升可能只是新闻主题改变，不一定表示所有说话者词汇改变。

Gries 2008 年在《国际语料库语言学杂志》提出 DP（比例偏差）：把各部分的期望份额与实际份额相减，取绝对值之和再除以二。DP 接近 0 表示分布均匀，接近 1 表示扎堆。同一总频次可能来自每篇少量出现，也可能集中在一个作者。不报离散度，频率会骗人。

词频还严重偏斜：少数词占绝大多数出现，长尾里大量词只出现一次。Zipf 1949 年把这种偏斜写成省力原则的后果。类型—标记比会随样本增大而下降，所以不能拿两份不同长度的语料直接比「词汇丰富度」。分母和离散度要一起报。

关键词比较依赖参考语料#

关键词分析找出目标语料相对参考语料异常高频形式。结果由参考集决定：科学论文对日常对话会突出术语，对同领域旧论文则可能突出时代变化。

对数似然、卡方和效应量回答不同问题。大语料中极小差异也会显著，研究者应同时展示频率、比例、离散度和上下文。

Dunning 1993 年在《计算语言学》指出：文本里大量事件是稀有的，把渐近正态假设套到搭配和关键词上会失真。他推荐似然比（常记为 G²），在小样本和长尾上比卡方更稳。显著不等于重要，也不等于该词「代表了」目标语料的主题。

搭配衡量共同出现的非随机性#

“强烈支持”比“强烈面包”自然，因为词在窗口或句法关系中有稳定搭配。互信息偏爱稀有专门组合，t-score 更突出高频稳定组合，logDice 便于跨语料比较。没有唯一最佳指标。

Firth 1957 年那句「由伴侣认识一个词」被语料库传统反复引用。Church 与 Hanks 1990 年在《计算语言学》用互信息从语料估计词联想，避免只靠少数被试的心理测验。

Sinclair 1991 年的《语料库、索引与搭配》把习语原则写成：词常常以半固定组合出现，而不是每次都按开放选择组装。Tognini-Bonelli 2001 年区分「基于语料」和「语料驱动」：前者用数据检查已有范畴，后者让范畴从反复出现的型式里长出来。指标选错，看见的「搭配」就不是同一种对象。

窗口大小和方向改变结果，线性邻近又不等于句法关系。研究应展示 concordance 实例，确认统计关联是否对应同一意义和构式。

索引行把统计带回语境#

关键词上下文索引按中心词排列前后文本，帮助观察模式、语义韵和例外。只读前几十行可能受排序偏差，最好随机抽样、分层并记录编码规则。

定量模式与定性细读不是对立。前者发现分布，后者检验同形异义、引语和讽刺，二者往返形成更可靠解释。Sinclair 把索引行写成把统计带回语境的装置：只看软件默认排序的前几十行，会把最醒目的例子当成全部模式。随机抽样、分层并记录编码规则，才能检查例外是不是讽刺、引语或同形异义。

语法构式需要搜索代理#

有些构式可用词序直接检索，另一些需要词性、依存或语义标注。搜索式的召回和精确度决定得到什么，研究应公开查询并抽查漏检与误检。

Universal Dependencies 提供跨语言词性、形态与依存框架，便于比较，但“通用”标签仍允许语言特定细化。统一标注提高可比性，不应抹去本地语法分析。

de Marneffe 等人 2021 年的综述写明：十七个通用词性标签是比较用的公约，不是把所有语言压进英语范畴。「ADP」在介词语言和后置词语言里不是同一套句法。跨语言「词数」和「依存弧」都要先对齐单位。

跨语言语料比较有单位与翻译问题#

平行语料将翻译文本对齐，可研究对应表达和机器翻译；可比语料选择相似体裁但非同一内容。翻译会产生简化、显化和源语言干扰，不能当作自然产出的无偏样本。

词、句和文档长度在语言间不可直接换算。比较应选择语言学上等价单位，报告翻译方向与译者背景，并用本地原创语料复核。

历史语料要处理拼写与保存偏差#

早期文献常只有精英书面体，材料保存受气候、制度和数字化选择影响。拼写未标准化，同一词有多种形式；现代 OCR 又会在旧字体和污损处系统出错。

规范化提高检索，但必须保留原形和映射。频率断点可能来自印刷、档案或 OCR 变化，不应直接解释为语言突变。Helsinki Corpus 等历史语料把时期、体裁和文本来源写成可筛选维度，正是为了不把保存偏差当成语言自己的跳跃。

网络语料受平台算法塑造#

搜索引擎结果、推荐流和 API 限额不是随机抽样。删除、封号、机器人、转帖和地域访问会改变可见内容。平台条款还可能禁止重新发布或识别用户。

抓取时应记录日期、接口、查询和去重方法，最小化个人数据，并避免引用可反搜的敏感句子。公开帖子不等于无限研究同意。

Kilgarriff 2007 年在《计算语言学》写《谷歌学是坏科学》：商业搜索引擎不提供词形还原和词性，命中数按页而不是按实例，计数还受未知算法左右。把搜索框里的数字当成频率，不是语料方法，是轶事。可用的网络语料必须自己下载、清洗、版本化。

统计模型要尊重文本聚类#

同一作者和文档内实例相关，简单把每个词当独立观察会夸大样本量。混合效应模型、分层抽样或文档级置换可处理聚类。时间序列还要考虑自相关。

模型特征应与可解释构念对应，避免把作者身份、体裁和语言变量混在一列。稳健性分析可改变窗口、分词和子语料，检验结果是否稳定。

语料频率不自动等于心理表征#

高频形式通常处理更快，但语料分布与个体经历、任务和记忆机制之间需要理论桥。相关频率可提出实验预测，不能单独证明大脑存储某结构。

反过来，实验室效应若在大型自然语料中几乎不出现，其生态意义也值得质疑。语料和实验应互相约束而非争夺唯一方法地位。

可复现语料研究需要版本化#

语料会修订文本、标签和许可，查询结果必须绑定版本。代码、环境、查询、排除与随机种子应保存；无法公开的语料可公开派生统计和可在受控环境运行的脚本。

FAIR 原则强调可发现、可访问、可互操作和可复用，但“可访问”可包含受控条件。敏感语言数据不因开放科学而失去社群治理。Wilkinson 等人 2016 年在《Scientific Data》把这四条写成可检查的数据原则，而不是口号。受控访问仍然是访问；把许可文件和版本号写进论文，才让别人能重跑。

标注层的理论负载见语料标注与一致性：一致率高只能说明方案可复现，不能说明标签正确。把自动标注当成原始事实，后续的关键词和搭配都会继承同一套范畴。

怎样审查一项语料结论#

先问目标总体、采样来源和时间，再检查分词、标注、查询与错误率。随后确认统计分母、离散度、聚类和效应量，并阅读足够上下文排除同形异义。

最后判断结论是否超出语料：从“新闻中更常见”跳到“人们更相信”，中间还需要心理或社会证据。好的语料研究让每一步选择都能被重跑和挑战。

跨域连接#

• 统计学 与 概率论：语料库的核心方法论问题——总体与样本、代表性、离散度、多重比较——全部是抽样统计的问题。语料库语言学的争议往往不是语言学争议，而是「这个样本能支持这个推论吗」的统计争议。文本还违反了独立同分布假设（同一篇文章内的词高度相关），这使朴素的显著性检验系统性高估证据强度。
• 大语言模型：训练语料的代表性问题，与语料库语言学讨论了几十年的抽样问题是同一个问题——只是规模变了、而对总体的说明变少了。语料库研究要求写清收录标准与版本，这套规范恰恰是当前大模型训练数据最欠缺的。
• 计算语言学：分词、词形还原、词性标注都不是中立的预处理，每一步都把某种语法理论固化进了数据。标注一致率高只能说明标注者受过同样的训练，不能说明标签正确——这一点在用标注数据训练模型时会被继承下去。
• 社会语言变异：语料频率的差异要归因于社会变量，前提是元数据（说话人年龄、地域、场合）本身可靠。缺少元数据的大语料，能回答「什么常见」，无法回答「谁在这么说」。
• 心理语言学加工：语料频率与心理表征之间隔着一层——常见不等于易得，罕见也不等于难加工。频率效应要成为心理学结论，需要反应时或眼动数据来独立验证。

参考文献#

• McEnery, Tony, and Andrew Hardie. Corpus Linguistics: Method, Theory and Practice. Cambridge University Press, 2012.
• Gries, Stefan Th. Statistics for Linguistics with R. 2nd ed., De Gruyter Mouton, 2013.
• de Marneffe, Marie-Catherine, et al. “Universal Dependencies.” Computational Linguistics 47.2 (2021). 项目
• Bird, Steven, and Gary Simons. “Seven Dimensions of Portability for Language Documentation.” Language 79.3 (2003).
• Francis, W. Nelson, and Henry Kučera. A Standard Corpus of Present-Day Edited American English, for use with Digital Computers (Brown Corpus). Brown University, 1964.
• Dunning, Ted. “Accurate Methods for the Statistics of Surprise and Coincidence.” Computational Linguistics 19.1 (1993): 61–74.
• Church, Kenneth Ward, and Patrick Hanks. “Word Association Norms, Mutual Information, and Lexicography.” Computational Linguistics 16.1 (1990): 22–29.
• Kilgarriff, Adam. “Googleology is Bad Science.” Computational Linguistics 33.1 (2007): 147–151. DOI.
• Gries, Stefan Th. “Dispersions and Adjusted Frequencies in Corpora.” International Journal of Corpus Linguistics 13.4 (2008): 403–437.
• Wilkinson, Mark D., et al. “The FAIR Guiding Principles for Scientific Data Management and Stewardship.” Scientific Data 3 (2016): 160018. DOI.
• Sinclair, John. Corpus, Concordance, Collocation. Oxford University Press, 1991.
• Tognini-Bonelli, Elena. Corpus Linguistics at Work. John Benjamins, 2001.
• Biber, Douglas. Variation across Speech and Writing. Cambridge University Press, 1988.
• Zipf, George Kingsley. Human Behavior and the Principle of Least Effort. Addison-Wesley, 1949.