语料库是有设计的语言样本
语料库不是把能找到的文本堆在一起，而是按研究目标采集、记录来源并可系统检索的语言资料。它可以包含书面文本、对话录音、手语视频、儿童纵向记录或历史手稿，每种媒介都有不同抽样和转写问题。
规模大不能补救来源不明。十亿条社交平台帖子可能只代表有设备、愿公开、通过平台筛选的一部分使用者；几百段精细田野录音反而更适合研究互动结构。
总体与样本必须明确
若问题是“当代城市青年怎样使用某词”，语料应覆盖城市、年龄、场景与时间；若数据只有报纸，结论只能关于新闻书面语。目标总体、抽样框和实际样本之间的差距需要公开。
便利样本并非不可用，但不能伪装成语言整体。研究者应报告来源比例、缺失群体、重复内容和平台机制，并用分层或加权评估结论是否依赖某一体裁。
代表性不是一次完成的标签
语言持续变化，所谓平衡语料只在特定时期和目标上平衡。小说、新闻、课堂、家庭和客服的频率分布不同，没有一套比例适合所有问题。
更实用做法是记录设计维度，让使用者按问题重组子语料。覆盖范围、可比性和采样透明度比宣称“代表自然语言”更可审计。
口语与手语需要多层转写
录音转写要决定重叠、停顿、截断、非词声音和方言形式怎样表示；手语视频还需时间对齐手形、非手部标记、指向空间与双手活动。标准正字法会提高检索，却可能抹掉研究对象。
因此常同时保存外交式转写、规范化层、词素分析和媒体时间码。每层都是分析，不应覆盖原始记录。标注指南和版本历史使其他人知道差异从哪里产生。
分词不是所有语言的简单空格切割
汉语、日语和泰语词间通常无空格，黏着与多式综合语言的一个正字法词可包含许多语素，英语缩写和连字符也有边界争议。token、word、lemma 和 morpheme 必须分层定义。
统计词频前要说明单位。不同分词器会改变长尾、搭配和模型输入，跨语言“词数”若单位不同就不可直接比较。
词形还原与词性标注加入理论
lemma 把屈折形式归到词典项，词性标签把形式按句法分布分类。自动工具可大幅扩展规模，但在歧义、方言和低资源语言上误差集中。标签不是原始事实，而是标注体系的理论选择。
抽样人工校验应按类别与群体报告精确率、召回率和一致性。只给总体准确率会掩盖稀有但关键形式几乎全错。
一致率不能证明标签正确
两位标注者高度一致，可能共同遵循清楚规范，也可能共同误解。低一致则可能表明类别连续、指南不足或数据本身有歧义。Cohen’s kappa 等指标校正偶然一致，但受类别不平衡影响。
合理流程包括独立标注、分歧讨论、指南修订、保留不确定标签和外部专家复核。强迫每个实例进入单一类别会制造虚假确定性。
频率要有分母和离散度
原始出现次数随语料规模变化，常换算为每百万词频率。但同一总频率可能来自每篇文本少量出现，也可能集中在一个作者或事件。离散度和文档频率揭示分布广度。
历史比较还要控制语料规模、体裁和拼写变化。某词频率上升可能只是新闻主题改变，不一定表示所有说话者词汇改变。
关键词比较依赖参考语料
关键词分析找出目标语料相对参考语料异常高频形式。结果由参考集决定：科学论文对日常对话会突出术语，对同领域旧论文则可能突出时代变化。
对数似然、卡方和效应量回答不同问题。大语料中极小差异也会显著，研究者应同时展示频率、比例、离散度和上下文。
搭配衡量共同出现的非随机性
“强烈支持”比“强烈面包”自然，因为词在窗口或句法关系中有稳定搭配。互信息偏爱稀有专门组合，t-score 更突出高频稳定组合，logDice 便于跨语料比较。没有唯一最佳指标。
窗口大小和方向改变结果，线性邻近又不等于句法关系。研究应展示 concordance 实例，确认统计关联是否对应同一意义和构式。
索引行把统计带回语境
关键词上下文索引按中心词排列前后文本，帮助观察模式、语义韵和例外。只读前几十行可能受排序偏差，最好随机抽样、分层并记录编码规则。
定量模式与定性细读不是对立。前者发现分布，后者检验同形异义、引语和讽刺，二者往返形成更可靠解释。
语法构式需要搜索代理
有些构式可用词序直接检索，另一些需要词性、依存或语义标注。搜索式的召回和精确度决定得到什么，研究应公开查询并抽查漏检与误检。
Universal Dependencies 提供跨语言词性、形态与依存框架，便于比较，但“通用”标签仍允许语言特定细化。统一标注提高可比性，不应抹去本地语法分析。
跨语言语料比较有单位与翻译问题
平行语料将翻译文本对齐，可研究对应表达和机器翻译；可比语料选择相似体裁但非同一内容。翻译会产生简化、显化和源语言干扰，不能当作自然产出的无偏样本。
词、句和文档长度在语言间不可直接换算。比较应选择语言学上等价单位，报告翻译方向与译者背景，并用本地原创语料复核。
历史语料要处理拼写与保存偏差
早期文献常只有精英书面体，材料保存受气候、制度和数字化选择影响。拼写未标准化，同一词有多种形式；现代 OCR 又会在旧字体和污损处系统出错。
规范化提高检索，但必须保留原形和映射。频率断点可能来自印刷、档案或 OCR 变化，不应直接解释为语言突变。
网络语料受平台算法塑造
搜索引擎结果、推荐流和 API 限额不是随机抽样。删除、封号、机器人、转帖和地域访问会改变可见内容。平台条款还可能禁止重新发布或识别用户。
抓取时应记录日期、接口、查询和去重方法，最小化个人数据，并避免引用可反搜的敏感句子。公开帖子不等于无限研究同意。
统计模型要尊重文本聚类
同一作者和文档内实例相关，简单把每个词当独立观察会夸大样本量。混合效应模型、分层抽样或文档级置换可处理聚类。时间序列还要考虑自相关。
模型特征应与可解释构念对应，避免把作者身份、体裁和语言变量混在一列。稳健性分析可改变窗口、分词和子语料，检验结果是否稳定。
语料频率不自动等于心理表征
高频形式通常处理更快，但语料分布与个体经历、任务和记忆机制之间需要理论桥。相关频率可提出实验预测，不能单独证明大脑存储某结构。
反过来，实验室效应若在大型自然语料中几乎不出现，其生态意义也值得质疑。语料和实验应互相约束而非争夺唯一方法地位。
可复现语料研究需要版本化
语料会修订文本、标签和许可，查询结果必须绑定版本。代码、环境、查询、排除与随机种子应保存；无法公开的语料可公开派生统计和可在受控环境运行的脚本。
FAIR 原则强调可发现、可访问、可互操作和可复用，但“可访问”可包含受控条件。敏感语言数据不因开放科学而失去社群治理。
怎样审查一项语料结论
先问目标总体、采样来源和时间，再检查分词、标注、查询与错误率。随后确认统计分母、离散度、聚类和效应量，并阅读足够上下文排除同形异义。
最后判断结论是否超出语料：从“新闻中更常见”跳到“人们更相信”，中间还需要心理或社会证据。好的语料研究让每一步选择都能被重跑和挑战。
跨域连接
- 统计学 与 概率论：语料库的核心方法论问题——总体与样本、代表性、离散度、多重比较——全部是抽样统计的问题。语料库语言学的争议往往不是语言学争议，而是「这个样本能支持这个推论吗」的统计争议。文本还违反了独立同分布假设（同一篇文章内的词高度相关），这使朴素的显著性检验系统性高估证据强度。
- 大语言模型：训练语料的代表性问题，与语料库语言学讨论了几十年的抽样问题是同一个问题——只是规模变了、而对总体的说明变少了。语料库研究要求写清收录标准与版本，这套规范恰恰是当前大模型训练数据最欠缺的。
- 计算语言学：分词、词形还原、词性标注都不是中立的预处理，每一步都把某种语法理论固化进了数据。标注一致率高只能说明标注者受过同样的训练，不能说明标签正确——这一点在用标注数据训练模型时会被继承下去。
- 社会语言变异：语料频率的差异要归因于社会变量，前提是元数据（说话人年龄、地域、场合）本身可靠。缺少元数据的大语料，能回答「什么常见」，无法回答「谁在这么说」。
- 心理语言学加工：语料频率与心理表征之间隔着一层——常见不等于易得，罕见也不等于难加工。频率效应要成为心理学结论，需要反应时或眼动数据来独立验证。
参考文献
- McEnery, Tony, and Andrew Hardie. Corpus Linguistics: Method, Theory and Practice. Cambridge University Press, 2012.
- Gries, Stefan Th. Statistics for Linguistics with R. 2nd ed., De Gruyter Mouton, 2013.
- de Marneffe, Marie-Catherine, et al. “Universal Dependencies.” Computational Linguistics 47.2 (2021). 项目
- Bird, Steven, and Gary Simons. “Seven Dimensions of Portability for Language Documentation.” Language 79.3 (2003).