计算语言学与自然语言处理

计算语言学研究可执行的语言模型#

计算语言学把语言假说写成算法、概率模型或形式系统，既可解释人类语言结构，也可构建分词、解析、翻译、检索和对话工具。自然语言处理更强调系统任务，两者重叠却不完全相同。

一个系统在任务上有用，不表示其内部机制等同人类；一个认知模型也未必适合生产部署。首先要说明目标是解释、预测还是工程效用。

Harris 1954 年提出分布结构：单位的异同来自它们能出现的环境。Firth 1957 年那句常被引用的话——由陪伴认识一个词——把同一思想写成方法。计算语言学后来把这句话变成可训练的目标，并不等于把 语义 还原成共现。工程上能用，和理论上解释得通，是两件要分开记账的事。

文本进入模型前已被表示#

计算机接收字符序列，系统再按字符、子词、词或字节切分。分词器决定词汇表和序列长度，常见子词算法把高频片段合并，让开放词汇可由有限单位组成。

分词不是中性预处理。黏着语言、无空格文字、拼写变体和低资源语言可能被切成更多碎片，增加计算成本并改变模型可学模式。应按语言报告压缩率和未知处理。

Sennrich 等人 2016 年把字节对编码引入神经翻译：高频字符对迭代合并，直到达到设定词表大小。WordPiece 与 SentencePiece 是同一家族的变体。汉语、泰语词间通常无空格，形态 丰富的语言一个正字法词可含许多语素。报告“每百万词”之前，先报告什么算一个词。

词袋模型保留频率却丢失顺序#

早期文本分类常以词频或 TF–IDF 向量表示文档，简单、可解释且在许多任务仍有竞争力。它忽略长距离顺序，却能作为强基线，防止复杂模型只利用主题词便被误称理解句法。

特征工程可加入字符 n-gram、词性和依存，但每项特征都嵌入语言假设。基线表现应与数据泄漏检查一起报告。

Karen Spärck Jones 1972 年把反文档频率写成：在许多文档里都出现的词，区分力更弱。词袋假设词序无关，这对主题分类常常够用，对 句法 几乎必然不够。一个至今仍有用的基线，作用是揭穿“更深的网络一定更懂结构”。

分布式表示从使用环境学习相似性#

词嵌入把词映射为向量，共现相似的词在空间中接近。向量能支持类比、聚类和下游任务，也会继承语料中的刻板印象、频率和体裁偏差。

一个词一个向量无法处理多义，上下文表示则随句子改变。几何接近是统计关系，不是完整词义或世界知识。

Mikolov 等人 2013 年的 word2vec，以及 Pennington、Socher 与 Manning 2014 年的 GloVe，让“国王−男人+女人≈王后”一类类比进入公共讨论。类比能演示几何，却不能当作语义理论。多义词被压成一个点，低频词被近邻噪声拉走，刻板关联则沿共现进入空间。上下文编码器后来让同一词形随句子改变向量，这是进步，不是已经把意义算清。

序列模型学习条件概率#

n-gram 模型估计前若干单位给定时下一个单位概率，透明但稀疏；循环神经网络和 LSTM 用隐藏状态压缩更长历史；Transformer 通过注意力并行建模位置间关系。

语言模型目标是预测序列，不预先保证真值、意图或因果理解。强大的序列预测可以产生有用表征，能力边界仍需任务与干预检验。

Shannon 1948 年已经用字母预测说明信息量。Hochreiter 与 Schmidhuber 1997 年的 LSTM 让循环网络能跨更长距离传递梯度。Bahdanau、Cho 与 Bengio 2014 年把注意力接到编码器—解码器上；Vaswani 等人 2017 年的 Transformer 去掉循环，在 WMT 2014 英德上报告 28.4 BLEU、英法上报告 41.8 BLEU。数字记录的是那次翻译任务，不是“已经理解语言”。神经网络 是函数族，不是心理模型的默认实现。

注意力不是自动解释#

Transformer 的注意力权重表示某层计算中信息混合比例，多个头、残差和非线性共同决定输出。高权重不必等于模型“关注理由”，改动权重也未必按解释预期改变预测。

可解释性需要反事实干预、探针控制、因果追踪和行为误差结合。彩色热图是分析线索，不是心理解释终点。

Jain 与 Wallace 2019 年在 NAACL 上论证：注意力权重与梯度一类重要性指标常常对不齐，改动权重也不一定改预测。Wiegreffe 与 Pinter 同年回应：也不能由此断言注意力毫无解释价值。争论的要点不是热图漂不漂亮，而是解释必须接受干预检验。把颜色当理由，等于把中间变量误认成因。

预训练与微调改变数据分工#

大规模自监督预训练从未标注文本学习一般表示，再通过监督微调、指令数据或偏好优化适应任务。这样减少每项任务的标签需求，却把训练语料来源、许可和偏差集中到基础模型。

模型卡和数据说明应记录用途、群体、语言、已知失败和评测。无法审计训练数据时，用户更难判断某种能力来自记忆、泛化还是泄漏。

Devlin 等人 2019 年的 BERT 把双向掩码语言模型做成可微调的通用编码器。Mitchell 等人 2019 年提出模型卡，Gebru 等人把数据说明书写成配套制度。二者针对的是同一缺口：规模把数据来源藏进一次预训练，事后很难再拆开记忆、泛化和泄漏。写不清训练数据，就写不清能力主张。

解析把句子映射为结构#

成分解析生成嵌套短语，依存解析连接中心词与依存词。Universal Dependencies 试图用共享标签支持跨语言比较，同时允许语言特定说明。解析器误差受句长、体裁和标注体系影响。

高总体准确率可能掩盖否定、长距离依存或少数语言构式失败。结构评测应按关系、距离和语言分解，并与人工一致上限比较。

Nivre 等人推动的 Universal Dependencies，用同一套依存关系标签覆盖上百种语言的树库。共享标签使跨语言比较成为可能，也迫使分析迁就标签。标注一致率 给出的是规范遵守程度，不是“金子般的句法事实”。总体依存准确率很高时，否定、并列和远距离依存仍可能集中失败。

机器翻译不仅替换词#

翻译系统要处理词序、形态、指称、语用和文化约定。神经翻译改善流畅度，却可能省略、增添或把不确定内容说得确定。参考译文也不是唯一正确答案。

BLEU 等指标比较 n-gram 重叠，适合系统级趋势但对语义与社会风险不充分。医疗、法律和濒危语言场景需要人工评估准确、术语、一致性和伤害。

Papineni 等人 2002 年提出 BLEU，用一到四元组和短句惩罚估计与参考译文的重叠。Callison-Burch 等人随后证明：BLEU 上升不必等于人工评价上升，尤其当系统已经相当流畅。COMET、chrF 等后来指标补的是语义与形态，仍不能代替术语与伤害评估。Bender 与 Koller 2020 年的章鱼测试把这一点说死：只见形式分布，不见世界，不能叫做理解。

生成式模型的流畅与真实性分离#

自回归模型优化下一个 token 概率，能生成连贯文本，也会在缺少证据时产生看似可信陈述。检索增强可提供来源，仍需验证检索相关性、引用是否支持结论和生成是否忠实。

把“幻觉”当偶发 bug 会低估目标结构。系统设计要允许拒答、显示不确定性、约束高风险动作并保留人工责任。

Lewis 等人 2020 年的 RAG 把检索接到生成上，使答案可以指向外部文档。检索到的段落不相关、引用不支持结论、生成改写过了头，这三步失败各自独立。大模型与语言学理论 能产出合乎语法的续写，训练目标里却没有“为真”。流畅是分布学习的结果，真实需要与世界的对应。

基准必须定义能力和污染边界#

基准把任务、数据和指标固定，促进比较，但模型可能见过测试数据，开发者也会对榜单反复调参。单一总分混合语言、难度和错误成本，不能代表真实部署。

应使用隐藏测试、时间后切分、对抗最小对照和外部场景验证。每次基准迭代都要说明测试的是记忆、模式匹配还是可迁移规则。

Wang 等人 2018 年的 GLUE 把多项英语理解任务合成一张表，随后 SuperGLUE 提高难度。总分便于排行，也便于被污染：爬取的网页、教科书和评测集副本一旦进入预训练，榜上的跃升就不再能解释。隐藏测试与时间后切分不是附加手续，是能力主张能否成立的条件。

探针能读出信息却不证明模型使用它#

线性探针若能从表示预测词性，说明信息可解码，不表示主任务决策依赖该信息。高容量探针甚至可自行学习任务。控制任务、最小描述长度和表示干预帮助限制解释。

认知比较同样谨慎：模型与人类在相同句子上表现相似，可能利用不同捷径。错误关联、学习曲线和资源限制比单点相关更有诊断力。

Hewitt 与 Manning 2019 年用结构探针从英语编码器中读出近似句法距离。Hewitt 与 Liang 同年用控制任务警告：探针自己也能学会标签，读得出不等于用得上。这与 实验语言学 的操作化要求是同一类纪律——指标要能排除替代过程，而不能只与故事相配。

低资源不是语言本身属性#

所谓低资源描述数字数据、工具和投资不足，不表示语言结构贫乏。殖民历史、标准化、许可、键盘和机构能力决定哪些语言进入训练集。把资源差异归因说话者人数会遗漏政治经济。

跨语言迁移和多语模型可帮助，但常偏向与高资源语言共享文字或结构的语言。评测应报告具体变体、文字和领域，而不只按语言名称汇总。

Joshi 等人 2020 年在 ACL 上把两千多种语言按有标注数据和维基规模分成六档，并指出世界上七千多种语言里只有很少进入 NLP 系统。说话者多不等于资源多：荷兰语与索马里语的人口并不自动决定树库和平行语料的数量。多语人工智能 若只在高资源文字上迁移，会把“语言无关”写成广告。

数据采集涉及许可、劳动与同意#

网页可访问不等于允许训练所有模型，语料中的作者、标注员和语言社群可能没有知情。敏感对话、临床记录和原住民知识需要更强治理，删除请求也应传播到派生版本。

数据说明应记录来源、许可、标注劳动、过滤和代表性。模型规模再大，也不能把权利问题变成技术细节。

Bender 等人 2021 年的 Stochastic Parrots 把规模、环境和未经同意的文本放到同一张风险图上。标注劳动、内容审核和低薪外包支撑了看似自动的管道。隐私工程 处理的是删除能否真正传到派生模型；规模本身不会把未授权变成已授权。

偏差评测需要从刻板印象走向分配后果#

词嵌入和生成模型会复现性别、族群、阶层与方言关联。模板测试可发现差异，却可能用外部群体标签制造不自然句子。真实风险还包括招聘排序、审核误杀和服务质量差异。

公平没有单一指标。应与受影响社群定义任务、错误成本和可接受权衡，分别报告性能与伤害，而不是用一个去偏分数宣布解决。

模板句能测出“她/他”与职业的共现倾斜，却测不出谁在真实系统里被拒绝贷款或被错误审核。人工智能伦理 要求把伤害写成分配后果：谁承担错误，错误成本是否对称。一个去偏分数不能代替这份账。

鲁棒性要覆盖分布变化#

模型在同来源随机测试集表现好，面对新时间、新平台、拼写、口音或专业领域可能下降。数据增强和领域适应有帮助，但每次部署仍需持续监测。

对抗样本揭示脆弱性，却不一定代表自然频率。鲁棒评测应同时包含自然变化、压力测试和最坏后果，并设回滚条件。

同分布切分会把记忆写成能力。换一年的新闻、换一种社交媒体习惯、换一种未被写入训练的专业术语，曲线就会掉。对抗攻击说明存在脆弱点；自然漂移说明脆弱点会自己找上门。

系统指标必须连接用户任务#

摘要 ROUGE、翻译 BLEU、分类 F1 和困惑度便于迭代，却只是代理。最终需要测用户能否更准确、高效和公平地完成任务，以及自动化是否改变工作负担与责任。

在线 A/B 测试也非价值中性，点击增加可能来自误导。高风险功能应优先离线安全评估、分阶段发布和事件审计。

信息检索 很早就知道：精确率上升不必等于用户找到了该找的东西。NLP 评测重复了同一课。点击、停留和点赞可以优化，也可以被标题党劫持。代理指标只负责迭代；责任指标必须另立一栏。

计算成本是模型选择的一部分#

训练和推理消耗能源、硬件、水和工程劳动，成本又决定哪些机构能研究与部署。更大模型可能提高平均指标，却增加延迟、集中化和环境负担。

报告参数、计算量、硬件、能耗估计和小模型基线，有助于评价边际收益。效率是科学与公共责任指标，不只是商业优化。

Strubell 等人 2019 年把深度学习的能耗写成政策问题，并提醒：神经架构搜索一类流程的排放，不能拿来当作“训练一个翻译模型”的账单。参数量和一次前向的计算量都要报告，否则边际收益无法比较。效率不是事后省钱，是谁有资格参加研究的门槛。

复现需要代码、数据和环境三者#

随机种子不足以保证深度模型完全确定，库版本、硬件和数据顺序都可能影响。应保存配置、依赖、检查点、数据版本与评测脚本，并报告多次运行方差。

无法公开模型或数据时，至少提供接口行为、模型卡和受控复核路径。不可复核的排行榜提升不能支持广泛能力主张。

同一脚本在不同 GPU 上得到不同小数，并不罕见。把一次运行的最高分写成能力，等于把硬件噪声写进理论。方差、失败案例和不可复现的条件，与平均数属于同一份报告。

怎样审查一个 NLP 系统#

先写清任务、用户、决策权和错误后果，再检查数据来源、分词、基线、泄漏和分组表现。随后区分离线指标、语言能力解释与真实用户效用，不让三者互相冒充。

最后测试分布变化、低资源语言、可访问性、隐私和失败恢复。优秀计算语言学不是只让模型生成更像人的句子，而是让模型假设、证据和社会边界都可被审计。

审查清单的最后一项常常被跳过：失败之后谁接手。拒答、降级和人工通道不是产品附加，是系统定义的一部分。

跨域连接#

• 注意力与 Transformer：注意力权重常被当作模型的解释，但权重显示的是信息流经哪里，不是模型据此做了判断。这与语言学里探针实验的教训一致：能从表示中读出句法信息，不等于模型在生成时使用了它。两个学科在这里犯的是同一个错误，也各自发展出了同一类反驳。
• 深度学习架构 与 机器学习：从词袋到分布式表示再到序列模型，每一步都在改变「语言被表示成什么」。架构的选择即是理论承诺——词袋假设顺序无关，注意力假设任意位置可直接交互，这些假设对语言是否成立，是语言学问题而非工程问题。
• 大语言模型：流畅与真实性分离，是这一代模型最需要向外解释的性质。生成合乎语法的句子与生成为真的陈述，本就由不同机制保证——前者可由分布统计习得，后者需要与世界的对应关系，而训练目标里并不包含后者。
• 统计学：基准评测的核心困难是统计困难：污染边界、多重比较、测试集与训练集的分布重叠。报告一个数字而不报告它的方差与污染检查，在统计上等于没有报告。
• 语料库语言学：低资源不是语言的属性，而是数据采集史的属性。语料库语言学关于抽样、许可与代表性的整套规范，正是当前大规模训练数据最欠缺的部分。

参考文献#

• Bender, Emily M., and Alexander Koller. “Climbing towards NLU.” ACL 2020. ACL Anthology
• Bender, Emily M., et al. “On the Dangers of Stochastic Parrots.” FAccT 2021.
• Mitchell, Margaret, et al. “Model Cards for Model Reporting.” FAT 2019.
• Joshi, Pratik, et al. “The State and Fate of Linguistic Diversity and Inclusion in the NLP World.” ACL 2020. DOI
• Vaswani, Ashish, et al. “Attention Is All You Need.” NeurIPS 2017.
• Jain, Sarthak, and Byron C. Wallace. “Attention is not Explanation.” NAACL 2019.

延伸阅读#

• Jurafsky, Daniel, and James H. Martin. Speech and Language Processing. 3rd ed. draft.