“支持一百种语言”不是一个能力结论
模型页面列出语言名称，可能只表示训练语料中出现过字符，也可能表示在某项翻译基准上测试过。聊天、检索、语音、事实问答、代码混合和安全判断需要不同数据；标准语表现也不能代表方言和另一套文字。
因此多语能力必须写成“哪个模型版本，在什么变体、文字、领域和任务上，以什么指标和人工审查得到什么结果”。一个总分会隐藏最需要关注的失败。
低资源描述基础设施而非语言
语言并不天然拥有“低资源”属性。可数字化文本、平行语料、词典、键盘、标注人员和计算投资由殖民历史、教育政策、版权和市场共同决定。使用者多也可能缺少公开数据，人数少的社群则可能有高质量自主管理档案。
把问题说成“这些语言数据太少”，容易把责任推给使用者。更准确的问题是：哪些机构没有投资、现有材料为何不能授权、什么数据应保持受限，以及任务是否真的需要大模型。
字符可编码只是第一层
Unicode 让文本可交换，但字体缺字、键盘难用、规范化不一致和搜索分词仍会阻断使用。同一视觉字形可能有不同字符序列，组合附标也可能被系统错误删除。
模型输入前的清洗若按英语假设运行，可能把声调、元音长度或词边界信息当噪声。评测应保留原始文本、记录规范化规则，并测试真实用户的输入方式。
分词器会制造“token 税”
子词分词器通常从高频训练数据学习词表。高资源语言的常见词可能只需一个 token，形态复杂或训练稀少的语言则被拆成许多片段。同样内容因此占用更长上下文、增加费用，也可能降低长距离处理性能。
比较模型时应报告每种语言的字符/token、字节/token、未知与破碎率，而非只看参数量。统一价格按 token 计费时，分词差异还会转化为现实访问不平等。
多语迁移既能帮助也会淹没
共享模型可让相关语言、共同文字或相似任务互相迁移，减少每门语言单独训练成本。高资源数据也可能主导梯度，使低资源语言表示退化，即所谓多语容量竞争。
迁移不是只由语系决定。文字、领域、标注方案和数据质量都会影响；政治上被分成不同名称的变体也可能共享结构。实验要比较单语、区域多语和超大多语基线，并按具体语言报告，而不是宣布普遍正迁移。
平行语料不是天然金标准
翻译数据可能来自宗教、政府或新闻，领域狭窄且带制度语言。自动抓取会错配句子，转译文本还可能保留源语言结构。专业翻译质量高，却需要合理报酬、版本管理和社群许可。
一个参考译文也不是唯一正确答案。礼貌、性别、证据来源和文化称谓可能有多种可接受处理；只按 n-gram 重叠会惩罚合理变体，也可能奖励流畅但意义错误的输出。
FLORES 扩大覆盖但不是现实世界
FLORES-101/200 通过多语对齐和专业翻译，使大量低资源语言可以在同一框架比较，这是重要基础设施。其句子来源、体裁和参考翻译仍限定可支持的主张。
基准高分不证明医疗会话、口语拼写、代码混合或地方知识可用。部署前需要目标领域数据、母语人工评估和错误后果分层。基准应成为起点，不是认证章。
自动指标会继承评测语言偏差
BLEU 看表面重叠，神经指标依赖另一个预训练模型。若评测模型本身较少见过目标语言，它对语义相似的估计可能更差；用大模型当裁判又可能随提示语言改变标准。
应报告多个指标与人工评价的一致性，公开裁判模型版本，并对姓名、否定、数量、术语和省略做错误类型分析。平均分相同的系统，关键事实错误可能完全不同。
“文化知识”不是静态问答表
节庆、亲属关系、饮食和礼仪在地区、世代与群体内部有差异。把一条答案标为整个文化的正确答案，会把内部争论抹平。模型背出事实也不表示理解何时可说、谁有资格说。
文化评测要由相关社群参与定义，允许多答案、语境和拒答，并记录题目来源。不得用模型生成的刻板印象再作为训练真相。
安全系统也可能语言不平等
内容审核在英语表现良好，可能在其他语言中过度拦截身份词、漏掉隐晦威胁，或把代码混合当异常。直接翻译到英语再审核会丢失语用、讽刺和地方政治语境。
安全评测需同时测误伤和漏检，并由熟悉语言与社会环境的人审查。风险阈值要与使用场景相连，不能把少数语言默认置于更严格或更宽松的自动规则。
Masakhane 展示参与式研究路径
Masakhane 的非洲机器翻译研究把本地研究者、语言使用者、开源代码和具体语言数据组织在一起。其价值不仅是增加语言数量，还在于改变谁提出问题、谁能维护系统和知识如何回流。
参与式不等于邀请一位翻译员在项目末尾验收。社群应参与任务选择、数据治理、指标、署名和收益，并拥有不同意某种用途的权力。
数据同意必须沿模型链传播
网页可访问不等于作者同意训练，公共档案也可能限制商业、生成或神圣知识用途。数据经过清洗、合并和模型训练后，撤回和溯源更困难。
数据说明应记录来源、许可、社群限制、标注劳动和派生版本。若无法满足撤回或访问控制，就不应先复制再讨论治理。合成数据也不能洗掉原始模型和提示中的权利问题。
大模型可能伤害复振也可能提供工具
拼写建议、语料检索、教师备课和受控翻译可以降低工作负担；错误生成、伪造传统表达或把受限知识外泄则会损害信任。模型流畅尤其危险，因为学习者难以识别语法与文化错误。
复振项目应优先选择可核对、可纠正的小任务，让来源与置信边界可见。是否公开模型、谁能访问、输出能否进入教材，都由社群治理，而非由技术团队按规模决定。
开放模型不自动等于公平
BLOOM 等开放协作模型提高了训练过程和多语数据的透明度，使更多研究者可审计与复用。权重开放仍需要算力、带宽和专业能力，也不消除训练数据许可与性能差异。
评价开放性要分层：代码、数据说明、权重、训练日志、评测和使用许可分别开放到什么程度。一个标签不能替代具体可访问条件。
多语模型的能力应按矩阵报告
最小报告矩阵以语言/变体和任务为两轴，补上文字、领域、分词效率、样本量、指标、人工审查者和置信区间。对高风险任务还要列关键错误率、拒答和人工升级流程。
矩阵空白必须显示为“未评测”，而非默认继承其他语言成绩。语言之间的平均值不应掩盖任何一门语言没有基本可用性的事实。
从排行榜转向可持续基础设施
一次竞赛可迅速增加模型，却可能没有维护者、更新语料和用户支持。长期价值来自本地研究培训、数据协议、工具链、算力渠道和可延续资助。
较小的区域模型有时更易部署、审计和离线运行。模型选择应同时比较质量、延迟、能源、设备、隐私和维护，而不是把规模当进步唯一方向。
怎样审计一项多语 AI 主张
先核对语言、变体、文字、任务和版本；再检查训练与评测数据是否独立、分词成本是否公平、指标是否经母语者验证。随后测试领域变化、代码混合、姓名与关键事实，并公开未评测格。
最后追问治理：谁定义任务、谁提供劳动、谁控制数据、谁承受错误、谁能停止部署。真正的多语 AI 不是让同一个模型勉强输出更多语言，而是让不同语言社群获得可用、可问责且可自行塑造的技术。
破除误解：模型能翻译，不等于它「懂」这两种语言
多语言模型在翻译与跨语言问答上的表现很容易被读成「它掌握了这些语言」。这个推论跨过了几个需要分开检验的问题。
第一，性能在语言之间极不均衡。 高资源语言（英语、汉语、西班牙语等）与低资源语言之间的差距通常很大，而基准测试往往集中在前者。一个模型「支持一百种语言」这句话，几乎总掩盖着一条陡峭的质量曲线。
第二，跨语言迁移的机制尚未搞清。 模型确实表现出把在一种语言上学到的能力迁移到另一种语言的现象，但这是因为学到了某种语言中立的表征，还是因为训练语料里存在大量隐含的平行文本与代码切换，目前没有定论。两种解释对「模型是否理解语言」给出完全不同的答案。
第三，评测本身有偏。 大量多语言基准是从英语数据集翻译而来，因此保留了英语的话题分布、文化预设与句式结构——在这类数据上得高分，可能只证明模型擅长处理「翻译腔的英语思维」，而非掌握目标语言的实际用法。
第四，也是对语言学最相关的一点：模型的错误模式与人类学习者不同。它可能产出语法完美但语用失当的句子，或在低频形态上突然崩塌。这些差异本身是数据——它们提示模型学到的东西与人类的语言知识在结构上不同，而不只是量上不足。
跨域连接
- 大语言模型与注意力机制与 Transformer：多语言能力的技术前提是子词切分（subword tokenization）与共享表征空间。值得注意的是，分词器对不同语言并不公平——形态丰富或非拉丁字母的语言常被切得更碎，同样的内容消耗更多 token，直接转化为更高的使用成本与更短的有效上下文。
- 语言类型学：类型学的价值在这里变得很实际——一个模型在语序、形态复杂度、书写系统上覆盖了多少类型，决定了它的泛化边界。只在少数几种类型上验证的结论不能外推。
- 濒危语言与复兴：AI 既可能成为复兴工具（语音转写、教材生成、语料整理），也可能加剧不平等——技术资源集中在已有大量数字文本的语言上。「数字化不足」正在成为语言消亡的新机制。
- 语料库语言学：模型训练语料的构成（来源、时期、体裁、清洗规则）决定了它的语言知识边界，而这些通常不公开。这使多语言模型的行为在方法论上难以被外部审计，与语料库语言学一贯强调的可溯源要求相冲突。
- 数字伦理：语言技术的覆盖差异会转化为信息获取、教育与公共服务的差异。决定训练哪些语言，实际上是在分配数字时代的语言权利。而这一决定通常由商业可行性作出：语言的使用人数与其使用者的付费能力并不相关，因而市场机制系统性地遗漏了一批人口众多但收入低的语言。
参考文献
- Joshi, Pratik, et al. “The State and Fate of Linguistic Diversity and Inclusion in the NLP World.” ACL 2020. ACL Anthology
- Nekoto, Wilhelmina, et al. “Participatory Research for Low-Resourced Machine Translation.” Findings of EMNLP 2020. ACL Anthology
- Goyal, Naman, et al. “The Flores-101 Evaluation Benchmark.” TACL, 2022. ACL Anthology
- BigScience Workshop, et al. “BLOOM: A 176B-Parameter Open-Access Multilingual Language Model.” JMLR, 2023. JMLR
- Longpre, Shayne, et al. “You Reap What You Sow: Bias Evaluation under Multilingual Settings.” BigScience Workshop, 2022. ACL Anthology