跳转到内容
← 返回研究前沿
评估与生成式系统2020s约 8 分钟阅读

生成式模型之后评估还在测什么

What Assessment Still Measures after Generative Models

生成式模型评估效度UNESCO家庭作业

2023 年 9 月 7 日，联合国教科文组织发布《教育与研究中的生成式人工智能指南》。它不是一份课堂提示词手册。它把问题写成：公开可用的生成式工具迭代速度快过大多数国家的监管，学校几乎还没有制度去核对这些工具。同系列调查覆盖四百五十所以上学校与大学，当时只有不到 10% 已有关于生成式应用的正式政策或指南。大学略高于学校（约 13% 对约 7%）。开放问题不是“禁不禁某款聊天机器人”，而是：当作业文本可以被模型起草，原有试卷与论文到底还在对什么构念做推断。

本条目不写提示词、不写侦测学生是否使用了模型的操作步骤，也不提供监视设计。它写评估条件在 2022 年之后被改了哪一层，以及政策文本改了什么、没改什么。

破除误解

  1. 误解第一个误解，是把生成式工具写成已经让所有考试作废。

    实情作废论假定原评估测的是「独自在空白页上生成完整成稿」。许多评估从来不是这个构念：有的测口头解释，有的测实验记录，有的测在规定资料里做选择。模型改变的是某些家庭作业作为独自成稿证据的价格。价格变了，不等于所有推断都死了。死掉的是未加声明的独自性假设。

  2. 误解第二个误解，是机构已经有了政策。

    实情2023 年那次全球调查的要点恰恰相反：不到一成。约两成受访者甚至不确定自己的机构有没有政策。不确定本身就是制度真空的证据。后来针对教科文教席与姊妹网络的调查显示，近三分之二的高等教育机构已经有或正在起草人工智能使用指南。那是另一组样本，不能回写到中小学，也不能写成 2023 年已经完成的全球准备。

  3. 误解第三个误解，是指南等于已经知道怎么评分。

    实情教科文 2024 年又发布学生与教师的人工智能能力框架。框架列的是能力，不是一份可直接粘贴的评分细则。把能力框架当成已经解决效度，会跳过测量学：你到底要从这份作业推断什么，证据有多脏。

现场：被改价的是独自成稿，不是「理解」这个词

2022 年底之后，可公开使用的大型生成式模型让流畅文本的边际成本下降。家庭作业若仍把流畅完整的段落当成学会的主要证据，证据就被稀释。稀释不是道德丑闻的同义词。它是测量条件变化。教师若改口试、过程稿、当堂书写或实验记录，是在换证据面。换证据面是评估设计。用侦测软件去恢复旧的独自性假设，是另一条路。本平台不提供后一条的操作说明。

教科文指南把最低独立使用年龄写成 13 岁，并要求保护数据与隐私。年龄线是政策选择，不是发展心理学已经量完的阈值。选择应被公开争：过低会把儿童对话数据送进模型；过高会把已经在校外使用的学生写成制度看不见的人。争的是监护与数据，不是提示词技巧。

评估的核心句子仍是：分数是对特定任务、特定时间的推断。生成式条件改变的是任务。若任务仍要求带回家的长文，而家中工具已经能起草，推断对象就从「学生能否组织论证」滑向「学生能否获得并粘贴流畅文本」。两者都可以被叫做写作。它们不是同一个构念。本域已有的评估即推断篇必须和这条前沿对读。

高收入国家的中学与大学最先感到作业市场被改价，因为设备与账号更密集。这不等于全球南方没有使用，也不等于使用率已经被一次全球调查量完。没有全国样本时，把个别国家的作业调查写成人类学生的普遍行为，会重复学习贫困那条假全球曲线的错误。

谁在做、做到了哪一步

教科文组织把生成式工具写成需要公共审议的教育政策对象，而不是学校可以私自采购的中性文具。2023 年指南给出监管步骤：数据保护、年龄限制、教师准备、长期政策。步骤是议程。议程没有编制和评估蓝图，就只是声明。

能力框架试图把「学生该知道人工智能做什么、不该把输出当成已核事实」写成可教条目。可教不等于可测。若考试仍是带回家的论文，能力框架会停在选修讲座。若考试改成当堂论证或实验，框架才可能被任务接住。接住是课程与评估的联合设计，不是软件功能。

若干大学选择监管路径：把重点放在识别未声明使用并处理后果。另一些选择迭代路径：咨询师生、把人工智能素养写成一年级必修、同时改评估。两条路径都真实存在。把其中一条写成唯一科学，会取消制度选择。本条目不评价哪一条更方便管理。

代价与争议

把生成式使用一律写成作弊，会把家中资源差异写成品德。能稳定获得工具的学生与不能的学生，面对同一条禁令时成本不同。把生成式使用一律写成进步，则会取消构念：你不再知道作业还在测谁。

教师劳动被改写了。备课、反馈和学术诚信程序都可能变长。变长不是自动提高学会。它首先是时间再分配。平台若把批改外包给模型，又会把评分标准锁进不可见的提示。锁进提示的标准更难被学生争。争不了的标准不是形成性评价，是黑箱。

未知的边界

  • 当堂与过程证据能否在大规模系统里替代带回家的成稿，而不把评估再次压成选择题？
  • 能力框架进入课程之后，高利害考试蓝图会不会仍只认旧构念？
  • 没有正式政策的学校里，实际使用率与家庭资源如何分布？现有调查无法代表全球儿童。
  • 监管路径与迭代路径，谁会在五年后留下可核对的学习证据，而不只是合规文档？

跨域连接

  • 评估是推断：分数从来不是能力本身。生成式条件逼人把「独自成稿」从隐藏假设写成必须声明的任务特征。不声明时，流畅文本会被读成学会。读成学会之后，家庭资源差异会进入品德鉴定。鉴定看起来像诚信，其实是未改写的构念。
  • 生成式模型改变的是条件：工具改的是作业市场的价格，不是自动改写了理解。条件变化要被写进评估说明，而不是只写进禁令。说明可以很短：这份作业是否允许模型起草、过程稿算不算证据。短，但必须公开。公开之后，学生才知道自己在被测什么。
  • 教育技术在记录什么：过程稿与日志可以成为新证据，也可以成为新的监视材料。记录不是中性。谁有权看草稿、草稿保存多久、错误会不会进入档案，都应能被产品说明对质。对质失败时，形成性评价会滑向永久性标签。
  • 大语言模型：流畅文本的边际成本下降，是模型能力，不是教育学已经有了新的效标。能力可以让草稿变快。变快不证明论证结构已经被学生拥有。拥有仍要在换证据面之后重新推断。推断不能外包给模型自己的通顺。
  • 问责：学校政策真空会被考试问责填满。填满时，最容易被牺牲的是尚未被写成正式构念的口头与实验证据。问责喜欢可存储的文本。可存储的文本现在最便宜。便宜会倒逼评估回到带回家的长文，除非机构主动改任务。

参考文献

  • UNESCO. Guidance for Generative AI in Education and Research. 7 September 2023.
  • UNESCO. “UNESCO survey: Less than 10% of schools and universities have formal guidance on AI.” 2023 年对四百五十所以上学校与大学的调查报道。
  • UNESCO. AI Competency Framework for Students；AI Competency Framework for Teachers. 2024.
  • UNESCO. Recommendation on the Ethics of Artificial Intelligence. 2021.

延伸阅读

  • UNESCO. AI and Education: Guidance for Policy-makers. 2021.
  • UNESCO. 针对教席与姊妹网络机构的后续调查：近三分之二已有或正在起草人工智能使用指南（样本不是全球中小学）。