跳转到内容
← 返回教育技术
教育技术乔治·西门子、瑞安·贝克、本·威廉森、尼尔·塞尔温约 15 分钟阅读

学习分析是推断

Learning Analytics Are Inferences

学习分析预警仪表盘学习管理系统模型

2010 年代前后,学习分析作为一个研究与产品领域被明确命名:从教育数据中提取模式,以理解与优化学习。乔治·西门子等人强调循环:收集、分析、干预、再收集。瑞安·贝克一系把学生模型、游戏化学习与情感检测写成可实验的任务。名字很新。逻辑不新。评估作为推断已经说过:观察不是属性。点击更不是属性。

记录篇写系统保存了哪些事件。本篇写下一步:模型如何把事件翻译成风险、掌握或参与。翻译是解释。解释必须点名假设。本域不写如何更完整地采集未成年人行为,也不把仪表盘写成解放或异化的命运。

破除误解

  1. 误解第一个误解,是分析发现了真实学习。

    实情发现的是对历史日志的拟合。未进入日志的草稿、沉默和设备故障,不会被发现。抽样先于洞察。

  2. 误解第二个误解,是预警越早越科学。

    实情早可以争取时间,也可以更早地把贫困、语言少数和设备缺口标红。历史含有的偏见会被加速重放。机器学习概观已经警告过:预测成功不等于解释。

  3. 误解第三个误解,是教师反对分析等于保守。

    实情抵制可能针对错误的构念、针对没有资源的预警、针对被用于处分的颜色。把抵制写成心理类型,是劳动问题的心理化。

核心:从事件到颜色,中间有模型

分析的合法句子是:给定这些可观察事件,模型估计某种未观察状态,并建议一种行动。事件可能是提交时延、视频暂停、讨论区字数。状态可能被叫做投入、掌握、退学风险。行动可能是发邮件、分到题库、约谈。三步都必须被拆开。产品界面喜欢把三步压成一颗红点。红点看起来像发现。

效度论证在这里完全适用。你解释成投入,就要说明暂停不是因为带宽。你拿它来约谈,就要说明约谈有资源且不羞辱。你声称减少退学,就需要对照,而不是前后对比里的回归平均。因果推断与学习分析的会议论文经常比采购演示诚实。采购演示卖的是颜色。

公平问题在特征选择时已经开始。若模型使用邮政编码、设备类型或夜间登录,它可能把家庭时间与贫困当成风险。经费公式已经决定谁有设备;分析随后把没有设备的人写成不活跃。可教性被自动化。威廉森把教育数据化写成治理对象的发明。对象一旦可治理,学校就被要求生产它。

现场里,分析显形为缺勤热力图和“需关注”名单。名单会吸引稀缺谈话。确认偏误会让教师更看见自己本来担心的人。名单也可以成为资源请求的证据。两种用途都存在。差别在于:颜色之后有没有编制,以及学生能否看到并争自己的画像。看不见的画像,权利只写在法律里。

生成式模型进入课堂后,日志会更像对话。流利的机器句子会抬升虚假信心,也会让“掌握”更难从文本长度去读。下一篇写生成式条件。这里只需警告:把对话长度当成参与,构念会立刻被表演攻破。学生会学习对模型说话。那是新的 IRE。

涉及儿童数据的分析研究应核伦理审查、法定监护人同意与删除。本篇讨论已发表的领域与产品主张,不提供如何训练识别学生的模型,也不写监视步骤。

因此,采用学习分析应先写推断清单:事件、假设、行动、审查周期。清单能被合同与测验标准对质。个性化叙事不能。塞尔温要求写具体系统。抽象控诉与抽象颂歌都避开推断这一层。

把分析写成推断,教师需要看见特征,而不是只看见颜色。看不见特征,专业判断无法反驳模型。外包判断之后,课堂剩下催促。催促很像关怀,却没有解释。自适应系统已经演示过这种形状。分析仪表只是换了涂层。

学生争画像的权利,决定推断能否被校正。若只有教师看见红点,错误标签会进入档案并自我证实:被约谈的人更焦虑,登录更少,颜色更红。循环必须能被切断。删除与更正必须是按钮,而不是法律仪式。

干预资源必须写进分析方案。没有辅导员编制的预警,只是把焦虑分配得更早。颜色制造可见性,可见性没有资源就是羞辱。经费公式再次进入:谁买得起干预,谁的红点才可能变成帮助。买不起的学校仍会有仪表盘,因为仪表盘比编制便宜。便宜的可见性,会生产新的不公平。

学生本人能否导出日志,决定推断能否被外部审查。看不见的模型,问责只向上。向下的人无法争。隐私工程把访问控制写成属性。学校采购若只问预警准确率,等于把属性留给供应商。准确率本身也可能只是对历史偏见的拟合。两条都要在合同里出现。

特征若包含夜间登录,模型可能把家庭劳动与贫困写成风险。可教性再次被自动化。教师看见红点,却看不见特征,无法反驳。专业判断被涂层挡住之后,干预只会重复既有担心。打开特征,是让推断可争的最低条件。看不见特征的红点,只是把旧担心涂上颜色。

仪表盘上的颜色,是一种新的分数。克龙巴赫与米希尔 1955 年把构念效度写成公开问题:观察并不直接等于它所声称的心理属性。点击、暂停和讨论区字数,是观察。投入、掌握和退学风险,是属性。中间必须有理论:为什么这些事件能代表那种状态,以及哪些对抗性解释必须被排除。带宽故障、家庭劳动、代答和表演性发言,都是对抗性解释。界面把三步压成红点时,对抗性解释被藏起来。藏起来的论证,不是已经完成的效度。

本·威廉森把教育数据化写成治理对象的发明。对象一旦可治理,学校就被要求生产它:可着色的参与、可上传的掌握、可预警的风险。塞尔温要求写具体系统与合同。抽象颂歌会说分析发现了学习。抽象控诉会把一切仪表盘写成命运。两边都跳过推断清单。合法句子仍是:给定这些事件,模型估计某种未观察状态,并建议一种行动。三步都必须能被教师、学生与合同对质。

沙伦·斯莱德与保罗·普林斯卢 2013 年把学习分析的伦理写成困境,而不是写成事后补丁。透明可能变成家庭监视。不透明可能让处分无法被质疑。最小化要求先问:这份日志是否必须存在,才能支持声称的干预。先堆日志再谈伦理,顺序已经错了。欧盟 2024 年人工智能条例附件三,把评价学习结果并引导学习过程、以及评估适宜教育水平写成高风险用途。预警一旦接到分班、留级或处分,法律对象就变了。第 2026/1744 号条例把这一档义务的适用日改写到 2027 年 12 月 2 日。推迟不是废止。本篇不写如何训练识别学生的模型。要写的是:颜色进入权利分配时,推断必须可争。

乔治·西门子一系强调循环:收集、分析、干预、再收集。循环看起来像科学。它也可以是自我证实:被约谈的人更焦虑,登录更少,颜色更红。没有切断循环的删除与更正,分析就在生产它声称发现的风险。瑞安·贝克一系把学生模型写成可实验的任务,这比采购演示诚实。实验仍要问构念:你的标签是不是课程真正在乎的状态。准可以只是把昨天的分流更快重放。重放分流仍然可以很准。它仍然不是公平。

争议

争议的第一线,是早期预警的净效应。有对照研究显示及时干预有用,也有研究显示标签伤害。效应取决于解释者与资源,不取决于仪表盘品牌。

第二线是学生代理。完全透明可能变成家庭监视;完全不透明可能让处分无法被质疑。边界是政策,不是技术必然。

第三线是开源。公共模型仍可能过度采集。所有权不等于克制。克制要写进最小化。

第四线,是早期预警该不该进入档案。有对照研究显示及时干预有用,也有研究显示标签伤害。效应取决于解释者与资源,不取决于仪表盘品牌。没有辅导员编制的预警,只是把焦虑分配得更早。颜色制造可见性。可见性没有资源就是羞辱。经费公式再次进入:谁买得起干预,谁的红点才可能变成帮助。买不起的学校仍会有仪表盘,因为仪表盘比编制便宜。便宜的可见性,会生产新的不公平。

学生本人能否看见特征、导出日志并争画像,决定推断能否被校正。完全透明可能变成家庭监视。完全不透明可能让处分无法被质疑。边界是政策,不是技术必然。斯莱德与普林斯卢把这写成必须公开谈判的困境。合同若只问预警准确率,等于把构念与用途留给供应商。准确率本身也可能只是对历史偏见的拟合。两条都要在合同里出现。出现之后,仍要有人有时间读。没有共同备课时间的分析,只会变成新的催促涂层。

梅西克把后果算进效度。预警一旦改变谁被约谈、谁被放弃,分数所代表的东西已经变了。若仍用“发现风险”的旧名字,论证就破了。西门子循环里的再收集,可能只是把第一次标签的后果再测量一次。那不是独立证据。那是循环。切断循环的按钮必须存在:更正、删除、以及把颜色从处分用途里拿掉。没有按钮的权利,只写在法律仪式里。

形成性评价若被折算进总分,名字保留、使用改了,效度不能自动继承。学习分析把形成性涂成颜色时,同样的破裂会发生。教师若不能看见特征,就无法用专业判断反驳。外包判断之后,课堂剩下催促。催促很像关怀。它没有解释。凯恩要求每次高利害使用单独再论证。课堂可视化的解释,不能自动升级为留级决定。升级是新的使用。过宽的使用是最常见的无效。

瑞贝卡·弗格森 2012 年把学习分析的驱动力、发展与挑战写成领域自述。驱动力常常是问责与留存。挑战常常是构念与伦理。采购演示卖的是颜色。会议论文更常承认:相关的风险分数不能直接问责教师。因果推断要求比前后对比更硬的设计。没有对照的下降,不能拿来处分。威廉森提醒:可治理对象一旦被发明,学校就会被要求生产它。生产可着色的参与,会把沉默的理解赶出证据位。

开源模型仍可能过度采集。所有权不等于克制。公共基础设施若默认留存,未成年人会得到一份更完整、也更难遗忘的档案。完整对问责官员有利。对需要被遗忘的人往往有害。遗忘权与教育记录法之间的缝,必须被公开。个性化叙事最擅长把缝盖住。本篇不提供如何训练识别学生的模型,也不写监视步骤。克制要写进最小化、期限与可争的用途。

跨域连接

  • 机器学习概观:拟合历史不等于理解错因。把预测当教学解释,是范畴错误。准可以只是把昨天的分流更快重放。预测成功可以只是把昨天的分流重放得更快。重放分流仍然可以很准,仍然不是公平。使用一旦过宽,链条就会在决定处断开。
  • 隐私工程:最小化与目的限制必须在分析之前设计。先堆日志再谈伦理,顺序已经错了。默认留存会把推断变成终身档案。先堆日志再谈伦理,最小化已经来不及。默认留存会把一次推断做成终身颜色。观察与名字错位,是最常见的无效。
  • 确认偏误:红点吸引已经稀缺的谈话。数据看起来客观,使用仍是判断。未被着色的人会消失。红点会让未被着色的学生从谈话里消失。谈话被红点吸走,是一次谁配被教的再分配。课表不改,条件只能停在个别教师的缝里。
  • 问责:向上解释喜欢颜色。指标会反向生产可被着色的行为。问责语言会改课堂。颜色一旦用于向上解释,课堂会生产可着色的行为。可着色行为会排到不可着色的理解前面。装置若只留下表面,科学句子会被用过了代替。
  • 因果推断:干预若要声称有效,需要比仪表盘前后对比更硬的设计。相关的风险分数,不能直接问责教师。前后对比里的风险下降,不一定是干预造成的。没有对照的下降,不能拿来处分教师。安全与用途限制,是装置能生产知识的前提。

参考文献

  • Siemens, George, and Ryan S. J. d. Baker. "Learning Analytics and Educational Data Mining: Towards Communication and Collaboration." Proceedings of the 2nd International Conference on Learning Analytics and Knowledge, 2012.
  • Baker, Ryan S., and Paul Salvador Inventado. "Educational Data Mining and Learning Analytics." In Learning Analytics, edited by Johann Ari Larusson and Brandon White. New York: Springer, 2014.
  • Williamson, Ben. Big Data in Education. London: Sage, 2017.
  • Selwyn, Neil. Education and Technology: Key Issues and Debates. 2nd ed. London: Bloomsbury, 2016.
  • Cronbach, Lee J., and Paul E. Meehl. "Construct Validity in Psychological Tests." Psychological Bulletin 52, no. 4 (1955): 281–302.
  • Slade, Sharon, and Paul Prinsloo. "Learning Analytics: Ethical Issues and Dilemmas." American Behavioral Scientist 57, no. 10 (2013): 1510–1529.
  • Messick, Samuel. "Validity." In Educational Measurement, 3rd ed., edited by Robert L. Linn, 13–103. New York: Macmillan, 1989.
  • Regulation (EU) 2024/1689, Annex III, point 3. 评价学习结果、引导学习过程与评估适宜教育水平,一旦接入决定即属高风险用途。
  • Regulation (EU) 2026/1744. 附件三高风险义务适用日改写为 2027 年 12 月 2 日;以 EUR-Lex 现行合并文本为准。
  • Ferguson, Rebecca. "Learning Analytics: Drivers, Developments and Challenges." International Journal of Technology Enhanced Learning 4, no. 5/6 (2012): 304–317.

延伸阅读

  • 学校与供应商合同中的用途限制条款,应与仪表盘声称对照阅读。
  • Kane, Michael T. "Validating the Interpretations and Uses of Test Scores." Journal of Educational Measurement 50, no. 1 (2013): 1–73. 把预警从可视化升级为处分时,必须单独再论证使用。