效度是一种论证

破除误解#

核心：解释、使用与后果必须分开写#

凯恩的论证思路很窄、很好用。先写解释：这个分数代表什么构念。再写使用：它将被用来做哪一种决定。再写假设：要从观察走到决定，中间需要哪些环节成立。最后写证据：哪些环节有数据，哪些只是希望。PISA 技术报告其实在做类似的事，尽管报纸只读排名。把报告当成文明地图，是跳过论证。

梅西克坚持把后果算进效度。高利害使用会改变教学，从而改变分数所代表的东西。洗刷一旦发生，你当初声称的构念可能已经被替换成“应试技能”。若仍用旧名字，论证就破了。形成性评价被折算进总分时，同样的破裂会发生在课堂尺度。名字保留，使用改了，效度不能自动继承。

公平不是额外的道德附录。若测验语言与教学语言不一致，分数差异可能来自介质。若轨道从未教过被测内容，分数差异来自剥夺。把这些差异写成能力，是无效的解释。智力理论与智商可塑性争论提醒：制度效果会被读成特质。测量论证必须主动挡这一跳。

现场里，效度显形为双向细目表、评分规则和“超纲”争议。细目表是作者的声称清单。评分规则决定哪些表现算证据。学生争论超纲，其实在争论解释是否被蓝图出卖。这些争论比“这次难不难”更接近测量学。必要难度可以是学习条件；考试难度若改变了构念，就不是同一句话。

平台掌握状态是一种新的分数。它由答题序列推断而来，却常被界面写成发现。学习分析篇会展开推断。这里只需要求：掌握两个字必须带上模型假设、题目是否测到技能、以及学生是否被旁人代答。没有这些，绿灯不是效度论证，是产品主张。

涉及心理测量与儿童的条目，本域只讨论构念与使用，不提供施测步骤或常模表。已发表的技术报告可以引用其结论与限制。把课堂变成未审查的量表工场，不是本篇内容。

因此，每次使用分数做决定，都应能用三句对质：你解释成什么，你拿它做什么，哪些环节没有证据。三句说不清，决定就过大。过大的决定会改人生轨道。轨道一旦改写，后来的分数会把改写当成发现。循环必须在论证里被切断。

把效度写成论证，要求每次高利害使用单独再论证一次。课堂小测验的解释，不能自动升级为录取决定。升级是新的使用，需要新的证据链。凯恩把这一点写得很窄。政策喜欢宽：一份分数支持所有决定。过宽的使用是最常见的无效。

后果进入论证之后，测量者不能说“我们只负责出题”。使用已经改了教学，教学改了分数的意义。继续用旧名字，是标签欺诈。形成性、掌握仪表和高利害录取，都要各自出示链条。名字共享不是继承。

平台掌握状态把论证自动化了。绿灯看起来像已经完成的效度。其实它把解释、使用和后果都藏进默认参数。教师若不能打开参数，就无法做专业反驳。判断被外包之后，课堂剩下催促。学习分析必须把链条重新写成人能读的句子。读不懂的效度，只是产品主张。

国际测评的等价问题，在国内跨语言、跨学制的考试里同样存在。用同一张卷子测不同教学语言的学生，需要额外论证。没有论证就把分数放进同一排名，是把测量当成政治方便。PISA 不是文明；国内总分也不是。两者都要出示链条。

评分者一致性压力，会把学校推向更容易一致的题型。一致提高信度，却可能缩小构念。贵的表现性任务被挤出之后，论证仍用旧名字。名字与观察再次错位。工时决定了你能负担何种效度。负担不起的论证，不能靠口号补上。

塞缪尔·梅西克一九八九年把效度写成对分数解释与使用的整体评价，证据与社会后果一起算。整体不是把所有批评都叫做效度。它是禁止测量者说我们只负责出题。使用已经改了教学，教学改了分数的意义。继续用旧名字，是标签欺诈。反对者认为后果属于政策伦理，把它们塞进效度会让测量学变成无限政治。赞成者认为分开只会让最有权的使用者独占科学一词。争论必须保留。本篇站在必须把使用写出来的一侧：不写使用，解释就是半截。半截解释最容易在招生办里自行加厚。

迈克尔·凯恩把效度论证写成解释与使用论证：先声明分数代表什么、将被用于何种决定，再列出从观察到决定必须成立的假设，最后用证据撑住或推翻这些假设。声明越强，所需证据越重。课堂小测验用来决定明天教什么，证据可以是下一题是否被调整。一次测验用来录取并预言一切后来的学习，声明过重。过重不是靠提高信度能补上的。美国教育研究协会、美国心理学会与国家教育测量委员会二〇一四年《教育与心理测验标准》把效度、信度与公平写成必须一起读的基础。条款不是课堂处方。它提供共同词汇：你到底在谈题目代表、作答过程，还是分数使用。三件事用同一个不公平来喊，技术团队和政策团队会互相听不见。听不见之后，最有权的使用者会独占科学一词。

后果之争在测量学内部没有结案。丹尼斯·博斯布姆等人二〇〇四年把效度收得更本体论：测验是否测量了它所声称的属性，该属性是否存在并引起分数变异。按这种收法，使用与后果是另外的问题。梅西克一系担心：另外的问题在办公室里等于没有问题。凯恩的进路提供一种工作程序——至少先把使用声明写出来，再决定证据够不够。程序不是取消哲学分歧。它让招生办更难说分数自己会说话。分数不说话。使用者在说话。说话必须能被对质。对质要用假设清单，不能只用排名。

公平进入论证，不是课后致歉。测验语言与教学语言不一致，差异可能来自介质。轨道从未教过被测内容，差异来自剥夺。把这些差异写成能力，是无效解释。智力理论提醒：制度效果会被读成特质。测量论证必须主动挡这一跳。挡这一跳，需要排除率、课程机会和便利是否兑现的信息。没有这些信息的总分，更像治理方便，不像已经完成的效度。方便会把一次抽样写成数年轨道。轨道再把后来的分数当成发现。循环必须在论证里被切断。切断的工具是：每个新的使用，单独再论证一次。名字共享不是继承。

凯恩的论证进路把偷懒变得更难。你必须先写出使用声明，才能谈效度。声明若是这次小测用来决定明天教什么，证据可以很局部。声明若是这次测验证明学校质量，证据就要包括课程机会、排除率和不可检验的反事实。后一种声明几乎总会过重。过重不是禁止测验。它是禁止测验自动升级成治理本体论。本体论一出场，误差条就从谈话里消失。消失之后，数字像镜子，使用镜子的人隐身。二〇一四年标准把公平与使用写进必须一起读的章节，正是为了让隐身更难。更难不等于已经结束与博斯布姆一系的哲学分歧。分歧可以保留。保留时仍要有人认领使用。无人认领的使用，会把梅西克担心的后果，重新变成附录里没人翻的页。

国际测评的等价问题，在一国之内的跨语言、跨学制考试里同样存在。用同一张卷子测不同教学语言的学生，需要额外论证。没有论证就把分数放进同一排名，是把测量当成政治方便。PISA不是文明；国内总分也不是。两者都要出示从观察到决定的假设。假设不写，排名更像政策语言。政策语言可以征用克龙巴赫的词汇，却不做他要求的对抗性解释。对抗性解释必须包括：分数差异是否来自介质、剥夺或轨道从未教过的内容。不包括这些，效度论证只完成了前半句。前半句对办公室足够。对决定过大的使用不够。

梅西克把后果算进效度，最容易被误解成测验有害或测验神圣。两者都不是他的论证。论证是：解释与使用必须一起评价，因为使用会改变教学，从而改变分数所代表的东西。洗刷一旦发生，当初声称的构念可能已被替换。若仍用旧名字，论证就破了。凯恩把破掉的地方写成假设失败。假设失败必须能被报告。不愿意报告失败时，推断会在办公室里自行加厚。加厚不是科学进步。它是使用过宽的行政胜利。胜利会把二〇一四年标准里必须一起读的公平条款，重新拆成课后致歉。致歉不能支撑决定。

争议#

争议的第一线，是后果该不该算进效度。有人主张后果属于政策伦理，测量只负责解释。梅西克一系认为分开会让测量者推卸使用。争论本身说明：技术从来不是中立尺。

第二线是表现性评价。长论证更接近某些课程目标，评分者一致性却更贵。信度压力会把学校推回选择题。工时再次决定构念。

第三线是国际测评。跨语言、跨学制的比较需要额外的等价论证。缺少等价，排名更像政策语言，而不是测量结论。

后果是否属于效度，二〇一四年标准把使用与公平写进必须一起读的章节，并没有结束哲学争论。博斯布姆一系仍可说：属性是否被测到，是一个问题；测到之后被如何用，是另一个问题。两个问题都需要证据。把第二个问题从测量学里赶走，只会让它在政策里无人认领。无人认领的使用，最容易过宽。过宽的使用是最常见的无效。无效进入分班，测量伦理就不再是附录。

第四线是同一分数能否继承到新的使用。凯恩的回答很窄：新使用是新论证。政策喜欢宽：一份分数支持分班、问责、拨款和国际比较。宽是行政上的节省，测量上的负债。负债会在轨道上兑现：一次抽样误差被写成数年课程包。课堂形成性若被同一套题目送进办公室，使用已经更换，效度不能靠标题继承。标题继承是最便宜的无效。便宜正因为办公室已经有数字。已经有的数字最爱被加厚。加厚必须被声明拦住。

跨域连接#

• 认识论：知道需要辩护。分数解释是一种公共辩护。没有证据链的分数，只是权威符号。符号可以当线索，不能当判决。符号可以当线索，不能单独完成决定。使用一旦过宽，链条就会在决定处断开。
• 什么是知识：测验常把可评分的表现当成知识。哲学问题在此变成蓝图选择。选择应能被争，而不是用科学词锁死。可评分不等于课程声称珍视的知识。蓝图选择在替课程做哲学决定。观察与名字错位，是最常见的无效。
• 因果推断：预测与因果不是同一声称。分数能相关于后来成绩，不等于教学造成了它。使用若是问责教师，需要更硬的设计。问责教师需要比相关更硬的设计。相关于后来成绩，不等于教学造成了分数。课表不改，条件只能停在个别教师的缝里。
• 确认偏误：学校会寻找支持既有分班的题目。细目表可以被偏误收编。论证必须包含与预期相反的证据。细目表也能被用来确认既有轨道。既有轨道被题目确认时，论证已经偏了。装置若只留下表面，科学句子会被用过了代替。
• 问责：问责需要指标。指标一旦唯一，效度论证会被政治缩短成名次。缩短之后，课程跟着缩短。名次把论证缩短之后，课程会跟着缩短。缩短的论证会把未考内容赶出课表。安全与用途限制，是装置能生产知识的前提。

参考文献#

• Cronbach, Lee J., and Paul E. Meehl. "Construct Validity in Psychological Tests." Psychological Bulletin 52, no. 4 (1955): 281–302.
• Messick, Samuel. "Validity." In Educational Measurement, 3rd ed., edited by Robert L. Linn, 13–103. New York: Macmillan, 1989.
• Kane, Michael T. "Validating the Interpretations and Uses of Test Scores." Journal of Educational Measurement 50, no. 1 (2013): 1–73.
• Kane, Michael T. "Validation." In Educational Measurement, 4th ed., edited by Robert L. Brennan, 17–64. Westport, CT: American Council on Education / Praeger, 2006.
• Borsboom, Denny, Gideon J. Mellenbergh, and Jaap van Heerden. "The Concept of Validity." Psychological Review 111, no. 4 (2004): 1061–1071.
• American Educational Research Association, American Psychological Association, and National Council on Measurement in Education. Standards for Educational and Psychological Testing. Washington, DC: AERA, 2014. 讨论构念、使用与公平，不提供课堂施测手册。

延伸阅读#

• PISA 技术报告中关于量表、抽样与排除率的章节，是效度论证的公开样本。