评估即推断

破除误解#

核心：效度是论证，不是证书上的印戳#

塞缪尔·梅西克 1989 年把效度看成整体论证：证据与后果一起算。一项测验若在技术上干净，却系统地把某类学生送进低期望轨道，后果就是效度问题的一部分。这个主张有争议，正因为它把测量伦理写进了技术核心。争议必须保留，不能把梅西克简化成“测验有害”或“测验神圣”。

推断链条至少有三截。第一截：题目是否代表了你声称的领域。第二截：作答过程是否真的用到了你关心的知识，而不是测验智慧或速度。第三截：分数的使用是否与声称一致。三截里任何一截断裂，招生办仍可以继续使用数字，只是数字已经改行。

公平不是事后道歉，而是推断条件的一部分。题目语言、时间限制、残疾便利和先前课程机会，都会进入作答。若一组学生从未被教过被考的知识，低分首先证明课程机会，其次才可能证明个人能力。把机会差异写成能力差异，是评估里最常见的越界。

智商与可塑性争论在隔壁学科已经很激烈。教育学不应把课堂测验偷偷升级成智力本质。本域只承认：具体测验在具体使用中的推断范围。范围之外的故事，属于解释层，必须点名论者。

现场里，推断每天都在发生，而且往往比标准化测验更随意。课堂提问点谁、作文评语写什么、家长会用哪一句总结，都是评估。标准化的历史理由之一，正是限制这种随意：同样的题目、同样的时限、可计算的误差。限制随意不等于自动公平。题目可以稳定地奖励某一种家庭语言，时限可以稳定地惩罚某一种加工速度，误差条可以被印在报告单上却从不被读。

丹尼尔·科雷茨提醒：分数只能告诉你学生在这些题目上的表现，以及这种表现与其他变量的相关。它不能自动告诉你学校好不好、教师勤不勤、课程对不对。要回答后面那些问题，必须另做论证，引入更多证据。把报告单上的一个数字当成学校的本质，是评估最便宜、也最不老实的用法。

分数的社会生命比测量学更长。一次考试之后，数字进入分班名单、奖学金表格、学区比较和家庭谈话。进入这些场合后，它很少再带着误差条和构念说明。梅西克把后果写进效度，正是因为社会生命不会自动停在技术附录。即使有人主张后果应另案处理，另案也不能被忘记。忘记之后，推断就假装自己只是镜子。镜子不决定谁被分进慢班；使用镜子的人决定。

迈克尔·凯恩把效度写成对解释与使用的论证：你要先声明分数将被如何解释、用于何种决定，再收集能撑住或推翻该声明的证据。声明越强，所需证据越重。招生若把一次学科测验读成未来一切学习的预测，声明就过重。过重的声明不是靠提高信度能补上的。补上需要新的效标、新的时间窗，以及愿意报告失败的使用者。不愿意报告失败时，推断会在办公室里自行加厚。

美国教育研究协会等机构的《教育与心理测验标准》把公平、效度与使用写成必须一起读的条款。条款不是课堂处方。它的用处是给争论一个共同词汇：你到底在谈题目代表、作答过程，还是分数使用。三件事用同一个“不公平”来喊，会让技术团队和政策团队互相听不见。听不见之后，最有权的使用者会独占“科学”一词，把其余批评写成情绪。

洛丽·谢泼德把评估放进学习文化：若日常任务只为排名，学生学会的是隐藏错误；若日常任务为了调整下一步，错误才可能成为材料。文化不是海报。它写在作业是否真正被改、改完是否进入下一题。形成性若只增加小测次数、不改变下一题，它就仍是总结性的密集体。密集体可以看起来很勤。勤不是推断已经更真。更真要看使用是否与声称一致。

因此，评估即推断这句话禁止两种偷懒。一种是有数字就有能力。一种是讨厌数字就有解放。数字是观察。解放若没有另一套可核对的证据面，只是换了形容词。形容词不能录取，也不能说明谁被教过被考的知识。说明必须回到课程机会和任务设计。机会与任务，才是推断链条上最容易被办公文件跳过的两截。

争议#

争议的第一线，是后果是否属于效度。反对梅西克的人认为，技术质量与政策使用应分开，以免测量学变成无限政治。赞成者认为，分开只会让最有权的使用者独占“科学”一词。两边都要求证据，只是证据被放在不同抽屉。

第二线是增值模型与教师问责。用学生分数增长评价教师，依赖许多不可检验的反事实。模型可以发表，不等于课堂因果已经被抓住。本篇不提供如何“做高增值”的操作建议。

第三线是形成性评价的证据强度。布莱克与威廉的综述被广泛引用，也被批评为把异质研究收得过宽。引用时必须回到具体实验与课堂记录，而不是把“形成性”当成万能形容词。万能形容词的功能，是让任何评分都看起来已经在促进学习。促进必须另有证据：下一次任务是否真的被调整，调整后是否出现可观察的改变。

课堂里的口头提问也是评估。点谁、等几秒、如何转述错误，都会改变谁被当成会的人。标准化测验限制了这种随意，却不能取消它。两种评估叠在同一个学生身上时，教师印象和试卷数字可能打架。打架本身是材料：它标出推断链条在哪一截断裂，而不是证明其中一种永远更真。断裂可以被修补，也可以被机构拿去维持既有分班。修补需要新证据，维持只需要旧数字继续被相信。相信一旦进入经费公式，推断就获得了预算。预算会回过头来保护那套数字，使替代证据更难进门。这不是阴谋，这是机构惯性，惯性可以被年份和条款核对。条款比形容词硬：它写明谁必须被测、测完数字送去哪里、不送会有什么制裁。

凯恩的论证进路把偷懒变得更难。你必须先写出使用声明，才能谈效度。声明若是“这次小测用来决定明天教什么”，证据可以是下一题是否真的被调整。声明若是“这次测验证明学校质量”，证据就要包括课程机会、排除率和不可检验的反事实。后一种声明几乎总会过重。过重不是禁止测验。它是禁止测验自动升级成治理本体论。本体论一出场，误差条就从谈话里消失。消失之后，数字像镜子，使用镜子的人隐身。

谢泼德的学习文化标准同样很窄：错误有没有成为下一任务的材料。成为材料，需要时间去处理错误，需要分数不去往处分办公室。两条件缺一，形成性就只是更密的总结性。更密会提高信度的错觉，因为它重复得更勤。重复测错的东西，信度可以很高。很高的信度仍可能是稳定的误导。误导进入分班，推断就从技术问题变成谁还被当成可教。可教一旦被数字提前结束，后面的教学安排会保护这个结束，使新证据更难进门。

《教育与心理测验标准》把公平写成与效度、使用一起读的条款，不是课后致歉。题目语言、时间限制、便利安排和先前课程机会，都在作答过程里。过程被跳过时，低分会直接升级成能力。升级是推断链条第二截断裂的典型样子。断裂可以发生在标准化试卷上，也可以发生在作文评语里。两种评估都在做从反应到未看见属性的跳跃。跳跃必须声明范围。范围之外的故事，属于解释层。解释层最爱的句子是“就是这样的学生”。这样的学生一旦被档案携带，后面的教师会减少收集新证据。减少之后，第一次推断获得了自我保护。自我保护很像信度。它稳定，却可能稳定地量错。量错进入经费，测量学就变成了治理。治理要为自己的使用声明负责，不能把责任推给那一页分数。

增值模型把推断再加一截：从学生分数增长推断教师贡献。这一截依赖许多不可检验的反事实，例如若换一名教师分数会怎样。模型可以发表。发表不是课堂因果已经被抓住。抓住因果需要设计，不能只靠行政数据库里已经有的数字。已经有的数字最便宜，所以问责最爱用它们。便宜的推断进入人事决定，测量伦理就不再是附录。梅西克把后果写进效度，正是为了挡住这种便宜。挡住不是禁止评价教师。它是要求声明与证据相称。不相称时，科学一词会被办公室独占，教室里的形成性会被同一套题目吞噬。吞噬之后，学生学会隐藏错误。隐藏错误的班，看起来分数更稳。更稳不是更真。

形成性评价被问责吞噬的标志很具体：同一套题目先用于调整教学，再被送去评价教师。送去之后，教师会减少让错误公开的时间。错误不再是材料，是风险。风险一上升，布莱克与威廉综述里那种改善学习的机制就被拆掉。拆掉后仍可以每天小测。每天小测看起来很形成性。形容词还在，办公室已经换了。办公室决定推断的后果。后果属于效度争论的一部分，即使有人主张把它另案处理。另案也必须存在。不存在时，分数会替所有人说话。替人说话的分数，最不像镜子。镜子至少还承认自己在反光。替人说话的分数假装自己就是能力。

跨域连接#

• 智力理论：心理学把智力写成多种彼此竞争的构念，而不是教室墙上的一个数字。评估若把学科测验直接读成智力，就借用了最粗的那一种理论，还不肯承认自己在借用。
• 智力可塑性之争：可塑性争论处理干预能否改变测验表现，以及改变能维持多久。教育学关心的平行问题是：课程与教学能改变的是分数，还是被分数声称的能力。两场争论都禁止把一次分数写成血统。
• 确认偏误：教师评语和面试分数同样是推断。一旦先有“好学生”印象，后续证据会被加权。标准化的吸引力之一，是限制这种印象的自由发挥；它的代价是可能把偏见写进题目。题目一旦写进偏见，公平就从个人态度问题变成了试卷结构问题。
• 公共政策：问责法把测验从教室送进预算办公室。政治学看的是工具如何改变机构行为。教育学若只谈信效度技术，就会看不见分数已经成为治理工具。
• 社会分层：分层证据显示，测验使用会强化或重组机会结构。评估技术不能单独决定公平，但它决定哪些差异被当成可教、可补、可放弃。那是制度选择，不是测量的自然结果。放弃一旦进入分班与经费公式，推断就从教室走进了分层本身。

参考文献#

• Cronbach, Lee J., and Paul E. Meehl. "Construct Validity in Psychological Tests." Psychological Bulletin 52, no. 4 (1955): 281–302.
• Messick, Samuel. "Validity." In Educational Measurement, 3rd ed., edited by Robert L. Linn, 13–103. New York: Macmillan, 1989.
• Black, Paul, and Dylan Wiliam. "Assessment and Classroom Learning." Assessment in Education 5, no. 1 (1998): 7–74.
• Koretz, Daniel. Measuring Up: What Educational Testing Really Tells Us. Cambridge, MA: Harvard University Press, 2008.

延伸阅读#

• Shepard, Lorrie A. "The Role of Assessment in a Learning Culture." Educational Researcher 29, no. 7 (2000): 4–14.
• Kane, Michael T. "Validating the Interpretations and Uses of Test Scores." Journal of Educational Measurement 50, no. 1 (2013): 1–73.
• American Educational Research Association, American Psychological Association, and National Council on Measurement in Education. Standards for Educational and Psychological Testing. Washington, DC: AERA, 2014.