PISA 不是文明

破除误解#

核心：国际测评是设计，不是世界地图#

PISA 的技术报告会说明：矩阵抽样、项目反应模型、加权和填补。哈维·戈尔茨坦等人长期提醒，排名对模型假设和排除规则敏感。敏感不是丑闻，而是测量的常规条件。把条件藏起来，排名就会像自然秩序。

抽样谁，决定谁被当成“十五岁学生”。追踪较早的学制里，一部分同龄人已经不在学术轨道；寄宿、特殊教育和语言少数群体的排除率也会改变均值。比较均值而不比较谁被算进去，是把制度差异写成能力差异。这和国内评估把机会差异写成智力，是同一类跳跃。

格尔·斯坦纳-卡姆西把政策借用写成政治：外部参照被用来授权内部已经想做的事。PISA 在这里的功能常常是镜子和棍子。镜子让人看见自己不在榜首；棍子让人打击教师工会、课程传统或移民政策。功能分析必须标出国内行动者，不能把 OECD 写成唯一作者。

赵勇等批评者指出，高分系统可能以窄化课程、强化考试为代价。批评本身也是解释层，必须连同证据一起读：代价发生在哪一种科目、哪一种学生、哪一种健康指标。反对排名崇拜，不等于把低分写成道德胜利。

把 PISA 当镜子的国家，常常紧接着借用某套被简化的他国经验：延长课时、改变教师评价、引入某一种教材。借用可以是理性的政策学习，也可以是国内斗争的外部授权。区分办法是看国内文本：改革草案在引用 OECD 之前，是否已经写好了要打击的对象。若对象先于证据，排名就是棍子。

技术报告里的“素养”一词也在做选择。它把学校知识改写成在新情境中调用的能力，这与迁移研究的问题相近，却用国际量表把问题收成三个领域。三个领域不是人类能力的自然分类，而是项目能够稳定施测的分类。稳定是优点，也是边界。边界之外的艺术、公民行动和护理劳动，不会因为测不到而变得不重要；它们只是没进这一次比较。

媒体标题喜欢把名次变化写成教育改革的成败。一年之间的名次跳动，往往小于测量误差，也小于抽样波动。把跳动写成文明兴衰，是把噪声当成历史。比较更稳妥的读法是看长时间的分布、排除率和机会结构，而不是看今晚的旗帜。旗帜可以动员预算；动员不是测量已经完成。完成测量，只意味着这一次抽样和这一套题目被算出来了。

OECD 的技术报告会列出排除率、语言版本和加权。这些附录很少进入部长讲话。讲话需要的是名次和危机。危机可以是真的机会缺口，也可以是抽样规则改了之后的均值移动。移动必须回到技术报告才能对质。对质不是为 OECD 辩护。它是为了不让测量条件消失在国旗后面。国旗一出现，排除率就从公共讨论里退场。退场之后，制度差异被读成学生差异。

马丁·卡诺伊提醒：把国际排名当成人力资本存量的照片，会把学校写成工厂的质量检验。工厂隐喻很强，因为它让政策看起来可调。可照片先选择了拍谁：在校的十五岁。过早分流的系统里，一部分同龄人已经不在这张照片里。照片外的人不是文明更低，他们是制度先一步改写了谁还算学生。不算学生的人，不会拉低均值，却会改变社会里谁被训练成可比较的对象。

政策借用的国内文本往往先有敌人，再有证据。教师教育、移民、某一种教材，都可以在引用 PISA 之前就写进草案。引用之后，草案获得国际科学的外观。外观不是伪造数据。它是选择性地使用已经存在的排名。选择性使用在比较教育里是常规政治。常规必须被写出行动者，不能写成 OECD 单独下达的文明判决。

因此，PISA 不是文明这句话的操作含义是：同时打开技术报告、国内改革文本和分层数据。三份对不上，排名就还只是动员。动员可以增加预算，也可以打击已经脆弱的学校。增加与打击都是政策。政策要为自己的选择负责，不能把责任推给十五岁学生的一次抽样。抽样是设计。设计可以被争，争的时候不要升级成民族本质。本质一出场，测量学就已经退场。

争议#

争议的第一线，是国际测评该不该存在。支持者认为，没有共同尺度，国家就会只在内部自我表扬。反对者认为，共同尺度会强制共同课程想象，伤害语言与知识多样性。这是制度选择，不是科学已经结束的问题。

第二线是文化公平。翻译、情境题和生活经验都会进入作答。技术团队有差异分析程序，程序不能消灭所有文化负载。承认负载，是比较的起点，不是把比较取消。

第三线是生成式系统与学习分析正在改写谁被测量、谁被监视。那是教育技术与政策交界处的开放问题，本试写域暂不展开操作系统。这里只需钉住：新工具仍然是测量选择，不是文明升级。选择包括记录哪些点击、谁有权看日志、错误被保存多久。这些条款应能被产品说明或法规对质，而不能写成解放叙事。

比较教育的老实读法，是同时打开三份东西：技术报告、国内改革文本、以及分层数据。只读报纸排名，会得到文明故事；只读技术附录，会得到模型故事；只读国内法案，会得到权力故事。三份叠在一起，PISA 才恢复成一种被使用的工具。工具可以被用得很好，也可以被用得很糟，它都不是民族的本质。本质叙事省事，三份文本费事。本域收后一种。费事的回报是：读者可以指出某一次改革引用了哪一年的哪一张表，而不是只能重复“我们落后了”。落后是解释，表格才是材料。材料还包括排除率、语言版本和追踪学制：不打开这三样，均值就还是国旗，不是测量。国旗可以动员，测量必须还能被另一名读者用同一份技术报告重做。重做得出不同名次，并不丢脸，那恰恰说明排名是设计产物。设计可以被改进，不能被膜拜。

卡诺伊把人力资本照片拆开之后，还剩下谁被算进十五岁。寄宿、特殊教育、语言少数和过早分流，都会改变照片。照片外的人不会出现在危机标题里，却会出现在劳动力市场和补习市场里。标题若只对均值负责，政策就会优化已经被算进去的那一截。优化可以让名次变好看。好看不是机会结构已经改变。结构要另用分层数据看。分层数据常常显示：国内差距大于国际均值差距。更大的差距才是学校每天在分配的东西。分配被国旗盖住时，文明故事最容易上场。

政策借用的敌人名单，比 OECD 问卷更早写完。名单可以是教师教育、某套教材、移民学生或某种学制。PISA 提供授权。授权是政治学意义上的议程设置，不是测量已经发现了唯一病因。病因若在引用之前就写好，排名就只是棍子。棍子可以打中真问题，也可以打中替罪者。区分仍要回到国内文本：改革在引用表格之前想做什么。想做的事必须自己负责，不能写成十五岁学生的一次抽样命令我们如此。

戈尔茨坦提醒过的模型敏感，在媒体标题里几乎没有位置。标题需要的是名次整数。整数把加权、填补和排除率全部折叠。折叠之后，一年之间的跳动看起来像历史事件。事件可以动员预算。预算可以做真的事，也可以只做对排名更有利的排除。排除率一变，文明故事会跟着变。变的不是十五岁学生的心灵，是谁被算进照片。照片政治与测量技术在这里分不开。分开谈“先把技术做好、政治以后再说”，会把最有权的使用者留在科学一词的独占位置上。独占之后，批评只能喊文化或情绪。本域要求两者一起读：技术报告里的条件和国内文本里的行动者。两个都在，PISA 才是工具。缺一个，它就是国旗。

赵勇一系的批评若只停在“高分伤害童年”，会变成另一种本质叙事。代价必须落到科目、学生群体和可核对的健康或课程指标上。窄化课程是可以检查的：艺术、实验和户外时间有没有被数学阅读挤掉。挤掉是选择。选择可以被争。争的时候不要把低分写成道德胜利，也不要把高分写成文明。两边都在用学生当符号。符号省事。技术报告、国内法案和分层数据费事。费事才能把 PISA 从国旗改回工具。工具用得好，可以照见机会缺口。工具用得糟，可以授权已经写好的敌人名单。名单的作者是国内行动者。行动者必须署名。署名之后，十五岁抽样才不会被写成命运。

文化公平程序不能消灭所有情境负载，承认负载才是比较的起点。情境题有阶层气味，翻译有损耗，生活经验有分布。差异分析可以标出某些题目。标出不是已经中性。中性是解释层的许诺。许诺会把残余直接写成民族性格。性格一出场，抽样、排除率和补习市场全部退场。退场之后，PISA 就从测量选择变成文明等级。本域把这一步标成禁区。禁区不是禁止国际测评。它禁止把排名读成灵魂。灵魂没有排除率。排除率写在技术报告里。报告必须被打开，国旗才能被放下。放下国旗，比较才能开始。开始比较，不是开始给民族打分。打分是解释层。比较是打开条件。条件写在技术报告里，不写在国旗上。

跨域连接#

• 公共政策：政治学把国际排名写成议程设置工具。部长为什么在某一年引用 PISA，通常能在国内法案和时间表里找到对应。教育学若只谈题目质量，就会看不见分数如何进入治理。
• 社会分层：国内分数差距往往大于国际均值差距。分层研究逼问：改革是在缩小机会结构，还是在优化已经领先的那一截。比较教育离开分层，就只剩国旗。
• 智力理论：把国家均值读成民族智力，是智力争论里最粗糙、也最危险的用法。心理学内部对智力构念尚且争辩，国际测评更没有资格完成这场跳跃。均值不是心灵，排名也不是进化阶梯上的位置。
• 布迪厄：文化资本解释为什么某些家庭的语言和熟悉感在素养测验里被奖励。PISA 的情境题并非中性生活，它们有阶层气味。社会学在这里给排名一个可核对的机制，而不是一句“文化不同”。
• 机器学习概览：自适应测验与大规模评分越来越像模型拟合。模型可以很准，仍然只对它所训练的反应分布负责。把拟合优度写成文明进步，是计算机科学也不会接受的形而上学。评分模型若在某一语言或某一阶层的作答上误差更大，国际均值会把误差平均成国家性格，这比教室里的一次误判走得更远。

参考文献#

• OECD. PISA 2000 Technical Report. Paris: OECD Publishing, 2002.
• Steiner-Khamsi, Gita, ed. The Global Politics of Educational Borrowing and Lending. New York: Teachers College Press, 2004.
• Goldstein, Harvey. "International Comparisons of Student Attainment: Some Issues Arising from the PISA Study." Assessment in Education 11, no. 3 (2004): 319–330.
• Zhao, Yong. Who's Afraid of the Big Bad Dragon? Why China Has the Best (and Worst) Education System in the World. San Francisco: Jossey-Bass, 2014.

延伸阅读#

• Feniger, Yariv, and Adam Lefstein. "How Not to Reason with PISA Data: An Ironic Investigation." Journal of Education Policy 29, no. 6 (2014): 845–855.
• Carnoy, Martin. The Death of Human Capital? Oxford: Oxford University Press, 2019.