破除误解
民调不是向一千个人提问后,把赞成比例直接当成全民意见。从抽样框、联系方式、问题措辞、回答选项、访问模式到加权方法,每一步都会塑造结果。“支持率 52%”不是脱离方法的事实。它是一个特定总体、特定时间、特定问法和特定估计程序下的测量。调查也不是只属于选举预测。
政治学用它研究政党认同、政策偏好、政治信任、身份、威权态度、信息接触、参与和公共服务体验。
先定义总体
研究者必须先说明想描述谁。是所有成年居民、登记选民、可能投票者、某地区公民,还是使用某项公共服务的人?不同总体会产生不同结果。把登记选民样本称为“全国公众”,会排除未登记者;把网络面板称为“网民”,仍需说明面板如何招募。总体定义决定抽样框,也决定结论边界。
概率抽样
概率抽样要求总体中每个单位拥有已知、非零的入样概率。简单随机抽样在理论上清楚,现实调查常使用分层、整群、多阶段和地址抽样,以降低成本并确保关键群体被覆盖。概率抽样的优势不是保证样本完美。它提供一套可以计算抽样不确定性的设计逻辑。复杂抽样中的聚类和不等概率会改变标准误,不能继续套用简单随机样本公式。
非概率样本
在线自愿面板、社交媒体招募和便利样本不具备已知入样概率。它们并非毫无价值。在实验、探索性研究和难接触群体研究中,非概率样本可能高效。但对总体比例进行推断时,研究者依赖模型、配额和加权假设。样本再大也不能自动修复系统性偏差。十万名自愿参与者可能比一千名严格抽样者更精确地描述“愿意参与该面板的人”,却不一定更准确地描述全国公众。
覆盖误差
抽样框可能遗漏总体成员。电话调查会受到无电话、号码不可用和接听习惯影响;网络调查会受到数字接入和平台使用差异影响;住址抽样可能遗漏无稳定住所者和集体居住人口。覆盖误差不是单纯技术问题。被遗漏者往往在贫困、迁移、年龄、族群或政治边缘化方面具有系统差异。
调查的“公众”可能从设计开始就排除了最难被听见的人。
非应答误差
回应率低不必然意味着偏差大,回应率高也不保证无偏。关键是未回应者是否在研究变量上与回应者系统不同。如果政治不信任者更拒绝参加政治调查,即使人口结构加权正确,信任估计仍可能偏高。研究者应报告联系、拒访、资格不明等处置结果,并分析非应答与已知辅助变量的关系。
美国民意研究协会的标准定义把回应率、合作率、拒绝率和联系率分开,避免用一个模糊数字掩盖调查过程。
问题措辞
政治问题对措辞尤其敏感。“政府援助穷人”和“福利支出”可能激活不同联想;“禁止”与“不允许”也可能产生不同回答。双重问题会把两个立场塞进一项,例如“是否支持提高税收并改善教育”。受访者可能支持其中一半,却无法准确表达。带有前提、情绪标签或事实断言的问题,会把宣传混入测量。
问卷应使用清楚、中性、单一含义的语言,并通过认知访谈和预测试检查理解。
题序与语境
前一个问题会改变后一个问题的解释框架。先问犯罪威胁,再问警察预算,可能提高治安议题的显著性。先列举政府失败,再问政治信任,也可能制造语境效应。随机化题序可以估计部分影响,但不能解决所有问题。问卷设计者应把筛选、敏感问题、人口信息和实验处理安排在有理论依据的位置,并披露顺序。
回答选项
选项决定受访者能表达什么。缺少“不知道”可能迫使没有意见者随机选择;过多中间选项可能让受访者回避立场;不平衡量表会把回答推向某侧。“非常支持—支持—反对—非常反对”与加入中立选项的量表测量的不是完全相同的表达环境。选择量表后,应保持方向清晰,并避免在长问卷中频繁反转造成认知负担。
社会期许与敏感问题
在种族、腐败、投票、违法行为和威权支持等问题上,受访者可能给出社会可接受而非真实回答。匿名、自填模式和隐私环境可以减少压力。列表实验、随机回应和背书实验试图间接测量敏感态度,但它们依赖额外假设,也可能增加理解困难。技术不能替代伦理。询问敏感立场可能给受访者带来风险,尤其在监控环境中。研究者应最小化可识别信息,并避免收集并不真正需要的政治身份数据。
测量潜在概念
政治信任、威权倾向和民主支持不能被单个问题完整测量。研究者常用多道题构建量表。这要求检查题目是否共同反映同一概念、量表在不同群体中是否保持可比,以及翻译是否改变语义。内部一致性高不等于概念有效。十道措辞相似的问题可能高度相关,却只测到概念的一小部分。
加权
调查权重通常修正不等入样概率、非应答和样本结构偏差。后分层、迭代比例拟合和多层回归与后分层等方法,可以让样本在人口或地区分布上接近目标总体。加权不是魔法。它只能利用已观察到且与选择和结果相关的变量。若未回应者在无法观测的政治兴趣上不同,加权未必消除偏差。
权重差异过大还会增加估计方差,需要报告设计效应和有效样本量。
误差不只有抽样误差
媒体常只报道“误差范围正负三个百分点”。这个数字通常只描述概率抽样中的随机抽样误差,不包括覆盖、非应答、措辞、访问模式、加权模型和数据处理误差。对于非概率样本,传统误差范围可能没有同样的设计基础。可靠披露应说明样本来源、访问日期、访问模式、样本量、权重、完整问题和选项,而不是只给一个漂亮的区间。
面板调查
面板调查重复访问同一批人,可以观察态度变化。它比两次独立横截面更接近“谁改变了”,但会遇到流失、学习和被调查反复影响的问题。退出面板者若具有系统特征,剩余样本会逐渐失真。同一问题反复出现,也可能促使受访者形成原本并不稳定的意见。分析面板数据时,需要区分真实变化、测量误差和样本流失。
选举预测
从偏好到投票结果,还隔着投票资格、 turnout 模型、迟疑选民和选举制度。可能投票者模型会根据历史行为、兴趣和投票计划筛选或加权,但模型错误会直接进入预测。单次民调只是带噪声的快照。汇总模型可以降低随机波动,却不能消除多家机构共享的系统偏差。预测失败不总是“公众撒谎”,也可能是总体定义、投票率模型和非应答修正失败。
调查实验
问卷可以随机分配信息、措辞、候选人特征或政策框架,从而估计处理效应。随机化提高内部效度,但问卷场景可能缺乏现实后果。受访者也可能猜到研究目的,或只在回答当下表现出短暂变化。调查实验应区分态度表达与真实行为,并检验处理是否被理解、效果是否跨群体异质。
跨文化与跨语言调查
直译不能保证等值。“政府”“民主”“族群”和“腐败”在不同政治环境中可能有不同制度含义。翻译与回译、认知访谈、本地专家评审和测量等值检验应共同使用。如果量表在群体间不等值,平均分差异可能来自测量方式,而不是态度本身。跨国排名尤其需要谨慎。
披露清单
一项可评估的政治调查至少应公开:
- 目标总体和抽样框。
- 样本如何抽取或招募。
- 调查日期与访问模式。
- 样本量、处置结果和回应指标。
- 完整问题、选项与题序。
- 权重变量和计算方法。
- 估计不确定性与设计效应。
- 赞助方、执行机构和数据处理规则。
- 人类参与者保护与敏感数据措施。
没有这些信息,公众无法判断数字如何产生。
跨域连接
- 语用学:"政府援助穷人"与"福利支出"激活的联想不同,前一个问题里的措辞会改变后一个问题的解释框架。问法改变答案不是受访者不认真,而是语用规则在起作用:人们回答的是他们推断出的问题,而不是字面的问题。
- 锚定效应:选项决定受访者能表达什么。缺少"不知道"会迫使没有意见的人随机选择,量表不平衡会把回答推向某一侧。因此"支持率"是一个特定表达环境下的产物,换一套选项得到另一个数字,并不构成矛盾。
- 统计学:媒体常报道的误差范围通常只描述概率抽样中的随机抽样误差。覆盖、非应答、措辞、访问模式与加权模型的误差都不在里面,而对非概率样本,这个区间连原本的设计基础都没有——漂亮的正负三个百分点,可能是最不重要的那部分不确定性。
- 调查研究:加权只能利用已观测且与选择和结果都相关的变量。若未回应者在无法观测的政治兴趣上系统不同,人口结构加权正确也消不掉偏差,同时权重差异过大还会抬高方差——修正与精度之间存在真实的取舍。
- 政治代表:抽样框的选择就是在定义"公众"。把登记选民样本称作"全国公众"会排除未登记者,把网络面板称作"网民"仍需说明它如何招募。无稳定住所者、集体居住人口与数字接入受限者往往被系统性排除,而他们恰恰在贫困、迁移与政治边缘化上有别于其他人——民调的沉默区与政治代表的沉默区高度重合。
参考文献
- American Association for Public Opinion Research. Best Practices for Survey Research. AAPOR, updated 2022.
- American Association for Public Opinion Research. Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys. 10th edition, 2023.
- Groves, Robert M. et al. Survey Methodology. 2nd edition, Wiley, 2009.
- Tourangeau, Roger, Lance J. Rips and Kenneth Rasinski. The Psychology of Survey Response. Cambridge University Press, 2000.
- Campbell, Angus, Philip E. Converse, Warren E. Miller and Donald E. Stokes. The American Voter. Wiley, 1960.
延伸阅读
- Berinsky, Adam J. “Political Context and the Survey Response.” In The Oxford Handbook of American Public Opinion and the Media. Oxford University Press, 2011.
- Presser, Stanley et al., eds. Methods for Testing and Evaluating Survey Questionnaires. Wiley, 2004.