跳转到内容
← 返回研究方法
量化方法方法论约 15 分钟阅读

调查研究

Survey Research

调查研究问卷抽样测量统计

破除误解

  1. 调查研究不是随便发一份问卷,也不是样本越大就越科学。一个有偏样本,即使有十万人,也可能比一个严格抽样的一千人更误导。调查研究的核心,是用可检验的抽样、测量和统计推断,把个体回答转化为关于群体的可靠知识。

它也不是纯粹客观的机器。问题如何措辞,选项如何排列,调查对象是否信任研究者,哪些人无法被抽到,都会影响结果。调查研究看似是在收集“意见”,实际上是在设计一套把复杂经验翻译成可比较数据的制度。

最危险的误解,是把问卷结果当成社会本身。问卷回答是人在特定情境下对特定问题的反应。它很有价值,但必须放回抽样、测量、访谈环境和社会背景中解释。

从研究问题开始

好的调查不是从题目开始,而是从研究问题开始。研究者要先问:我想知道分布、差异、关联,还是变化?我要估计全国成年人对某政策的态度,比较不同阶层的健康风险,还是追踪青年从学校到工作的转变?

问题不同,设计不同。一次横截面调查能描述某一时点的社会状态,却难以说明变化过程。追踪调查能观察同一批人如何随时间改变,但成本高,样本流失也严重。重复横截面调查可以比较不同年份的总体变化,却不能直接追踪同一个人的人生轨迹。

调查还要明确解释边界。只调查城市网民,就不能轻易推出“全国青年”。只调查大学生,就不能代表同龄人。研究者越清楚说明边界,结果越可信。

重复横截面像 GSS,适合问“美国人是否比五十年前更不信任陌生人”。追踪调查适合问“同一个人失业后信任是否下降”。把两种设计的数字直接对调解释,会把世代替换误读成个人改变。设计先于数字。见 统计建模。

抽样:谁被看见

调查首先要定义总体。研究的是全国成年人、城市青年、某行业劳动者、某社区居民,还是某平台劳动者?总体不同,抽样框和解释边界就不同。

概率抽样让每个总体成员有已知概率进入样本,因此可以估计抽样误差。简单随机抽样、分层抽样、整群抽样、多阶段抽样各有适用场景。大型社会调查常用多阶段分层抽样,因为它既能控制成本,又能覆盖地区差异。

抽样误差来自随机性:即使抽样框完美、人人都回答,样本统计量仍会在真值附近波动。增大样本可以缩小抽样误差。偏差则不同:覆盖缺口、拒访、问卷措辞,不会因为把问卷再发十万份而消失。格罗夫斯等人把后者叫非抽样误差,今天它通常比抽样误差更大。

无应答是当前调查的主要伤口。电话调查的应答率在许多国家已降到很低;网络调查看起来人很多,却往往只覆盖愿意点开链接的人。加权能按年龄、性别、教育把样本拉回已知总体边缘,却拉不回那些与应答倾向相关、总体表里没有的特征。

现实中常遇到困难。流动人口、无稳定住址者、拒访者、离线老人、网络不可达者、被平台封禁者,都可能被抽样框排除。权重可以修正一部分偏差,但不能把坏样本变成好样本。权重依赖已知的总体信息,若缺失群体本身就不可见,统计修正也会受限。

“自愿填写”的网络问卷尤其要谨慎。它适合快速探索问题、招募特定群体、做实验或收集开放回答,但通常不能直接估计总体比例。样本大不等于代表性强。十万份转发问卷可能只是某个社交圈的放大镜。

覆盖误差与无应答是两件不同的事。覆盖误差是抽样框里根本没有这些人:没有电话、没有地址、不在平台上。无应答是抽到了却不回答。把两者混在一起叫“样本有偏”,会让补救对错方向:加权修不了从未进入框里的人。

迪尔曼等人主张混合模式:同一套题目用网络、电话、邮寄接力,降低某一渠道的系统性遗漏。混合能提高覆盖,也会引入模式效应——同一题在屏幕上和在电话里,答案分布可能不同。模式必须被记录,不能只当后勤细节。

测量:问题如何制造答案

社会学调查常测量看不见的概念:信任、阶层认同、幸福感、歧视体验、政治效能、性别观念、孤独感。测量必须把抽象概念转化为题项。

例如“你信任陌生人吗”和“你是否认为大多数人会在有机会时占你便宜”都在测信任,但语气不同,回答可能不同。收入、教育、职业看似客观,也会遇到不愿回答、分类不一致、非正规就业难以归类等问题。

题项设计要避免双重问题。

“你是否支持提高税收并改善公共服务”同时问了税收和服务,反对者可能反对税收,也可能怀疑服务改善。

它也要避免引导性措辞。

“你是否支持浪费纳税人的福利政策”已经把答案写进问题里。

选项同样会制造结果。是否提供“不知道”,是否允许多选,量表从 1 到 5 还是 1 到 10,正反向题项是否混合,都会影响回答。调查研究的严谨,首先体现在对这些微小设计的控制。

伦西斯·利克特 1932 年在《态度测量的一种技术》里提出总和评定法:给一组陈述从“非常不同意”到“非常同意”的五级选项,再把分数加总。它比瑟斯顿的专家评定法便宜,因而统治了问卷设计。

真正的利克特量表是多题加总,不是单题五级选项。把序数选项当成等距数据来算均值,是惯例,不是测量定理。中点“既不同意也不反对”有人当中立,有人当“不想答”。是否提供“不知道”,会改变分布。

措辞实验反复证明:问题里的一个形容词就能移动几个百分点。舒曼与普雷瑟后来系统整理过这类效应。报告一个百分比却不报告问法,等于隐去了结果的一半来源。

信度、效度与可比性

信度关注测量是否稳定。相同概念在相似条件下测量,是否得到接近结果?如果同一人的回答随题目顺序大幅波动,或访员不同就产生不同结果,信度就有问题。

效度关注测量是否真的测到了想测的东西。一个“文化资本”指标如果只问去不去美术馆,可能遗漏家庭语言、阅读习惯、学校选择和身体姿态。一个“社会资本”指标如果只数认识多少人,可能忽视关系质量和可动员性。

跨群体调查还要考虑测量等价。相同词语在不同地区、阶层、年龄和语言中可能含义不同。

“中产”“稳定工作”“家庭责任”“成功”这些词,听起来普通,却可能在不同社会位置上指向不同经验。

利克特题项的内部一致性高,只说明题目彼此相关,不说明测到了想测的概念。一串都在问“你是否快乐”的题目可以很可靠,却仍可能把短暂情绪写成幸福感。信度是地板,效度才是屋顶。

调查能回答什么

调查最适合回答分布和关联问题:多少人持某种态度?不同阶层、地区、年龄、性别之间是否有差异?某种经历是否与某种结果相关?

它也适合揭示看不见的结构。个体回答看似零散,汇总后可以显示教育机会、健康不平等、职业流动、家庭分工、社会信任和代际差异。调查让社会结构变得可量化。

GSS 把信任、宗教、不平等观做成可重复的时间序列,靠的不是一次漂亮的样本,而是几十年尽量不动的问法。世界价值观调查把同类题目搬到不同语言和国家。两者都说明:调查的科学价值,往往在于克制——少改问题,多报告谁没被问到。

但调查不自动证明因果。若调查显示教育程度高的人更信任制度,可能是教育提高信任,也可能是家庭背景同时影响教育和信任,也可能是制度信任影响了教育机会。因果解释需要纵向数据、实验、准实验、统计模型和理论机制共同支持。

访员、模式与现场

调查并不是问卷和受访者之间的孤立关系。访员的性别、年龄、口音、身份和训练会影响回答。面对面调查、电话调查、网络调查和邮寄调查也会得到不同数据。

敏感问题尤其如此。关于收入、种族态度、性经历、违法行为、政治恐惧或工作场所压迫的问题,受访者可能因为社会期许而修饰答案。匿名网络调查可能降低压力,却又带来样本偏差和注意力不足问题。

受访者会用启发式走捷径。见 认知偏差。默认选项、同意反应、社会期许,都会把“态度”变成情境产物。问卷看起来在测量内心,实际也在测量疲劳、礼貌和谁坐在对面。

高质量调查需要访员培训、预测试、回访核查、逻辑检查和缺失处理。问卷不是写完就结束,真正困难的是把它变成可靠的调查过程。

与其他方法结合

调查研究最强的时候,往往不是单独使用。民族志可以帮助设计更准确的问题,访谈可以解释统计关联背后的意义,行政数据可以验证自报信息,实验可以测试因果机制。

例如研究平台骑手劳动,调查可以估计工作时长、收入波动和事故比例;访谈可以解释骑手如何理解算法;民族志可以观察接单、抢时、等餐和申诉过程;平台数据可以记录订单和路线。不同证据互相校正,才能避免单一方法的盲点。

科尔曼报告是调查能做什么、不能做什么的经典考场。见 科尔曼报告。巨大样本仍可能有覆盖与无应答偏差;回归分解描述的是条件关联,不是把学生重新分配就会得到同样效果。调查给出地图,因果还要另找识别策略。见 实验与准实验。

社会学方法的成熟,不在于质性和量化互相替代,而在于根据问题选择证据组合。深度访谈能解释一个百分比背后的意义,却不能代替抽样推断。见 深度访谈 与 民族志。

读调查结果的方法

读一项调查时,先看总体和抽样。调查对象是谁?样本如何进入?回应率多少?哪些人可能被遗漏?然后看问题措辞和选项。结果是“支持比例”,还是“在这些选项中选择某项的比例”?

再看误差。抽样误差只是误差的一种。非回应、测量偏差、访员效应、数据清洗、权重模型都可能影响结果。看到精确到小数点后一位的百分比,不代表现实也精确到那个程度。

芝加哥大学 NORC 的综合社会调查(GSS)从 1972 年起由詹姆斯·戴维斯主持,面向美国成年住户,核心题目刻意重复,用来看态度气候而不是一次快照。1994 年后改为双年一次。信任、宗教、不平等观这些长序列,靠的是问法尽量不动。

GSS 里那句经典的信任题——“一般来说,你认为大多数人可以信任,还是与人相处怎么小心都不为过”——被重复了几十年。问法稳定,才谈得上趋势。若某一年改了选项或加了引导句,断裂的可能是测量,不是社会。

世界价值观调查第一波在 1981 年,由罗纳德·英格尔哈特等人从欧洲价值观研究扩展而来。它让“物质主义/后物质主义”这类命题可以被跨国比较。比较的前提是翻译后的题目仍测同一件事;这个前提经常被使用,较少被检验。

后物质主义指数把若干优先项加总。指数便于画图,也便于掩盖:各国受访者对“言论自由”或“治安”的具体所指并不相同。跨国排名首先是测量决定,其次才是文化决定。

最后看解释是否超过证据。调查发现相关,不等于已经证明原因。好的报告会区分描述、关联和因果推断,并说明限制。统计建模可以把相关写成系数,却不能替你证明机制。见 统计建模。

跨域连接

  • 测量等价与公平比较:跨群体比较调查结果的前提是同一批题目测同一件事,而这一条件在多数被引用的国别比较中未被检验。参照群体效应(受访者以本地常模为参照作答)使自评式题目在跨文化比较中系统性失真,甚至可能产生方向相反的结论。
  • 民意测量:措辞、顺序与选项范围都会改变结果,而这不总是噪声:在部分议题上偏好并非事先存在、等待被测量,而是在提问那一刻被构造的。因此报告一个数字而不报告问法,等于隐去了结果的一半来源。
  • 统计学:无回应偏差已取代抽样误差成为调查的主要威胁——电话与在线调查的应答率降到很低时,加权只能校正可观测的偏离,对与应答倾向相关的未观测特征无能为力。这解释了为何"样本量很大"不再是可靠性的保证。
  • 序列位置效应:选项的首末项被选中的概率系统性偏高,且方向随呈现方式变化(视觉偏首项、听觉偏末项)。因此随机化选项顺序不是精细化要求,而是避免把记忆效应记成偏好的必要步骤——这一步在实务问卷中经常被省略。
  • 计算社会科学:数字痕迹数据常被宣传为调查的替代品,而两者的偏差结构不同而非更小:调查的问题是谁不回答,痕迹数据的问题是谁不在平台上、以及平台记录了哪些行为。把两者结合的价值,正在于它们的偏差来源不重合。

参考文献

  • Groves, Robert M., Fowler, Floyd J., Couper, Mick P., Lepkowski, James M., Singer, Eleanor, and Tourangeau, Roger. Survey Methodology. Wiley, 2004.
  • Likert, Rensis. "A Technique for the Measurement of Attitudes." Archives of Psychology 22, no. 140 (1932): 1–55.
  • Schuman, Howard and Presser, Stanley. Questions and Answers in Attitude Surveys. Academic Press, 1981.
  • Inglehart, Ronald. Modernization and Postmodernization. Princeton University Press, 1997.
  • Babbie, Earl. The Practice of Social Research. Cengage, 1975.
  • Dillman, Don A., Smyth, Jolene D., and Christian, Leah Melani. Internet, Phone, Mail, and Mixed-Mode Surveys. Wiley, 2014.
  • Fowler, Floyd J. Survey Research Methods. SAGE, 2014.
  • Tourangeau, Roger, Rips, Lance J., and Rasinski, Kenneth. The Psychology of Survey Response. Cambridge University Press, 2000.

延伸阅读

  • Converse, Jean M. and Presser, Stanley. Survey Questions. SAGE, 1986.
  • de Vaus, David. Surveys in Social Research. Routledge, 2013.