跳转到内容
← 返回研究前沿
方法前沿2020s10 分钟阅读

计算社会科学的可审计测量

Auditable Measurement in Computational Social Science

2009 年,Lazer 等人在 Science 提出“计算社会科学”,强调数字痕迹和大规模行为数据让社会科学获得新的观察能力。 2020 年,同一研究传统在 Science 发表“Obstacles and opportunities”,语气明显更谨慎。

计算社会科学数字痕迹可审计测量数据治理LLM

2009 年,Lazer 等人在 Science 提出“计算社会科学”,强调数字痕迹和大规模行为数据让社会科学获得新的观察能力。

2020 年,同一研究传统在 Science 发表“Obstacles and opportunities”,语气明显更谨慎。

前沿问题从“我们能测量更多社会行为”转为“我们测量了什么,谁能审计这种测量,测量本身会造成什么伤害”。

2020 年代的计算社会科学,正在从大数据兴奋期进入可审计、可复核、可治理的阶段。

破除误解

计算社会科学不是数据越大越好。大数据可能只是一个平台、一个接口、一类用户和一个时期的局部切片。它也不是机器学习替代社会理论。模型可以分类、预测和聚类,但研究者仍要定义概念、解释机制、处理偏差、说明推论边界。第三个误解,是认为数字痕迹自然真实。平台记录的是被系统允许和保存的行为。

点赞、停留、转发、搜索、定位和评论,都被界面设计、推荐算法、社交压力、审核规则和商业目标塑造。

核心问题

计算社会科学最核心的开放问题,是概念效度。一个变量在技术上可计算,不代表它在社会学上有效。用点赞衡量支持,用转发衡量说服,用停留时间衡量兴趣,用好友数衡量社会资本,用情绪词衡量公共情绪,都需要证明。第二个问题是可审计性。当研究依赖平台数据、商业接口或大型模型时,外部研究者能否复现?

如果平台改变接口、删除账号、调整推荐模型,研究结果是否仍能验证?第三个问题是测量伤害。大规模分类可能把群体标记为风险、极端、低信用、低生产率或低价值。即使研究者不公开个体身份,也可能对群体造成污名。

谁在做、做到哪一步

Lazer、Pentland、Watts、Salganik、Grimmer、Stewart 等研究者推动了计算社会科学从网络扩散、文本即数据、在线实验到数据治理的转向。Salganik 的 Bit by Bit 把数字时代社会研究总结为观察行为、提出问题、做实验、创造协作和伦理治理。Grimmer 与 Stewart 的 “Text as Data” 推动政治学和社会学文本分析走向系统化。

2020 年之后,研究焦点进一步转向平台数据访问、机器学习偏差、模型审计、隐私保护和大语言模型辅助研究。

当前方法前沿包括:

前沿解决什么风险
大规模文本分类识别框架、情绪、议题和仇恨言论讽刺、方言和少数群体语言误判
网络扩散模型研究信息、疾病和动员路径可见边不等于真实关系
在线实验测试平台设计和信息处理效应知情同意与平台权力
隐私保护数据分析降低再识别风险可能牺牲可解释性和复核性
LLM 辅助编码提高文本处理速度幻觉、偏见、不可复现提示

可审计性为什么是结构性问题,而不是态度问题

"研究应当可复现"听起来是一条学术规范,但在平台数据上它撞到的是权力不对称,不是研究者的自觉程度。

把复现一项研究所需的条件拆开看:

条件传统调查研究平台数据研究
原始数据可存档、可共享归平台所有,条款常禁止再分发
抽样框研究者定义、可披露由接口与算法决定,通常不可见
测量工具问卷可原样公布推荐算法与排序逻辑随时变动且不公开
重复观测可再抽一次样接口可能关闭、账号可能被删

结论很直接:平台自己永远能复现这项研究,外部研究者不能。这不是"数据不够开放"这种程度问题,而是研究的认识论地位发生了变化——一项无法被独立验证的发现,与一项可被验证的发现,在证据强度上不属于同一类。

这也解释了为什么这一领域近年的重心从"能测什么"转向"测量的治理":数据访问协议、独立审计通道、预注册、以及在论文中明确披露"本研究不可被外部复现"的边界。承认限制本身就是方法论进步——它把一个隐藏的弱点变成了一个被标注的已知条件。

一个可操作的效度判据

"概念效度"同样容易停在口号。有一个具体到能执行的检验方式:换一个不相关的指标去测同一个概念,两者是否给出一致结论。

  • 若用点赞、转发、评论三种痕迹分别测"公众支持",结论一致 → 该测量对具体指标的选择不敏感,效度较强。
  • 若三者给出不同甚至相反的结论 → 你测到的很可能是平台机制(哪种互动被算法奖励),而不是你想测的那个社会事实。

这个检验之所以有力,是因为它不需要外部真值(ground truth),而社会科学里真值往往根本拿不到。它把"这个变量有效吗"这个无法直接回答的问题,替换成"这个结论对测量方式稳健吗"这个可以回答的问题。在拿不到真值的领域,稳健性检验是效度的现实替代品。

代价与争议

最大争议是平台依赖。许多最重要的数据由平台掌握。研究者若没有数据,只能观察公开表面。若获得数据,又可能受到平台合同、保密条款和选择性开放限制。公共知识因此被商业基础设施控制。第二个争议是模型解释。机器学习可以预测传播,但社会学需要解释为什么传播。

如果模型只告诉我们“这个内容会爆”,却不能解释是身份、情绪、网络位置、平台推荐还是政治组织造成的,它对理论贡献有限。第三个争议是 AI 工具进入研究流程。LLM 可以帮助编码、摘要、翻译和生成变量,但它也可能把训练数据中的偏见带入研究。研究者需要记录提示、抽样验证、误差模式和人工复核过程。

未知的边界

  • 平台数据访问制度能否支持独立、长期、跨国比较研究,尚未稳定。
  • LLM 作为文本编码者的可靠性,在不同语言、隐喻、讽刺和低资源语境中仍需评估。
  • 隐私保护与可复核之间的平衡没有通用答案。
  • 计算社会科学能否真正吸收民族志、访谈和历史方法,而不是只扩大可计算变量,仍是学科边界问题。
  • 大规模测量的社会后果如何治理,仍缺少成熟伦理框架。

跨域连接

  • 大语言模型:模型被用作"合成受访者"来模拟调查回应,而这一用法的效度前提很脆弱:模型复现的是训练语料中的表达分布,而非人群的态度分布。它在多数派立场上看起来可信,在少数群体与非主流立场上系统性失真——恰恰是最需要研究的部分。
  • 因果推断的可信性革命:大数据提高的是精度而非识别力,而这一区别在这一领域反复被混淆:样本再大也不能解决混杂。海量观测数据最有价值的用途是发现自然实验(政策断点、平台改版),而非直接从相关中读因果。
  • 数字表型与计算伦理:可被推断的内容比被采集的数据敏感得多,因而"去标识化"不足以保护隐私——风险来自推断能力而非标识符。这使治理必须落在用途与访问控制上,而这一点在依赖公开数据的研究中最容易被忽视。
  • 可重复性危机与开放科学:这一领域有一层额外的不可复现性——数据由平台控制、接口可关闭、历史快照无法重取。这意味着即使代码公开,研究也可能在原理上不可复现,而这一约束不是技术问题,是研究基础设施的所有权问题。
  • 社会网络分析:平台数据使超大规模网络首次可被观测,同时引入了一个结构性偏差:观察到的是平台上的关系而非社会关系。两者的差距随年龄与阶层大幅变化,因而网络结构的结论会系统性地偏向重度用户——而这一偏差无法靠加权修正,因为缺失的是关系本身。

参考文献

  • Lazer, David et al. “Computational Social Science.” Science, 2009. DOI: 10.1126/science.1167742.
  • Lazer, David et al. “Computational Social Science: Obstacles and Opportunities.” Science, 2020. DOI: 10.1126/science.aaz8170.
  • Salganik, Matthew J. Bit by Bit: Social Research in the Digital Age. Princeton University Press, 2018.
  • Grimmer, Justin and Stewart, Brandon M. “Text as Data.” Political Analysis, 2013.
  • Edelmann, Achim et al. “Computational Social Science and Sociology.” Annual Review of Sociology, 2020.