2019 年，卡内基国际和平基金会的史蒂文·费尔德斯坦（Steven Feldstein）发布了一份在学界引发广泛讨论的报告。他系统调查了全球各国 AI 监控技术的部署情况，发现当时已有至少 75 个国家被记录在使用 AI 监控工具——包括面部识别摄像头、智能警察平台、社交媒体监控系统。这些工具并非只出现在威权政体，也出现在许多形式民主国家。
这一发现提出了 2020 年代最迫切的政治学问题之一：当监控技术的门槛大幅下降，当算法成为公共决策的中间层，政治权力的本质正在发生什么改变？
破除误解：技术不是中性的
一种常见的看法是：AI 和算法只是工具，善恶在于使用者。这种"技术中性论"越来越难以成立。
算法系统的设计选择——收集哪些数据、优化什么目标、如何定义"异常"——都包含了价值判断，这些判断被"技术化"之后往往变得不透明、难以问责。弗吉尼亚·尤班克斯（Virginia Eubanks）在 2018 年的《自动化不平等》（Automating Inequality）中记录了美国政府使用算法系统分配福利、识别儿童虐待风险的案例，揭示这些系统如何系统性地将历史歧视以"数学"的面目延续。
技术选择就是政治选择——这是理解算法治理的前提。
现场：核心问题
人脸识别与国家监控
人脸识别技术在 2010 年代中期以后准确率大幅提升，部署成本显著下降。其政治含义是双重的：
- 在威权政体中，它极大地降低了大规模识别、追踪、管控异见人士的成本，强化了国家的规训能力。
- 在民主政体中，警察部门广泛部署面部识别也引发了侵犯无罪假定、制造歧视性执法（多项研究表明，商业面部识别系统对有色人种的误识别率显著高于白人，麻省理工学院的乔伊·博洛姆韦尼等人的研究有记录）的担忧。
多个民主国家已开始立法限制人脸识别在公共场所的应用：2021 年，欧盟在其《人工智能法》（AI Act）草案中提出了对"实时远程生物特征识别"的严格限制，该法案于 2024 年正式通过，成为全球首个专门针对 AI 系统的综合性立法。
算法决策与问责
当算法参与或决定刑事量刑建议（如美国的 COMPAS 系统）、社会福利申请审核、移民庇护申请审查，责任归属变得模糊：当算法出错时，是算法开发者负责，还是使用算法的政府机构，还是签字的官员？这种"责任真空"是算法治理的核心制度问题。
信息生态与民主
社交媒体平台的推荐算法不只推送内容，还塑造政治信息的传播结构。关于算法是否加剧政治极化，研究结论复杂：部分研究（如 2023 年发表于《自然》等期刊的多项关于 Facebook/Meta 算法实验的研究）发现，算法调整对极化程度的影响小于预期，信息茧房并非仅由算法造成。但另一些研究指出，极端内容更高的参与率（engagement）会给推荐算法以激励，导致边缘化内容获得不成比例的传播。
谁在做：路线对比
| 路径 | 核心关注 | 代表机构/学者 | 当前状态 |
|---|---|---|---|
| 技术监管路径 | 建立 AI 监管框架、审计要求 | 欧盟、英国 | 欧盟 AI Act 2024 已通过；各国法律层出 |
| 人权路径 | 将 AI 风险纳入人权框架 | AI Now Institute、Amnesty International | 倡导框架逐步成型 |
| 技术反制路径 | 开发隐私增强技术（PET） | 学术界、部分科技公司 | 早期阶段 |
| 国际协调路径 | G7/G20 AI 原则、OECD AI 政策 | OECD、UNESCO | 原则多、约束力弱 |
代价与争议
安全 vs. 隐私的权衡：政府支持者认为，监控技术提高了犯罪侦测和恐怖主义预防的效率，对守法公民的实际代价微小。反对者指出，这种权衡论点以"技术系统中性且准确"为前提，而两者都未能成立；更根本地，即便是"准确"的大规模监控，也会产生"寒蝉效应"（chilling effect）——改变公众行为，压缩合法的政治异见空间。
"技术威权主义出口"的争议：部分报告（包括费尔德斯坦 2019 年的卡内基报告）指出，中国企业（华为、海康威视等）是全球 AI 监控技术的主要出口方。这一论述被部分人士发展为"中国正在出口威权模式"的叙事。批评者则指出：一、美国和以色列的监控技术同样广泛出口；二、购买中国技术的国家中既有威权政体也有民主政体；三、"技术出口"与"制度模式出口"之间的因果链并不清晰。这是一个真实但需要审慎区分事实与推断的议题。
民主国家的镜像困境：最不令人舒适的发现或许是：威权政权使用的许多监控技术，同样在民主政府中被采用——犯罪预测系统、社会媒体监控、边境 AI 监控。这使"专制使用技术 / 民主限制技术"的简单叙事难以成立。
欧盟 AI Act：监管前沿的早期评估
2024 年 8 月，欧盟《人工智能法》（Regulation (EU) 2024/1689）正式生效，是全球首个针对 AI 系统的综合性立法。对于算法治理而言，它的意义值得审慎评估，而非简单颂扬。
法案的核心架构：采用风险分级方法，将 AI 系统分为"不可接受风险"（直接禁止，如社会信用评分、操纵性 AI）、"高风险"（需满足严格审计和透明度要求，包括用于移民管理、刑事司法的 AI）、"有限风险"和"最小风险"四类。对"实时远程生物特征识别"（即公共场所实时人脸识别）施加了原则性限制，附有执法目的的例外条款。
批评性评估：部分数字权利组织指出，法案的例外条款为执法使用人脸识别留出了较大空间；法律文本的模糊性意味着具体执行将在未来的监管实践中被填充和界定；对非欧盟国家的外溢效应仍不确定（欧盟标准能否成为事实上的全球标准，如同 GDPR 的路径？）。
AI 治理的模式竞争：欧盟模式（综合性监管立法）、美国模式（分散的行业自律 + 有限的联邦干预）、中国模式（国家主导的 AI 应用 + 专项算法监管规定）之间的制度竞争，不只是技术标准问题，也是不同政治体制对技术权力分配的深层分歧。这场"AI 治理的地缘政治"已经成为学界和政策界的活跃研究领域。
未知的边界
- 监控技术的扩散是否真的强化了威权政权的稳定性？相关研究表明存在正相关，但因果关系难以分离。
- 当前的监管努力（欧盟 AI Act 等）是否能形成有意义的国际规范，还是将被技术发展速度超越？欧盟 AI Act 的大多数条款要到 2026 年 8 月才全面生效，届时 AI 能力将已大幅跃升。
- 量子计算、神经接口等下一代技术将给政治监控带来什么新维度？目前研究极少，推测成分多。
- 问责机制能否追上算法决策系统的扩散速度？当算法参与的决定涉及数百万人时，个案申诉的传统救济路径是否仍然有效？这是 2020 年代行政法学和人权法学的核心前沿问题之一。
谁在承担算法决策的后果？
弗吉尼亚·尤班克斯（Virginia Eubanks）2018 年的研究揭示了一个不平等的模式：在美国，算法决策系统最密集地部署在最边缘化的群体身上——接受社会救助的家庭、刑事司法系统中的被告、寻求庇护的移民。这些人往往缺乏有效的申诉资源，且最难以向公众可见地推动问责。
Kate Crawford 在《AI 图集》（Atlas of AI, 2021）中扩展了这一分析：她揭示 AI 系统的物质基础——挖矿、数据中心能耗、标注劳动——以及这些物质成本如何在全球范围内不均等地分布：原材料开采在刚果、玻利维亚；数据标注在东南亚、非洲；服务消费在富裕国家。"AI 的政治"不只发生在算法层面，也发生在供应链的每个环节。
Shoshana Zuboff 的《监控资本主义时代》（The Age of Surveillance Capitalism, 2019）提供了商业平台的补充框架：科技公司将用户的行为数据作为"原材料"，经由机器学习转化为预测产品，出售给广告主和其他买家。这一"行为修改"机制对个人自主性和民主运作的威胁，与国家监控的威胁有所不同——它更分散、更隐蔽、更难以用传统隐私法规框住。
跨域连接
- 民主与威权：监控技术最结构性的改变是压低了识别与追踪异见者的单位成本。这意味着同等镇压强度所需的人力与预算下降，可承受的监控广度随之上升。但"成本下降是否等于政权更稳固"仍缺乏干净的识别——相关性有记录，因果方向难分离，此处的推断成分应当被明确标出。
- 计算机视觉：识别系统的误差从不均匀分布。多项研究记录到商业面部识别对有色人种的误识别率显著更高，而部署场景恰恰是执法这类误判代价极不对称的地方——同一个准确率数字，落在不同人群身上意味着完全不同的风险。
- 可解释性：现代模型的决策过程内在地难以用人类规则完整复述，开发者也无法事先预知全部行为。因此"可解释性"作为问责机制的实质效果，可能远低于法律文本的暗示；多数监管框架转向独立审计，正是承认了这一技术限制。
- 平台经济学：平台把用户行为数据当作原材料，经模型转化为预测产品出售。这条商业链条使监控不需要国家推动也会自我扩张，且它更分散、更隐蔽，传统隐私法规围绕"谁在收集"设计的边界因而难以套住。
- 平台治理：当算法参与量刑建议、福利审核或庇护审查时，责任在开发者、使用机构与签字官员之间悬空。这个责任真空是制度问题而非技术问题：可检验的判据是出错后能否找到一个有权推翻决定并承担后果的人。
算法问责的法律前沿
2022-2024 年间，围绕"自动化决策的可解释权"（right to explanation），欧盟《通用数据保护条例》（GDPR）第 22 条的司法解释成为法律前沿。GDPR 原则上赋予个人不受"仅基于自动化处理"的重大决策影响的权利，但实践中，"解释"的内容和标准仍由成员国法院逐案界定，形成了碎片化的法律格局。
美国联邦层面尚无类似的综合性 AI 问责法，但各州立法有所推进：2024 年，科罗拉多州通过了美国首个综合性 AI 立法（Colorado AI Act），要求特定高风险 AI 系统的开发者和部署者履行风险评估和信息披露义务。这种"州级先行"的格局与欧盟统一框架形成了鲜明对比，反映了美国政治体制对统一监管的结构性阻力。
"问责鸿沟"问题：从技术规律上看，现代机器学习模型（尤其是大型神经网络）的决策过程内在地难以用人类可理解的规则加以完整解释——即便是开发者本身也无法事先预知模型在所有情况下的行为。这意味着"可解释性"（explainability）作为问责机制的实质效果，可能远比法律文本所暗示的更为有限。如何在技术局限与民主问责需求之间建立有意义的制度桥梁，是监管科学（regulatory science）的前沿课题。
审计作为过渡机制：在完整可解释性尚不可能的条件下，多数监管框架转向了独立审计（independent auditing）作为替代：由第三方评估 AI 系统的输出是否显示歧视性模式，而不要求解释内部机制。欧盟 AI Act 对高风险 AI 系统的合规要求，以及科学界关于"算法审计"标准化的讨论（AI Now Institute、ACM FAccT 年度学术会议），是这一领域的核心进展来源。
值得注意的是，"审计"本身也面临深层困境：审计机构如何独立于被审计的公司？审计结果如何公开而不泄露商业机密或安全漏洞？这些制度设计问题尚无成熟答案，是算法治理研究和实践的活跃前沿。
参考文献
- Eubanks, V. Automating Inequality. St. Martin's Press (2018).
- Zuboff, S. The Age of Surveillance Capitalism. PublicAffairs (2019).
- Feldstein, S. The Rise of Digital Repression. Oxford University Press (2021). （基于其 2019 年卡内基报告的扩展专著）
- Crawford, K. Atlas of AI. Yale University Press (2021).
- European Union. Regulation (EU) 2024/1689 — Artificial Intelligence Act. 2024. （欧盟官方法律文本）
- Buolamwini, J. & Gebru, T. "Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification." Proceedings of Machine Learning Research 81, 2018.
- Nyhan, B. et al. "Like-Minded Sources on Facebook Are Prevalent but Not Polarizing." Nature 620, 2023. doi:10.1038/s41586-023-06297-w 关于平台推荐算法与政治极化关系的大规模实验研究。