一个招聘模型对不同群体的通过率不同,是歧视、真实资格差异,还是样本与测量问题?把差异写成一个公平指标并不能自动回答法律问题。反歧视法关心受保护群体、具体决定、因果与正当化,机器学习审计则依赖标签、阈值、基准率和数据可得性。前沿在于把两套语言连接成可重复、可质询、能进入救济程序的证据链。
NIST AI 风险管理框架把治理、映射、测量和管理视为连续循环,并要求评估与记录公平和偏差。它是自愿风险框架,不直接创造违法标准。各地强制影响评估或偏差审计则开始把技术检测嵌入法律程序,但“做过审计”可能只证明流程存在,不证明系统公平。审计对象、独立性、数据权限和整改义务决定其真实价值。
公平没有唯一公式
群体通过率相等、合格者机会相等、预测校准和个体相似对待,在基准率不同的条件下往往无法同时满足。选择指标就是选择关注哪类错误与谁承担代价。招聘中漏掉合格申请人和错误录用的社会后果不同;信贷、保释和医疗又有不同权利结构。因此法律不能把某个统计公式封成普遍安全港,而应要求说明目标、错误成本、替代方案和群体参与。
受保护属性缺失也不是中立。有些机构为避免处理敏感数据而不收集群体信息,结果无法发现差异;用姓名或地理位置推断属性又会引入误分类和隐私风险。制度需要有限目的、访问隔离和删除规则,使公平测量不成为新的画像系统。
从静态模型审计到社会技术审计
决定不只由模型产生。职位广告决定谁会申请,缺失资料如何处理,招聘者是否覆盖建议,申诉能否纠错,都影响结果。只测试模型输入输出可能错过流程歧视,也可能把历史不平等误认为模型独有问题。完整审计应覆盖目标定义、数据生成、部署界面、人工行为和长期反馈。
时间维度尤其重要。模型上线后,人们会改变行为,机构也可能把模型分数当作客观事实,减少人工质疑。历史标签如“过去绩效”可能包含机会分配差异。审计应比较无模型基线、替代规则与实际部署结果,而非只问新模型是否达到任意阈值。
独立性与可诉性
由供应商付费的审计存在利益冲突,但完全公开模型也可能泄露隐私与商业秘密。可行结构包括审计者资格、轮换、监管抽查、保密数据室和结果摘要。最关键的是不合格后的后果:暂停、整改、通知受影响者、赔偿或重新决定。没有救济接口,审计报告只是风险公关。
个人通常难以知道自己被何种模型处理,更难取得对照数据证明群体差异。举证规则可要求高影响部署保存版本、特征、阈值与人工覆盖记录,并在初步差异证据出现后转移部分说明责任。但过度记录也增加隐私风险,需要限定保存目的与期限。
可检验问题
- 强制审计是否减少群体差异和错误,还是促使机构选择更容易过指标但更少有效的模型?
- 审计公开到什么粒度既能支持监督,又不泄露个人和安全信息?
- 独立审计者市场是否会出现“挑选宽松审计者”的竞争,怎样由抽查和责任抑制?
- 受影响群体参与指标选择后,审计优先事项是否与纯技术团队不同?
- 申诉数据能否成为持续监测信号,还是因弱势群体较少申诉而产生选择偏差?
真正的成功指标是错误决定被更早发现、受影响者获得有效纠正、机构改进数据与流程,并且差异不只是从一个群体或阶段转移到另一个。
审计报告必须能被行动者使用
监管者需要总体风险与整改证据,工会和公益组织需要群体影响,个人需要知道自己的决定如何复查,工程团队则需要定位数据与阈值。把所有对象塞进一份技术报告,往往谁也用不了。分层报告可共享方法、样本、主要差异、限制与整改状态,同时为有保密义务的审计者保留可复算数据。公开摘要还应说明未测哪些群体,防止“未发现差异”被误读为“已证明公平”。
采购关系是另一个薄弱点。用人单位可能把模型外包,却仍控制职位目标和最终决定;供应商掌握代码,却看不到实际部署。合同应保障测试数据与版本访问、事件协作和终止迁移,并禁止用商业秘密完全阻断受影响者救济。监管抽查若能追到供应链两端,机构就较难通过外包转移责任。
审计还要检查交叉群体。按性别和族群分别平均可能掩盖处在交叉位置者的高错误,但切分过细又会样本不足和增加识别风险。报告应使用置信区间、最小样本门槛与受控访问,并把数据不足列为风险而非自动通过。必要时通过定性研究和情景测试补充稀疏统计。
法律边界: 本文用于解释研究与制度争论,不构成法律意见。反歧视义务、允许使用的敏感数据与举证标准因法域和场景而异,实际审计及诉讼应依据有效法律并由合资格专业人士处理。
跨域连接
- 机器学习公平 展示多个统计公平定义及其不可兼得。法律的任务不是选择最优公式,而是把指标选择、错误代价与权利目的公开,使技术优化可被规范质询。
- 歧视与不平等 区分直接差别对待、结构性机制和累积优势。模型可能不使用群体标签仍复制历史;社会技术审计因此必须分析数据如何由制度生成。
- 证据与证明 提供相关性、可采性、证明力和举证责任框架。审计统计不是裁判结论;其样本、误差、对照和专家方法必须允许对方质证,才可能成为可靠法律事实。
- 实验语言学与因果推断 提醒观察差异不等于因果。反事实测试、自然实验和部署前后比较可以增强推断,但若干预同时变化,审计就必须诚实保留不确定性。
参考文献
- NIST. Artificial Intelligence Risk Management Framework 1.0. 2023. DOI: 10.6028/NIST.AI.100-1.
- Schwartz, R. et al. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence. NIST SP 1270, 2022. DOI: 10.6028/NIST.SP.1270.
- Barocas, S. & Selbst, A. D. Big Data’s Disparate Impact. California Law Review 104 (2016). DOI: 10.15779/Z38BG31.
- Raji, I. D. et al. Closing the AI Accountability Gap. FAccT 2020. DOI: 10.1145/3351095.3372873.
延伸阅读
- Wachter, S., Mittelstadt, B. & Russell, C. Why Fairness Cannot Be Automated. Computer Law & Security Review, 2021.