跳转到内容
← 返回先驱
人工智能1976–约 15 分钟阅读

李飞飞

Fei-Fei Li

ImageNet计算机视觉数据集以人为本的AI

2009 年,李飞飞与邓嘉、董伟、Richard Socher 等人在 CVPR 发表 ImageNet:按 WordNet 同义词集组织、当时约 320 万张标注图像的层次数据库。2010 年起的 ILSVRC 竞赛把其中的分类与检测任务做成年度公共基准。2012 年,AlexNet 在该基准上把错误率拉开一个档次,卷积网络、GPU 与大规模标注数据的组合第一次变成不可忽视的工业事实。李飞飞没有发明卷积,也没有写出 AlexNet。她把视觉识别的问题规模改写成一种可以被年复一年测量的公共仪器。

关于边缘、卷积与层次特征,计算机视觉 与 卷积神经网络 已经写过。本篇不再把卷积核重讲一遍。这里要看的是数据集如何成为科学仪器,以及为何“收集更多图片”与“定义可学习的类别空间”不是同一件事。

破除误解:她不是深度学习之母,ImageNet 也不是无代价的自然数据

第一层误解把 2012 年的转折写成她训练出了深度网络。AlexNet 的作者是克里热夫斯基、苏茨基弗与杰弗里·辛顿一组;卷积网络的现代工程传统则来自杨·勒坤等人 1980–1990 年代的工作。李飞飞团队提供的是任务、类别层次与每年可比较的测试集。没有基准,同样的网络也可以存在,但不会以那种速度变成共享事实。把基准仪器的建造者写成算法发明者,会把两种贡献都说错。

第二层误解把 ImageNet 当成“从网上随便爬的照片”。图像按 WordNet 的 synset 组织,标签是在众包界面上由人选择的。类别空间先于照片存在:它来自一部英语词汇数据库的名词层次。哪些物体算一个类、哪些文化中的对象根本不在 WordNet 里,从第一天起就写进了仪器。后来的偏差、冒犯性类别与劳工条件争议,不是附加的道德附录,而是这台仪器的构造后果。

第三层误解把“以人为本的 AI”当成软性品牌。李飞飞在斯坦福 HAI、AI4ALL 与公共写作里强调的是:视觉系统进入医疗、汽车与监视之后,错误的代价不再是分类百分比。这与 ImageNet 时代“把 top-5 错误率压下去”的目标函数并不自动一致。后一段工作是在承认前一段仪器的限度,而不是用新口号给旧基准加光环。

现场:从单张照片的学习到一台公共仪器

李飞飞 1976 年生于北京,十六岁移居美国新泽西。1999 年在普林斯顿取得物理学学士,2005 年在加州理工学院取得博士学位,导师包括皮耶特罗·佩罗纳(Pietro Perona)与克里斯托夫·科赫(Christof Koch)。早期工作关心的是有限样本下的物体类别学习,以及场景的层次生成模型。视觉在当时仍经常被小数据集定义:几十个类、每类几十张图。泛化是故事,不是可逐年复现的公共曲线。

ImageNet 的现场是标注流水线。类别从 WordNet 取出,候选图从互联网检索,众包工人在界面上确认“这张图是否为这个 synset 的实例”。质量控制、多数投票与专家抽查决定标签噪声的形状。2015 年的 ILSVRC 综述论文把竞赛的协议、误差分析与数据集统计写成可引用对象。科学仪器必须可被引用,而不能只存在于实验室硬盘。斯坦福此后成为她长期任教的机构;2017–2018 年她曾任 Google Cloud 的首席科学家,把同一套视觉模型接到云 API。工业职位与学术基准的关系需要分开写:API 传播了模型,基准定义了比较。

机制:类别层次、经验风险与规模

监督视觉识别把一张图 $x$ 映到类别 $y$。ImageNet 分类把 $y$ 定义成约 1000 个 ILSVRC 类,每类有训练图像。经验风险是平均损失 E[ℓ(f(x),y)]\mathbb{E}[\ell(f(x),y)]。规模同时改变三项:覆盖的视觉变化、$f$ 的可识别参数量、以及过拟合的形状。小数据上,高容量卷积会记样本;百万级图像上,同样的容量开始吸收姿态、光照与背景。深度学习架构 的深度在这里才变得可训练——不是因为深度突然被发明,而是因为梯度有足够多样的误差信号可以走。

WordNet 层次提供了第二种机制:细粒度与粗粒度可以互相约束。一只具体品种的狗仍是狗。训练与评估可以停在不同层。层次不是装饰,它是标签空间的拓扑。错误若发生在近亲 synset 之间,与跨到完全不同的上位类,代价不同。ILSVRC 的 top-5 指标默认近亲混淆可以被部分原谅。指标选择已经是一种关于“什么算识别”的哲学,只是写在竞赛规则里。

众包把劳动力写进损失函数。标签 $y$ 不是物体的形而上学本质,而是工人在给定提示下的决定。报酬、界面与抽查决定噪声模型。后来的审计发现侮辱性类别、未同意的人脸与地理偏差,说明仪器在构造时把一部分世界当成了可爬取的原料。修正数据集、撤回类别、改写研究伦理,都是在改仪器,而不是在算法论文的附录里添加致谢。机器学习概览 把数据生成过程写进模型有效性的前提;ImageNet 让这个前提变成公共事件。

规模也改变了计算几何。卷积的参数共享使百万图像可训练,GPU 把训练时间从不可行变成数周。2012 年的缺口是算法、数据与算力的乘积。只复制其中一项,不会复制那条曲线。李飞飞团队控制的是数据与任务;另外两项由竞赛的其他参与者补齐。仪器的意义正在于:它允许别人把另外两项接上来,并被同一把尺子量。WordNet 把名词写成可继承的 synset,视觉标签因此有了偏序,而不是一堆互不相关的文件夹名;没有这一层,规模只会变成更大的平面分类。以人为本的后续工作,是在承认这台仪器量到的世界并不等于所有人的视觉世界之后,把错误代价与同意写回评测协议。

早期的 one-shot 工作与后来的 ImageNet 看起来方向相反,其实是同一问题的两端。佩罗纳组关心的是:人可以在一两张图上学会一个新类,算法为何不能。贝叶斯层次模型把类别写成共享先验上的新样本。小样本成立的前提是先验对;先验来自对世界如何组织的假设。ImageNet 把先验换成经验:用数百万张图把可变性直接喂给高容量模型,让层次存在于 WordNet 与表示里,而不是只存在于手工先验。两端都没有取消对方。没有先验的纯规模会在长尾与新类上崩溃;没有规模的纯先验会在真实光照下崩溃。李飞飞的轨迹是先写小样本,再建造让规模可被公共测量的仪器。

ILSVRC 的协议细节决定了什么叫进步。训练与测试的图像划分必须固定;提交次数受限,以防在测试集上调参;定位与检测后来被加入,因为只做图级分类会让模型靠场景捷径取胜。误差分析把错误分成细粒度混淆、多物体、定位失败。这些协议是仪器的一部分。没有它们,每年下降的百分比无法比较。2012 年的跳跃之所以成为公共事实,是因为前两年的数字在同一协议下已经写在纸上。

代价与争议

ImageNet 的伦理账单是真实的。类别清单包含过时与侮辱性的词;人脸与敏感属性被当成物体;众包劳动报酬与同意机制不匹配后来的研究规范。2019 年前后的艺术项目与审计把这些问题做成公共事件,斯坦福团队对部分类别做了清理。正确的叙述不是“科学家恶意”,而是:当类别空间来自既有词汇数据库、图像来自未受约束的网络爬取,仪器会继承两者的暴力与偏差。继续使用旧测试集而不声明其构造,是把历史误差写成永恒的自然。

监视与商业部署构成第二层争议。更准的视觉系统使大规模识别变得便宜。李飞飞公开主张限制某些人脸识别用途,并推动“以人为本”。批评者认为实验室与云厂商的职位使这种主张难以彻底。评价应当落在具体政策、数据集治理与拒绝哪些合同,而不是落在形容词。主张与仪器之间的张力应当保留:正是 ImageNet 把准确率做成了可出售的数字。

第三层是科学方法。年度竞赛让领域围绕单一指标动员,也让其他视觉问题(长尾、组合、因果、视频)相对失血。基准的成功会筛选研究问题。李飞飞后来谈多模态与具身,部分是在对抗这台自己参与建造的仪器的引力。承认引力,比宣布“我们已经进入下一时代”更准确。

标注劳动的政治经济学应当写进机制,而不只写进伦理附录。众包把识别判据外包给低报酬的点击,界面提示决定工人看见什么问题。一张图是否“是这个 synset”,在边界样本上没有唯一答案:遮挡、玩具、插画、隐喻用法都会让工人分裂。多数投票把分裂压成点标签,损失从此把争议当成噪声。仪器看起来更干净,世界并没有因此变干净。后来的多标签、软标签与数据集文档(datasheets)是在补这层被压掉的分布。

斯坦福 HAI 把问题从准确率转到部署场景:医疗影像的假阴性、自动驾驶的长尾、教室里的监视。这些场景的损失函数不能从 ILSVRC 继承。以人为本若只停留在演讲,它就不是对 ImageNet 的修正;若落到数据集治理、评估协议与拒绝某些合同,它才是同一条轨迹上的下一台仪器。两种读法都存在,必须用可检查的行动来区分。

跨域连接

  • 线性代数:卷积是稀疏、平移共享的线性算子,深度网络把图像看成可被多层矩阵与非线性交替作用的张量。ImageNet 的规模让这些算子的百万参数可以被随机梯度推动,而不是停在小样本的病态曲面上。类别logits 是线性分类器放在特征上的点积。没有这套线性代数,所谓“端到端学习”只是无法计算的愿望。仪器提供样本,线性算子提供可训练的假设类。
  • 信息几何:表示学习把每张图映到特征流形上的一点,分类器是该流形上的判别几何。Fisher 信息与 KL 邻域描述的是:参数微扰如何改变预测分布。大规模层次类别使这个流形被样本覆盖得更密,也使度量在稀有类上仍然稀疏。ImageNet 的误差分析常常是在问:两类在表示空间里是否被当成邻居。信息几何把“看起来像”写成分布之间的距离,而不是像素上的欧氏距离。
  • 信息哲学:标签把世界写成可枚举的同义词集。知识在这里是分类决定,不是物体的在场。仪器决定了哪些存在者可被学习,哪些从来不会进入损失。哲学问题变成:一部英语词汇数据库凭什么充当视觉世界的本体论。后来的清理工作等于承认本体论是被建造的。以人为本的论述若要有内容,必须把这层建造说出来,而不能只谈“技术服务人类”的愿望。
  • 测度论:训练误差是经验测度上的积分,测试集是另一份被假定独立的测度。ImageNet 的“进步”是在竞赛测度上的积分下降。把这份测度当成视觉能力的普遍测度,是非法的延拓。地理、相机与文化一旦改变支撑,同一参数的风险可以跳变。竞赛规则是在定义测度,不是发现自然。理解李飞飞的贡献,包括理解这台仪器量的是哪一种图像世界。

人物小记:把尺子做成公共的,然后承认尺子的边界

李飞飞的贡献形状与算法英雄叙事不吻合。她把类别空间、标注流水线与年度协议做成领域的公共时间轴,使卷积与 GPU 的乘积能够被看见。随后她用另一套机构(HAI、教育项目、治理讨论)去约束这台仪器释放出的部署。两条工作可以互相批评:没有基准就没有 2012 年的公共事实;只有基准则事实会被误当成世界。

若把轨迹压成一句判据:好的数据集贡献,是让后来者无法再把模型、任务与世界混写成同一个准确率。 仪器使比较成为可能,也使偏差成为可审计的对象。李飞飞站在仪器这一侧。算法史应当把她写在这一侧,而不是误写到卷积核的发明栏。

AI4ALL 与斯坦福课程把仪器的另一面交给更年轻的学生:谁有权被数据集看见,谁有权拒绝被识别。这不是把 ImageNet 作废,而是把建造过程教成可批评的对象。没有这段教育,仪器会继续被当成自然风景。有了这段教育,也不自动改变部署合同。两者必须并置:公共尺子与公共批评,是同一份科学记录的两个文件。

WordNet 作为本体论的限度,在非英语、非物体中心的视觉世界里尤其清楚。动作、关系、场景叙事、医疗模态,都无法被 1000 类日常名词穷尽。后来的视觉问答与视频基准是在换测度,而不是把 ImageNet 的百分比接着往下做。李飞飞参与的后续讨论若有内容,应当落在新测度是否写清了支撑,而不是落在“更大的模型”这一句。规模仍然有用,但规模回答不了测度是否合法。ILSVRC 的 top-5 把近亲混淆部分原谅,这已经是一种关于“识别”的规范决定,不是中性算术。换 top-1、换层次距离加权,同一模型的名次会动。仪器的刻度从来不是唯一的。

参考文献

  • Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K. & Fei-Fei, L. ImageNet: A Large-Scale Hierarchical Image Database. CVPR, 2009, pp. 248–255.(ImageNet 原论文)
  • Russakovsky, O. et al. ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision 115, 2015, pp. 211–252.(ILSVRC 协议与分析)
  • Krizhevsky, A., Sutskever, I. & Hinton, G. ImageNet Classification with Deep Convolutional Neural Networks. NeurIPS, 2012.(在该基准上拉开差距的网络,用于对照贡献边界)
  • Fei-Fei, L., Fergus, R. & Perona, P. One-Shot Learning of Object Categories. IEEE Transactions on Pattern Analysis and Machine Intelligence 28(4), 2006, pp. 594–611.(早期小样本视觉)
  • Li, F.-F. & Perona, P. A Bayesian Hierarchical Model for Learning Natural Scene Categories. CVPR, 2005, pp. 524–531.(场景层次模型)

延伸阅读

  • Crawford, K. & Paglen, T. Excavating AI: The Politics of Images in Machine Learning Training Sets. The AI Now Institute, 2019.(对 ImageNet 类别与图像来源的审计式批评)