1958 年 7 月 8 日,《纽约时报》以"新海军装置边做边学"为题,报道了罗森布拉特在康奈尔航空实验室展示的感知机:一台能通过示例学会区分图像的机器。报道说,海军期待它成为"能行走、说话、看见、书写、自我复制并意识到自身存在的电子计算机的雏形"。这个构想他在 1957 年 1 月的实验室报告里已经提出,一年后他把它变成了头条新闻。
1969 年,明斯基与佩珀特出版《感知机》一书,用严格的数学证明了单层感知机的能力边界。书的全名《感知机:计算几何引论》提示了它的真正定位——一部计算几何著作,而不是一篇宣战书。但此后近二十年,神经网络研究几乎从主流人工智能议程上消失,研究经费转向符号主义路线。
1986 年,反向传播被重新推广,多层网络恢复了活力。2012 年之后,同一族方法主导了整个领域。2018 年,图灵奖授予辛顿、勒丘恩与本吉奥,表彰的正是这条被判过"死刑"的路线——寒冬叙事至此完成了它的闭环。
这个故事有一个流传极广的版本:明斯基用一本书杀死了神经网络,把 AI 推迟了二十年。 这个版本里几乎每一句都需要修正——而修正之后剩下的教训,比原来那个更有用。
感知机本身:一台机器,一条定理
今天说"感知机",多半指一行公式;1958 年的感知机首先是一台硬件。1960 年前后建成的 Mark I 感知机,输入端是排成 20×20 阵列的约四百个光电池,构成它的"视网膜";中间是 512 个随机连线的"关联单元";每个权重装在一个由电动机驱动的电位器上——训练时马达转动旋钮,误差就这样被"拧"进电路。发布会上,它用几十次尝试就学会了区分标记在左侧与右侧的卡片。罗森布拉特还对媒体放话:感知机将来能认出人脸,并叫出它们的名字。
它的学习规则简单到一句话可以说完:分对了不动,分错了就把权重朝纠正方向调一步。更重要的是它有一条同样严格的正面定理:只要数据是线性可分的,这条规则必在有限步内收敛到一条分界线(诺维科夫 1962 年给出的收敛证明与步数上界是标准形式)。
记住这条定理,才能读懂后面那场论战的真正内容:明斯基与佩珀特证明的,恰恰是这条收敛定理所承诺的东西的边界。 感知机保证能学会的,它保证找得到;感知机学不会的,问题究竟出在哪里——这就是《感知机》一书要回答的问题。
破除误解:他们证明的和没证明的
《感知机》的数学是对的,而且今天仍然对。 明斯基与佩珀特证明的核心结果是:单层感知机只能实现线性可分的分类。最著名的反例是异或(XOR):平面上四个点 (0,0)、(0,1)、(1,0)、(1,1),要求把一对对角点归为一类、另一对对角点归为另一类——无论直线怎么画,总有一类被切开。单层感知机的全部能力就是画这样一条直线,所以它从根本上无法表示异或。他们还证明了更深的结果,例如判断图形是否连通这类"全局"性质,单层感知机需要的资源随输入规模不可接受地增长。他们还给"难"下过精确定义:一个任务的"阶",是任何能算出它的感知机里单个单元必须同时看到的最少输入个数;连通性与奇偶性的阶随输入规模无限增长——这是真正的判决:不是感知机算得慢,而是它的结构里根本放不下这类问题。
他们从未主张多层网络无能。 书中明确指出多层结构可以突破这些限制。他们的判断是:当时没有已知的算法能有效训练多层网络,因此扩展到多层的前景不明。
还有一条时间线常被忽略:书中的核心论证在 1960 年代中期就以会议报告和手稿形式流传,1969 年的成书是把既有批评系统化。1988 年扩充版面世时,反向传播已经复兴了多层网络,两位作者在新加的序言与结语中回应了这场复兴——他们坚持原书的数学仍然成立,同时承认当年对多层路线前景的悲观超出了证明本身。一本书被读成了死刑判决,作者隔了十九年才正式回了一次话。
这个判断在 1969 年是准确的。反向传播的要素(链式法则求梯度)此后经由多条独立路线出现——1970 年林尼艾玛给出了自动微分的反向模式,1974 年韦尔博斯在博士论文中提出用于神经网络,1986 年鲁梅尔哈特、辛顿与威廉姆斯的工作使它广为人知。中间隔了十几年,而这十几年正是"寒冬"。
那么是什么造成了寒冬
把责任归给一本书,既高估了学术著作的杀伤力,也低估了当时的真实处境。
第一,资金决策由别的因素驱动。 1973 年英国的莱特希尔报告对人工智能作出严厉评价,认为该领域未能兑现承诺,尤其批评了组合爆炸问题——这份报告针对的是整个 AI,主要打击的是符号主义的规划与推理,而不是神经网络。 英国的 AI 研究经费随之大幅收缩,只集中保留在少数几个中心(主要是爱丁堡、萨塞克斯与埃塞克斯)。美国方面,1969 年通过的曼斯菲尔德修正案规定国防部只能资助与军事任务直接相关的研究,1970 财年生效后,面向基础探索的研究经费明显收紧——而整个 1960 年代,美国 AI 研究最大的金主正是国防高级研究计划局。
第二,承诺兑现不了。 1958 年那种"机器将意识到自身存在"的宣传,是领域自己制造的期望。机器翻译在 1966 年的 ALPAC 报告后已经历过一次资金崩塌,原因同样是"承诺远超交付"。寒冬的直接原因是期望管理失败,而不是某个技术论证。 就连明斯基本人也未对过度乐观免疫:1970 年他对《生活》杂志预言,"三到八年内,我们将拥有具有普通人一般智力的机器"。
第三,硬件与数据都不够。 即便 1969 年就有反向传播,当时的算力也无法训练出有用规模的网络。1980 年代的复兴之所以仍然有限,2012 年之后的爆发之所以发生,很大程度上取决于 GPU 与大规模标注数据。技术路线的成败常常由它所需资源何时变得廉价决定,而不是由某次学术辩论决定。
第四,罗森布拉特本人于 1971 年 7 月 11 日在切萨皮克湾的一次翻船事故中溺亡——那天正是他四十三岁的生日。这条线索很少被提及,但一个研究纲领失去最活跃的推动者,后果是实在的。
还要补一笔史学上的修正:神经网络研究并没有死,只是缩小并迁移了。 威德罗与霍夫 1960 年在斯坦福做出的 ADALINE 转入自适应滤波与信号处理,后来成为通信设备里的标准组件;福岛邦彦的神经认知机(1980)与霍普菲尔德的网络模型(1982),都是在"寒冬"最深处做出来的。社会学家奥拉萨兰 1996 年的研究进而指出,"一本书杀死了整个领域"这个版本,很大程度上是 1980 年代复兴运动的参与者事后建构的"官方历史"——它为回归者提供了合法性,也把一段混杂着资金、人事与代际更替的历史,压缩成了一场善恶对决。
明斯基做对了什么,做错了什么
做对的: 他把一个被过度宣传的方法拉回到可分析的地面上。1960 年代关于感知机的宣称大量缺乏理论支撑;《感知机》一书的贡献是给这个领域引入了严格性——它开创了用计算复杂性的工具分析学习模型能力边界的传统,这条传统一直延续到今天的统计学习理论。书中提出的问题也有顽强的生命力:连通性判定后来在电路复杂性与有限模型论里反复出现,成为检验新工具的试金石。在一个靠演示和宣传推进的领域里,要求证明是一种进步。
做错的: 书的语气与结语部分对多层网络的前景表达了明显的悲观,这种悲观超出了它所证明的内容。作者后来也承认这一点被读者放大了。一份技术性证明加上一段非技术性的判断,读者往往只记住后者。
更深的问题是评判标准的选择。 明斯基与佩珀特分析的是最坏情况下的可表示性——某个函数类能否被表示、需要多少资源。而深度学习后来的成功并不建立在最坏情况保证上,它建立在真实数据的分布恰好是良性的这一经验事实上。用最坏情况框架去预判一个在平均情况下工作的方法,会系统性地低估它。这个不匹配至今仍是理论与实践之间的主要裂缝。
代价与争议
"AI 寒冬"叙事本身正在被当作工具使用。 它既被用于给当前的热潮降温("上一次也这样"),也被用于给批评者贴标签("明斯基当年也是这么说的")。两种用法都跳过了具体分析:判断一次热潮是否会转冷,要看承诺与交付的差距、资金的来源结构、以及技术瓶颈的性质,而不是看它是否让人想起过去。
受害者叙事的诱惑。 神经网络阵营在 1970-80 年代确实处于边缘,而这段经历后来被讲述为坚持者最终获胜的故事。它有真实成分,也有选择性——同一时期还有大量被边缘化后确实没有前途的路线,只是没有人为它们写回忆录。幸存者偏差在科学史叙事中的破坏力,不亚于它在投资分析中的破坏力。
理论批评被当作攻击。 这个案例留下的一个不良遗产,是把严格的能力边界证明与"打压"混为一谈。证明一个方法的边界是对它的贡献,尤其当这个方法正被过度宣传时。区分"这条路走不通"与"这条路在这些条件下有这些限制",是读任何技术批评时的基本功。
它留下的判断力
- 能力边界的证明是永久的,前景判断是易腐的。 《感知机》里的定理今天仍成立;它对未来的判断在十几年内就过时了。读技术著作时把这两类内容分开,是最有用的一个习惯。
- 一个领域的兴衰主要由承诺与交付的差额驱动,而不是由学术论证驱动。宣传得越狠,回落时的破坏越大——这条规律在机器翻译、专家系统与后来的每一波中都重演过。
- "缺的是算法"与"缺的是资源"是两种完全不同的困境。 前者需要新想法,后者只需要等待。1969 年的判断混合了这两者,而事后看主要是后者。
- 硬件时间表与算法时间表是两条独立的曲线。 感知机的硬件与对它的理论批评几乎同步成熟,而让它复兴的硬件迟到了四十年。判断一条技术路线时,先问它的瓶颈挂在哪一条曲线上。
- 最坏情况分析会低估在良性数据上工作的方法。 这不是说最坏情况分析没用,而是说它回答的问题与实践关心的问题不同。
跨域连接
- 神经网络:从单层到多层的跨越,技术上只差一个能有效分配误差的训练算法,而这一步用了十几年。这提示了一个反复出现的模式:架构的想象力常常先于优化方法就位,而卡住一个纲领的往往不是"能不能表示",是"能不能训练"。今天关于新架构的争论,值得用同一把尺子去量。
- 统计学习理论与 PAC 学习:《感知机》开创的能力边界分析,在瓦利安特之后成为一门学科。而这门学科随后遭遇了与明斯基相同的困境——经典泛化界对现代深度网络给出的预测几乎无信息量,因为它们刻画最坏情况,而真实数据不是最坏情况。理论与实践的这道裂缝,在这两个时间点上是同一道。
- 梯度下降与反向传播:这个算法的多次独立发现(1970 年的自动微分、1974 年的论文、1986 年的推广)说明它在数学上并不难。难的是让一个共同体相信它值得试——在神经网络被判定为死路的年份里,即便算法已经存在,也没有足够的人去把它用在足够大的网络上。
- 马文·明斯基:他既是符号主义的旗手,也是把严格性带入 AI 的关键人物,而后世记住的主要是前一个身份加上"扼杀神经网络"的指控。一个人的技术贡献与他在路线之争中的位置被混为一谈,是科学史评价中的常见失真,也提醒我们区分某人证明了什么与他主张了什么。
- 范式:符号主义与联结主义的更替,是库恩式竞争在一个工程学科里的展开——但有一个重要差别:判决它的不是理论上的说服,而是基准测试上的分数。当评价标准可以被量化且被双方接受时,范式转移的速度会快得多,也不需要"旧一代退场"。
参考文献
- Rosenblatt, F. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Psychological Review 65(6), 386–408, 1958.
- Rosenblatt, F. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books, 1962.
- Novikoff, A. B. J. On Convergence Proofs on Perceptrons. Symposium on Mathematical Theory of Automata, Vol. XII, 615–622, 1962.
- Minsky, M. & Papert, S. Perceptrons: An Introduction to Computational Geometry. MIT Press, 1969(1988 年扩充版含作者的回顾)。
- Lighthill, J. Artificial Intelligence: A General Survey. 英国科学研究理事会, 1973.
- Rumelhart, D. E., Hinton, G. E. & Williams, R. J. Learning Representations by Back-Propagating Errors. Nature 323, 533–536, 1986.
- Werbos, P. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. 博士论文, Harvard, 1974.
延伸阅读
- Olazaran, M. A Sociological Study of the Official History of the Perceptrons Controversy. Social Studies of Science 26(3), 1996.
- Schmidhuber, J. Deep Learning in Neural Networks: An Overview. Neural Networks 61, 85–117, 2015(含反向传播的发现史考据)。
- Crevier, D. AI: The Tumultuous History of the Search for Artificial Intelligence. Basic Books, 1993.
- Nilsson, N. J. The Quest for Artificial Intelligence. Cambridge University Press, 2010.