现代处理器有一个被算力叙事掩盖的真相:一次乘加运算的能耗,远低于把参与运算的数从内存搬到运算单元的能耗。 在典型工艺下,从片外 DRAM 读一个数所耗的能量,可以做几百次乘加。
这意味着大规模神经网络的能耗账本里,主导项不是"算",而是"搬"。而冯·诺依曼架构的定义特征恰恰是把存储与计算分开——它在数据稀少的年代是优雅的抽象,在参数以千亿计的年代变成了结构性负担。这就是"内存墙"。
大脑给出了一个截然不同的参考实现:约八百六十亿神经元、上百万亿突触,功率约二十瓦。它没有中央时钟,没有独立的内存与运算器,信息以稀疏的脉冲传递,存储与计算发生在同一个物理位置。
神经形态计算问的就是:这套原理有多少可以被搬进硅片。
破除误解:它不是"更快的 AI 芯片"
第一,神经形态不是 GPU 的替代品。 GPU 擅长稠密矩阵乘法,吞吐极高;神经形态芯片的优势场景恰恰相反——稀疏、事件驱动、低延迟、极低功耗。在批量训练大模型这件事上,神经形态硬件没有任何竞争力,也不打算有。它瞄准的是另一类问题:始终在线的传感处理、机器人的实时闭环、超低功耗的边缘推断。把两者放在同一张性能对比表上,本身就是错的。
第二,"能效高一千倍"是有前提的数字。 这类比较通常成立于特定负载(稀疏、事件驱动、小批量)与特定基线(未经优化的 GPU 实现)。换成稠密负载或大批量推理,优势会大幅缩水甚至消失。能效比是一个关于工作负载的函数,不是芯片的固有属性——这是阅读所有神经形态宣传材料时最需要带着的一把尺子。
第三,"更像大脑"不等于"更好"。 神经科学启发提供的是设计灵感,不是正确性保证。飞机不扇翅膀,而神经形态领域反复出现的一个陷阱,是把生物合理性当成技术目标本身。真正需要回答的问题始终是工程性的:在哪一类任务上,用多少能量,达到多少精度与延迟。
三条并行的技术路线
路线一:脉冲神经网络与事件驱动硬件。
信息不再用连续数值表示,而用离散脉冲的时序表示;神经元只在收到足够输入时才发放,没有事件时电路近乎静默。这带来天然的稀疏性——功耗随活动量而非时钟频率变化。
代表性系统构成了这个领域的坐标:IBM 的 TrueNorth(2014 年发表于《科学》)用一百万个神经元、两亿五千六百万突触,在约七十毫瓦下运行;曼彻斯特大学的 SpiNNaker 用大规模通用小核模拟脉冲通信;海德堡的 BrainScaleS 走模拟加速路线,以远快于生物实时的速度仿真神经动力学;清华的天机芯(2019 年《自然》封面)尝试在同一芯片上同时支持脉冲网络与人工神经网络。Intel 的 Loihi 2 支持片上学习规则,其大规模系统 Hala Point(2024 年部署于桑迪亚国家实验室)用 1152 颗 Loihi 2 组成约 11.5 亿神经元、1280 亿突触的系统,整机最大功耗约 2600 瓦——把这个数字与同等规模常规 AI 集群的兆瓦级功耗并置,正是这条路线全部的说服力所在。
这条路线最硬的障碍不在硬件,而在训练。脉冲发放是不可微的,反向传播无法直接使用。替代梯度(surrogate gradient)方法用一个平滑函数近似发放的导数,让 SNN 能被端到端训练,是目前最主流的解法;另一条路是先训练常规网络再转换成脉冲版本,简单但会损失时序编码的优势。没有一个像反向传播之于深度学习那样干净、通用、可规模化的训练范式,是这个领域至今最关键的空缺。
路线二:存内计算与模拟阵列。
如果搬运数据是主要成本,那就不搬——直接在存储器件阵列里完成计算。把权重编码为忆阻器件的电导,输入编码为电压,则一次矩阵—向量乘法由欧姆定律与基尔霍夫电流定律在物理上一步完成:电流自动完成乘与加。
这在原理上极其漂亮,工程上却撞上三堵墙:器件不一致性(同一批器件的电导分布有显著离散)、漂移与噪声(阻值随时间与读写次数变化)、以及模数转换的开销(阵列是模拟的,前后接口是数字的,ADC/DAC 的功耗常常吃掉阵列省下的大部分收益)。相变存储器、阻变存储器与自旋器件各有不同的取舍点。IBM 在 2023 年发表的模拟 AI 芯片工作,展示了在真实网络上把精度损失控制在可接受范围内的可行性,但离通用可编程仍有距离。
IBM 的 NorthPole(2023 年《科学》)走了一条更务实的中间路线:仍是数字电路,但把权重全部放在片上、彻底消除推理时的片外内存访问,在 ResNet-50 一类任务上取得了相对 GPU 数量级的能效提升。它证明了一件事——收益的主要来源是"不搬数据"这个架构决策本身,而不必然需要模拟器件或脉冲编码。
路线三:换材料与换物理。
CMOS 的登纳德缩放在二十一世纪初就已终结:晶体管还在变小,功率密度却不再下降,于是有了暗硅与频率停滞。后 CMOS 的候选包括自旋电子学、光子计算、超导逻辑,各自在特定指标上有数量级优势,但都缺少 CMOS 用六十年积累的制造生态。半导体产业的真正壁垒从来不是某个器件更好,而是替换整条产业链的代价。
输入侧的伏笔:事件相机
神经形态计算最容易被忽略的一半在传感器端。传统相机以固定帧率输出完整画面,无论场景是否变化——这是一种巨大的浪费。事件相机(动态视觉传感器)的每个像素独立地在亮度变化超过阈值时输出一个事件,静止场景几乎不产生数据。
它的特性与脉冲硬件天然匹配:微秒级时间分辨率、极高动态范围、数据量随场景变化而非分辨率增长。高速机器人、无人机避障与工业检测是最先落地的场景。这也提示了这个领域最可能的突破口——不是取代数据中心的 GPU,而是在"传感即计算"的端侧构成一条完整的低功耗链路。
代价与争议
生态是最大的短板。 深度学习的爆发有一半归功于 CUDA、PyTorch 与庞大的预训练模型库。神经形态领域至今没有事实标准的编程模型,每家硬件配一套自己的软件栈,基准测试也不统一——跨系统的性能比较在方法上就不可靠,这让外部投资者与用户难以判断进展。
"神经形态之冬"的风险真实存在。 这个领域已经经历过至少两轮期望膨胀:一次在 1980 年代模拟 VLSI 时期,一次在 2010 年代大型脑计划时期。每一轮都留下了扎实的技术遗产与未兑现的应用承诺。当前这一轮由 AI 能耗压力驱动,说服力更强,但商业化仍主要停留在研究合作与政府项目,尚无一款真正大规模量产的通用神经形态产品。
能耗叙事有被滥用的风险。 "AI 太耗电,所以需要神经形态"这个论证跳过了一步:数据中心的能耗主要来自大模型训练与稠密推理,而这恰恰是神经形态硬件最不擅长的部分。诚实的说法是:它能显著降低某一类负载的能耗,而那类负载目前不是能耗的主要来源——但可能是未来无处不在的传感器网络的主要来源。
与神经科学的关系需要澄清。 类脑硬件常被宣传为理解大脑的工具,但一个能高速仿真脉冲网络的系统,只在模型本身正确时才有科学价值。硬件加速的是模拟,不是理解;把仿真规模当作科学进展,是这个交叉领域最常见的修辞滑动。
未知的边界
- 是否存在一个像反向传播那样通用、可规模化的脉冲网络训练范式?还是 SNN 注定依赖近似与转换?
- 模拟存内计算的器件不一致性与漂移,能否通过器件工艺解决,还是必须在算法层容忍(噪声感知训练、片上校准)?
- ADC/DAC 开销是否有原理性的绕过方法?这是决定模拟路线上限的关键变量。
- 神经形态硬件是否存在一个"杀手级应用"——一个它比 GPU 好一个数量级、且市场足够大的任务?至今没有共识答案。
- 事件驱动的传感—计算链路能否形成端到端的产业标准,还是会各自为战?
- 当稀疏化、量化与专用加速器持续改进,常规数字架构能吃掉神经形态多少能效优势?这决定了这条路线是替代还是补充。
跨域连接
- 计算机体系结构:内存墙与登纳德缩放的终结,是理解这整个领域为何存在的前提。神经形态不是从神经科学出发的浪漫想象,而是体系结构走进死胡同后的一次转向——当频率、并行度与缓存层级都逼近收益递减,剩下的自由度就是重新划分存储与计算的边界。这也是存内计算与专用加速器共享的根本动机。
- GPU 与并行计算:GPU 的成功建立在稠密规则计算与极高内存带宽之上,恰好与神经形态的稀疏事件驱动构成互补。两者的对照揭示了一条一般规律:硬件效率来自与负载结构的匹配,而不是绝对的运算能力。理解 GPU 为何在稀疏、小批量、低延迟场景下效率骤降,就理解了神经形态的生态位在哪里。
- 神经网络:人工神经网络对生物神经元做了极端简化——去掉了时序、去掉了脉冲、把动力学压成一次加权求和。脉冲网络把时间维度还了回来,代价是失去了干净的可微性。这组取舍展示了抽象的双刃性:正是那次简化让反向传播成为可能,从而催生了整个深度学习时代。
- 嵌入式系统:始终在线的低功耗推断是嵌入式领域的核心约束,也是神经形态最现实的落脚点。能量预算以毫瓦计的场景里,架构选择的权重远高于算法精度——这与数据中心的优化目标几乎相反,也解释了为什么端侧 AI 的技术路线正在与云端分岔。
- 能源转型的工程现实:数据中心用电已成为电力规划中不可忽视的新增负荷,而算力需求的增速快于能效改进。计算能效因此从纯粹的工程指标变成了能源系统的输入变量——这是一个技术选择直接进入电网规划与碳预算讨论的罕见例子,也提醒我们:任何"算力无限"的叙事最终都要在发电与散热上结账。
参考文献
- Mead, C. Neuromorphic Electronic Systems. Proceedings of the IEEE 78(10), 1990.
- Merolla, P. A. et al. A Million Spiking-Neuron Integrated Circuit with a Scalable Communication Network and Interface (TrueNorth). Science 345, 668–673 (2014).
- Modha, D. S. et al. Neural Inference at the Frontier of Energy, Space, and Time (NorthPole). Science 382, 329–335 (2023).
- Pei, J. et al. Towards Artificial General Intelligence with Hybrid Tianjic Chip Architecture. Nature 572, 106–111 (2019).
- Intel. Intel Builds World's Largest Neuromorphic System to Enable More Sustainable AI (Hala Point). Intel Newsroom, 2024 年 4 月。
- Neftci, E. O., Mostafa, H. & Zenke, F. Surrogate Gradient Learning in Spiking Neural Networks. IEEE Signal Processing Magazine 36(6), 2019.
延伸阅读
- Indiveri, G. & Liu, S.-C. Memory and Information Processing in Neuromorphic Systems. Proceedings of the IEEE 103(8), 2015.
- Sebastian, A. et al. Memory Devices and Applications for In-Memory Computing. Nature Nanotechnology 15, 529–544 (2020).
- Gallego, G. et al. Event-Based Vision: A Survey. IEEE TPAMI 44(1), 2022.
- Furber, S. Large-Scale Neuromorphic Computing Systems. Journal of Neural Engineering 13, 051001 (2016).