CPU 处理数据的速度，比从主内存（RAM）读取数据快大约 100 到 500 倍。
这句话意味着：如果 CPU 每执行一步都要去内存取数据，那 99% 的时间它在等待——什么都不做。这个"速度鸿沟"（memory wall）是现代计算机体系结构最核心的工程挑战之一。
解决方案不是让内存更快（代价极高），而是让 CPU 不需要经常去内存。这就是存储层级与缓存的本质。
破除误解：RAM 不是"快的存储"
在对计算机的通俗描述里，RAM（内存）总是被塑造成"快速"存储，磁盘则是"慢速"。这个对比成立，但只是故事的一半。
相对于 CPU 的运算速度，RAM 是出奇地慢：
| 存储层级 | 延迟（典型值） | 相对速度（人类时间类比） |
|---|---|---|
| CPU 寄存器 | < 1 纳秒 | 1 秒 |
| L1 缓存 | ~1 纳秒 | 1 秒 |
| L2 缓存 | ~4 纳秒 | 4 秒 |
| L3 缓存 | ~40 纳秒 | 40 秒 |
| 主内存（RAM） | ~100 纳秒 | 100 秒（约 1.7 分钟） |
| NVMe SSD | ~100 微秒 | ~28 小时 |
| 机械硬盘 | ~10 毫秒 | ~4 个月 |
表中"人类时间"是把 CPU 一个时钟周期类比为 1 秒后的放大比。
所以如果 CPU 是一个人，每秒可以完成一步操作，那么：取一块 RAM 数据要等将近两分钟，访问 SSD 要等一整天。这不是比喻，而是物理现实。
局部性原理：缓存为什么有效
缓存之所以能工作，依赖于程序行为的一个经验规律：局部性原理（Principle of Locality）。
时间局部性（Temporal Locality）：最近被访问的数据，很可能很快被再次访问。
- 例：循环变量 i 在每轮迭代都被读写
空间局部性（Spatial Locality）：被访问的数据附近的数据，很可能很快也被访问。
- 例：遍历数组时，访问 arr[0] 之后很快会访问 arr[1]
CPU 利用这两种局部性：把最近用过的数据（时间局部性）和邻近的数据（空间局部性）装入缓存，下次需要时就在缓存里找，而不用去内存。
缓存命中（Cache Hit）：需要的数据在缓存里，直接读取，快。 缓存未命中（Cache Miss）：缓存里没有，必须从下一层（RAM 或磁盘）取，慢。
CPU 多级缓存
现代 CPU 有三级缓存（L1/L2/L3），越靠近 CPU 越小越快：
CPU 核心
|--- L1 缓存（通常 32-64 KB，每核独有）
|--- L2 缓存（通常 256 KB - 1 MB，每核独有）
|--- L3 缓存（通常 4-64 MB，多核共享）
|
RAM（8-64 GB 典型配置）
|
SSD/HDD
```L1 分为数据缓存和指令缓存（避免取指令和取数据竞争）。L3 由多核共享，是核间通信和保持缓存一致性的关键层次。
数据以缓存行（Cache Line）为单位移动，通常 64 字节。访问一个字节会把周围 64 字节都载入缓存——这正是空间局部性的利用。
缓存不是新发明：一段简史
缓存常被当作现代芯片的产物，其实概念出现得很早。
1965 年，剑桥大学的 Maurice Wilkes 在论文《Slave Memories and Dynamic Storage Allocation》中提出：用一小块快速存储作为大块慢速存储的"从属存储"（slave memory），让有效访问时间接近快存储而非慢存储。这正是缓存的雏形。
三年后，IBM 把它做进了产品。System/360 Model 85（1968 年发布、1969 年交付）是第一台带主存缓存的商用计算机，缓存容量 16 KB。
"内存墙"（memory wall）这个词反而出现得更晚。1995 年，William Wulf 与 Sally McKee 在《Hitting the Memory Wall: Implications of the Obvious》中指出：处理器速度与 DRAM 速度都在指数增长，但前者指数更大，于是两者的差距也在指数级拉大。他们的尖锐结论是——缓存能缓解，却无法根本消除这道墙。三十年过去，这个判断依然成立。
缓存对程序性能的影响
缓存不透明——程序员通常感觉不到它的存在。但精心设计的代码，性能可以与忽视缓存的代码相差 10-100 倍。
矩阵乘法的经典例子：
按行遍历（缓存友好）：
``c
// C 语言，二维数组按行存储
for (i ...) for (j ...) for (k ...)
C[i][j] += A[i][k] * B[k][j];
``
按列访问 B[k][j] 时，k 是外层循环，j 是内层——每次访问 B 的不同列，导致大量缓存未命中。调整循环顺序或使用分块技术（tiling），可以让访问模式更适合缓存，在相同算法下显著提速。
另一个例子：遍历链表比遍历数组慢很多，即使数据量相同——链表节点散布在内存各处，每次跟随指针都可能是缓存未命中；数组元素连续存放，空间局部性极好。
虚拟内存：把磁盘当 RAM
还有一级更大的"缓存"：虚拟内存（Virtual Memory）。
操作系统让每个进程以为自己独占整块内存（虚拟地址空间），实际上物理内存可能不够。操作系统把"暂时用不到"的内存页（Page）写到磁盘上的交换空间（Swap），需要时再换回来——这叫页面置换（Page Swapping）。
对程序来说，这一切是透明的。代价是：一旦发生页面置换（访问了被换出去的页），等待磁盘 I/O 的时间以毫秒计，而 CPU 的时间以纳秒计——系统会明显卡顿，即俗称的"内存不够时开始抖动"（thrashing）。
虚拟内存自己也需要缓存。每次访问内存，CPU 都要先把虚拟地址翻译成物理地址，翻译规则存在内存里的"页表"中——如果每次翻译都去查页表，就把一次访问变成了多次。x86-64 的页表是四级结构，一次完整查表（page table walk）最多要读四次内存。
为此 CPU 内部有一块专门缓存翻译结果的小硬件，叫 TLB（Translation Lookaside Buffer，地址翻译后备缓冲）。命中时翻译几乎不花时间（约 1 个时钟周期），未命中才去走页表。缓存的思想在这里又套了一层：连"怎么找数据"本身都要缓存。
缓存无处不在
缓存思想超越了 CPU 硬件，在整个计算机系统中无处不在：
- 浏览器缓存：把网页、图片存在本地，下次不重新下载
- DNS 缓存：把域名解析结果缓存，不每次都问 DNS 服务器
- CDN（内容分发网络）：把静态内容缓存到离用户最近的服务器
- 数据库查询缓存：把常见查询结果缓存，不重复执行 SQL
- Redis 等内存数据库：把热点数据放进 RAM，不每次查磁盘
所有这些缓存都依赖同一个核心逻辑：时间局部性——用过的数据大概率还会用。
代价与争议
缓存一致性（Cache Coherence）：多核处理器中，每个核有自己的 L1/L2 缓存。如果核 A 修改了一个变量，核 B 的缓存里还存着旧值怎么办？维护多核缓存一致性（MESI 等协议）是多核处理器设计中最复杂的部分之一，也是concurrency中某些内存模型问题的根源。
伪共享（False Sharing）：这是缓存一致性带来的一个反直觉陷阱。两个线程各自只改两个毫不相干的变量，按理互不影响——可一旦这两个变量恰好落在同一条 64 字节缓存行里，MESI 协议以缓存行为单位工作，一个核写入就会让另一个核的整条缓存行失效。结果是两个"独立"的线程被硬件强行同步，性能可能因此暴跌一个数量级。解决办法常常荒诞而有效：给变量加上填充字节（padding），把它们挤到不同的缓存行上。
Spectre/Meltdown 漏洞（2018）：CPU 通过测量缓存访问的时间差，攻击者可以推断出本应隔离的内存内容。这揭示了缓存这层"透明"的抽象有安全裂缝——硬件优化机制与安全隔离假设发生了冲突。
内存数据库的挑战：Redis 等把所有数据放在 RAM 里的数据库速度极快，但 RAM 是易失性存储（断电丢失）。持久化（写到磁盘）本身成了瓶颈，如何在速度和持久性间取得平衡是工程核心问题。
替换策略没有最优解：缓存满了要踢出一个旧条目，踢谁？理论上的最优解早在 1966 年就由 IBM 的 László Bélády 给出——踢掉"将来最久不会再被用到"的那个。但它需要预知未来，现实中无法实现，只能作为衡量其他算法好坏的上界。
实际系统只能退而求其次。最常见的是 LRU（最近最少使用，踢掉最久没碰过的条目），但它并非万能：一次性扫描一个大文件，就会把真正的热数据整批冲掉。LFU（最不经常使用）偏好高频数据，又对突发流量反应迟钝。Bélády 等人还在 1969 年证明了反直觉的"Bélády 异常"——用 FIFO 策略时，给的内存帧更多，缺页次数反而可能更多。
2003 年，IBM 的 Nimrod Megiddo 与 Dharmendra Modha 提出 ARC（自适应替换缓存），同时维护"按新近度"和"按频率"两份列表，并根据实际命中情况自动调整两者的权重，在多种负载下都稳定优于 LRU。没有哪一种替换策略能在所有负载下都最好，这正是缓存设计长期争论的核心。
跨域连接
- 半导体物理：层级不是设计者的偏好，而是器件物理的直接后果。静态存储用多只晶体管换速度，代价是面积；动态存储用一只电容换密度，代价是必须周期刷新；闪存用电荷俘获换非易失，代价是写入慢且有寿命。推论是层级数会随器件谱系变动而增减——出现新型持久存储时，层数并不注定停在三级。
- 记忆系统：工作记忆与长期记忆确实共享「容量与速度不可兼得」的取舍，但机制不同，这才是有意思的地方。缓存按地址精确命中，人脑靠线索提取，会受干扰、会随时间衰退，也会把相似内容混淆。于是两边的预取同名而不同物：处理器预测的是地址步长，大脑激活的是语义邻近的概念，后者会产出错误联想。
- 时间贴现：替换策略本质是对「这条数据未来还会不会被用到」做贴现，各种策略只是不同的代理变量：最近最少使用押注新近性，最不经常使用押注频率，理论最优要求预知未来因而不可实现。推论直接可用——策略优劣完全由访问序列的统计性质决定，所以自适应策略要做的是在线估计当前负载偏向哪一侧。
- 密码学基础：缓存把「访问了哪个地址」泄露成可测量的时间差，于是密码实现的常数时间要求不止是分支与密钥无关，还要访存地址与密钥无关。查表式替换盒恰好违反这一条：密钥决定下标，下标决定是否命中，攻击者据此反推密钥。这解释了这类实现为何要改用无查表算法或专用硬件指令。
- 并发：一致性协议以整条缓存行为单位工作，于是两个逻辑上毫不相干的变量，只要落在同一行，一个核写入就会让另一个核整行失效。伪共享因此是可预测的：并发数据结构的吞吐往往不由锁的语义决定，而由字段在缓存行上的布局决定，加填充字节这种看似荒诞的做法能带来数量级的差别。
参考文献
- Wilkes, M. V. "Slave Memories and Dynamic Storage Allocation." IEEE Transactions on Electronic Computers, EC-14(2), 1965. （缓存概念最早的正式提出）
- Liptay, J. S. "Structural Aspects of the System/360 Model 85, II: The Cache." IBM Systems Journal, 7(1), 1968. （第一台商用缓存机的设计文档）
- Bélády, L. A. "A Study of Replacement Algorithms for a Virtual-Storage Computer." IBM Systems Journal, 5(2), 1966. （最优替换算法 MIN/OPT 的出处）
- Wulf, W. A. & McKee, S. A. "Hitting the Memory Wall: Implications of the Obvious." ACM SIGARCH Computer Architecture News, 23(1), 1995. （"内存墙"一词的出处）
- Megiddo, N. & Modha, D. S. "ARC: A Self-Tuning, Low Overhead Replacement Cache." USENIX Conf. on File and Storage Technologies (FAST), 2003. （自适应替换缓存）
- Lipp, M. et al. "Meltdown: Reading Kernel Memory from User Space." USENIX Security Symposium, 2018；Kocher, P. et al. "Spectre Attacks: Exploiting Speculative Execution." IEEE Symposium on Security and Privacy, 2019. （缓存时序侧信道攻击）
- Patterson, D. & Hennessy, J. Computer Organization and Design. 5th ed. Morgan Kaufmann. （第5章系统讲述存储层级）
- Luk, C. et al. Pin: Building Customized Program Analysis Tools with Dynamic Instrumentation. PLDI, 2005. （动态插桩工具框架论文，可用于分析缓存行为）
延伸阅读
- Drepper, U. What Every Programmer Should Know About Memory. 2007. （免费长篇技术文档，红帽工程师写的缓存深度指南）