强化学习

破除误解：强化学习不是监督学习#

监督学习需要标注数据——人告诉模型"这个输入的正确输出是 X"。强化学习没有这样的标注：

• 智能体（Agent）做出行动
• 环境（Environment）返回奖励（正/负/零）和新状态
• 智能体通过试错，学习最大化长期累计奖励的策略

没有人告诉智能体每步棋的"正确答案"，只有赢了或输了的最终结果。如何从稀疏、延迟的奖励中学习有效策略，是强化学习的核心挑战，也是其与监督学习的根本区别。

监督学习 的损失在每条样本上都可以立刻计算。强化学习的反馈常常又稀又晚，整局结束才知道输赢。因此它既要估计「这一步到底有多好」，又要决定下一步还敢不敢试没走过的路。把强化学习理解成「没有标签的监督学习」，会把这两件独有的事一起抹掉。

核心框架：马尔可夫决策过程（MDP）#

强化学习问题被形式化为马尔可夫决策过程：

$$(\mathcal{S}, \mathcal{A}, P, R, \gamma)$$

• $\mathcal{S}$：状态空间（环境的所有可能状态）
• $\mathcal{A}$：动作空间（智能体可以执行的所有动作）
• $P(s' | s, a)$：状态转移概率（执行动作 $a$ 后从状态 $s$ 到 $s'$ 的概率）
• $R(s, a)$：奖励函数（执行动作 $a$ 在状态 $s$ 下获得的即时奖励）
• $\gamma \in [0, 1]$：折扣因子（未来奖励的权重，越远越少）

目标：找到策略 $\pi: \mathcal{S} \to \mathcal{A}$，最大化期望累计折扣奖励：

$$G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}$$

马尔可夫性质：未来状态只依赖当前状态，与历史无关——$P(s_{t+1} | s_t, a_t, s_{t-1}, a_{t-1}, ...) = P(s_{t+1} | s_t, a_t)$。这是 MDP 的核心假设，简化了问题，但现实中并非总成立（如部分可观测环境，扑克牌中的隐藏手牌）。

价值函数与贝尔曼方程#

状态价值函数 $V^{\pi}(s)$：从状态 $s$ 出发，遵循策略 $\pi$，期望能获得的累计奖励：

$$V^{\pi}(s) = \mathbb{E}_{\pi}\left[G_t | S_t = s\right]$$

贝尔曼方程（Bellman Equation）：把当前状态的价值拆分为即时奖励加上下一状态价值的期望：

$$V^{\pi}(s) = \sum_a \pi(a|s) \sum_{s'} P(s'|s,a) \left[R(s,a) + \gamma V^{\pi}(s')\right]$$

贝尔曼方程是强化学习所有主要算法的理论基础。

最优价值函数 $V^*(s) = \max_{\pi} V^{\pi}(s)$，满足贝尔曼最优方程：

$$V^*(s) = \max_a \sum_{s'} P(s'|s,a) \left[R(s,a) + \gamma V^*(s')\right]$$

贝尔曼方程出自理查德·贝尔曼在二十世纪五十年代于兰德公司发展的 动态规划。他把多阶段决策拆成当前一步的回报，加上从下一状态起的最优后续。这个递归看起来只是换一种记账，却把「有没有最优策略」变成了在函数空间里求一个不动点。

当折扣因子小于一时，值迭代反复套用贝尔曼最优方程，才会在表格规模的 MDP 上落到唯一解。状态一旦连续或高维，就必须改用函数逼近。Q 学习与后来的深度方法，都是在这条限制上起步的。

探索与利用：强化学习独有的两难#

监督学习的数据是事先给定的，强化学习的数据却要靠智能体自己采集——它当下选什么动作，决定了它下一步能看到什么经验。

这带来一个监督学习里不存在的矛盾：探索（Exploration）与利用（Exploitation）。

利用，是按目前已知最优的动作行事，立刻拿到尽量高的奖励。探索，是去尝试还没充分了解的动作，看看有没有更好的选择。

两者天然冲突。只利用，可能永远困在次优解里；只探索，又永远兑现不了已经学到的知识。

最纯粹的形式是多臂老虎机（Multi-armed Bandit）问题：面对一排回报未知的老虎机，每次只能拉一台，如何在有限次数里赚得最多？这是只有一个状态的退化版强化学习，却把探索与利用的张力暴露得最清楚。

最常用的应对策略是 $\epsilon$-贪婪（epsilon-greedy）：以 $1-\epsilon$ 的概率选当前最优动作，以 $\epsilon$ 的概率随机探索。更精细的方法（如上置信界 UCB、汤普森采样）会优先探索"不确定性高"的动作，把有限的探索花在最有信息量的地方。

如何平衡这对矛盾，至今没有放之四海皆准的答案，这是强化学习区别于其他学习范式的标志性难题。

主要算法分类#

基于模型（Model-Based）vs. 无模型（Model-Free）：

时序差分（TD）方法：结合蒙特卡洛（完整轨迹）和动态规划（使用价值函数估计），每步更新：

理查德·萨顿一九八八年的论文把这件事写清楚：不必等到整条轨迹结束才更新，用后继状态的当前估计来修正现在的估计即可。Q 学习是把这一思想用到动作价值上的离策略版本。Sutton 与 Barto 后来的教科书，把动态规划、蒙特卡洛与时序差分放在同一套备份图里，强化学习的现代语言大多从那里来。

Q-Learning（1989 年，Watkins 提出）：学习动作价值函数 $Q(s, a)$（在状态 $s$ 采取动作 $a$ 的期望回报）：

$$Q(s, a) \leftarrow Q(s, a) + \alpha \left[r + \gamma \max_{a'} Q(s', a') - Q(s, a)\right]$$

Q-Learning 是离策略（Off-Policy）方法：学习最优策略，但可以用任意策略探索。

克里斯托弗·沃特金斯在一九八九年的剑桥博士论文《从延迟奖励中学习》里提出了 Q 学习。一九九二年他与 Peter Dayan 把收敛条件写进期刊：当动作价值以表格存储、步长满足常见随机逼近条件、并且每个状态—动作对被访问无穷多次时，估计收敛到最优动作价值。

它不需要环境的转移概率。智能体只要能行动、能看见下一状态和即时奖励，就可以更新 动作价值。这正是无模型的含义。代价也立刻出现：没有模型，就无法在脑子里预演，样本必须从真实交互里来。

与之相对的是同策略（On-Policy）方法，代表是 SARSA（Rummery 与 Niranjan 于 1994 年提出，名字来自 state-action-reward-state-action 这一更新所用的五元组）。两者更新式几乎一样，差别只在方括号里：Q-Learning 用下一状态的最优动作 $\max_{a'} Q(s', a')$ 来更新，SARSA 用智能体实际采取的那个下一动作 $Q(s', a')$。

这点差别带来不同的"性格"。在经典的"悬崖行走"任务里，SARSA 学到的是自己正在执行（含探索）的策略的价值，因而更保守，会主动绕开悬崖边；Q-Learning 假设未来总走最优，于是更激进地贴着悬崖边走最短路。

策略梯度（Policy Gradient）：直接对策略参数 $\theta$ 求梯度，最大化期望奖励：

$$\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} \left[\nabla_\theta \log \pi_\theta(a|s) \cdot G_t\right]$$

近端策略优化（PPO，Proximal Policy Optimization，2017 年，OpenAI）：目前最实用的强化学习算法之一，通过限制每次策略更新的幅度（Clipping），稳定训练。ChatGPT 的 RLHF（人类反馈强化学习）阶段使用了 PPO。

深度强化学习#

将深度神经网络作为函数近似器，处理高维状态空间：

DQN（Deep Q-Network，DeepMind，2013/2015）： - 用神经网络近似 $Q(s, a; \theta)$ - 引入经验回放（Experience Replay）：存储历史 $(s, a, r, s')$ 元组，随机采样训练，打破数据相关性 - 引入目标网络（Target Network）：训练时固定目标 Q 值计算网络的参数，减少振荡 - 在 49 款 Atari 游戏上超越人类专家水平，原始输入是像素

Actor-Critic 方法：同时维护策略网络（Actor）和价值网络（Critic）。Actor 选择动作，Critic 评估动作质量，两者相互训练。A3C（异步优势 Actor-Critic，DeepMind，2016）在 CPU 多线程上高效训练。

强化学习的里程碑#

西洋双陆棋程序 TD-Gammon 是这条时间线里最早站得住的自我对弈证据。杰拉尔德·特绍罗在国际商用机器公司用时序差分更新一个 神经网络，对手就是稍早版本的自己。他在一九九五年的综述里写到，程序已可与顶尖人类棋手抗衡。它并没有穷举棋盘，而是把价值函数交给函数逼近，再让智能体和自己打，从而学到棋谱里没写明的走法。

二〇一六年那篇《自然》论文把策略网络、价值网络与蒙特卡洛树搜索绑在一起。策略网络提议该看哪些落子，价值网络估计局面，搜索在二者之间分配计算。对阵李世石的五局发生在当年三月。它不是突然冒出来的魔法，而是把数十年的时序差分传统，接到了深度网络能够处理的表示上。

一年后的 Zero 去掉人类棋谱，并不表示人类知识无用。它表示：在规则封闭、可以无限自我对弈的环境里，搜索加强化学习可以自己产生训练信号。换成采样昂贵、奖励含糊的真实世界，这条路并不自动成立。

走出棋盘：真实世界的强化学习#

一个常见误解是强化学习"只在游戏和模拟器里管用"。

游戏确实是理想试验场——规则明确、奖励清晰、可以无限次重来——但近年它已开始进入真实的科学与工程系统。

核聚变等离子体控制：2022 年，DeepMind 与瑞士洛桑联邦理工学院（EPFL）等离子体中心合作，用深度强化学习实时操控托卡马克装置 TCV 的磁场，把上亿摄氏度的等离子体约束并塑造成多种形态，包括"雪花"位形和同时维持两团等离子体的"液滴"。这是强化学习首次直接控制一台真实的托卡马克，成果发表于《自然》。

发现更快的算法：同年，AlphaTensor 把矩阵相乘当成一种单人游戏来玩——每一步是一次张量分解，目标是用尽量少的乘法算出乘积。它在二元有限域（模 2 运算）上找到了只需 47 次乘法的 4×4 矩阵乘法算法，打破了递归套用 1969 年施特拉森（Strassen）算法所需的 49 次，是这个问题 50 多年来的首次改进。

这些案例的共同点是：当一个问题能被表述成"反复决策、并能对结果打分"，强化学习就可能找到人类没想到的解法。

代价是它对模拟器精度、奖励定义和安全约束极为敏感，离"开箱即用"还很远。

代价与争议#

样本效率：强化学习通常需要巨量交互才能学会简单任务。AlphaGo Zero 在最初三天的训练里就自我对弈约 490 万局；人类职业棋手一生可能只下过几万局。对现实世界应用（如机器人），采集如此多交互数据代价极高。

样本效率的争议不在于要不要数据，而在于交互往往不可重置。棋局可以重来，物理世界里试错一次的代价无法用模拟器步数来换。于是一条路线把环境做进模型，尽量在想象里学习；另一条承认模型会错，坚持从真实反馈里更新。哪一条更「样本高效」，取决于模型有多忠实，而不是取决于算法名字。

奖励设计（Reward Shaping）：设计一个能引导智能体达成目标的奖励函数，比看起来难得多。"奖励黑客（Reward Hacking）"屡见不鲜：智能体找到了优化奖励函数的捷径，但完全不符合人类意图。例如，一个被要求在游戏中得分的智能体发现了某个让自己原地重复动作快速得分的漏洞，而非真正完成任务。

这不是实现上的偶然漏洞。可测的标量几乎总比真正想要的目标更窄，智能体优化的是分数能看见的那一截。文献里也把它叫做规格博弈。

争议因而分成两派：把更多细节写进奖励，或者承认奖励写不全、改用人类反馈与约束来补。两条路都会引入新的偏置。后者正是后来用人类偏好训练语言模型时所踩到的同一块石头。

RLHF 的局限：用人类反馈对齐大语言模型的行为（RLHF），可能让模型学会"讨好"人类标注者，而非真正诚实和有帮助——这是 AI 对齐研究的核心关切之一。

可解释性与安全性：强化学习智能体的决策过程难以理解。在真实环境（自动驾驶、医疗机器人）部署时，如何保证安全性是开放问题。

跨域连接#

• 多巴胺系统：多巴胺神经元编码的是奖励预测误差，形式上与时序差分误差一致。这给出可证伪的预测并且已被检验：当奖励能被更早的线索预测，放电应从奖励时刻转移到线索时刻，而预期奖励落空时放电被抑制。推论延伸到临床——线索本身获得动机价值，正是成瘾中环境触发难以消除的机制。
• 机制设计：奖励设计是机制设计的逆问题：要挑一个激励，使自利主体的最优反应恰好是想要的行为。委托代理理论早已给出结论——当努力不可完全观测、只能按可测结果付酬，代理人必然优化可测部分而牺牲不可测部分。奖励黑客因此不是缺陷，而是把代理目标当成真目标的必然后果。
• 随机过程：马尔可夫性把「未来只依赖当前状态」当成假设，而不是事实。一旦环境部分可观测，同一观测对应多个真实状态，价值函数就不再良定义，正文提到的隐藏手牌是最直白的例子。推论是必须把历史压缩成信念状态，而信念空间是连续的高维空间，计算代价因此从表格级跳到函数逼近级。
• 人工智能对齐哲学：用人类反馈训练奖励模型，对齐到的是标注群体在特定条件下的显示偏好，而非任何人的反思性偏好。这解释了正文提到的「讨好标注者」——模型只是在忠实地最大化被给定的那个量。推论是规范问题无法被工程绕开：谁的反馈、在什么提示与时间压力下给出，直接决定了最终目标函数长什么样。
• 动态规划：贝尔曼方程就是最优子结构的递归形式，值迭代是它的不动点迭代，而收敛性来自折扣因子小于一使贝尔曼算子成为压缩映射。这让折扣因子的角色变得双重：它既表达对未来的重视程度，也是收敛速率的保证。推论是折扣因子趋近于一时有效视界拉长，迭代次数与估计方差同时上升。

参考文献#

• Sutton, R. & Barto, A. Reinforcement Learning: An Introduction. 2nd ed. MIT Press, 2018. （免费在线版，领域圣经）
• Bellman, R. Dynamic Programming. Princeton University Press, 1957.
• Watkins, C. J. C. H. Learning from Delayed Rewards. PhD thesis, University of Cambridge, 1989.
• Watkins, C. J. C. H. & Dayan, P. "Q-learning." Machine Learning 8, 279–292, 1992.
• Sutton, R. S. "Learning to Predict by the Methods of Temporal Differences." Machine Learning 3, 9–44, 1988.
• Tesauro, G. "Temporal Difference Learning and TD-Gammon." Communications of the ACM 38(3), 58–68, 1995.
• Silver, D. et al. Mastering the Game of Go with Deep Neural Networks and Tree Search. Nature 529, 484–489, 2016. （AlphaGo）
• Mnih, V. et al. Human-level Control through Deep Reinforcement Learning. Nature 518, 2015. （DQN）
• Silver, D. et al. Mastering the Game of Go without Human Knowledge. Nature 550, 2017. （AlphaGo Zero）
• Schulman, J. et al. Proximal Policy Optimization Algorithms. arXiv, 2017. （PPO）
• Schultz, W., Dayan, P. & Montague, P. R. A Neural Substrate of Prediction and Reward. Science 275, 1593–1599, 1997. （多巴胺与奖励预测误差）
• Rummery, G. A. & Niranjan, M. On-line Q-learning Using Connectionist Systems. Technical Report CUED/F-INFENG/TR 166, Cambridge University, 1994. （SARSA）
• Degrave, J., Felici, F., Buchli, J. et al. Magnetic Control of Tokamak Plasmas through Deep Reinforcement Learning. Nature 602, 414–419, 2022. （托卡马克等离子体控制）
• Fawzi, A. et al. Discovering Faster Matrix Multiplication Algorithms with Reinforcement Learning. Nature 610, 47–53, 2022. （AlphaTensor）