强化学习

2016 年 3 月，DeepMind 的 AlphaGo 以 4:1 击败围棋世界冠军李世石。围棋被认为是人工智能最难的棋盘游戏之一——棋盘状态空间约 $2.08 \times 10^{170}$，远超国际象棋的约 $10^{43}$。穷举搜索完全不可行。

AlphaGo 的核心技术是深度强化学习（Deep Reinforcement Learning）。

一年后，AlphaGo Zero 以 100:0 击败了 AlphaGo——完全从零开始，只通过自我对弈学习，不使用任何人类棋谱。

破除误解：强化学习不是监督学习#

监督学习需要标注数据——人告诉模型"这个输入的正确输出是 X"。强化学习没有这样的标注：

• 智能体（Agent）做出行动
• 环境（Environment）返回奖励（正/负/零）和新状态
• 智能体通过试错，学习最大化长期累计奖励的策略

没有人告诉智能体每步棋的"正确答案"，只有赢了或输了的最终结果。如何从稀疏、延迟的奖励中学习有效策略，是强化学习的核心挑战，也是其与监督学习的根本区别。

核心框架：马尔可夫决策过程（MDP）#

强化学习问题被形式化为马尔可夫决策过程：

$$(\mathcal{S}, \mathcal{A}, P, R, \gamma)$$

• $\mathcal{S}$：状态空间（环境的所有可能状态）
• $\mathcal{A}$：动作空间（智能体可以执行的所有动作）
• $P(s' | s, a)$：状态转移概率（执行动作 $a$ 后从状态 $s$ 到 $s'$ 的概率）
• $R(s, a)$：奖励函数（执行动作 $a$ 在状态 $s$ 下获得的即时奖励）
• $\gamma \in [0, 1]$：折扣因子（未来奖励的权重，越远越少）

目标：找到策略 $\pi: \mathcal{S} \to \mathcal{A}$，最大化期望累计折扣奖励：

$$G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}$$

马尔可夫性质：未来状态只依赖当前状态，与历史无关——$P(s_{t+1} | s_t, a_t, s_{t-1}, a_{t-1}, ...) = P(s_{t+1} | s_t, a_t)$。这是 MDP 的核心假设，简化了问题，但现实中并非总成立（如部分可观测环境，扑克牌中的隐藏手牌）。

价值函数与贝尔曼方程#

状态价值函数 $V^{\pi}(s)$：从状态 $s$ 出发，遵循策略 $\pi$，期望能获得的累计奖励：

$$V^{\pi}(s) = \mathbb{E}_{\pi}\left[G_t | S_t = s\right]$$

贝尔曼方程（Bellman Equation）：把当前状态的价值拆分为即时奖励加上下一状态价值的期望：

$$V^{\pi}(s) = \sum_a \pi(a|s) \sum_{s'} P(s'|s,a) \left[R(s,a) + \gamma V^{\pi}(s')\right]$$

贝尔曼方程是强化学习所有主要算法的理论基础。

最优价值函数 $V^*(s) = \max_{\pi} V^{\pi}(s)$，满足贝尔曼最优方程：

$$V^*(s) = \max_a \sum_{s'} P(s'|s,a) \left[R(s,a) + \gamma V^*(s')\right]$$

探索与利用：强化学习独有的两难#

监督学习的数据是事先给定的，强化学习的数据却要靠智能体自己采集——它当下选什么动作，决定了它下一步能看到什么经验。

这带来一个监督学习里不存在的矛盾：探索（Exploration）与利用（Exploitation）。

利用，是按目前已知最优的动作行事，立刻拿到尽量高的奖励。探索，是去尝试还没充分了解的动作，看看有没有更好的选择。

两者天然冲突。只利用，可能永远困在次优解里；只探索，又永远兑现不了已经学到的知识。

最纯粹的形式是多臂老虎机（Multi-armed Bandit）问题：面对一排回报未知的老虎机，每次只能拉一台，如何在有限次数里赚得最多？这是只有一个状态的退化版强化学习，却把探索与利用的张力暴露得最清楚。

最常用的应对策略是 $\epsilon$-贪婪（epsilon-greedy）：以 $1-\epsilon$ 的概率选当前最优动作，以 $\epsilon$ 的概率随机探索。更精细的方法（如上置信界 UCB、汤普森采样）会优先探索"不确定性高"的动作，把有限的探索花在最有信息量的地方。

如何平衡这对矛盾，至今没有放之四海皆准的答案，这是强化学习区别于其他学习范式的标志性难题。

主要算法分类#

基于模型（Model-Based）vs. 无模型（Model-Free）：

时序差分（TD）方法：结合蒙特卡洛（完整轨迹）和动态规划（使用价值函数估计），每步更新：

Q-Learning（1989 年，Watkins 提出）：学习动作价值函数 $Q(s, a)$（在状态 $s$ 采取动作 $a$ 的期望回报）：

$$Q(s, a) \leftarrow Q(s, a) + \alpha \left[r + \gamma \max_{a'} Q(s', a') - Q(s, a)\right]$$

Q-Learning 是离策略（Off-Policy）方法：学习最优策略，但可以用任意策略探索。

与之相对的是同策略（On-Policy）方法，代表是 SARSA（Rummery 与 Niranjan 于 1994 年提出，名字来自 state-action-reward-state-action 这一更新所用的五元组）。两者更新式几乎一样，差别只在方括号里：Q-Learning 用下一状态的最优动作 $\max_{a'} Q(s', a')$ 来更新，SARSA 用智能体实际采取的那个下一动作 $Q(s', a')$。

这点差别带来不同的"性格"。在经典的"悬崖行走"任务里，SARSA 学到的是自己正在执行（含探索）的策略的价值，因而更保守，会主动绕开悬崖边；Q-Learning 假设未来总走最优，于是更激进地贴着悬崖边走最短路。

策略梯度（Policy Gradient）：直接对策略参数 $\theta$ 求梯度，最大化期望奖励：

$$\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} \left[\nabla_\theta \log \pi_\theta(a|s) \cdot G_t\right]$$

近端策略优化（PPO，Proximal Policy Optimization，2017 年，OpenAI）：目前最实用的强化学习算法之一，通过限制每次策略更新的幅度（Clipping），稳定训练。ChatGPT 的 RLHF（人类反馈强化学习）阶段使用了 PPO。

深度强化学习#

将深度神经网络作为函数近似器，处理高维状态空间：

DQN（Deep Q-Network，DeepMind，2013/2015）： - 用神经网络近似 $Q(s, a; \theta)$ - 引入经验回放（Experience Replay）：存储历史 $(s, a, r, s')$ 元组，随机采样训练，打破数据相关性 - 引入目标网络（Target Network）：训练时固定目标 Q 值计算网络的参数，减少振荡 - 在 49 款 Atari 游戏上超越人类专家水平，原始输入是像素

Actor-Critic 方法：同时维护策略网络（Actor）和价值网络（Critic）。Actor 选择动作，Critic 评估动作质量，两者相互训练。A3C（异步优势 Actor-Critic，DeepMind，2016）在 CPU 多线程上高效训练。

强化学习的里程碑#

走出棋盘：真实世界的强化学习#

一个常见误解是强化学习"只在游戏和模拟器里管用"。

游戏确实是理想试验场——规则明确、奖励清晰、可以无限次重来——但近年它已开始进入真实的科学与工程系统。

核聚变等离子体控制：2022 年，DeepMind 与瑞士洛桑联邦理工学院（EPFL）等离子体中心合作，用深度强化学习实时操控托卡马克装置 TCV 的磁场，把上亿摄氏度的等离子体约束并塑造成多种形态，包括"雪花"位形和同时维持两团等离子体的"液滴"。这是强化学习首次直接控制一台真实的托卡马克，成果发表于《自然》。

发现更快的算法：同年，AlphaTensor 把矩阵相乘当成一种单人游戏来玩——每一步是一次张量分解，目标是用尽量少的乘法算出乘积。它在二元有限域（模 2 运算）上找到了只需 47 次乘法的 4×4 矩阵乘法算法，打破了递归套用 1969 年施特拉森（Strassen）算法所需的 49 次，是这个问题 50 多年来的首次改进。

这些案例的共同点是：当一个问题能被表述成"反复决策、并能对结果打分"，强化学习就可能找到人类没想到的解法。

代价是它对模拟器精度、奖励定义和安全约束极为敏感，离"开箱即用"还很远。

代价与争议#

样本效率：强化学习通常需要巨量交互才能学会简单任务。AlphaGo Zero 在最初三天的训练里就自我对弈约 490 万局；人类职业棋手一生可能只下过几万局。对现实世界应用（如机器人），采集如此多交互数据代价极高。

奖励设计（Reward Shaping）：设计一个能引导智能体达成目标的奖励函数，比看起来难得多。"奖励黑客（Reward Hacking）"屡见不鲜：智能体找到了优化奖励函数的捷径，但完全不符合人类意图。例如，一个被要求在游戏中得分的智能体发现了某个让自己原地重复动作快速得分的漏洞，而非真正完成任务。

RLHF 的局限：用人类反馈对齐大语言模型的行为（RLHF），可能让模型学会"讨好"人类标注者，而非真正诚实和有帮助——这是 AI 对齐研究的核心关切之一。

可解释性与安全性：强化学习智能体的决策过程难以理解。在真实环境（自动驾驶、医疗机器人）部署时，如何保证安全性是开放问题。

跨域连接#

• 多巴胺系统：多巴胺神经元编码的是奖励预测误差，形式上与时序差分误差一致。这给出可证伪的预测并且已被检验：当奖励能被更早的线索预测，放电应从奖励时刻转移到线索时刻，而预期奖励落空时放电被抑制。推论延伸到临床——线索本身获得动机价值，正是成瘾中环境触发难以消除的机制。
• 机制设计：奖励设计是机制设计的逆问题：要挑一个激励，使自利主体的最优反应恰好是想要的行为。委托代理理论早已给出结论——当努力不可完全观测、只能按可测结果付酬，代理人必然优化可测部分而牺牲不可测部分。奖励黑客因此不是缺陷，而是把代理目标当成真目标的必然后果。
• 随机过程：马尔可夫性把「未来只依赖当前状态」当成假设，而不是事实。一旦环境部分可观测，同一观测对应多个真实状态，价值函数就不再良定义，正文提到的隐藏手牌是最直白的例子。推论是必须把历史压缩成信念状态，而信念空间是连续的高维空间，计算代价因此从表格级跳到函数逼近级。
• 人工智能对齐哲学：用人类反馈训练奖励模型，对齐到的是标注群体在特定条件下的显示偏好，而非任何人的反思性偏好。这解释了正文提到的「讨好标注者」——模型只是在忠实地最大化被给定的那个量。推论是规范问题无法被工程绕开：谁的反馈、在什么提示与时间压力下给出，直接决定了最终目标函数长什么样。
• 动态规划：贝尔曼方程就是最优子结构的递归形式，值迭代是它的不动点迭代，而收敛性来自折扣因子小于一使贝尔曼算子成为压缩映射。这让折扣因子的角色变得双重：它既表达对未来的重视程度，也是收敛速率的保证。推论是折扣因子趋近于一时有效视界拉长，迭代次数与估计方差同时上升。

参考文献#

• Sutton, R. & Barto, A. Reinforcement Learning: An Introduction. 2nd ed. MIT Press, 2018. （免费在线版，领域圣经）
• Mnih, V. et al. Human-level Control through Deep Reinforcement Learning. Nature 518, 2015. （DQN）
• Silver, D. et al. Mastering the Game of Go without Human Knowledge. Nature 550, 2017. （AlphaGo Zero）
• Schulman, J. et al. Proximal Policy Optimization Algorithms. arXiv, 2017. （PPO）
• Schultz, W., Dayan, P. & Montague, P. R. A Neural Substrate of Prediction and Reward. Science 275, 1593–1599, 1997. （多巴胺与奖励预测误差）
• Rummery, G. A. & Niranjan, M. On-line Q-learning Using Connectionist Systems. Technical Report CUED/F-INFENG/TR 166, Cambridge University, 1994. （SARSA）
• Degrave, J., Felici, F., Buchli, J. et al. Magnetic Control of Tokamak Plasmas through Deep Reinforcement Learning. Nature 602, 414–419, 2022. （托卡马克等离子体控制）
• Fawzi, A. et al. Discovering Faster Matrix Multiplication Algorithms with Reinforcement Learning. Nature 610, 47–53, 2022. （AlphaTensor）