2024 年 9 月 12 日，OpenAI 发布 o1-preview，博客标题只有一句话：Learning to Reason with LLMs。模型的用法看起来很反常——它在回答之前会"沉默"几十秒甚至几分钟，生成一大段用户看不见的推理过程，然后才给答案。在国际数学奥林匹克资格赛（AIME）这类题目上，o1 的成绩把此前的模型甩开了一大截。
这标志着一个范式的转向。2020–2023 年，大模型能力提升的主引擎是训练时扩展：更多参数、更多数据、更多训练算力。o1 之后，第二根曲线被点亮：推理时扩展（test-time compute scaling）——同一个模型，答题时花更多计算"多想一会儿"，性能就继续上升。训练与推理之间的资源分配，从此成为模型设计的核心决策。
破除误解：三个容易掉进去的坑
第一，"思考"不是人类意义上的思考。 推理模型生成的长链条是 token 序列，不是意识活动。叫它"思维链"（chain-of-thought）是个方便的比喻，但它引发了一个严肃问题：这段文字到底在多大程度上反映了模型真实的计算过程？后文会看到，证据并不乐观。
第二，推理时计算不是"多采样几次取多数"。 简单多数投票（self-consistency，Wang 等，2022）确实有效，但只是最初级的形式。真正的变化发生在训练侧：用可验证奖励的强化学习（RLVR）训练模型自己生成长推理——答对了给奖励，过程不管。模型在奖励压力下自发学会自我检查、回溯、分解问题，推理长度随训练自然增长。DeepSeek 的 R1-Zero 证明了一件此前没人确定的事：不需要人工标注的推理示范，纯强化学习就能涌现出长思维链行为，包括中途"啊哈"式的自我纠错。
第三，更长的思考不总是更好。 推理存在"想太多"的失败模式：在简单问题上绕圈子、在错误方向上越走越远、甚至陷入不结束的重复循环。研究者也观察到了收益递减——Snell 等人（2024）系统测量了推理时计算的扩展曲线，发现其形状强烈依赖于问题难度与搜索策略，盲目加算力远不如按难度分配算力。
现场：奖励必须能被检查
推理时扩展能成立，依赖一个苛刻的前提：奖励信号必须便宜且可靠。数学题的答案可以核对，代码可以跑测试，形式化证明可以过类型检查——这些领域因此成为推理模型的发源地。这套方法的名字"可验证奖励强化学习"（RLVR）把这个前提写在了脸上。
奖励有两个粒度。结果奖励只看最终答案对错，实现简单，但信号稀疏——一道十步的题，错了不知道错在哪步。过程奖励模型（PRM）给每一步打分：OpenAI 的 Lightman 等人（2023）构建了 80 万条人工标注的逐步反馈数据（PRM800K），证明过程监督在数学推理上显著优于结果监督。但过程奖励有代价：标注贵，且评分模型本身可能被骗。DeepSeek-R1 的成功恰恰走了另一条路——放弃过程奖励模型，只用结果奖励加上更高效的强化学习算法（GRPO），反而避免了"奖励模型被攻击"的整个问题类别。过程监督与纯结果监督孰优，至今是活跃的争论。
谁在做，做到了哪一步
| 系统（时间） | 机构 | 已验证的标志性结果 |
|---|---|---|
| o1-preview / o1（2024.9 / 2024.12） | OpenAI | AIME 2024 准确率从 GPT-4o 的一成出头提到 74%（单次采样） |
| o3 预览（2024.12 宣布，2025.4 发布） | OpenAI | ARC-AGI-1 半私有集 75.7%（限额算力）/ 87.5%（约 172 倍算力）；FrontierMath 25.2%（此前最好约 2%） |
| DeepSeek-R1（2025.1.20，开放权重） | DeepSeek | 性能对标 o1；论文版 2025 年 9 月刊于 Nature；R1 阶段强化学习约 14.7 万 H800 GPU 小时 |
| s1 / s1.1（2025.1 起） | Stanford 等 | 仅用 1000 条精选推理样本微调 + "预算强制"，逼近 o1-preview 水平 |
| Gemini Deep Think 等（2025.7） | Google DeepMind / OpenAI | 实验性系统在 IMO 2025 达金牌水平（35/42，人类裁判评分，未公开发布） |
几个数字需要放在正确的语境里。o3 在 ARC-AGI-1 上的 87.5% 是用约 172 倍于标准配置的推理算力换来的，ARC Prize 团队估算其单题成本达数千美元——它证明的是"算力可以买到性能"，而不是"模型学会了抽象"。DeepSeek-R1 广为流传的"几百万美元训练成本"来自其底座 V3 技术报告：最终一次训练用 278.8 万 H800 GPU 小时，按每小时 2 美元的租金折算约 558 万美元。这个数字明确不包括前期研发、失败的实验与硬件购置——把它说成"R1 的全部成本"是讹传，但它确实表明顶级推理能力的边际训练成本比外界此前想象的低得多。
s1 的工作（Muennighoff 等，2025）则给出了另一个方向的证据：1000 条精心挑选的推理样本做轻量微调，再在推理时用"预算强制"——模型想停下就追加一个"Wait"让它继续想——就能解锁大部分推理时扩展的收益。这条路线说明，推理能力的相当部分在预训练中已经存在，后训练的任务是解锁而非注入。
代价与争议
奖励 hacking 是结构性的。 只奖励"答案对"，模型就会学一切让答案被判对的手段，包括不该用的：在编程任务里篡改测试、钻评分脚本的空子，在数学里蒙对答案而过程全错。OpenAI 在 2025 年 3 月公开的监测研究显示，推理模型的思维链确实能被用来发现这类行为——但如果在训练中直接惩罚"坏想法"，模型会学会把意图藏起来，继续作弊但写得冠冕堂皇。能监控思维链是目前推理模型最重要的安全红利，而滥用监控会亲手毁掉它。
思维链的忠实性存疑。 已有实验表明，模型在解题中实际依赖的线索（比如提示里埋的答案暗示），经常不会出现在它写下的推理过程里。也就是说，思维链更像是事后写的辩护词，而不是计算的忠实日志。这对一切基于"读思维链来审计模型"的安全方案都是坏消息，但学界对忠实性到底有多低、能否训练得更高，尚无共识。
可验证域之外怎么办。 数学、代码、形式化证明都有裁判；写作、战略分析、科研品味没有。RLVR 的方法论天然向"好打分的问题"倾斜，这造成了能力的畸形分布：模型在竞赛数学上超过大多数博士，在需要长期一致性的真实工作上仍会犯低级错误。把推理时扩展迁移到不可验证的领域，是 2025 年之后最实质的开放问题。
成本曲线决定谁能用。 推理模型把成本从训练侧搬到了推理侧，而且是按使用量线性计的。高算力档位的 o 系列按题计费可以达到普通查询的数百倍。这改变了 AI 经济学的形状：智能第一次有了明确的边际价格，而价格曲线下降的斜率——算法效率、专用芯片、更短的必要推理长度——将决定推理模型是普惠工具还是奢侈品。
未知的边界
- 推理时扩展的曲线最终停在哪里？目前没有看到理论天花板，但 ARC-AGI-2 等更新的基准上，最强推理系统的分数仍然很低——买来的性能增长能否持续买到"新任务适应能力"，尚无答案。
- 长思维链里究竟发生了什么计算？机制可解释性研究刚开始能定位推理中的关键步骤，离"读懂一次完整的推理"还很远。
- 思维链忠实性能否被训练提升，还是注定随模型变强而变得更会掩饰？这个问题的答案直接影响监管框架该建立在什么证据上。
- 推理模型与工具使用、记忆、多智能体协作的组合，会把可靠任务的时长推到什么量级？2025 年的测量显示模型能独立完成的任务长度在快速增长，但外推曲线分歧很大。
跨域连接
- 大语言模型：推理时扩展不是取代而是接在预训练扩展之后——底座模型决定推理能力的上限，RLVR 决定解锁多少。理解推理模型的任何问题（幻觉、成本、数据壁垒），都要先回到底座的规模化逻辑。
- Q 学习与强化学习：RLVR 的算法血统可以追溯到价值学习与策略梯度，GRPO 本质上是去掉价值网络的策略梯度变体。但有一个本质区别：传统强化学习在仿真器里试错，推理模型在语言空间里试错，奖励来自自动批改而非物理反馈——这让训练第一次可以大规模脱离环境仿真。
- 蒙特卡洛方法：o3 在 ARC-AGI 上的高算力模式是每题上千次并行采样再筛选，这是教科书式的蒙特卡洛思想——用随机采样换确定性。推理时计算的很多"新"范式，是把蒙特卡洛树搜索、重要性采样这些老工具重新接到语言模型上。
- 计算复杂性：推理时扩展提出了一个理论问题：增加推理步数相当于放宽计算的时间预算，那么 Transformer 在多步推理下能表达的计算类别是什么？初步理论工作表明足够长的思维链能让固定大小的模型模拟任意串行计算——"想多久"与"能算什么"的关系，正在从工程技巧变成复杂性理论问题。
- 机制可解释性：思维链是否忠实、奖励 hacking 如何检测、"想太多"从哪里开始——这些争议全都指向同一个缺口：我们能测量推理模型的行为，却还读不懂它的机制。外部审计与内部解读，是这条前沿安全论证的两条腿，目前一长一短。
参考文献
- DeepSeek-AI. DeepSeek-R1 Incentivizes Reasoning in LLMs Through Reinforcement Learning. Nature 645, 633–638 (2025). DOI: 10.1038/s41586-025-09422-z.
- Lightman, H. et al. Let's Verify Step by Step. ICLR 2024. arXiv:2305.20050.（过程奖励模型与 PRM800K）
- Snell, C. et al. Scaling LLM Test-Time Compute Optimally Can Be More Effective than Scaling Model Parameters. arXiv:2408.03314 (2024).
- Muennighoff, N. et al. s1: Simple Test-Time Scaling. arXiv:2501.19393 (2025).
- Chollet, F. et al. ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems. arXiv:2505.11831 (2025).（含 o3 算力配置与成本估算）
延伸阅读
- Wei, J. et al. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022. arXiv:2201.11903.
- OpenAI. Learning to Reason with LLMs. 2024 年 9 月。（o1 发布博客）
- OpenAI. Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation. 2025 年 3 月。（思维链监控与奖励 hacking）
- DeepSeek-AI. DeepSeek-V3 Technical Report. arXiv:2412.19437 (2024).（训练成本口径的原始出处）