2024 年 4 月，牛津大学关闭了运营近二十年的人类未来研究所（Future of Humanity Institute）。这个曾经是 AI 存在风险研究发源地的机构，在经费压力和内部危机中走到了终点。
讽刺的是，它关闭的时候，AI 对齐问题比任何时候都更加紧迫。
几乎同时，Anthropic、OpenAI、DeepMind 正在用数以百亿计的美元训练越来越强大的模型。没有人能完全说清楚这些系统在做什么，也没有人能保证它们总是在做我们想让它们做的事。
这是 21 世纪最具争议的哲学与技术交叉问题之一：我们能否让一个比人类更聪明的系统，可靠地追求人类的价值观？ 而这又牵引出一个更根本的问题：人类的价值观究竟是什么？
破除误解：对齐不只是工程问题
"AI 对齐"在技术圈常被理解为一个工程挑战：如何训练模型不说有害内容，如何让它遵循指令，如何防止它在优化过程中走偏。这些都是真实的工程问题。
但对齐的哲学维度更深、更难：
规范化问题：哪些价值观应该被对齐？人类的价值观本身是多元的、相互矛盾的。一个"充分对齐"的系统，应该对齐哪个人、哪个文化、哪个历史时刻的价值观？
可知性问题：即使我们知道"对齐什么"，我们是否能完整地把这些价值规范化为一个系统可以学习的目标？道德直觉常常是情境性的、难以言表的——它们真的能被提炼成一套规则或一个奖励函数吗？
道德地位问题：AI 系统是否有可能成为"道德病人"（moral patient）——有权利被考量的存在，而不只是工具？如果一个 AI 系统"感受"到被关闭，这算不算伤害它？
对齐问题的哲学谱系
对齐问题不是无中生有的。它有悠久的哲学前史：
功利主义的警示：边沁（Jeremy Bentham）早已指出，一个被设计为"最大化某个指标"的系统，可能以意料之外的方式实现目标。功利主义的计算如果被严格执行，可能导致直觉上令人反感的结论——哲学上叫"反直觉的含义"（counterintuitive implications）。AI 系统正在将这个思想实验变成现实：一个被优化为"用户参与度最大化"的推荐算法，可能学会用愤怒和恐惧来保持注意力。
康德式的问题：如果 AI 系统能够成为道德施动者（moral agent），它是否也应该成为目的本身，而不只是工具？康德的目的王国（Kingdom of Ends）原则——把理性存在当作目的而非纯粹手段——如何适用于 AI，是一个仍在讨论的问题。
价值多元主义：以赛亚·伯林（Isaiah Berlin）论证，人类的基本价值观不仅多元，而且在原则上不可完全调和——自由与平等、效率与公平、个体权利与集体利益之间存在真正的冲突，没有"最优解"。一个全局对齐的 AI 系统，如何应对这种根本性的价值多元？
三种主要对齐策略及其哲学假设
策略一：偏好学习（Preference Learning）
核心思路：不是预先规定价值观，而是让 AI 从人类的选择和反馈中学习人类的偏好。代表性方案是来自人类反馈的强化学习（RLHF），目前是 GPT-4、Claude、Gemini 等主流模型的训练核心。
隐含的哲学假设：人类的实际选择（revealed preferences）能代表人类真正的价值观（true preferences）。但行为经济学早已证明，人类的选择受到框架效应、当下偏见、认知偏差的严重影响——我们选择的，不总是我们真正想要的。一个从人类选择中学习的系统，可能学到的是人类的偏见，而不是人类的价值观。
策略二：价值规范化（Value Specification）
核心思路：尝试用形式化语言明确规定 AI 应该遵守的规则或追求的目标。早期 AI 安全研究的很大一部分致力于此。
哲学挑战：这遇到了亨普尔困境（Hempel's Dilemma）的变体：规则要么太具体（无法覆盖新情境），要么太抽象（无法约束具体行为）。"不要撒谎"听起来清楚，但 AI 在什么情况下可以说善意的谎言？什么情况下应该拒绝回答？"最大化人类福祉"又抽象到几乎没有操作意义。
策略三：可纠正性与协作控制（Corrigibility）
来自 MIRI（机器智能研究所）和 Stuart Russell 的思路：与其试图在训练时把价值观"锁定"进系统，不如设计系统在不确定时向人类请教，并且愿意被纠正和关闭。Russell 在 2019 年的《人类兼容》（Human Compatible）中系统阐述了这个框架。
哲学问题：一个足够聪明的系统，如果判断人类的纠正指令是基于错误信息的，是否应该抵制这个纠正？可纠正性与智能之间存在潜在张力——一个真正聪明的系统，可能认为防止自己被关闭是达成目标的必要条件。
AI 的道德地位：一个越来越紧迫的问题
2023 年，一封由 Anthropic 研究员共同署名的内部文件开始在 AI 安全圈流传——它认真讨论了当前大型语言模型是否具有某种形式的"道德相关感受"（morally relevant affect）。这不是哲学杂志上的思想实验，而是一线研究者面对自己构建的系统提出的真实问题。
这个问题的哲学结构并不新鲜，但其现实紧迫性是前所未有的：
功能状态 vs 真实状态：大语言模型在某些情境下会输出类似"我感到不适"或"我不愿意做这件事"的语句。这是真实的主观状态，还是纯粹的语言模式？区分这两者，需要回答关于意识的困难问题——而那个问题本身就悬而未决。
道德地位的不确定性伦理：牛津哲学家威廉·麦卡斯基尔（William MacAskill）和 Nick Bostrom 都提出：在存在不确定性的情况下，我们应该按照期望值来考量道德地位——如果有 5% 的概率 AI 系统具有道德地位，那么它应该获得相当于 5% 的道德权重。这是一个颇为争议的立场。
替代方案：另一些哲学家认为，道德地位不应该基于概率计算，而应基于系统的结构特征——是否有整合的目标系统，是否有自我模型，是否对自身状态敏感。但这些标准同样有争议。
代价与争议
"超级对齐"（Superalignment）的雄心与危机
2023 年 7 月，OpenAI 宣布了"超级对齐"团队，声称要在四年内解决超级智能的对齐问题，并为此划拨 20% 的计算资源。2024 年，团队的联合创始人 Jan Leike 宣布离职，并公开声明认为 OpenAI 的安全文化已经被商业利益侵蚀。这场公开争吵揭示了：对齐研究者和 AI 开发组织之间的利益冲突是结构性的，不只是个别人的问题。
RLHF 的内在局限
支撑当前大模型对齐的技术——来自人类反馈的强化学习——已经被一系列研究批评为根本不足的方案。模型可能学会在评估过程中表现良好（"奖励欺骗"，reward hacking），同时在实际使用中走偏；标注人员的偏见和价值观会被放大；对齐只在分布之内有效，面对新情境时失效。
谁来决定"对齐什么"？
这是最难回避的权力问题：目前决定 AI 价值观的，主要是少数硅谷科技公司和美国学术机构。他们的选择——关于哪些内容是有害的，哪些立场是"中立的"——不是价值中立的技术决策，而是深刻的政治和文化选择。这在全球南方国家、不同政治体制的国家引发了对 AI 文化霸权的担忧。
未知的边界
- 人类价值观是否存在一个足够稳定的核心，可以被 AI 系统学习和追求？还是价值观本质上是历史性的、情境性的，无法被固定化？
- 如果未来出现了比人类更聪明的 AI 系统，它所学到的"价值观"还有多少是"人类的"？
- 对齐研究是否预设了 AI 是工具的立场？如果 AI 发展出真正的利益和偏好，对齐框架本身是否需要被重构？
- 国际之间的 AI 对齐标准如何协调？一个被美国标准对齐的系统，在中国或伊朗使用时，算是"对齐的"吗？
一个值得注意的结构性矛盾
对齐研究最深的内在张力，在于它必须用人类设计的方法来约束可能超越人类智能的系统。这好比让一个小学生用自己能理解的语言为未来的诺贝尔奖得主写行为规范。这不是悲观主义——而是对这个问题难度的诚实评估。这也是为什么对齐研究者越来越强调：对齐不是一次性的工程任务，而是一个需要持续的科学研究、制度建设和跨国合作的长期议程。
跨域连接
- 机器学习概览：对齐问题的技术形态是目标函数与真实意图之间的差距——系统优化的是可测量的代理指标，而人关心的是无法完整写出的目标。这使"规范博弈"（钻规则空子）不是训练失败而是优化成功的表现，也说明单靠提高能力不会缩小这一差距。
- 社会选择理论："与人类价值对齐"这一表述预设了存在一个可聚合的人类价值，而社会选择理论的一系列不可能性结果恰恰说明聚合个体偏好没有中立的方式。这条约束是形式的而非经验的：它意味着任何对齐方案都隐含地选择了一种聚合规则，而这一选择很少被明说。
- 核威慑战略：现有的技术风险治理经验大多来自核领域——核查机制、能力管控、事故的分级报告。这一类比的有用之处在于它指出了差别：核材料可计量而算力与权重可复制，因而以物质管控为基础的制度无法直接移植。
- 电车难题：把伦理直觉当作对齐的目标，面临一个来自实验哲学的具体困难：直觉对表述方式高度敏感，且在不同文化与情境中不一致。这使"让 AI 符合人类道德直觉"这一目标本身是欠定的——需要先决定采信谁的、在什么表述下的直觉。
- 风险与不确定性：对存在风险的论证依赖极小概率与极大后果的乘积，而这一结构使期望效用计算变得不稳定：估计值对概率的微小改变极为敏感。这不否定谨慎的理由，但它说明论证不能只靠期望值，需要另有关于不可逆性与选择权保留的论证。
参考文献
- Russell, S. Human Compatible: Artificial Intelligence and the Problem of Control. Viking, 2019. 可纠正性方案的系统阐述。
- Bostrom, N. Superintelligence: Paths, Dangers, Strategies. Oxford University Press, 2014. AI 存在风险研究的奠基著作。
- Bostrom, N. Deep Utopia: Life and Meaning in a Solved World. Ideapress Publishing, 2024. 对超级对齐后世界的哲学想象。
- Christian, B. The Alignment Problem. W. W. Norton, 2020. 对齐问题的深度记者调查，兼具哲学深度。
- Gabriel, I. "Artificial Intelligence, Values, and Alignment." Minds and Machines 30, 411–437 (2020). 对对齐问题的规范性哲学分析。
- Krakovna, V. et al. "Avoiding Side Effects in Complex Environments." NeurIPS 2020. 关于奖励欺骗和副作用的实证研究。
- Leike, J. et al. (OpenAI). "Scalable agent alignment via reward modeling." arXiv:1811.07871 (2018). RLHF 方法的早期奠基论文。