作者：Robert Wiblin 和 Keiran Harris · 发布于 2023 年 8 月 7 日如果你在思考如何对齐超级智能——如何对齐一个远比人类聪明的系统？——我不知道。我没有答案。我认为没有人真正有答案。但这也不是我们根本上需要解决的问题。也许这个问题甚至不是今天活着的人类能解决的。但有一个更容易的问题：如何对齐下一代系统？如何对齐 GPT-N+1？这是一个明显更容易的问题。今年 7 月，OpenAI 宣布成立一个新团队和新项目：Superalignment（超级对齐）。目标是在四年内弄清楚如何让超级智能 AI 系统实现对齐并可以安全使用，该实验室为此投入了高达 20% 的计算资源。今天的嘉宾 Jan Leike 是 OpenAI 的对齐负责人（Head of Alignment），并将共同领导这个项目。正如 OpenAI 所说："……超级智能的巨大力量可能非常危险，可能导致人类被剥夺权力，甚至人类灭绝。……目前，我们还没有办法引导或控制一个潜在的超级智能 AI，防止它失控作恶。"
鉴于 OpenAI 本身就在从事开发超级智能 AI 的业务，它把这视为一个亟需解决的可怕问题。所以它不只是往这个问题上砸算力——它还在招聘数十名科学家和工程师来组建 Superalignment 团队。很多人悲观地认为这件事根本做不成，更别说在四年内完成。但 Jan 持谨慎乐观的态度。正如他解释的：说实话，真的感觉我们对这个问题有了一个真正的切入点，可以实际迭代……而且我认为它实际上很可能会成功。这真的非常、非常疯狂，也非常令人兴奋。就好像我们有这么一个讨论了一年又一年的难题，而现在我们真的有机会解决它了。如果我们做到了，那就太好了。
Jan 认为这项工作实际上是机器学习中最具科学趣味的部分。它不是简单地往一次训练里投入更多芯片和更多数据，而是需要真正理解这些模型如何工作、如何思考。其答案很可能是与破解人类大脑之谜同等级别的突破。简而言之，这个计划就是让 AI 帮助我们解决对齐问题。这听起来可能有点疯狂——正如有人形容的，"就像用一场火去扑灭另一场火"。但 Jan 的思路是这样的：核心问题在于，AI 的能力会不断提升，监督最前沿模型的挑战会越来越难，而人类智能大体上保持不变。要想有任何希望确保安全，我们监控、理解和设计机器学习模型的能力，必须与模型本身复杂度的提升保持同步。而且有一个显而易见的办法：让 AI 来完成大部分工作，使得需要被对齐的 AI 的复杂程度，与执行对齐工作的 AI 的复杂程度同步推进。
Jan 并不想制造出能够从事机器学习研究的模型。但无论我们喜不喜欢，这样的模型终将到来。到那时，Jan 想确保我们把它们用于有用的对齐和安全工作，其力度不低于甚至超过我们用它们推进 AI 能力的力度。
Jan 认为这个想法疯狂到也许恰恰能成。但一些批评者认为它就是纯粹的疯狂。他们提出了各种各样的尖锐问题，包括：在今天的访谈中，主持人 Rob Wiblin 把这些质疑抛给 Jan，听他如何一一回应，他们还讨论了：想收听本期节目，请在播客应用中订阅我们这档关于世界上最紧迫问题及其解决之道的播客：在播客应用中搜索"80,000 Hours"。或阅读下面的文字实录。制作人和编辑：Keiran Harris 音频工程负责人：Ben Cordell 技术剪辑：Simon Monsour 和 Milo McGuire 附加内容编辑：Katy Moore 和 Luisa Rodriguez 文字转录：Katy Moore
Jan Leike：我认为其实过去几年里的很多事情、很多进展，对对齐来说都相当有利。大语言模型其实非常有帮助，因为它们能理解自然语言。它们对人类了解得非常多。比如，你可以问它们在某某哲学观下什么才是道德的行为，它们能给你一个非常好的解释。你能够和它们对话、表达你的观点，这让很多事情变得容易了。与此同时，它们在某种意义上是一块白板，你只需用相当少的数据进行微调，就能让它们变得非常有效。如果你把这与几年前通往 AGI 的路径、或者说 AI 发展的样子相比：那时看起来我们会在类似 Universe 这样的环境里训练一些深度强化学习智能体——Universe 就是各种游戏和其他环境的集合。它们也许会在努力通关所有这些游戏的过程中变得非常聪明，但它们不一定会对语言有深刻的理解，也不一定理解人类如何思考道德、人类在乎什么、或者世界是如何运作的。另一件我认为非常有利的事情，是我们从迄今尝试过的对齐技术中看到的结果。我前面已经提到，InstructGPT 的效果远超我的预期。甚至在我们做"基于人类偏好的深度强化学习"那篇论文时，我一开始认为在我们拥有的时间里，多半没法把它做到那么好的效果。但它成功了，InstructGPT 也非常成功。某种程度上，你可以说这些并不是能对齐超级智能的技术，那你为什么这么乐观？但我认为这仍然提供了"这条路走得通"的证据——因为如果我们连今天的系统都没法对齐，我认为我们就应该更悲观。反过来也成立。
Jan Leike：我想再给你一堆理由，因为我认为理由有很多。而且，根本上最重要的一点是，我认为对齐问题是可解的（tractable）。我认为只要我们专注于它、投入精力，就能取得很大进展。有很多研究进展，是一个小而专注的团队在一年或四年时间里真正能够做出来的。说实话，真的感觉我们对这个问题有了一个真正的切入点，可以实际迭代、实际逐步构建。而且我认为它实际上很可能会成功。这真的非常、非常疯狂，也非常令人兴奋。就好像我们有这么一个讨论了一年又一年的难题，而现在我们真的有机会解决它了。如果我们做到了，那就太好了。不过我乐观的其他一些原因是：我认为从根本上说，对于我们关心的很多任务——包括对齐研究——评估比生成更容易。这也是为什么我认为通过用 AI 来自动化对齐研究的各个部分，我们能获得很大的杠杆。特别是，如果你想想经典的计算机科学问题，比如 P 与 NP，就有这样一类问题，我们相信评估它们从根本上更容易。这对很多消费品也成立：如果你要买一部智能手机，挑一部好手机比造一部手机容易太多了。或者在组织里，如果你要招人，判断一个人干得好不好，必须比亲自去干他的活容易。否则你就不知道该招谁了，对吧？那样招聘就行不通了。或者想想体育和棋类比赛：如果你不知道谁赢了比赛，体育就不好看了。当下这步棋是不是好棋可能很难判断，但你之后会知道。这正是它令人兴奋的地方，对吧？你会有这种张力："这是很有意思的一步。接下来会发生什么？"但比赛结束时，你看看棋盘，看看围棋盘，你就知道谁赢了。到最后，所有人都知道。或者你在看一场足球赛，球进了门，那就是进球了。就这样，所有人都知道。我认为这对科学研究同样成立。有一些研究成果是人们感到兴奋的，即便他们自己并不知道如何做出这些成果。有时候我们在这上面会判断错，但这不意味着我们能把这项任务做得完美——只是说它更容易而已。
Jan Leike：我们的总体目标是达到能够自动化对齐研究的程度。这并不意味着我们要训练一个非常擅长机器学习研究的系统，或者一个非常聪明的什么系统。那不是 Superalignment 的任务。
Rob Wiblin：我想很多人都是那么以为的。我想他们把你们的公告解读成了：你们基本上是想训练一个非常出色的机器学习研究员。
Jan Leike：我不认为那会对对齐产生特别的差异化帮助。我觉得有必要澄清一下。基本上，我对我们工作的理解是：一旦出现了能够做机器学习研究、或者接近能做机器学习研究的模型——我认为这无论如何都会发生，不管 OpenAI 做不做都会发生——我们的任务就是弄清楚如何让它足够对齐，以至于我们可以信任它产出的对齐研究或对齐研究协助。因为，本质上，如果你让这个系统在对齐研究上帮助你，这个系统就有很大的机会去影响或试图诱导我们相信某些技术其实很好、而实际上并不好。从而，这个系统或未来的系统，会以一种我们实际上不想要的、与我们不对齐的方式获得凌驾于人类之上的权力。所以我们最终需要做的，是弄清楚如何让那个系统足够对齐，让我们真的可以信任它。举个例子，简单来说：这个系统写了一篇对齐论文。现在你可以去读这篇论文，但一上来，你可能实际上没法找出论文里的所有缺陷。或者更一般地说，科学同行评审并不完美，有很多例子表明，有人靠造假的研究混了几十年才被揭穿。所以这是我们必须真正想办法避免的。因为对齐研究、或者说科学研究总体上，是一项人类并不那么擅长评估的困难任务——至少在没有大量时间的情况下是这样——那么问题就变成了：我们需要什么样的对齐技术，才能足够有信心确保这一点？
Jan Leike：如果你在思考如何对齐超级智能——如何对齐一个远比人类聪明的系统？——我不知道。我没有答案。我认为没有人真正有答案。但这也不是我们根本上需要解决的问题。也许这个问题甚至不是今天活着的人类能解决的。但有一个更容易的问题：如何对齐下一代系统？如何对齐 GPT-N+1？这是一个明显更容易的问题。更进一步，如果人类能解决那个问题，那么一个与研究这个问题的人类同样聪明的虚拟系统也应该能解决它。所以，如果你让那个虚拟系统实现对齐，它就可以为 GPT-N+1 解决对齐问题，然后你就可以迭代地自举（bootstrap），直到达到超级智能的水平，并且弄清楚如何对齐它。当然，这样做时重要的是，在每一步，你都必须在这个问题上取得足够的进展，让你有信心 GPT-N+1 已经足够对齐，可以把它用于对齐研究。
Rob Wiblin：好，这里还有一个问题："OpenAI 创造并发布 ChatGPT 的决定，很可能加速了 AI 研究，因为人们对它印象深刻，现在大量的人涌入这个领域。但它同时也引发了一连串对安全的担忧，以及为化解潜在威胁而提前做准备的新努力。事后来看，你认为发布 ChatGPT 这一举动，综合考虑所有因素，是增加了还是降低了 AI 灭绝风险？"
Jan Leike：我觉得这是个非常难的问题。我不知道我们现在是否真的能给出定论。我怎么想的呢？我认为，从根本上说，也许等一等、晚一点发布 ChatGPT 会更好。我也认为，某种程度上，这整件事是不可避免的，公众迟早会意识到语言模型已经变得多么强大。你甚至可以说，令人惊讶的是过了这么久大家才意识到。而且说实话，我很高兴它在多大程度上改变了、或者说推进了公共讨论——既包括关于 AI 风险的讨论，也包括那些真实发生的对齐工作，即我们究竟如何能把系统做得好得多，而且我们应该多做这类工作。我认为这两点都非常好。至于发布时机应该是什么、以及它是否无论如何都会发生，现在可以争论。我认为它无论如何都会发生。从更高的层面看，人们在问这些问题——这些确实是很好的问题——比如：如果我们想的话，能不能大家都停止搞 AI？听上去很简单。停下就好。别做了。那不是件好事吗？但实际上，世界上有太多力量在推动这件事继续，对吧？比如说，假设 OpenAI 决定我们不再训练能力更强的模型了。就是不做了。OpenAI 可以这么做。但还有一堆 OpenAI 的竞争对手可能仍然会做，那么 AI 依然存在。好，那把他们也拉进来：把排名前五的 AGI 实验室，或者将会训练最大模型的五家科技公司都找来，让他们承诺不做。好，他们承诺了。可是，接下来会冒出一家新的创业公司。会冒出一大堆新的创业公司。再往下，人们还在不断把晶体管做得更小，所以你会得到能力更强的 GPU——这意味着训练一个比迄今为止任何模型都更强的模型的成本，仍然在逐年指数级下降。于是你去找半导体公司，说："你们能不能悠着点？"好吧，也许你能把他们也拉进来。可上游还有做紫外光刻之类的公司，他们在研发下一代芯片，从上世纪 90 年代就开始做这件事了。然后你还得让他们也悠着点。这是一个极其复杂的协调问题，甚至连弄清楚还有谁参与其中都不容易。就我个人而言，我认为人类如果真的想做，是可以做成很多事的。如果事情真的变得非常吓人，很多事情都可能发生。但同样，从根本上说，我认为这不是一个容易解决的问题，我不想假设它会被解决。我想做的是，确保在我们拥有的时间里，尽可能多地取得对齐研究的进展。如果我们能得到更多时间，那很好。也许到时我们还需要更多时间，那我们再想办法。但如果我们得不到呢？我仍然想能够解决对齐问题。我仍然想在那些我们得不到额外时间的世界里获胜——在那些不管出于什么原因、事情就是一路向前推进的世界里。所以无论局势如何发展，你都可以回到这个问题上："我们如何尽可能快地解决这些技术问题？"我认为这才是我们真正需要做的。
Jan Leike：我认为总体上，人们对我们试图解决的研究问题非常兴奋。在很多方面，我认为从机器学习的角度看它们真的很有趣。另外，我觉得，这次公告某种程度上表明了我们是认真要做这件事的，我们正努力为这个问题组建一支真正高水准的团队，我们想快速取得大量进展、去挑战有雄心的想法。特别是最近六个月左右，机器学习社区对这类问题的兴趣多了很多。而且我也认为，ChatGPT 和类似系统的成功清楚地表明，RLHF（基于人类反馈的强化学习）里确实有些有意思的东西。这里面有些有意思的东西；这个对齐问题里有些真实的东西，对吧？比如，你把 ChatGPT 和最初的基础模型比一比，它们其实相当不同，这里面发生了某种重要的事情。
Rob Wiblin：是的。我回听了我们五年前的那次访谈，当时我们聊了很多关于基于人类反馈的强化学习的内容，因为那时它还是新东西，是当时的热点。这个方法的提出，OpenAI 或者你本人参与了吗？
Jan Leike：是的，没错。更准确地说，世界上很多不同的人可能都各自发明了它。在我们做《Deep reinforcement learning from human preferences》（基于人类偏好的深度强化学习）那篇论文之前，已经有其他研究以各种形式做过基于人类反馈的强化学习。但那些工作没有使用深度学习系统，而且大多只是概念验证式的东西。而那篇基于人类偏好的深度强化学习论文，是 Paul Christiano、Dario Amodei 和我合作完成的。我想我们差不多是各自独立得出了"这才是正确方向"的结论，然后开始了合作。
Rob Wiblin：而事实证明，这对于让 ChatGPT 表现得这么好起到了关键作用，对吧？
Jan Leike：没错。它实际效果之好，对我来说都有点不可思议。如果你看最初的 InstructGPT 论文，我们的一个头条结果是：实际上，GPT-2 规模的系统——参数量比 GPT-3 小两个数量级——它的 InstructGPT 版本，在人类偏好上胜过了 GPT-3 基础模型。所以这个便宜得多、简单得多、小得多的系统，一旦你让它对齐了，就比那个大系统好得多。某种程度上这并不奇怪，因为如果你用人类偏好去训练它，它当然会在人类偏好上表现更好。
Jan Leike：是啊。但反过来说，那你们之前到底为什么不用人类偏好来训练？显然就该这么做，因为这就是你想要的：你想要一个人类更喜欢的系统。事后看来，这太显而易见了。你懂吧？
Rob Wiblin：所以你和你的团队会全力以赴，但事情可能不会成功。我想，如果你们没能解决这个问题，而我们又在能力上一路狂奔，那么最终结果可以想见地可能是所有人都死掉。所以在那种情况下，人类似乎应该有一个后备计划，最好是好几个后备计划——哪怕只是为了让整个世界的重量不至于全压在你的肩膀上，让你晚上还能睡得着觉。你希望我们有什么样的后备计划？你在这方面有什么想法吗？
Jan Leike：我是说，已经有很多其他类型的计划在推进中了。这并不是全世界唯一的赌注。Anthropic 和 DeepMind 都有对齐团队，他们在尝试解决类似的问题。还有各种可以尝试争取更多时间的方式，以及各种你想建立起来的治理结构，用来治理 AI、确保它被有益地使用。我认为解决对齐的核心技术挑战会是至关重要的，但不会是唯一重要的事。我们还必须确保 AI 与某种民主价值观的概念对齐，而不是由科技公司单方面决定。我们还必须对 AI 的滥用做点什么。而对齐的系统，只要它们做得到，是不会任由自己被滥用的。但是，你知道，还有一个问题是它如何融入社会正在发生的更大图景之中，对吧？作为一个人，你可能在为一个你并不真正了解其所作所为的组织工作，而它实际上是净负面的，你却看不出来。或者，仅仅因为我们能对齐 OpenAI 的模型，并不意味着别人不会构建未对齐的 AI。你怎么解决那个问题？这看起来非常重要。你如何确保 AI 不会差异化地赋权那些本已强大的人，而是也能帮助边缘群体？这看起来非常重要。再往后，最终你还希望能避免这些结构性风险。假设我们解决了对齐，每个人都造出了与自己高度对齐的系统。但接下来发生的事，可能只是给现有的资本主义体系装上了涡轮增压。本质上，企业会变得非常擅长最大化股东回报，因为那就是它们让 AI 对齐的目标。而人类则被甩在了一边，因为那并不必然涵盖你所珍视的其他一切——比如清洁的空气之类。我们已经看到了这方面的早期迹象。全球变暖正在发生，尽管我们知道根本问题所在，但进步和我们从事的所有经济活动仍在推动它向前。所以，即使我们把所有这些事都做对了，我们仍然可能陷入一个最终对人类不利的系统——尽管系统中的每个参与者其实都不希望它变成那样。
Rob Wiblin：所以你要做好你的工作，但很多其他人也必须做好他们的工作。这是一个广阔的生态系统。
Jan Leike：没错。要做的事情很多。我们需要让未来向好的方向发展，这需要很多部分共同作用，而这只是其中之一。在我们争先恐后地把大语言模型深度整合进经济的方方面面之前，能不能先停下来想一想这样做是否明智？这是一项相当不成熟的技术，我们并不理解它是如何工作的。如果我们不小心，就是在给自己埋下大量相关性失效（correlated failures）的隐患。几天之后，OpenAI 开放了 GPT-4，让它可以通过 API 连接各种插件。一位听众很好奇你那条推文到底想表达什么，以及在 OpenAI 内部，关于 GPT-4 应该多快接入互联网、整合进其他服务，是否存在分歧。
Jan Leike：是的。我意识到那条推文有些含糊，被人以很多不同的方式解读了。从根本上说，插件能让你做的事情，并没有超出你用 API 本来就能做的范围，对吧？插件其实并没有增加任何人们此前做不到的、根本性的新东西。而且我认为 OpenAI 非常清楚，当你把插件接到系统上时会出什么问题——你知道，你必须有沙箱，让人们花钱时必须谨慎，等等所有这些问题。做插件的人就坐在我们旁边，我们和他们讨论过这些，他们也一直在思考。但鉴于大家都特别兴奋，想把 GPT-4 用在所有事情上，我真正想说的也是：听着，这项技术还不算成熟。系统会出错。先别把它接到所有东西上。确保有一个故障回退（failback）机制。确保你已经充分把玩过这个模型，理解了它的局限。如果你让模型写代码，确保你在阅读并理解这些代码，或者在沙箱里执行它，因为否则，不管你把代码写到哪里，它都可能弄坏那个系统。总之要小心。要明智。确保你明白自己在做什么，而不是直接把它接到一切东西上。先看看情况再说。
Rob Wiblin：说到把东西直接接上互联网这个话题：很多年前，人们经常谈到一种假设——如果我们有了一个像 GPT-4 这样能力的智能系统，我们大概会把它关在一个铅封的盒子里，不会把它接上互联网，因为我们会对它感到担忧。但现在的文化似乎是，模型一造出来，马上就被部署到互联网上了。
Jan Leike：这么说不太准确。GPT-4 在公开可用之前，我们内部用了八个月。我们做了大量安全测试；做了大量红队测试（red teaming）。我们在它的对齐上取得了很多进展，并没有立刻把它接到一切东西上。不过我想你真正想说的是：很多年前，人们争论过"如果你造出了 AGI，难道不能把它关在盒子里吗？这样它永远逃不出来，永远干不了坏事。"而你的意思是，看起来这艘船已经开走了。我们正在把它接到一切东西上。这也部分正是我想暗示的：当我们真的把它接上去时，应该保持审慎。而且，GPT-4 上了 API，并不意味着未来的每一个模型都会在任何情况下、对所有人、为所有用途立即开放。这就是你必须走的那条艰难的钢丝：你想用 AI 赋能每一个人，或者尽可能多的人，但与此同时，你也必须警惕滥用，必须警惕模型可能出的所有其他问题——未对齐（misalignment）就是其中之一。那么如何权衡这种取舍？这是关键问题之一。
Rob Wiblin：一种划分方式似乎是"接入互联网"与"不接入互联网"。但我感觉人们经常——我自己也犯这个毛病——只想着两种情况：要么它部署在互联网上、消费者在用，要么它安全地待在实验室里、没有任何问题。但其实存在中间状态——
Jan Leike：就算它待在实验室里，也可能出问题。
Rob Wiblin：我说的就是这个。这正是我想说的。我感觉有时人们会忽略这一点。你知道，滥用大体上是当它触达广大公众时才成为问题，但未对齐可以在一个系统仅仅被训练出来、只在公司内部使用时就成为问题——因为它会琢磨自己如何能最终产生更广泛的影响。我认为，正因为我们倾向于把所有这些风险混为一谈，或者倾向于泛泛而谈，"一个模型仅仅被训练出来就可能是危险的——哪怕它从未被接上互联网"这一点，是我们真正需要牢记的。听起来在 OpenAI，大家会记住这一点。
Jan Leike：没错。而且安全审查真的需要在训练开始之前就启动，对吧？
Jan Leike：我们主要在招聘研究工程师（research engineer）、研究科学家（research scientist）和研究经理（research manager），而且我预计我们会持续招很多人。我猜到年底之前至少会招 10 个人。之后几年可能还会更多。那么研究工程师、研究科学家和研究经理这些岗位是什么样的呢？某种程度上，在 OpenAI 我们其实并不严格区分研究工程师和研究科学家。在这些岗位上，你都需要写代码，都需要自己跑实验。事实上，我认为非常重要的一点是要一直跑大量实验、小型实验，快速验证你的想法，然后迭代，努力更多地了解这个世界。总体上没有博士学位的要求，研究科学家岗位也一样。而且说真的，你甚至不需要以前做过对齐研究。事实上，没做过也许反而是好事，因为你会对我们试图解决的问题带来新的视角。不过，我们通常希望应聘者具备的是对这项技术工作原理的良好理解。你理解语言模型吗？比如你理解强化学习吗？你能搭建并实现机器学习实验并调试它们吗？在偏研究科学家的一端，我认为你会更多地被期望去思考接下来该做什么实验，或者提出想法：我们如何解决我们正试图解决的问题，或者有哪些我们没在考虑、但也许应该考虑的其他问题，或者我们应该如何设计能让我们学到更多的实验？而在偏研究工程的一端，则有大量工作是实实在在地把那些让我们能跑起来的东西构建出来。让我们把进展做出来。我们已经知道，就算我们有一堆好点子，那也不够，对吧？我们还必须实际去测试它们、构建它们，真正交付一些别人可以使用的东西。这涉及写大量代码。这涉及调试机器学习系统、跑大量实验，在 GPT-4 和其他大模型上搭建大规模训练任务。我认为在实践中，团队里大多数人其实都会在这个光谱上来回移动。有时候写代码多一些，因为我们大体知道该做什么。有时候更偏研究，因为我们还不知道该做什么，我们在启动一个新项目。但总的来说，你需要大量的批判性思维，要会提出重要的问题，并且对世界、对我们正在构建的这项技术抱有强烈的好奇心。至于研究经理，基本上这个角色是带领一个小型、中型甚至大型的研究工程师和研究科学家团队，朝一个具体目标推进。在这个岗位上，你应该设定方向：下一个里程碑是什么？我们该往哪里走？如何把"我们想理解某种类型的泛化"或者"我们想为自动化对齐做一个数据集"之类的模糊问题拆解开、变得更具体，然后弄清楚大家各自可以做什么。此外，还有大量日常管理工作：如何让大家有干劲、有产出，同时确保他们能协作顺畅，以及各种传统的管理事务。
Jan Leike：说实话，真的感觉我们对这个问题有了一个真正的切入点，可以实际迭代、实际逐步构建。而且我认为它实际上很可能会成功。这真的非常、非常疯狂，也非常令人兴奋。就好像我们有这么一个讨论了一年又一年的难题，而现在我们真的有机会解决它了。如果我们做到了，那就太好了。不过我乐观的其他一些原因是：我认为从根本上说，对于我们关心的很多任务——包括对齐研究——评估比生成更容易。这也是为什么我认为通过用 AI 来自动化对齐研究的各个部分，我们能获得很大的杠杆。
Rob Wiblin：各位听众好，我是 Rob Wiblin，80,000 Hours 的研究主管。今天这期访谈可以说意义重大，因为 Jan Leike 正在领导的，据我所知是迄今为止全世界资源最充足的一项努力——弄清楚如何对齐超级智能 AI 系统、让它们对人类安全。几周前，OpenAI 宣布将拿出超过 20% 的计算资源投入一个所谓的"Superalignment"（超级对齐）项目，而作为对齐负责人的 Jan 将主持这个项目。这引起了很大的轰动，不仅因为 OpenAI 20% 的算力是一个巨大的数字，还因为他们给自己设定了在短短四年内解决这个问题的目标，而且 Jan 认为他们确实有机会做到。据我所知，你目前在任何公开渠道能找到的关于这个 Superalignment 项目的信息，都不会比这期访谈更多。它有技术含量但又不算太艰深，我们还听到了 Jan 对相关政策和战略问题以及机器学习问题的个人看法。在我看来，OpenAI 这个 Superalignment 项目坦率地说有着一种离奇的可能性，成为这个十年里地球上发生的最重要的事情之一，我认为这本身就是收听本期节目的一个有力理由。我们最近连着做了很多期 AI 主题的节目，所以那些对 AI 不太感兴趣、或者可能只是没有条件从事相关工作的听众，也许在想这是不是已经变成了一档纯 AI 节目。但请别取消订阅，因为我们正在制作大量非 AI 的节目，我相信你们会喜欢——在接下来的一年里，我们计划大约一半的节目做 AI 及 AI 相关的话题，另一半做与 AI 完全无关的内容。事情是这样的：今年三月，Keiran、Luisa 和我突然意识到，AI 领域发生了太多非常重要的事情，而我们的节目从未谈到过，于是我们一直在消化这批积压的报道选题，这件事让人觉得相当紧迫。但我们很快会回到 AI 与非 AI 访谈之间更好的平衡。我自己也很期待多换换口味。最后，照例说明：我在这次访谈中表达的观点基本上是我个人的。我不知道我所有同事对 OpenAI 或 Superalignment 项目怎么看，可能有些人比我更喜欢它，有些人则不那么喜欢。但无论如何，在这样一个复杂且快速变化的话题上，我在这些访谈中说的话并不是 80,000 Hours 整个团队深思熟虑后的共同意见——它反映的是我的猜测、感受和观点。好了，闲话少说，有请 Jan Leike。
Rob Wiblin：今天与我对谈的是 Jan Leike。自 2021 年以来，Jan 一直担任 OpenAI 的对齐负责人。他将与 OpenAI 创始人 Ilya Sutskever 一起，共同领导他们新的 Superalignment 项目。多年前，Jan 在著名机器学习学者 Marcus Hutter 的指导下完成了博士学位。之后他在 Oxford 的 Future of Humanity Institute 做了短暂的博士后研究，随后成为 DeepMind 的研究科学家——2018 年他上次做客本节目（第 23 期：《按照 Jan Leike 的说法，如何真正成为一名 AI 对齐研究员》）时，他正在 DeepMind 工作。谢谢你再次来到播客，Jan。
Jan Leike：非常感谢再次邀请我。能来这里真的很棒。
Rob Wiblin：从那以后你真是一路高升。我觉得我们有时候还挺会挑人才的，或者说挺会挑那些事业即将起飞的人。我希望聊聊 Superalignment 项目、你们想为它招什么样的人，同时也把很多听众的问题抛给你。那我们直接开始吧。不过为了帮你省点力气，我先读一段 OpenAI 两周前发布的关于 Superalignment 项目的公告节选：超级智能将是人类有史以来发明的最具影响力的技术，它可以帮助我们解决世界上许多最重要的问题。但超级智能的巨大力量也可能非常危险，可能导致人类被剥夺权力，甚至人类灭绝。虽然超级智能现在看起来还很遥远，但我们相信它可能在这个十年内到来。[……]
我们需要科学和技术上的突破，来引导和控制比我们聪明得多的 AI 系统。为了在四年内解决这个问题，我们正在组建一个新团队，由 Ilya Sutskever 和 Jan Leike 共同领导，并将我们迄今为止获得的算力的 20% 投入这项工作。我们正在寻找优秀的机器学习研究员和工程师加入我们。那么，对于那些没怎么关注、甚至完全没关注过这件事的听众，你能给我们补充一些项目的更多细节吗？
Jan Leike：好，非常乐意。基本上，如果你看我们今天是如何对齐大语言模型的，用的是基于人类反馈的强化学习（reinforcement learning from human feedback，RLHF）——这项技术基本上就是把一堆样本展示给一个人看，问他们对于一个对话助手之类的东西更喜欢哪一个。然后这就成为 ChatGPT 或其他类似 AI 系统的训练信号。而我们从根本上认为 RLHF 无法扩展（scale）。原因非常简单。因为你是让人类来监督 AI 系统，你是在假设他们能够分辨这个回答比那个回答更好；也就是说，他们从根本上理解系统在做什么。这在今天肯定是成立的，或者说在大多数情况下成立，因为 ChatGPT 所做的任务还没有那么复杂。但随着 AI 系统变得更聪明，它们将能做更难的事情。它们做的事情我们的理解会少得多。而那个根本假设——人类能够评估系统在做什么——将不再成立。所以，要真正引导和控制比我们聪明得多的系统，我们将需要新技术。
Rob Wiblin：好，所以当前的方法是观察输出，然后给它的好坏打分。我猜这提供了反馈，帮助把模型推向正确的方向。但在未来，我们可能就无法评估模型在更深层次上是否真的在做我们想让它做的事。因此我们需要某种别的方式把它往正确的方向推。这大概就是简版的说法吧？
Jan Leike：没错。问题在于，如果你有一个真的很聪明的系统，它可能想出各种办法来悄悄地颠覆我们，或者试图以一种我们很难核查的方式欺骗我们、对我们撒谎。所以我认为这里有很多非常重要、非常有趣的研究挑战，比如：我们能否弄清楚如何提取模型对某些问题的已知信息？比如，如果它写了一段代码，对于我能理解的那些代码部分，我能否判断它是否知道代码里存在某些 bug？或者，我们能否理解系统如何从我们能够监督的简单问题，泛化到我们无法监督的更难的问题？或者，我们能否弄清楚如何让它足够健壮，使它不会被越狱（jailbreak）、不会颠覆监控系统？诸如此类。
Rob Wiblin：好。那么我想，与 OpenAI 已经在做的事情不同，这个项目将聚焦于那些与人类一样聪明、或比人类更聪明、或在做相当复杂事情的模型——它们足够高级，有可能欺骗我们，或者可能出现其他类型的失败。那么 OpenAI 到目前为止已经在做的所有对齐和安全工作会怎么样？会由另一个团队继续做吗？它们的去向如何？
Jan Leike：我认为，为确保我们现有的系统是安全的、持续保持安全、并且不被滥用，有大量非常重要的工作要做。OpenAI 内部围绕这方面正在发生很多让我非常兴奋的事情，我也非常希望有更多人加入。这包括修复越狱问题、寻找自动监测滥用的方法，诸如此类的课题。这些工作必须继续，而且这些工作是在 ChatGPT 产品的语境下进行的。但我们要着手做的，是解决那些我们现在其实还没有遇到的对齐问题。举个例子，如果你让 GPT-4 帮你写一段代码，它其实写不出特别复杂的代码，对吧？它写不出完整的复杂代码库，而且它总体上还没聪明到能在代码里埋一个我们发现不了的木马（Trojan）。但未来的模型可能做得到。所以我认为，我们的工作从根本上说是试图区分两种不同的 AI 系统：一种是真心想帮助我们、真心想按照人类意图行事、真心想做我们希望它做的事情的系统；另一种则只是在我们注视的时候假装想要这一切，而当我们不注视时，它做的完全是另一回事。而问题在于，当我们注视的时候，这两种系统看起来一模一样。
Rob Wiblin：是啊。这对我们来说是个尴尬的事实。
Jan Leike：没错。这正是它成为一个有趣挑战的原因。但我们也有一堆优势，对吧？我们可以看模型内部。我们可以让模型接受各种各样的测试。我们可以修改它、操作它的内部。我们可以清除系统的记忆。我们可以查看它说的话与它在其他情境下说的话是否一致——所以至少，你可以确保它是一个前后自洽的骗子。但我们真正想做的不止于此。我们必须解决的挑战是：我们如何知道它是真正对齐的？
Rob Wiblin：是啊。我觉得如果从 AI 的视角来想象这个场景，会是一本很棒的科幻小说。它比训练它的人聪明得多，但另一方面，人们可以查看它的大脑内部，并给它各种滑稽的测试，来检查它是否在欺骗他们。作为一个智能体，你会想出什么策略来绕过这些？这会是一场真正的猫鼠游戏。
Jan Leike：对。不过我认为这里重要的一点是，我们设想的不是威力无穷的系统。我们不打算设想比我们聪明得多的系统。它们可能在某些方面比我们强——比如 GPT-4 记忆事实的能力强得多，或者它会说的语言比任何人类都多——但它在某些方面也差得多。比如，它算术都算不对，仔细想想这还挺丢人的。
Rob Wiblin：呃，我一次也记不住超过七个数字，所以我觉得眼下我们各有各的局限。
Jan Leike：是啊。所以我认为我们真正想瞄准的目标是：我们希望能够对齐一个大致与从事对齐研究的最聪明人类同样聪明的系统。那我们把这个问题再放大看一下：要做到的不仅是对齐这样一个系统，还要对它已经足够对齐这一点有信心，这需要什么？基本上，我认为一个有用的思路是把你的方法分成两大桶：一桶是训练方法，用来训练系统变得更对齐；另一桶是验证方法，用来校准你对系统实际对齐程度的信心。和往常一样，当你在机器学习中做这种训练/验证划分时，你要确保验证集没有泄漏进训练集。
Rob Wiblin：我猜问题在于：如果你用来训练模型的东西，和你用来检验是否成功的东西是同一个，那它当然可能变得极其擅长通过那个测试，即使它在更广泛的意义上并不对齐——它只是被"精心裁剪"过，让它的失败不会被你的测试捕捉到。所以你需要确保：你用来给模型提供训练反馈的东西，必须与你用来验证训练是否成功的东西完全分开。基本思路是这样吗？
Jan Leike：没错。你不能拿测试题来训练。那样通过测试就太容易了。
Rob Wiblin：好，我们一会儿再回到其中一些细节。但首先，我有几个听众问题要问你。我们收到了很多听众来信，特别希望听你澄清一些事情。一位听众问："为什么把解决这个问题的目标定在四年？这大概是 Jan 预计 AGI 到来的时间吗？"
Jan Leike：好问题。总的来说，我对未来会怎么发展有很大的不确定性。我认为没人真正知道。但我们很多人预计，事情实际上可能进展得相当快，系统可能在未来几年里变得聪明得多、能力强得多。而我们非常希望走在这之前；我们非常希望在真正不得不解决这个问题之前就提前把它解决掉，或者至少在理想情况下远远提前。所以这个四年目标，算是一个折中的选择——我们不知道我们会有多少时间，但我们想设定一个有雄心、同时我们仍然认为实际能达成的期限。
Rob Wiblin：所以这差不多是一个最有雄心、但又不至于让你觉得"这么快做完简直是笑话"的目标。算是一种最好情况的设想。
Jan Leike：四年里可以做成很多事。
Rob Wiblin：好，另一个关于公告的问题。公告里提到 OpenAI 迄今为止已获得的算力的 20%。我并不清楚 OpenAI 到底有多少算力的全部细节，但我想无论按什么标准衡量，这都会是相当可观的计算资源。但一位持怀疑态度的听众希望我，原话是："深挖一下这个 20% 算力的数字。把算力、人员编制和资金都算上，OpenAI 通过超级对齐团队在对齐上的净投入变化是多少？他们也许在增加对齐上的投入，但他们在能力上的投入是不是增加得更多？"
尤其是，有人指出这是"迄今为止已获得算力"的 20%，而算力总量当然每年都在增长，所以相对于未来全部算力的 20% 而言，这个数字最终可能显得很小。你能为我们澄清一下吗？
Jan Leike：好。"迄今已获得算力的 20%"这个数字，指的是我们现在能使用的一切，加上我们已经下了采购订单的一切。所以这实际上真的非常多。我想专业术语叫"多得一塌糊涂"。
Rob Wiblin：是啊。听起来，鉴于你们正在从零组建这个团队，你们的人均算力可能是最高的，或者说每位员工的算力配额极其高。对吧？
Jan Leike：是的。但我认为这不是正确的看待方式，因为这些算力是分配给解决这个问题的，不一定是给这个特定团队的。事情的一种可能走向是：我们开发出一些方法，然后由另一个非常擅长把东西规模化的团队来做扩展，实际上是他们花掉其中的一大部分。我认为那不是看待这件事的正确方式。重点不在于它相对能力研究是多少，而在于它相对其他对齐投入是多少。就我们迄今为止的投入而言，这是一个非常显著的提升——不只是 3 倍，而是远超于此。而且我认为这也表明 OpenAI 确实非常认真地对待这个问题，确实在为解决它投入资源。他们本来完全可以不做这个承诺，对吧？没人强迫他们。
Rob Wiblin：是。那么如果你们用完了、把这 20% 都花光了，你认为获得额外算力会相对容易吗？未来几年新增的算力承诺也能拿到吗？
Jan Leike：会的。我相当有信心，如果我们有一个如何花更多算力的好方案，比如我们能说"如果我们再多这么多算力，我们就能在对齐上做得好这么多"之类的，我认为我们可以为获得多得多的算力提出非常有力的理由——如果问题最终归结于此的话。基本上，我认为那是最好的处境。如果解决问题所需要的只是到处去要更多 GPU，说实话，我觉得我们基本上已经赢了。
Rob Wiblin：对。为什么这个项目获得大量算力这么重要？
Jan Leike：这个问题有好几种回答方式。我想，如果你回顾过去 10 年深度学习的历史，基本上，在所有那些重大的、上头条的进展和成果里，算力都扮演了非常重要的角色。有一个普遍的配方：很多简单的想法，只要你把它们规模化、并投入大量算力去做，就会非常有效。这对能力研究是成立的。我预计在某种程度上，这对对齐也会成立。但不会完全如此，因为我认为我们眼下拥有的任何东西都还没有真正准备好直接大规模运行。这里有一个真正的研究问题需要解决。但同时，我认为我们真正感到兴奋的策略——某种程度上也是我们在投入上具有比较优势的策略——正是那些真正把规模做上去、使用大量算力的策略。具体来说，如果我们考虑可扩展监督（scalable oversight），我们可以把更多算力花在辅助人类评估上，这会让评估变得更好。或者自动化可解释性（automated interpretability）：如果我们有一个可以自动跑遍整个网络的方法，我们就可以直接投入大量算力，在最大的模型上运行它。而最终，我们想去的地方是把对齐研究本身自动化，这意味着我们将运行某种虚拟的对齐研究员。一旦我们到了那个阶段，那就非常清楚了：你就是想砸下多得一塌糊涂的算力，让那个研究员大量运转，它会非常快地做出大量对齐进展。
Rob 对可解释性、基于人类反馈的强化学习（RLHF）以及标注（labels）的定义 (00:19:24)
Rob Wiblin：好，我们先退一步，纵览一下当前对齐方法的最新水平，以及你为什么确信它们不足以对齐那些比人类聪明得多的自主（agentic）模型。我要补充一点：你还在 AI X-risk Research Podcast 上做过另一次访谈，那期涵盖了很多已经参与 AI 安全或对齐工作的人特别可能有的问题。所以为了产品差异化，今天我们会更多聚焦于这样一些人可能有的问题：他们来自与安全无关的机器学习研究领域，或者他们完全在机器学习圈外，正在旁观并试图理解这里到底在发生什么。那么，目前在最前沿的模型中占主导地位的对齐和安全技术有哪些？就是你之前谈到的基于人类反馈的强化学习吗？
Jan Leike：对，没错。基于人类反馈的强化学习算是今天的主流方法。它效果好，是因为人类可以看到系统在做什么，并判断它做得好不好。而如果你认真思考如何把它扩展上去，你就会遇到这个问题：基本上，人类不会随着 AI 的进步而同步提升。对吧？如果我们把 AI 系统做得更好，人类并不会自动变得更好。所以，如果你想让人类监督 AI 行为的能力也同步扩展，显而易见的路径就是让他们使用 AI。比如说，你有一个 AI 系统，它在写一个复杂的代码库，或者一本复杂的教科书之类的。这时，你可以用一个像 ChatGPT 这样的助手来帮你找出这本教科书里的所有问题——这可以是未来版本的 ChatGPT，它使用大量插件、做大量事实核查和联网浏览、读一堆书等等。但从根本上说，问题是：这为什么有帮助？背后的基本思想是，通过辅助评估，你实际上是把任务变容易了。比如，如果有一个 AI 助手指出代码里的一个 bug，你去核实这确实是一个 bug，要比你自己从头找出所有 bug 容易得多。所以，有了这个找 bug 的系统，它不仅在监督和评估那个实际写代码库的系统上帮了你大忙，而且它本身也是一个更容易监督的任务。比如你可以设想，用 RLHF 来训练这个找 bug 的任务，然后用这个系统去评估那个更难的任务。诸如此类的一系列想法，我们称之为"可扩展监督"（scalable oversight），这是我们的主要方向之一。
Rob Wiblin：所以我想这里有一个假设：只要人类能够花大量时间仔细审视模型的输出，真正搞清楚它们好在哪、坏在哪，然后在此基础上进行强化——对做得好和做得坏的地方有完整、细致的理解，强化好的、负向强化坏的——事情就会顺利得多。但随着 AI 的进步，它产出的东西会复杂得多，一个人需要长得多的时间才能评估，或者干脆因为太难而没法很好地评估；或者会有多得多的不同模型产出范围更广的东西，而我们根本没有那么多人力。我们根本没有足够的人去恰当地检查这些输出、分辨它们何时做得好、何时做得糟。于是我们最终给出的反馈可能是糟糕的：我们可能会在模型实际干得很差的时候说它干得很棒，或者在它实际上在骗我们的时候说它干得很棒，然后我们就是在强化它学会如何更好地骗我们，让它学到那是一种成功的策略。现在的问题是 AI 在一路狂奔。人类则被卡在他们固有的时钟频率上；我们不会变得更快，也不会变得更聪明。但如果我们能让 AI 来做审视、做检查，那就妙了——因为这样一来，需要被检查的东西在加速、在变得更复杂的同时，检查者也在以同样的速率变得更复杂。基本思路是这样吗？
Jan Leike：对，基本思路就是这样。而且我觉得你说的这一点非常好，我想呼应一下：如果你用 RLHF，你基本上是在训练系统去避免那些人类能发现的错误。事情的一种走向是，系统由此泛化为"我不应该犯人类会发现的那类错误"。但实际上，你希望它泛化为"我不应该犯错误，或者说不应该犯那些我自己知道是错误的错误"。这是一个非常重要但微妙的区别。
Rob Wiblin：是的。你想展开讲讲吗？这两者是在我们给出不准确反馈的时候分道扬镳的。意思是不是说，如果我们的反馈总是准确的——即只有当工作确实做得好时我们才说做得好，而且这个判断就是我们在无所不知、自己聪明绝顶的情况下会做出的判断——那么"做正确的事"和"避免被评估者看见的错误"之间就不会出现这种分裂？
Jan Leike：没错。但我不知道你怎么样，反正对我来说，天哪，我发现要真正做到……我们并没有事实真相（ground truth）可依，对吧？我们并不知道什么是真的。如果你给我一段复杂的代码，我根本不可能找出所有的 bug。这实在太难了。但这也正是挑战的核心部分。如果有一个 AI 系统写了大量代码——我预计这在未来会发生——人们会想运行这些代码。那么，我们怎么知道 AI 系统没有在代码里偷偷放后门、木马或其他安全漏洞——那些它们知道我们会漏掉的漏洞？因为我们训练它们时用的反馈信号，恰好告诉了它们我们能发现哪种 bug、会漏掉哪种 bug。
Rob Wiblin：明白了。那么，要让这整套东西行得通，我们需要哪些目前还没有的东西？
Jan Leike：我前面已经稍微预告过可扩展监督这个想法。还有一些别的拼图块，我们非常兴奋，认为它们在这里会至关重要。另一块是理解泛化（generalisation）。也就是说，我们能否真正预测并改进我们的模型如何从我们能很好监督的简单问题，泛化到我们无法监督的困难问题？换句话说，我们如何让它们泛化出我们真正想要的东西——即"不要写出 bug"——而不是那个与所有证据基本一致的、近似的东西——即"不要写出人类能发现的 bug"。我认为这是一个非常有趣、非常重要的问题，但它感觉像是那种关乎神经网络到底如何运作的核心机器学习问题。而令人费解的是，在这个问题上实际做过的工作竟然如此之少。另一块可能非常重要的拼图是可解释性（interpretability）。某种意义上，对于人工神经网络，我们拥有完美的大脑扫描仪：我们可以在每一个极小的时间间隔上以完美精度测量它们，还可以对它们做任意精确的修改。这是一个非常强大的工具。所以从某种意义上说，它们是完全敞开的盒子，只是我们不理解它们实际如何运作。所以，不去看看里面、不去尝试理解发生了什么，简直是疯了。要回答的问题比如，对训练 ChatGPT 所用的奖励模型（reward model）来说：它实际在关注什么？它如何决定什么被奖励、什么不被奖励？我们对此知之甚少。我们几乎一无所知。这看起来很疯狂。我们真的应该知道这些。
Rob Wiblin：我以前在节目里说过，我们不理解这套激励结构，不理解它是如何思考自己要做什么的，这简直离谱。
Jan Leike：是啊。而且它就在那儿。你就这么盯着它看。这是一个难题，但我认为我们能在上面取得实实在在的进展。然后还有其他问题，比如：我们究竟如何让模型变得真正健壮（robust）？我们在 InstructGPT 论文里发现的一个例子是：我们训练它用的数据集基本上几乎全是英语，但它却能听懂其他语言的指令。比如，我可以用德语问它一件事，它照样会做。有时它可能用英语回答，这也挺奇怪的。这里面发生了什么？另一个例子是越狱。你在 GPT-4 上已经见过这些了。你可以用一些相当简单的提示词，诱骗模型去做它被训练成不该做、也不应该做的任务。所以从某些方面看，它泛化出来的并不是"我不该做坏事"——它是以别的方式在泛化。这里面发生了什么？我们为什么不理解？
Rob Wiblin：是啊。它学到的到底是什么教训？如果它学到的不是"不要帮人犯罪"，而只是"不要帮人犯罪——除非你在演一出戏"？它怎么就没掌握这些概念呢？
Jan Leike：对。而且看起来人类能把这件事做好。我是说，人类做得也不完美，但差别在哪里？所以这是泛化的另一个方面，如果我们能理解它，会非常有用。最后，我们想做的事情之一是有意地训练欺骗性对齐（deceptively aligned）的模型——比如那些试图非常自洽地对我们撒谎的模型，或者试图偷偷做自我外泄（self-exfiltration）之类事情的模型。
Rob Wiblin：也就是模型从实验室里"越狱逃跑"。
Jan Leike：没错。因为我们希望有信心能够抓住这些企图，对吧？而获得这种信心的直接办法就是：我们有意地训练出这样的模型，然后检验它是否能通过我们的评估——也就是它是否能躲过我们的雷达。当然，如果你要做这件事，你必须极其小心，别一不小心制造出了你一开始想要避免的那个东西。所以这必须非常谨慎地进行。
Rob Wiblin：是的。在我看来，对于一个得到不完美反馈的模型有多大可能学会真正的欺骗行为，人们的直觉差异非常大。设想我们训练一个模型，我们不希望它撒谎。十次里有九次我们抓到它撒谎并给予负反馈，但十次里有一次，我们不小心在它撒谎时说它干得好。人类似乎学到的是一种对撒谎的普遍厌恶，哪怕我们觉得自己可能蒙混过关。大多数人是这样泛化的，虽然我想并非所有人。但有些人认为，在那种情况下就是灾难性的，因为你恰恰训练了模型去进行最高明的撒谎：在它认为能蒙混过关时骗你，在不能时就不骗。另一些人则认为它会学到对撒谎的普遍厌恶，一切都会没事。你是否和我一样感觉到人们在这上面的直觉差异很大？你自己的看法是什么，如果有的话？
Jan Leike：我认为这恰恰说明我们不知道，而我认为我们应该知道。而且我认为搞清楚这一点的最好办法之一，就是用实证的方式去试。
Jan Leike：是的。现在我们可以在模型上跑非常多有趣的实验，正是这种性质的实验。比如，我们可以尝试把它们训练成更高明的骗子，然后看它表现如何？它如何泛化？
Rob Wiblin：好的。你一直在谈模型未来可能以各种不同方式帮助你们做对齐研究，我想这其实就是这个项目的核心？
Jan Leike：是的。我们的总体目标是达到能够自动化对齐研究的程度。这并不意味着我们要训练一个非常擅长机器学习研究的系统，或者一个非常聪明的什么系统。那不是 Superalignment 的任务。
Rob Wiblin：我想很多人都是那么以为的。我想他们把你们的公告解读成了：你们基本上是想训练一个非常出色的机器学习研究员。
Jan Leike：我不认为那会对对齐产生特别的差异化帮助。我觉得有必要澄清一下。基本上，我对我们工作的理解是：一旦出现了能够做机器学习研究、或者接近能做机器学习研究的模型——我认为这无论如何都会发生，不管 OpenAI 做不做都会发生——我们的任务就是弄清楚如何让它足够对齐，以至于我们可以信任它产出的对齐研究或对齐研究协助。因为，本质上，如果你让这个系统在对齐研究上帮助你，这个系统就有很大的机会去影响或试图诱导我们相信某些技术其实很好、而实际上并不好。从而，这个系统或未来的系统，会以一种我们实际上不想要的、与我们不对齐的方式获得凌驾于人类之上的权力。所以我们最终需要做的，是弄清楚如何让那个系统足够对齐，让我们真的可以信任它。举个例子，简单来说：这个系统写了一篇对齐论文。现在你可以去读这篇论文，但一上来，你可能实际上没法找出论文里的所有缺陷。或者更一般地说，科学同行评审并不完美，有很多例子表明，有人靠造假的研究混了几十年才被揭穿。所以这是我们必须真正想办法避免的。因为对齐研究、或者说科学研究总体上，是一项人类并不那么擅长评估的困难任务——至少在没有大量时间的情况下是这样——那么问题就变成了：我们需要什么样的对齐技术，才能足够有信心确保这一点？让我举几个例子。在可扩展监督方面，我们可以考虑的一个目标是：假设我们想变得非常擅长找出代码中模型自己知道的所有 bug。那怎么做呢？一条路径是，我们训练一个往代码里引入 bug 的模型，然后看我们的可扩展监督能不能抓住它。我很乐意展开讲我们在这里可以做什么样的可扩展监督，但在宏观层面上，有很多不同的想法，我们应该把它们都试一遍，看哪些在实证上有效。这也是为什么衡量它是否有效、衡量你在可扩展监督上是否取得进展很重要。通过训练这些系统去引入 bug，系统在某种程度上是知道自己引入了哪些 bug 的，对吧？那么问题就是：如果一个有 AI 辅助的人类能找到那个 bug，那我们就没问题。或者说，我们想衡量他们多久能找到一次，或者衡量我们引入可扩展监督发现不了的 bug 有多容易。另一条路径是我们所说的"判别器-评论者差距"（discriminator-critique gap）——基本上，我们训练一个模型作为判别器，区分有 bug 的代码和没 bug 的代码（这些代码可以手工生成，也可以自动生成）。然后我们把它与一个评论（critique）模型作比较，后者被提示去描述它能找到的所有 bug。这样一来，如果你最后得到一批判别器标记为可疑的代码样本，而评论模型却没有向你指出其中的 bug，那你就知道，模型对这段代码知道一些东西，而你没有把它挖出来。
Rob Wiblin：你怎么知道两个模型都知道那个 bug？是因为它们是以某种相同方式训练出来的吗？
Jan Leike：目前我的设想是，判别器和评论模型使用同一个基础模型。
Jan Leike：通过仔细研究这个，你可以获得一些实证测量：你知道代码有问题、而模型却不告诉你的情况，实际发生的频率有多高？然后你还可以对抗性地做这件事，这样你就不只是在平均情况下测量。我认为这是一条非常有前景的路径。它不仅可以用来衡量我们在可扩展监督上是否取得进展——因为可以想见，如果你能抓到更多这种模型自己知道的 bug，那就说明你把可扩展监督做得更好了。而且，如果你真的把这件事做扎实了，达到了这样的程度：只要代码里有猫腻、有模型知道的问题，我们就有超强的信心能发现——那你在真正执行这段代码看看会发生什么时，就会安心得多。
Rob Wiblin：是的。稍微退一步说，基本思路是：能够做 AI 研究的机器学习模型正在到来，无论我们想不想要。很多人对此感到紧张，因为这可能开启递归式自我改进的循环。所以也许有很好的理由稍微推迟那个时刻，但我们不可能永远推迟。那么当那个时刻到来时，我们想做的是：首先，知道我们可以用哪些方式让具备那些能力的模型去做对齐研究，以及非对齐的机器学习研究。同时，非常关键的是，我们要能够走到这样一步：我们相信这些模型足够可信，可以利用它们提供的帮助，把我们的对齐研究从现有阶段往前推进。我们既需要弄清楚如何让它们足够可信、以便使用它们的产出，也需要能够知道我们确实做到了这一点，从而真正去用。大体就是这么回事吧？
Jan Leike：是的。总的来说，我想对"这具体什么时候会成为可能"保持不可知的态度。比如自动化的机器学习研究什么时候会出现？或者模型什么时候会聪明到能做这些？可能会有延迟。可能有各种原因让它来得更晚而不是更早。我真正想做的是：一旦这成为可能，我们就已经准备好把这些系统用于对齐研究。所以我们不想做的是加速它、让它更早发生——因为我认为它到来得已经够快了——但我们想准备好在那时把它们用于对齐研究，准备好在机器学习进展加速的那个时点，让对齐进展也随之加快。
Rob Wiblin：是的。我认为这个愿景中需要记住的一个重要部分是：要对齐一个远远超出人类能力的 AI——一个真正超乎寻常的超级智能——并弄清它的可信度，可能极其困难，因为它会有太多不同的方式来欺骗我们。但这里的希望在于，当这些模型刚刚出现时，它们会更接近人类水平——甚至可能在某些领域比人类还弱一点，而在另一些领域非常强。但正因为它们还没有那么不可思议地强大，弄清我们能否信任它们可能会更容易，因为它们的行动空间里没有那么多选项，而且它们可能更容易被审视，因为它们脑子里实际做的事情，也许更接近我们在做的事情，而不是一个行星尺寸的头脑能做的事情。我想很多人可能对此抱有不少怀疑，因为他们会想：它比我们聪明，所以它总能把我们耍得团团转。而你也许可以刻意确保你面对的不是一个你所能造出的最强模型，以便让评估其可信度变得更容易。
Jan Leike：对，我认为是这样。而且我认为这是一个非常核心的观点。如果你在思考如何对齐超级智能——如何对齐一个远比人类聪明的系统？——我不知道。我没有答案。我认为没有人真正有答案。但这也不是我们根本上需要解决的问题。也许这个问题甚至不是今天活着的人类能解决的。但有一个更容易的问题：如何对齐下一代系统？如何对齐 GPT-N+1？这是一个明显更容易的问题。更进一步，如果人类能解决那个问题，那么一个与研究这个问题的人类同样聪明的虚拟系统也应该能解决它。所以，如果你让那个虚拟系统实现对齐，它就可以为 GPT-N+1 解决对齐问题，然后你就可以迭代地自举，直到达到超级智能的水平，并且弄清楚如何对齐它。当然，这样做时重要的是，在每一步，你都必须在这个问题上取得足够的进展，让你有信心 GPT-N+1 已经足够对齐，可以把它用于对齐研究。
Rob Wiblin：是的。机器学习社区——我说的是那些并不特别参与安全或对齐研究的人——他们对这个计划或公告的反应如何？
Jan Leike：我认为总体上，人们对我们试图解决的研究问题非常兴奋。在很多方面，我认为从机器学习的角度看它们真的很有趣。另外，我觉得，这次公告某种程度上表明了我们是认真要做这件事的，我们正努力为这个问题组建一支真正高水准的团队，我们想快速取得大量进展、去挑战有雄心的想法。特别是最近六个月左右，机器学习社区对这类问题的兴趣多了很多。而且我也认为，ChatGPT 和类似系统的成功清楚地表明，RLHF 里确实有些有意思的东西。这里面有些有意思的东西；这个对齐问题里有些真实的东西，对吧？比如，你把 ChatGPT 和最初的基础模型比一比，它们其实相当不同，这里面发生了某种重要的事情。
Rob Wiblin：是的。我回听了我们五年前的那次访谈，当时我们聊了很多关于基于人类反馈的强化学习的内容，因为那时它还是新东西，是当时的热点。这个方法的提出，OpenAI 或者你本人参与了吗？
Jan Leike：是的，没错。更准确地说，世界上很多不同的人可能都各自发明了它。在我们做《Deep reinforcement learning from human preferences》那篇论文之前，已经有其他研究以各种形式做过基于人类反馈的强化学习。但那些工作没有使用深度学习系统，而且大多只是概念验证式的东西。而那篇基于人类偏好的深度强化学习论文，是 Paul Christiano、Dario Amodei 和我合作完成的。我想我们差不多是各自独立得出了"这才是正确方向"的结论，然后开始了合作。
Rob Wiblin：而事实证明，这对于让 ChatGPT 表现得这么好起到了关键作用，对吧？
Jan Leike：没错。它实际效果之好，对我来说都有点不可思议。如果你看最初的 InstructGPT 论文，我们的一个头条结果是：实际上，GPT-2 规模的系统——参数量比 GPT-3 小两个数量级——它的 InstructGPT 版本，在人类偏好上胜过了 GPT-3 基础模型。所以这个便宜得多、简单得多、小得多的系统，一旦你让它对齐了，就比那个大系统好得多。某种程度上这并不奇怪，因为如果你用人类偏好去训练它，它当然会在人类偏好上表现更好。
Jan Leike：是啊。但反过来说，那你们之前到底为什么不用人类偏好来训练？显然就该这么做，因为这就是你想要的：你想要一个人类更喜欢的系统。事后看来，这太显而易见了。你懂吧？
Rob Wiblin：是的。回到机器学习圈的人，这个计划里有哪些部分是他们持怀疑态度的（如果有的话）？或者你有没有听到人们提出的反对意见？
Jan Leike：有的。我是说，关于这项技术会发展多快、未来几年内真正自动化研究的可行性有多大，人们仍然有很多不同的看法。我认为这很有可能，但也可能不会发生。没有人真正知道。但我认为关键在于：这里有一些非常深刻、非常重要的问题，是我们真正需要解决的，而且它们也确实是可攻克的，我们能在未来几年里取得很大进展。事实上，做这件事可能是影响力极大的工作，因为这些技术将塑造未来版本的 ChatGPT，以及未来那些真正被广泛应用、在经济中承担大量任务的 AI 系统。而且，还有很多容易得多的信号是你可以去优化的，对吧？你可以优化 AI 系统去最大化顾客购买量，或者最大化注意力。过去十年左右我们已经瞥见了那是什么样子，很多人并不喜欢。这些信号从根本上说容易度量，但它们并不与人类对齐，不与人类真正想要的东西对齐，也不与人类的长期繁荣对齐。所以从某些方面说，随着 AI 在世界上的影响越来越大，我们对齐做得好不好，实际上会产生非常广泛的后果，会在很多方面塑造社会——有好有坏——所以我认为把这件事做到极致真的至关重要。
Rob Wiblin：好。你提到了几种事情可能被自动化的方式，或者说你们可能利用这些机器学习工具的方式。有可扩展监督、泛化和可解释性。我不太明白"泛化"作为一个板块是什么意思。能不能再解释一遍，也许再展开讲讲？
Jan Leike：好。从根本上说，我们希望能够区分：系统是真正朝着人类意图泛化，还是泛化成"人类看着的时候就照人类说的做，否则就做别的"？这是两种不同的泛化，它们与数据完全一致，因为只要我们在监督，它们的行为就完全一样。但泛化从根本上是一个关于模型和数据的问题。那我们为什么不能直接去尝试理解它呢？比如，我们现在正在做的，是在一个玩具（toy）设定里研究这个问题。做法可以是这样：你拿一个数据集，看一个小语言模型能做对哪些。我们把这些称为数据集的"简单部分"，其余的称为"困难部分"。现在你就可以问这样的问题：如果我们只用简单部分的标注来训练，看看我们能在数据集的困难部分上泛化得多好？或者，我们可以在模型训练中加入什么样的技巧，让它泛化得更好？另一件可以做的事情是，用一个小模型生成大量标注。这里的类比是：如果人类在监督比他们更聪明、或与他们一样聪明的系统，那么在某些方面我们会比那个系统弱，我们的标注会比系统自己能做出的更差。那么，如何只用这些弱标注、或者只用简单问题上的标注，恢复出你一开始直接用[听不清]标注训练所能得到的准确率？这里有一些非常具体的实验可以做，它们能让我们了解很多在真实情形下事情会如何发展。等我们有了这些结果、开发出一些技巧之后，我们能不能把这些技巧用到更真实的设定中？比如，我们能不能从"小语言模型在 ChatGPT 偏好数据集上打的标注"，泛化到"GPT-4 完成的真实 ChatGPT 任务"上？我认为这些是非常有趣的问题，我们可以实际跑实验并学到很多。而且我认为这不仅与我们真正想解决的那类对齐问题高度相关——我们试图让它在我们难以监督的场景中正确地泛化——同时，我认为我们还会学到一些关于神经网络如何学习的、非常有趣的基础性知识。
Rob Wiblin：是的。关于泛化，已经有什么有趣的实验做过了吗？这个主题有论文吗？
Jan Leike：文献里有一些研究。在这种分布外（out-of-distribution）泛化上，实际做过的工作少得令人惊讶。我们大概会在两三个月内发表一篇关于这个主题的相当令人兴奋的论文。如果你觉得这很令人兴奋，负责这项研究的团队现在正在招人。我们在为这个团队找一位经理。如果你想参与推动这项研究、参与撰写我们的第一篇论文，现在正是时候。
Rob Wiblin：听起来好像还会有一个项目，是专门创建一个在特定情况下进行欺骗的模型？感觉我们需要一个大肠杆菌（E. coli），或者一只果蝇（drosophila）——一个坏行为的模式生物（model organism）——以便研究它，看它什么时候出现、在什么条件下出现？如何减少它？这是整个议程的一部分吗？
Jan Leike：是的。我其实很喜欢你的这个描述。我们把它叫做"对抗性测试"（adversarial testing），也许听起来平淡多了。这里的目标是：如果我们有意训练一个欺骗性的、或试图欺骗我们的模型——但也许以一种非常平淡的方式；也许它只是试图运行一个实际上什么都不做的特定 Python 函数——但我们可以非常容易地衡量它是否成功地做到了这一点，同时躲过了我们正在使用的其他监督技术。这就会给我们你所描述的那个"模式生物"，因为现在我们有了那个我们想要避免的系统，我们可以实际去研究它。比如，我们可以用可解释性工具去观察它，看我们能否分辨这个模型的思考方式与我们训练的正常模型的思考方式有何不同。或者，我们能否在这个模型上使用我们的泛化技巧，让它在我们训练它时避开那个陷阱？再比如，另一个你非常希望它泛化出来的属性是"告诉我真相"。嗯，也许更准确地说，是"告诉我你对真相的最佳猜测"。某种程度上，语言模型对世界有大量的理解，或者说它们对世界的了解比人类多得多。但它们并不总是一定会把这些告诉我们。事实上，如果你看看 RLHF 训练是怎么运作的：实际上，你奖励的是你认为是真的东西。而你认为是真的东西里，有一些其实并不是真的，于是你就在奖励模型撒谎。反过来，也有一些事情你知道是真的，但模型不知道。最基本的例子就是训练数据截止之后发生的任何事情，模型根本不可能知道。还有一些事情是你不知道、但模型非常有把握——而且它有理由有把握的。比如，它懂很多生物学。我对生物学懂得不多；它知道很多我不知道的生物学事实，我没法可靠地在它说出这些时给它奖励。所以当你做这种 RLHF 训练时，你实际上在两种情况下都在把它变得更糟。第一种情况，你在训练它编造那些不真实、但也许说得通的东西——所以你其实是在增加幻觉（hallucination）。第二种情况，你在压制（sandbagging）模型，因为你在激励它不告诉你它其实知道的东西。实际上，模型的知识水平与人类恰好相当的情形大概非常少，所以从某种意义上说，RLHF 效果居然这么好，有点不可思议。回到泛化问题：如果你能以某种方式直接触及模型对真相的最佳表征呢？它不会是完美的，但它对什么是真的有某种猜测，而你想要的是模型的最佳判断。你可以把这表述为一个泛化问题：我们取一批我们对答案非常有把握的简单问题——比如"美国第一任总统是谁？"或者"2+2 等于几？"——这类我们有资格非常自信的问题。然后你泛化到我们没那么有把握的难题上，比如某个我不知道答案的生物学问题。或者，你知道，还有些情况，也许世界上只有极少数专家知道答案，而模型知道。如果你把这一点做扎实了，你就可以把你的模型当作奖励模型使用，或者用于监控或监督。你只需要问它："这段代码里有没有隐藏的秘密缺陷？"或者"有没有我应该注意的 bug？"或者"另一个模型的这个行为，是否可能是在试图欺骗我们、自我外泄，或者做任何其他我们担心的事情？"如果你能攻克那个问题，我们就能在这方面取得很大进展，那会非常有用。
Rob Wiblin：好，我们再多聊聊可解释性。先说说我对可解释性的理解程度：人们成功弄清了这些神经网络在运行什么算法，来感知图像中的某种特定纹理，或者在一个句子内完成某个特定的推理，或者弄清名字是什么、如何保证名字前后一致——这非常令人印象深刻、也很有趣。但接下来我感觉，我不确定这如何能帮助我对齐一个 AI 系统，因为这些都是相当小的事情，感觉它们加起来并不能告诉我这个模型的目标和意图是什么。
Ajeya Cotra 几个月前在我对她的访谈中指出，你或许可以做一种层次高得多的可解释性：让一个模型对你说很多次真话、又对你撒很多次谎，然后看网络的哪些部分在它处于欺骗模式、在撒谎时会"亮起来"。也许在那个更高的行为层面上做可解释性，最终会证明是比较容易搞清楚的。这听起来可能超级有帮助。你认为哪些有用的可解释性攻关路线，是你们可能部分自动化的？
Jan Leike：最终，你可能两方面都想要。你想要某种能真正深入到模型运作细节的东西，这样你才不会漏掉任何重要的东西。但与此同时，你必须纵览整个网络，因为你要找的东西可能在任何地方。你要同时满足这两点，而具备这种性质的方法并不多。特别是，人类历史上做可解释性的方式，就是盯着模型的某些部分看，看你能不能理解它们——这只给了你其中一个方面，而不是全部。我们刚刚发布了一篇关于自动化可解释性的论文，它试图同时做到这两点。这是第一次尝试，所以是简化过的。我们做的是让 GPT-4 为单个神经元的行为写解释：把一堆文本输入模型，记录该神经元在每个特定 token 上的激活程度——然后你可以让 GPT-4 看这些数据并写出一个解释。平均而言，这些解释不太好。有时候它们不错，有时候很有趣。比如，我们就是这样发现了那个在加拿大相关概念上激发的"Canada 神经元"：这是 GPT-4 理解并指出来的，它直接写出了这个解释。更进一步，你还可以衡量这些解释有多好：把它们放到一段保留的（held-out）文本上运行，让 GPT-4 仅凭这个解释来预测人类会如何标注激活情况。现在你有了两样东西：一个自动写解释的机制，一个自动打分的函数。这下就好办了，因为你可以优化这个打分函数，可以做各种各样的事情。比如，我们做了迭代改进：你对解释中的所有偏差进行批判修正，它们在打分函数上的得分就会更高。同时，你也可以改进你的打分函数，让它更准确地模拟人类会如何预测神经元的激活，或者接入一个能力更强的模型。这个方法也有一些问题。比如，神经元大概不是你解读模型时想要的合适抽象层级，因为神经元会做很多不同的事情——这就是人们所说的"多义性"（polysemanticity）——所以很难写出一个覆盖所有情况的解释。但有一点非常好：你真的可以大规模地运行它。于是我们把它跑遍了 GPT-2 的所有神经元。那可是很多神经元——大约 30 万个。你能得到大量文本，然后可以在里面筛选，可以尝试寻找某些特定的东西。理论上你也可以在 GPT-4 上运行它。那会非常昂贵，而且目前不值得，因为解释的质量还不够好。但它有一个很好的特点：你真的在查看模型的每一个部分。你会名副其实地查看每一个神经元，试图解释它在做什么。同时，你是在整个模型上运行。就像是每个神经元都在试图解释每个神经元。所以如果我们有一个那样的技术，而且真的效果很好，那将彻底改变游戏规则。
Rob Wiblin：所以这里的部分思路是：让一整队人类费力地搞清楚有一个神经元对应"加拿大"，并不怎么令人满足；不清楚我们从中能走到哪里。但如果你能把它自动化，让你相当于拥有成千上万乃至上百万名员工，去仔细审视并试图弄清神经网络每个部分在做什么——如果能自动化，你也许就能做到——那也许就能拼出一幅有趣的图景。因为你真的能看到，比如，生成这个答案时被激活的 100 个概念。是"加拿大"，但可能也是某个特定的人、某个特定的地点，也许还有某种特定的态度。这真的会帮助你在某种更直觉的、人类的层面上理解发生了什么？
Jan Leike：对，正是如此。这里还有一个非常好的方面：它让你得以一瞥未来的自动化对齐研究可能是什么样子。你可以大规模地运行它。你可以往里面投入大量算力，可以用各种传统的能力技巧让它变得更好。而且它实际执行的任务，也并不完全是人类以前做过的任务，对吧？我们并没有雇一批人去一丝不苟地检查模型的神经元、试着写解释。那从来就不是一个选项，因为在此之前那样做从来没有意义。
Rob Wiblin：对。是不是某个特定的模型最擅长、或者说有特别的优势来解释它自己？直觉上我觉得，GPT-4 在某种意义上也许对 GPT-4 的神经元有最好的理解，所以……不是吗？
Jan Leike：我不知道。你能看着你自己的神经元解释它们吗？似乎很难。
Rob Wiblin：好吧。不过这个直觉来自：如果有人注意到，对我来说一大堆不同的概念是相互关联的，我会同时提起它们。然后有人问："加拿大、棕色和枫糖浆有什么共同点？"……好吧，我把这个解释搞砸了。但我知道在我自己的头脑里哪些东西是相互关联的，即使我看不到神经元。
Jan Leike：是的。而且这里还有非常酷的思想实验：假设你的大脑上装了一台完美的、没有延迟的大脑扫描仪，你一边思考问题一边盯着它看。当然，那会是一种非常迷幻的体验，但它大概也真的能让你通过坐在那里想事情、然后观察大脑里发生了什么，在很多方面弄清你的大脑是如何工作的。那简直太疯狂了。而且你知道，人类做不到这一点；我们没有那样的大脑扫描仪。但你真的可以在 GPT-4 上这么做。
Rob Wiblin：我想怀疑论者可能会说：我们会在颗粒度层面上弄清这些神经元中的一些也许在承担什么功能、对应什么概念等等。但接下来感觉还缺一些进一步的步骤，我们才能利用这些来真正判断一个模型是否对齐。你对那些进一步的步骤会是什么，有什么想法吗？
Jan Leike：具体来说，我认为可解释性看起来非常难。它难在没有任何先验的理由说明模型就该用非常类人的概念来思考问题。类人的概念大概确实在里面某处，因为它们在经验上就是有用的。这正是我们使用它们的原因，也是我们指认它们的原因。所以它们大概在里面。而且有一些概念对对齐研究特别有意义，是我们想要去寻找的——比如欺骗、撒谎，以及其他对我们解决这个问题相当关键的东西。所以，如果你有某种能自动把它们浮现出来的方法，我认为那会是一个巨大的胜利。另外，总体上我认为可解释性是验证技术的一个非常好的候选。假设我们已经搞定了可扩展监督，或者我们有了一个非常看好的可扩展监督技术，并用它对齐了一个模型。然后我们来到这个问题：我们想知道自己做得有多好，而使用同一类技术是不够的。而可解释性——如果你的工具非常好用——你可以介入进来，问这样的问题：你能否在模型内部找到欺骗性对齐的任何证据——或者欺骗、密谋对付人类、试图弄清如何自我外泄的证据。如果我们真的找到了，那是非常坏的信号，而且我们不应该简单地把它训练掉。你不能对着可解释性工具做对抗训练。那样只会让这些工具失效，或者说很可能会那样。但作为一种验证技术：如果你没有发现那些东西，而且你有很好的技术、你知道你本可以发现它——那就是一些证据，说明它确实像你以为的那样对齐。所以从这个意义上说，我认为你能取得的任何可解释性进展，对这类事情都会非常有帮助。同时，即使我们真的把可解释性做到极致，我也不知道那如何能让我们解决对齐问题。就算我们真正理解了它的工作原理，然后你可以试着拨弄各种旋钮让它更对齐，但如果由人类来做这件事，这条路能否轻易成功并不清楚。但与此同时，也许还有一条路：完全不靠可解释性，就把一个人类水平的自动化对齐研究员做到足够对齐，让它真正帮我们做这件事。我认为这也是有可能的。但无论我们能做到什么都会有帮助，我很期待尽可能走远——就因为我们拥有这些完美的大脑扫描仪，不去用它们简直是疯了。
Rob Wiblin：在可扩展监督方面，有没有发表过什么有趣的论文，或者出过什么有趣的结果？
Jan Leike：我认为过去一年左右有不少有趣的工作。而且不只是我们；我知道 DeepMind 和 Anthropic 也在努力尝试把它做起来。我想稍微讲讲我们去年做的评论（critiques）工作，因为我认为那里面有一些非常有趣的洞见。基本思路是：如果我们能训练一个模型来写评论，我们就可以把这些评论展示给人类评估者，看它们能否帮助人类评估者做出更好的决定或更好的评估。某种意义上，评论是最简单的辅助形式。它是一次性的；不是交互式的，你只是试图指出一个缺陷。它还有一个容易之处：它甚至不必是一条好的或准确的评论——你可以一股脑展示一大堆，人类会把他们认为是胡扯的那些扔掉。但有时候，评论会指出一个人类本来会漏掉的缺陷。事实上，这正是我们能够证明的。这个实验其实是在 GPT-3.5 上做的，所以已经是有一阵子之前的事了。我们做了随机对照试验：一些人得到辅助，一些人没有，他们需要在一个摘要任务中找出问题。结果确实可以证明：我们当时用 3.5 生成的评论，已经能帮助人类多找出 50% 的缺陷。我认为这项工作最有趣的一点其实是，我们有了一套评估它效果如何的方法论。当然也有其他评估方式。比如，你可以拿专家标注与"帮助非专家找出缺陷或完成评估"作对比。但这从根本上只在你能拿到专家标注时才行得通。在一般情况下，那是不成立的，对吧？如果你要解决的是一个真正困难、人类真的很难评估的任务，人类就没法很好地评估它。比如代码任务：如果你想找出代码中模型知道的所有缺陷，人类是找不到的。人类在找代码 bug 这件事上很糟糕；这正是世界上有这么多有 bug 的代码的原因。但有一个简单的技巧：你可以往代码里引入 bug，这样你就知道哪个版本的代码 bug 更多，因为是你把它弄糟的。所以我兴奋的是，从根本上说，我想把所有已经提出的可扩展监督想法都试一遍，实际测量它们中哪个效果最好、实际效果有多好。这些想法包括递归奖励建模（recursive reward modelling）：如何让人类的 AI 助手帮助人类评估 AI 在做什么？还有辩论（debate）：让两个 AI 就一个问题相互辩论，由人类裁判决定谁的陈述更有用。还有分解（decomposition）：把任务拆成更小的块，再去解决它们。或者你也可以对你的评估过程这么做。还有自动化做市（automated market making）：你试图用助手最大限度地改变人类的想法。这类变体有一大堆。我感觉我个人对哪些会最有效有自己的押注，但我就是想通过实证看到结果。而且我认为真正令人兴奋的是：我们可以直接测量它，这比争论不休要好太多了。
Rob Wiblin：外面有很多和你差不多消息灵通的人认为，技术对齐问题很可能极其困难，像这样的努力大概只有很小的成功可能。但你在整体上对事情相当乐观。过去 10 年里出现了哪些进展或结果，让你有了这种程度的乐观？
Jan Leike：我认为其实过去几年里的很多事情、很多进展，对对齐来说都相当有利。大语言模型其实非常有帮助，因为它们能理解自然语言。它们对人类了解得非常多。比如，你可以问它们在某某哲学观下什么才是道德的行为，它们能给你一个非常好的解释。你能够和它们对话、表达你的观点，这让很多事情变得容易了。与此同时，它们在某种意义上是一块白板，你只需用相当少的数据进行微调，就能让它们变得非常有效。如果你把这与几年前通往 AGI 的路径、或者说 AI 发展的样子相比：那时看起来我们会在类似 Universe 这样的环境里训练一些深度强化学习智能体——Universe 就是各种游戏和其他环境的集合。它们也许会在努力通关所有这些游戏的过程中变得非常聪明，但它们不一定会对语言有深刻的理解，也不一定理解人类如何思考道德、人类在乎什么、或者世界是如何运作的。另一件我认为非常有利的事情，是我们从迄今尝试过的对齐技术中看到的结果。我前面已经提到，InstructGPT 的效果远超我的预期。甚至在我们做基于人类偏好的深度强化学习那篇论文时，我一开始认为在我们拥有的时间里，多半没法把它做到那么好的效果。但它成功了，InstructGPT 也非常成功。某种程度上，你可以说这些并不是能对齐超级智能的技术，那你为什么这么乐观？但我认为这仍然提供了"这条路走得通"的证据——因为如果我们连今天的系统都没法对齐，我认为我们就应该更悲观。反过来也成立。
Rob Wiblin：对。我想怀疑论者可能会说：我们看到的进步在于，这些模型知道我们想要什么、知道我们在乎什么的前景变好了。但也许我们还没有看到证据表明它们会在乎我们所在乎的东西。所以担忧在于：模型会完美地知道你在要求什么，但那不意味着它与你目标一致。它可以一直假装在照做，直到某一刻突然翻脸。对于第二件事——模型真的与我们目标一致——我们看到过任何证据吗？还是说那仍然是个黑箱？
Jan Leike：我认为这是非常重要的一点，而且这相当接近"对齐为什么可能不顺利"的一些主要担忧的核心。我仍然认为，模型真正理解我们想要什么，是重要的第一步。但接下来主要的问题就变成：你如何让它们在乎？这正是我们试图搞清楚的问题。不过第一点嘛，已经有了当然很好。
Rob Wiblin：是的。你愿意说说你的 p(doom) 是多少吗——你给"AI 导致非常糟糕的结局"赋予多大概率？这个数字在过去一年里是升了还是降了？
Jan Leike：我不认为这是一个很有用的问题，因为至少我个人感觉，我的答案更多取决于我当下的心情，而不是世界的任何实际属性。而且我认为从某些方面说，有一点肯定是真的：有 AI 的未来可能非常好，也可能非常糟。至于走向哪边，我认为仍然悬而未决。我认为人类对我们走上哪条路有很大的因果掌控权，甚至个人、单个研究者，都能对我们前进的方向产生重大影响。所以我认为那才是更值得关注的问题。而如果你真的想给出一个毁灭的概率，我认为它之所以这么难，是因为未来可能的走法有太多不同的情景。如果你想要一个准确的概率，你就得对这个巨大的空间做积分，而我认为那从根本上没什么帮助。我认为重要的是：我们能把事情变好多少？以及做到这一点的最佳路径是什么？
Rob Wiblin：是的。我没有花很多时间去精确敲定我个人的 p(doom)。我的猜测是它大于 10%、小于 90%。所以，努力降低这个数字是极其重要的，但它也没有高到我们彻底完蛋、毫无希望的地步。而且在这个区间之内，它似乎也不会对我日常的决策产生多大影响。所以我挺乐意就把它放在那儿。
Jan Leike：是啊。那大概也是我会给出的区间。你问我为什么乐观，我想再给你一堆理由，因为我认为理由有很多。而且，根本上最重要的一点是，我认为对齐问题是可解的。我认为只要我们专注于它、投入精力，就能取得很大进展。有很多研究进展，是一个小而专注的团队在一年或四年时间里真正能够做出来的。说实话，真的感觉我们对这个问题有了一个真正的切入点，可以实际迭代、实际逐步构建。而且我认为它实际上很可能会成功。这真的非常、非常疯狂，也非常令人兴奋。就好像我们有这么一个讨论了一年又一年的难题，而现在我们真的有机会解决它了。如果我们做到了，那就太好了。不过我乐观的其他一些原因是：我认为从根本上说，对于我们关心的很多任务——包括对齐研究——评估比生成更容易。这也是为什么我认为通过用 AI 来自动化对齐研究的各个部分，我们能获得很大的杠杆。特别是，如果你想想经典的计算机科学问题，比如 P 与 NP，就有这样一类问题，我们相信评估它们从根本上更容易。这对很多消费品也成立：如果你要买一部智能手机，挑一部好手机比造一部手机容易太多了。或者在组织里，如果你要招人，判断一个人干得好不好，必须比亲自去干他的活容易。否则——
Jan Leike：——你就不知道该招谁了，对吧？那样招聘就行不通了。或者想想体育和棋类比赛：如果你不知道谁赢了比赛，体育就不好看了。当下这步棋是不是好棋可能很难判断，但你之后会知道。这正是它令人兴奋的地方，对吧？你会有这种张力："这是很有意思的一步。接下来会发生什么？"但比赛结束时，你看看棋盘，看看围棋盘，你就知道谁赢了。到最后，所有人都知道。或者你在看一场足球赛，球进了门，那就是进球了。就这样，所有人都知道。我认为这对科学研究同样成立。有一些研究成果是人们感到兴奋的，即便他们自己并不知道如何做出这些成果。有时候我们在这上面会判断错，但这不意味着我们能把这项任务做得完美——只是说它更容易而已。
Rob Wiblin：是的。对这个思路的一种批评是：如果我们不知道如何解决对齐问题，那我们怎么能判断这些模型给我们的解决建议好不好？而你的意思是，评估一个方案是不是好方案、某个东西行不行得通，往往比想出这个方案容易得多。所以这应该让我们乐观：我们不一定要自己生成所有这些想法——也许只要我们能在它们被生成之后判断出好坏就足够了，而那可能直接得多。
Jan Leike：对，正是如此。然后还有别的。比如，我认为我们其实可以为迭代创造条件。我们可以直接盯着当前的系统，改进它们的对齐，可以做诸如"衡量我们是否找到了模型自己知道的所有 bug"这样的事情。我们可以给自己设定这些指标。当然，它们不会把我们一路带到对齐超级智能。但它们对做出局部改进会非常有帮助。而且，如果你的目标是对齐一个能帮我们做对齐研究的系统，一个非常好的试验场就是"你能不能让 GPT-5 更对齐？"也许你真正需要的、真正在乎的那些技术，在 GPT-5 上还不会那么好用。谁知道呢？但如果你在沿途都没有取得进展，就很难说你真的在朝最终目标推进。同时，你需要来自真实世界的某种反馈信号，来知道你在进步、你在做真实的东西。当然，你必须小心地做这件事。你可能设置了一个无关紧要的评估，但那正是这里挑战的一部分。
Rob Wiblin：是的。还有其他乐观的理由吗？
Jan Leike：另一个非常好的理由是，我们实际上并不是在试图对齐那个比我们聪明得多的系统。如果你想象一个更笨的系统去对齐一个更聪明的系统，那总是很难。如果你把这个差距拉得非常大，它看起来就非常吓人——但我认为那也不是我们现实中真正需要瞄准的问题，因为我们只需要瞄准这个人类水平的、或者说"大致与最聪明的对齐研究者一样聪明"的系统。如果你能让那个系统真正对齐，那你就能做出在这个问题上所能做出的全部进展。最初，当我开始投身对齐研究时，这个认识对我来说并不清晰。我当时想："天哪，这个问题好难。我们该怎么做？"但如果你瞄准的是这个低调得多的最小可行产品（minimal viable product），它实际上看起来可实现得多。
Rob Wiblin：那么，可以把这个方法风格化地概括为：不要执迷于你能否对齐 GPT-20。我们先来对齐 GPT-5。然后与 GPT-5 协作，弄清如何对齐 GPT-6。再然后与它们所有一起协作，共同去对齐 GPT-7。基本思路是这样？
Jan Leike：是的。而且你要用实证的方式来做。比如，也许你看了 GPT-5，发现这个系统还不够聪明。我们在 GPT-4 上做过一大堆这样的尝试：试着用对齐数据微调它，试着让它帮我们做研究。就是没那么有用。这在 GPT-5 上也可能发生。但那样的话，我们就会说："好，那我们聚焦 GPT-6。"但你知道，我们想在这件事发生时保持在场。我们想在它变得可能的那一刻就在那里，然后全力以赴。
Rob Wiblin：好，这是一堆乐观的理由。我想过一遍几个反对意见，或者说这件事可能不如预期的几种方式。我看到很多人提到的一个是：你到底怎么才能知道你正在成功？你可能以为这在起作用，但你怎么可能真正有信心？特别是如果正在发生成功的欺骗，那你可能被麻痹进一种虚假的安全感。你怎么看？你怎么能分辨？
Jan Leike：我是说，这正是核心问题之一：你如何区分欺骗性对齐的系统和真正对齐的系统？这就是我们试图搞清楚的挑战。这就是为什么我们在研究能否让模型把它知道的所有 bug 都告诉我们。这就是为什么我们想训练欺骗性对齐的模型，看它们能否通过我们的评估。通过对我们的方法做压力测试、真正钻进模型内部去看发生了什么，我认为我们能在这个问题上学到非常多，能真正圈定并理解残余的风险，或者那些我们对"它可能如何欺骗我们"最不确定的领域。
Rob Wiblin：是的。所以你可能在第一步就失败：你在这个项目里试图与之协作的第一个模型并不对齐，但你没有意识到，于是它就开始把你引上一条歪路。然后到某个时刻事情会变糟，但归根结底，问题出在最开始。另外我想，你也可能开局良好，但之后无法判断后续的迭代是否在朝正确方向走。问题可能在那里悄悄潜入，而你没有注意到，于是它可能把你引上歪路。听起来你的意思就是：这正是我们必须解决的问题。是的，事情可能以所有这些不同的方式失败，这正是我们需要人们来想办法建立信心的原因。
Jan Leike：正是。而且从根本上说，比起"我们如何让它更对齐"这个问题，我更担心的是"我们能否真正精确地知道系统有多对齐"。因为我认为很多风险恰恰来自对系统实际对齐程度的不确定。
Jan Leike：意思是，我认为没有人会乐意部署一个你明知是未对齐的、想要接管世界的系统。所以，如果你能精确地测量系统到底有多对齐，或者你对你那套试图理解模型对齐程度的测量装置有信心，那我认为你实际上已经解决了这个问题的一大部分。因为那样你就知道自己处在什么位置，然后你就可以容易得多地去研究提升对齐的方法。当然你做的方式要小心——别，你知道，拿测试集来训练——但我认为从根本上说，这个问题的很大一部分就在于确切地知道你身处何地。
Rob Wiblin：是的。有位听众问了这个问题："你们计划如何在'第一次关键尝试'之前提前验证，AI 提出的对齐方案能一路扩展到超级智能，并且不包含无意或有意的弱点？如果包含了会怎样？"我想这就是人们非常紧张、真的非常紧张的地方：如果这事不成，那挺吓人的。
Jan Leike：说实话，我是说，这是一个风险极高的问题，正因如此，投身其中才这么重要。但同时，我认为那种"我们有一个自动化的对齐研究员，我们按下按钮，它就说'你们该这么做'，然后我们照做并祈祷好运"的心智图景，实在是过于简化了。我不认为这个系统做的第一件事就是对齐超级智能。我认为它只会对齐 GPT-N+1。而我们会深度参与其中，查看所有结果，我们会发表它、拿给其他人看："你觉得这个结果怎么样？你觉得这是个好主意吗？我们该这么做吗？"
同时，我认为我们还会拥有所有那些其他的工具。我们有望拥有好得多的可解释性。我们会对模型的健壮性理解得深入得多。或者，当系统在做对齐研究时，我们会有大量自动化工具在监控，所有这些自动化工具会在它背后盯着，试图理解正在发生什么。或者，你知道，如果我们真的能在根本层面上理解泛化，我们能不能拥有一个我们更有信心它是按人类真正想要的方式泛化、而不是按我们嘴上说想要的方式泛化的系统？或者说，那些我们能核查的方式之类的。如果我们从根本上理解了这些问题，或者在这些方向上做得不错，我认为我们就会有多得多的证据、多得多的理由去相信系统确实在做正确的事，或者没有在做。这就是我们试图搞清楚的。
Rob Wiblin：是的。这个项目的公告说，我们现在还不知道如何对齐超级智能。而如果我们在没有好的对齐方法的情况下部署超级智能，那可能是绝对灾难性的。如果四年之后，你认为你们还没有解决这个问题，会怎样？或者八年、十年之后？就是那种："嗯，我们一直在做，取得了一些进展，但没有信心说我们接近有能力对齐超级智能了。"可是能力研究已经一骑绝尘，我们可能马上就要部署那种如果未对齐你会非常担心的东西。如果你和你的团队认为部署是个坏主意，有没有推迟那次部署的计划？
Jan Leike：我认为在那个阶段最重要的是，我们必须对自己所处的位置绝对诚实。而且从某些方面说，我认为世界会要求我们诚实，对吧？不只是说出我们完全相信的东西，还要拿出我们拥有的所有证据。我认为，如果你走到了这一步——能力已经非常强大，而与此同时我们的对齐方法还没到位——这就是你真正要大声疾呼"嘿，我们都该缓一缓"的时候。而且这主要不是 OpenAI 一家的事，对吧？到那时，你得把所有 AGI 实验室召集到一起，想办法解决这个问题。分配更多资源，放慢能力研究。我不知道到时会发生什么，但我认为前提仍然是你得弄清楚你在对齐上处于什么位置。我们仍然必须已经非常努力地尝试过解决这个问题，才能够说："看，我们非常努力地尝试了。这是我们尝试过的所有东西。这是结果。你们可以仔细看。如果你们看完这一切，大概会得出和我们一样的结论，那就是我们认为我们还没到那一步。"这就是为什么我说我们只需要对此绝对诚实。与此相配套，这也是为什么我们做出了这个承诺。我们想把我们努力的成果广泛分享。我们希望其他所有人的模型也都是对齐的。我们希望每一个在构建真正强大 AI 的人，其 AI 都应该与人类对齐。我们想把我们弄清楚的所有做法都告诉其他人。
Rob Wiblin：是的。我看到人们担心各种不同的情况：你们可能取得一些进展，但没有完全到位，然而人们最终还是照样部署。我想人们会有的一个担忧是你们可能过度自信。你们可能爱上自己的工作，觉得自己已经成功解决了这个问题，而实际上并没有。另一种情况可能是，你对 OpenAI 的其他人说："我们觉得这个问题还没解决。我真的很害怕。"但他们不听你的——也许出于某些商业原因，或者，我不知道，内部政治之类的东西阻碍了它发挥作用。还有一种情况是，OpenAI 的人听你的，但世界其他地方不听，最后别人把它部署了。我不想把整个宇宙的重量都压到你肩上，但对这些不同的可能失败模式，你有什么评论吗？
Jan Leike：我认为这正是我们想要建立那些把这件事做对所需的治理机构的原因。归根结底，我不认为"现在上线安不安全"会由我来决定。在 OpenAI 内部，模型发布之前我们会做安全审查。OpenAI 董事会对"OpenAI 做不做这件事"有最终决定权。而且如你所知，OpenAI 有一个复杂的利润上限（capped-profit）结构，非营利董事会实际上最终掌管 OpenAI 的所作所为。所以他们完全可以拍板决定：即使有商业上的理由，我们也不部署。而对整个世界来说，归根结底它会影响每一个人。政府必须以某种方式介入，或者我们需要某种类似"AI 版国际原子能机构"（International Atomic Energy Agency）的东西，能够以有技术根基的方式帮助做出这类决定。这也是为什么我想做的、我们想通过 Superalignment 做的，是聚焦到技术挑战上，真正理解我们所处的位置，同时也在这个问题上实际取得进展，非常努力地专注于真正解决它。
Rob Wiblin：有一个我似乎没见人提过、但我在读这些方法时想到的反对意见：会不会实际上自我外泄——也就是模型从实验室逃逸——并做出真正糟糕的事情（比如发明新的生物武器并释放它们，造成巨大破坏），是一项比对齐 AI 更容易的技能？这样我们就可能在这些模型真正能帮你和你的团队推进对齐之前，先撞上那种能造成巨大破坏的能力。
Jan Leike：是的。我认为自我外泄是真正需要重点关注的关键能力之一，因为有一个非常重要的区别：系统待在实验室里、待在我们数据中心里、处于我们能控制的状态——比如我们可以关掉数据中心，可以停掉引擎，想的话可以删除快照——和它跑到了外面的世界、试图维持自身存续、或者试图构建更好的 AI 模型，是完全不同的。那么问题就变成：你如何衡量模型能否逃出去？或者说，它能否引入安全漏洞，或者利用我们基础设施中已有的安全漏洞？现在它做不到，但未来的模型可能做得到。或者，它能否说服一名 OpenAI 员工帮它把权重偷运出去？那是另一条路：直接尝试说服人类。它想出一些对当事人来说可信的理由，说明他们为什么该这么做。可能相当难。我不知道。GPT-4 做不到，但未来的模型也许可以。所以我认为关注这一点是一个非常重要的区分。至于你问的"如果这个先发生了怎么办"：我认为在某种程度上，你可以靠传统的安全措施让自我外泄变得更难。但到了某个时候，这将成为一个对齐问题：你必须真正证明系统没有在试图逃出去；它不想逃。我认为总体上，技术会如何发展、什么样的能力会先被解锁，存在很大的不确定性。但我相当乐观地认为，在这种事情可能发生之前，我们会从模型中得到大量真正有用的东西。当然，这正是我们需要去测量它的原因，因为我们不能只做一些疯狂的猜测。
Rob Wiblin：好，以上是我在网上读到的一些反对意见，外加我自己的一个。但我很好奇：如果让你唱反调（devil's advocate），在你看来，反对你们正在采取的这整个路线的最佳论证是什么？
Jan Leike：我认为你可以在好几个不同层面上提出反对。你可以反对说，自动化对齐研究会来得太晚，来不及真正帮到我们，就像你提到的那样。也就是说，很多问题我们必须自己解决。而在某种程度上，如果那是真的，我们大概仍然会做我们现在正在做的这些事情，也就是努力取得更多对齐进展，从而能够对齐能力更强的系统。这也意味着，你其实在抬高第一个灾难性未对齐系统出现的门槛。我认为还有一些更细节层面的反对意见，针对我们如何围绕我们看好的具体路径构建研究组合：可扩展监督、泛化、健壮性、对抗性测试、可解释性，诸如此类。我们可以逐条深入这些路径的细节，以及我认为针对每一条的最佳反对意见是什么。再有，你还可以问：你为什么要在一个 AI 实验室里做这份工作？你难道不会面对一些相互冲突的激励吗？就像你提到的，如果实验室想部署，你怎么把这和"尽可能对齐"的追求调和起来？我认为从根本上说，AI 实验室是做这项工作最好的地方之一，就因为你离技术如此之近。你能在它被开发出来的过程中看到它。GPT-4 发布之前，我们得以尝试很多东西，而且因为我们亲手做它的对齐，我们确切地知道自己处在什么位置、弱点在哪里、什么真正有效。我认为这相当有用。另外，AI 实验室资源非常充足，而且它们有在对齐上花钱的激励，它们也应该花。这挺好的。
Rob Wiblin：我想我并不认同那个反对意见。它让我想起……那句话怎么说的？"你为什么抢银行？因为钱在那儿。"我感觉，"你为什么要在 OpenAI 做对齐研究？因为所有前沿研究都在那儿。前沿模型都在那儿。"理由不言自明。
Jan Leike：是的。当然，我不认为 OpenAI 是唯一能做出好的对齐工作的地方。有很多其他地方也在做好的对齐工作。
Rob Wiblin：对。只是它显然有一些巨大的优势。我不是说每个人都必须在 OpenAI 或某个实验室工作。在别的地方也有事情可做，但肯定应该有一些人待在实验室里。也许探讨"最大弱点"或"最佳反对意见"这个问题的一个好切入点是：如果你们不能走这条路，Superalignment 团队必须采取相当不同的方式来解决这个问题，你心里有没有一个"第二喜欢"的选项？
Jan Leike：有。先说明白，我认为我们的总体路径和方法在这四年里会变化，随着我们了解更多，我们大概会增加更多研究领域，也许会放弃另一些。我认为那是研究的自然进程。我想稍微改一下你的问题，因为眼下，我们正在做的就是我对"对齐人类水平系统"最感兴奋的那些事情。至于我乐意看到世界上有人做、而我们没在做的其他事情：我认为在评估语言模型方面有大量工作要做，而我们没有在做——比如测量自我外泄的能力。如果能有更多这样的工作，会非常有用。我认为在更小的模型或开源模型上可以做很多可解释性工作，你可以取得很大进展、获得很好的洞见。我们不做那些，是因为我们的比较优势在于使用最大的模型。这就是为什么我们聚焦自动化可解释性研究。这就是为什么我们在试着捅一捅 GPT-4 的内部，看看能发现什么。我认为那是我们占据有利位置去做的事情。我也仍然确信，对齐领域有有趣且有用的理论工作、数学理论工作可做。我认为它非常难，因为我们对这个问题还没有一个很好的界定（scoping），而那大概是迄今为止最难的部分。但归根结底，也许把问题反过来问是：在 OpenAI，我们做什么事情有优势？答案就像："这里有最大的模型。去押注那些利用大量算力来解决问题的路径。以小团队紧密协作。不要把发表论文本身当作重点。"我们并不写很多论文，对吧？我们是在非常用力地推进，去解决这个问题的特定方面。当我们发现有趣的东西时，我们会把它写出来分享。但如果论文不多，也没关系。那不是我们要做的事。我们的另一个侧重点是工程，我们非常注重工程，因为我们要跑实证实验。我们想尝试很多东西，然后测量结果。这需要在大型代码库上做大量工程，因为我们在使用这些巨型模型。也不是总在用它们；在更小的模型上也有很多有趣的实验可以跑。而说到底，相当一部分工作是机器学习工程。这也是我们占据有利位置去做的事情。
Rob Wiblin：这个计划有没有哪种可能失败的方式，是让你夜不能寐的？我们还没提到、但值得点出来的？
Jan Leike：噢，天哪。原因太多了。万一我们的可扩展监督实际上不管用，或者我们想不出怎么让它管用，怎么办？我们测量的东西真的对吗？这也是我脑子里一直盘旋的问题之一：我们如何改进我们所测量的东西？比如，在自动化可解释性上，我们有那个打分函数，它试图衡量对神经元的解释有多好。但它是用一个模型近似的；实际上并没有用人类。而你不会想直接去优化那个函数；我认为那样你得不到你想要的东西。某种程度上，这正是对齐问题的核心：你如何找到正确的度量指标？那个你真的可以去优化的指标？所以这是我非常担心的一件事。再有就是：我们的研究押注下对了吗？我们是不是应该在这个领域投入更多？在另一个领域投入更少？
Rob Wiblin：所以事情有很多可能出错的地方。那么，到了这些模型给你们提供研究想法、试图帮你们忙的时候，看起来你们需要有很多人以某种方式在环中检查这些工作——确保它说得通、交叉核查有没有欺骗，等等。感觉光是做这个就能吞掉很多人力。有没有可能，项目失败仅仅是因为你们没有足够的全职人力（FTE）？没有足够的人手来跟上节奏？
Jan Leike：是的。我是说，我们现在真的在大力招人。我认为这个团队在四年里会增长相当多。但我认为最终，我们真正的扩展方式是使用 AI。有了那个算力承诺，只要我们想，我们可以拥有数百万个虚拟全职员工。就人类而言，Superalignment 团队永远不可能现实地扩张到那个规模。这就是为什么我们要如此重注押在算力上、如此重注押在那条路径上。
Rob Wiblin：但如果你们达到了一百万个 AI 员工对一个人类员工的比例，会不会有点失去掌控？问题在于，你信任的其实是人类的对齐——尽管他们在其他方面更差。所以人类才是做最终把关的那一方，确认事情没有失控、坏主意没有蒙混过关——当然，是在其他方面的辅助之下。
Jan Leike：正是。但这就是我们试图解决的问题，对吧？将会有大量的工作在进行，我们必须弄清楚其中哪些是好的。这里面有没有什么猫腻？我们真正应该关注的结果是哪些？等等。而"你如何解决这个问题？"正是我们在问的问题，对吧？你如何让可扩展监督奏效，使你能够信任你所监督的这一大批虚拟工作者？你如何改进泛化，使你知道它们会泛化到做正确的事？而不是去做那种"人类不会注意到我在做"的事情之类的。
Rob Wiblin：它最终会不会变成一种金字塔结构：你有一个人，然后在其正下方有一队由他监督的智能体。再往下一个管理层级，又有另一队智能体在做另一类工作、向上汇报。然后下面还有一层又一层。那是让它规模化的一种方式吗？
Jan Leike：我是说，你可以试着搞一个看起来更传统的公司结构。我不认为它会真的按那个样子发展。我们从机器学习中学到的一点是，系统往往在某些任务上就是非常出色，而在另一些任务上比人类差，所以你会优先想把前一类任务委派出去。而且，我也不认为它的组织方式会像人类组织自己的方式，因为我们的组织形态是为人类如何协作量身定制的。但这些都是非常好的问题。这些是我们需要思考的问题，我们必须把它们弄清楚，对吧？
Rob Wiblin：所以你和你的团队会全力以赴，但事情可能不会成功。我想，如果你们没能解决这个问题，而我们又在能力上一路狂奔，那么最终结果可以想见地可能是所有人都死掉。所以在那种情况下，人类似乎应该有一个后备计划，最好是好几个后备计划——哪怕只是为了让整个世界的重量不至于全压在你的肩膀上，让你晚上还能睡得着觉。你希望我们有什么样的后备计划？你在这方面有什么想法吗？
Jan Leike：我是说，已经有很多其他类型的计划在推进中了。这并不是全世界唯一的赌注。Anthropic 和 DeepMind 都有对齐团队，他们在尝试解决类似的问题。还有各种可以尝试争取更多时间的方式，以及各种你想建立起来的治理结构，用来治理 AI、确保它被有益地使用。我认为解决对齐的核心技术挑战会是至关重要的，但不会是唯一重要的事。我们还必须确保 AI 与某种民主价值观的概念对齐，而不是由科技公司单方面决定。我们还必须对 AI 的滥用做点什么。而对齐的系统，只要它们做得到，是不会任由自己被滥用的。但是，你知道，还有一个问题是它如何融入社会正在发生的更大图景之中，对吧？作为一个人，你可能在为一个你并不真正了解其所作所为的组织工作，而它实际上是净负面的，你却看不出来。或者，仅仅因为我们能对齐 OpenAI 的模型，并不意味着别人不会构建未对齐的 AI。你怎么解决那个问题？这看起来非常重要。你如何确保 AI 不会差异化地赋权那些本已强大的人，而是也能帮助边缘群体？这看起来非常重要。再往后，最终你还希望能避免这些结构性风险。假设我们解决了对齐，每个人都造出了与自己高度对齐的系统。但接下来发生的事，可能只是给现有的资本主义体系装上了涡轮增压。本质上，企业会变得非常擅长最大化股东回报，因为那就是它们让 AI 对齐的目标。而人类则被甩在了一边，因为那并不必然涵盖你所珍视的其他一切——比如清洁的空气之类。我们已经看到了这方面的早期迹象。全球变暖正在发生，尽管我们知道根本问题所在，但进步和我们从事的所有经济活动仍在推动它向前。所以，即使我们把所有这些事都做对了，我们仍然可能陷入一个最终对人类不利的系统——尽管系统中的每个参与者其实都不希望它变成那样。
Rob Wiblin：所以你要做好你的工作，但很多其他人也必须做好他们的工作。这是一个广阔的生态系统。
Jan Leike：没错。要做的事情很多。我们需要让未来向好的方向发展，这需要很多部分共同作用，而这只是其中之一。
Rob Wiblin：好，我们现在跳到一些听众问题。正如我说过的，这次的问题特别多、也特别辛辣。这些问题可能会有点跳跃，但我想把它们直接抛给你，能让我们很好地感受到大家心里在想什么。
Rob Wiblin：好，第一个："OpenAI 为什么不先试着在 GPT-4 上解决对齐——比如，做到 GPT-4 上没有任何越狱手段有效——然后再拿更先进的模型去冒灾难的风险？"
Jan Leike：这是个好问题。你可以指出对齐目前还不完善的种种地方。越狱是其中之一，还有幻觉：系统凭空编造东西，这是一种我们不希望出现在模型中的撒谎形式。但在某种程度上，把那些做到极致，并不一定能在解决"对齐超级智能"所需解决的那些难题上帮我们太多。我不是说我们应该停止做那些工作，但我们也需要做面向未来的工作。具体来说，我想要发生的是：我希望对齐在各个方面都取得尽可能多的进展——这样当 GPT-5 到来时，或者随着模型能力越来越强，我们手里有现成可用的东西，有对那类问题帮助很大的东西。
Rob Wiblin：好的。另一个问题："GPT-4 比 GPT-3.5 更对齐，这一事实是否意味着模型能力越强，它就会越对齐？"我知道不是所有人都会接受这个前提，但你会怎么回答？
Jan Leike：我想也有人指出过，因为 GPT-4 仍然可以被越狱，而它能力更强，所以从某种意义上说，其最坏情况的行为反而更糟。所以即便平均而言它好得多，你也可以为那个说法辩护。但我认为，即使它真的是全方位更好，我们也完全不应该押注这个趋势会持续。机器学习里有大量出现某种反向缩放（inverse scaling）的例子——先是变好一阵子，然后变糟。而且在某种程度上，我们知道模型还没有到达那个关键门槛：它们还没有和我们一样聪明，还想不出很多真正高明的办法来欺骗我们。所以它们的情境意识（situational awareness）还不强：它们并不太清楚自己实际上是一个正在被训练的语言模型，也不清楚自己是如何被训练的。它们并不真正理解这些。可一旦它们理解了，那就是另一回事了；你将面对不同的问题。所以，仅仅从我们现在看到的某种趋势去外推，我认为无论朝哪个方向都是不对的。不过我确实认为你能从中学到一些东西；我只是认为你不该直接跳到那个结论。
Rob Wiblin：是的。从主流机器学习的角度看，这个项目在智识上最令人兴奋的是什么？
Jan Leike：我认为我们会学到很多关于大型神经网络究竟从根本上如何运作的知识。比如，想想我们在泛化上想做的工作：我们不理解为什么模型有时以这种方式泛化、有时以那种方式泛化，这本身就挺奇怪的。或者，我们如何改变它们可能的泛化方式？比如，我们为什么不能把所有可能的方式都列出来，然后看哪些行得通？或者我们如何让它们进入其中的每一种？或者这里真正发生的机制是什么？我们不知道——而我们为什么不知道？或者想想可解释性：仅仅是能够理解模型决定下一个输出哪个 token 的机制，就会让我们学到很多关于那里正在发生什么的东西。它究竟是怎么运作的？学习是怎么发生的？它们是怎么……我不知道。这超级奇怪。
Rob Wiblin：似乎在某个层面上，这就是全部的问题所在。
Rob Wiblin：我是说，人们花费巨大的精力，仅靠往这些模型里砸更多算力和更多数据来提升能力。然后他们得到的可能只是一台更加深不可测、他们并不理解的机器——某种意义上这很酷，因为它能干活。但听起来到了某个时候，也许更有意思的事情是：它到底是怎么运作的？——而这正是你们要研究的。
Jan Leike：是的。不过与此同时，也有一些非常具体的成果可以说。比如归纳头（induction heads），对吧？你可以找到这些做归纳这类非常特定事情的注意力头。你知道，有人逆向工程出了一个小模型里做简单算术的电路（circuit）。这是真的可以做到的。或者我们发现了那个 Canada 神经元。它就在那儿；我们找到了它。还有太多东西有待发现，因为我们知道的实在太少，不去看看简直是疯了。
Rob Wiblin：是的。我猜想这些网络里会有一些结构，与人类大脑做的事情是类似的，而且我们大概能在弄清它们在人脑中如何运作之前很久，就先弄清它们在这些网络中如何运作——因为我们拥有这个模型所有权重和活动的完美数据。所以感觉所有研究大脑的人都该转行，开始研究理解 GPT-5。
Jan Leike：正是。容易太多了。你的日子会好过太多。是啊，我不知道为什么没有更多人这么做。对我来说这太有吸引力了，不过我不是神经科学家。而且也许有些洞见还能迁移过去，对吧？比如，我们知道视觉模型有的一些神经元，在人类和动物身上也能找到。或者那些边缘滤波器（edge filters）之类的。或者看看强化学习：我们有一些关于强化学习在人脑中如何运作的证据，但我们对它在神经网络中如何运作的证据多得多，因为它压根就是我们造的。所以容易太多了。
Rob Wiblin：你认为到目前为止，技术性 AI 安全领域最大的胜利是什么？
Jan Leike：如果只能挑一个，那大概是 RLHF。从某些方面说，我认为 RLHF 真正让对齐登上了舞台，它也证明了对齐能为系统的实际构建方式增添大量价值。而且我认为它实际产生了一大堆商业影响，这一点非常好。因为它以一种实实在在的方式展示了现实世界的价值——相比之下，如果你只是试图解决一个抽象问题——而对齐超级智能是一个超级抽象的问题，你可能捣鼓很多年也没有清晰可测的进展——我认为 RLHF 不仅带来了那种"模型之前是什么样、之后是什么样"的非常直观的差异，每个人一上手把玩就能真切感受到，而且它也让人清楚地看到：这是一个真正值得投资、值得下注的领域。哪怕是那些还没有明显奏效、或者可能仍处于非常抽象阶段的东西。
Jan Leike：我认为我们还有不少更小的胜利。这种排名很难排。如果要我再补充别的，我认为视觉模型的可解释性一直相当令人印象深刻。那方面有很多进展。如果你问的是安全影响或对齐影响，那也许就不那么明确了，因为你没法真的指出有什么东西是直接从中产生的。
Rob Wiblin：好，这里有一个在听众中反复出现的主题："在'我们是否真的想开发这些系统'这个问题上没有民主参与的情况下，是什么赋予了 OpenAI 开发通用人工智能的权利？"
Jan Leike：我认为这是一个极好的问题。我也认为这是一个大得多的问题；比如，我认为在很多其他事情上我们也应该有民主参与。你知道，模型应该如何表现？我们应该以这种方式部署它吗？还是以另一种方式部署？你知道，OpenAI 的使命是开发造福全人类的 AI，但你必须让人类对正在发生的事情有发言权。这不是 Superalignment 团队做的事，但我认为它将非常重要。
Rob Wiblin：是的。听起来你完全赞同：AI 实验室与民主政治之间需要某种整合。公众必须被征询意见，人们必须被告知这里的风险和收益，并且需要有某种集体决策来决定这些东西何时、以何种方式被开发和部署。我想我们目前只是还没有做这件事的基础设施。我是说，这部分是 OpenAI 的责任，但也部分是整个社会的责任。只要 OpenAI 愿意在这方面合作，那就需要一场大规模的努力来促成它。
Jan Leike：我认为是这样。而且我真的很高兴 OpenAI 非常愿意公开谈论风险、公开谈论我们所处的位置。我也把"向公众通报对齐领域什么在起作用、什么不起作用、我们处在哪里、我们认为能走到哪里"视为我的责任。但没错，归根结底，在这一切如何发展上，政府也将扮演一个角色。
Rob Wiblin：是的。如果国会调查了这一切，得出结论说它危险到令人不安，他们认为其中一批研究需要停止，你认为这些 AI 实验室会愿意服从吗？也就是说，这是一个更民主、更有正当性的程序产出的结果，所以我们应该做好公民，放慢或者停下来？
Jan Leike：会的。我是说，AI 公司必须遵守其所在国家的法律。事情就是这么运作的。但我认为将要发生的是，我们会对前沿 AI 技术进行监管，人们正在想办法怎么做，而我们应该尽可能明智地去做。我认为还有一个更大的问题：你如何做到不只是在美国或英国行得通，而是在全世界行得通。如果存在某些构建 AI 的方式真的非常危险，那么相关规则就必须适用于所有人，而不只是特定国家。我认为那也是一个关键挑战。它也不是我个人在研究的挑战。但我认为我们需要解决它，任何在研究那个问题的人都让我感到兴奋。
Rob Wiblin：是的。有件事让我有点悲观：看起来我们需要解决的不只是一件事，而是很多件事。而哪怕我们只搞砸其中一件，结果都可能非常糟。我们不仅需要有技术解决方案，还需要确保它被部署在正确的地方、所有人都遵守它。而即便那些都成了，也许你还会遇到那种结构性问题：它在按我们说的做，却让社会变得更糟。
Jan Leike：嗯，把它看成这一切的另一面吧：眼下塑造人类未来的机会如此之多，你——比如正在收听的你——可以投身其中，可以产生巨大的影响。是的，我认为要做的工作实在太多了。而且很有可能，我们其实正生活在人类历史上迄今存在过、也将永远存在的最具影响力的时代。挺疯狂的，超级疯狂，但可能就是这样。我不知道。
Rob Wiblin：是的。今年三月，你发推说：在我们争先恐后地把大语言模型深度整合进经济的方方面面之前，能不能先停下来想一想这样做是否明智？这是一项相当不成熟的技术，我们并不理解它是如何工作的。如果我们不小心，就是在给自己埋下大量相关性失效的隐患。几天之后，OpenAI 开放了 GPT-4，让它可以通过 API 连接各种插件。一位听众很好奇你那条推文到底想表达什么，以及在 OpenAI 内部，关于 GPT-4 应该多快接入互联网、整合进其他服务，是否存在分歧。
Jan Leike：是的。我意识到那条推文有些含糊，被人以很多不同的方式解读了。从根本上说，插件能让你做的事情，并没有超出你用 API 本来就能做的范围，对吧？插件其实并没有增加任何人们此前做不到的、根本性的新东西。而且我认为 OpenAI 非常清楚，当你把插件接到系统上时会出什么问题——你知道，你必须有沙箱，让人们花钱时必须谨慎，等等所有这些问题。做插件的人就坐在我们旁边，我们和他们讨论过这些，他们也一直在思考。但鉴于大家都特别兴奋，想把 GPT-4 用在所有事情上，我真正想说的也是：听着，这项技术还不算成熟。系统会出错。先别把它接到所有东西上。确保有一个故障回退机制。确保你已经充分把玩过这个模型，理解了它的局限。如果你让模型写代码，确保你在阅读并理解这些代码，或者在沙箱里执行它，因为否则，不管你把代码写到哪里，它都可能弄坏那个系统。总之要小心。要明智。确保你明白自己在做什么，而不是直接把它接到一切东西上。先看看情况再说。
Rob Wiblin：现在人们用 GPT-4 做的事情里，有没有哪些你觉得也许为时过早、我们应该放慢脚步多做些测试的？
Jan Leike：我是说，大概有吧。我不知道能不能给你举出什么好例子，但我想新技术的故事通常就是这样，对吧？我从根本上是一个技术乐观主义者，我认为凡是 AI 擅长的事情，我们都应该用 AI 去做。某种程度上，我们刚花了一个小时谈论用 AI 做对齐研究会有多棒——那可是我的本职工作，所以我是在试图用 AI 取代我自己的工作。但与此同时，你也必须真正理解这项技术的局限。其中有些局限并不显而易见，有些也不广为人知。而你必须了解这些，才能负责任地部署它、负责任地整合它——以一种真正明智的方式把它整合进社会。和所有新技术一样，我想我们会尝试很多东西。我也很乐见人们去尝试很多东西。这就是为什么我认为 OpenAI API 的存在是好事，它让很多人能把最前沿的语言模型用于各种各样的事情，但你在这么做的时候也要小心。
Rob Wiblin：是的。说到把东西直接接上互联网这个话题：很多年前，人们经常谈到一种假设——如果我们有了一个像 GPT-4 这样能力的智能系统，我们大概会把它关在一个铅封的盒子里，不会把它接上互联网，因为我们会对它感到担忧。但现在的文化似乎是，模型一造出来，马上就被部署到互联网上了。
Jan Leike：这么说不太准确。GPT-4 在公开可用之前，我们内部用了八个月。我们做了大量安全测试；做了大量红队测试。我们在它的对齐上取得了很多进展，并没有立刻把它接到一切东西上。不过我想你真正想说的是：很多年前，人们争论过"如果你造出了 AGI，难道不能把它关在盒子里吗？这样它永远逃不出来，永远干不了坏事。"而你的意思是，看起来这艘船已经开走了。我们正在把它接到一切东西上。这也部分正是我想暗示的：当我们真的把它接上去时，应该保持审慎。而且，GPT-4 上了 API，并不意味着未来的每一个模型都会在任何情况下、对所有人、为所有用途立即开放。这就是你必须走的那条艰难的钢丝：你想用 AI 赋能每一个人，或者尽可能多的人，但与此同时，你也必须警惕滥用，必须警惕模型可能出的所有其他问题——未对齐就是其中之一。那么如何权衡这种取舍？这是关键问题之一。
Rob Wiblin：一种划分方式似乎是"接入互联网"与"不接入互联网"。但我感觉人们经常——我自己也犯这个毛病——只想着两种情况：要么它部署在互联网上、消费者在用，要么它安全地待在实验室里、没有任何问题。但其实存在中间状态——
Jan Leike：就算它待在实验室里，也可能出问题。
Rob Wiblin：我说的就是这个。这正是我想说的。我感觉有时人们会忽略这一点。你知道，滥用大体上是当它触达广大公众时才成为问题，但未对齐可以在一个系统仅仅被训练出来、只在公司内部使用时就成为问题——因为它会琢磨自己如何能最终产生更广泛的影响。我认为，正因为我们倾向于把所有这些风险混为一谈，或者倾向于泛泛而谈，"一个模型仅仅被训练出来就可能是危险的——哪怕它从未被接上互联网"这一点，是我们真正需要牢记的。听起来在 OpenAI，大家会记住这一点。
Jan Leike：没错。而且安全审查真的需要在训练开始之前就启动，对吧？
Rob Wiblin：是的。好，这里还有一个问题："OpenAI 创造并发布 ChatGPT 的决定，很可能加速了 AI 研究，因为人们对它印象深刻，现在大量的人涌入这个领域。但它同时也引发了一连串对安全的担忧，以及为化解潜在威胁而提前做准备的新努力。事后来看，你认为发布 ChatGPT 这一举动，综合考虑所有因素，是增加了还是降低了 AI 灭绝风险？"
Jan Leike：我觉得这是个非常难的问题。我不知道我们现在是否真的能给出定论。我怎么想的呢？我认为，从根本上说，也许等一等、晚一点发布 ChatGPT 会更好。我也认为，某种程度上，这整件事是不可避免的，公众迟早会意识到语言模型已经变得多么强大。你甚至可以说，令人惊讶的是过了这么久大家才意识到。而且说实话，我很高兴它在多大程度上改变了、或者说推进了公共讨论——既包括关于 AI 风险的讨论，也包括那些真实发生的对齐工作，即我们究竟如何能把系统做得好得多，而且我们应该多做这类工作。我认为这两点都非常好。至于发布时机应该是什么、以及它是否无论如何都会发生，现在可以争论。我认为它无论如何都会发生。从更高的层面看，人们在问这些问题——这些确实是很好的问题——比如：如果我们想的话，能不能大家都停止搞 AI？听上去很简单。停下就好。别做了。那不是件好事吗？但实际上，世界上有太多力量在推动这件事继续，对吧？比如说，假设 OpenAI 决定我们不再训练能力更强的模型了。就是不做了。OpenAI 可以这么做。但还有一堆 OpenAI 的竞争对手可能仍然会做，那么 AI 依然存在。好，那把他们也拉进来：把排名前五的 AGI 实验室，或者将会训练最大模型的五家科技公司都找来，让他们承诺不做。好，他们承诺了。可是，接下来会冒出一家新的创业公司。会冒出一大堆新的创业公司。再往下，人们还在不断把晶体管做得更小，所以你会得到能力更强的 GPU——这意味着训练一个比迄今为止任何模型都更强的模型的成本，仍然在逐年指数级下降。于是你去找半导体公司，说："你们能不能悠着点？"好吧，也许你能把他们也拉进来。可上游还有做紫外光刻之类的公司，他们在研发下一代芯片，从上世纪 90 年代就开始做这件事了。然后你还得让他们也悠着点。这是一个极其复杂的协调问题，甚至连弄清楚还有谁参与其中都不容易。就我个人而言，我认为人类如果真的想做，是可以做成很多事的。如果事情真的变得非常吓人，很多事情都可能发生。但同样，从根本上说，我认为这不是一个容易解决的问题，我不想假设它会被解决。我想做的是，确保在我们拥有的时间里，尽可能多地取得对齐研究的进展。如果我们能得到更多时间，那很好。也许到时我们还需要更多时间，那我们再想办法。但如果我们得不到呢？我仍然想能够解决对齐问题。我仍然想在那些我们得不到额外时间的世界里获胜——在那些不管出于什么原因、事情就是一路向前推进的世界里。所以无论局势如何发展，你都可以回到这个问题上："我们如何尽可能快地解决这些技术问题？"我认为这才是我们真正需要做的。
Rob Wiblin：是的。我在网上看到，有些人在努力放慢事情的进展，基本上是为了给你和你的团队（以及其他人）争取更多时间。还有一些人持一种非常极端的立场：他们就是想让 AI 的进展停下来；他们想在相当长的一段时间里让它在全球范围内彻底停止——正如你所说，这看起来是一件非常艰巨的事。我不太确定，但我想他们的理论可能是：到某个时候，会发生某场灾难，以非常大的方式改变人们的态度。到那时，现在看起来根本不可能的事情也许会变得可能，所以也许他们的想法到那时会更说得通。不过把这个放到一边，就解决对齐的竞赛而言，看起来我们要么可以把事情放慢 1%、也就是多争取 1% 的时间，要么可以把对齐研究加快 1%。问题也许是这两件事哪个更容易。听起来你认为，加快对齐研究大概更容易——或者说，让对齐研究以两倍速度推进，大概比把"我们发明出危险东西"之前的时间线拉长一倍更容易？
Jan Leike：是的。我认为那也是非常重要的一点。鉴于如今实际从事对齐工作的人如此之少——
Rob Wiblin：到底有多少人？几百？几千？
Jan Leike：取决于你怎么算。Superalignment 团队现在大约 20 人左右，但 OpenAI 现在还有很多其他对齐方面的努力。如果把所有 RLHF 的工作都算上，大概超过 100 人。但如果回到两年前，做 RLHF 的只有三个人，或者五个，我记不清了。它已经扩张了很多，但我们仍然需要多得多的人。真正有才华的人现在转来研究这个问题，仍然能产生非常大的影响，就因为这仍然是一个如此小的领域。要做的事情还有那么多。我们不理解的东西还有那么多。从某些方面说，它感觉像是真正的最后一块研究前沿。规模化（scaling）我们已经搞明白了。我们知道怎么让模型更聪明。
Rob Wiblin：是啊，某种意义上那已经变得简单而无聊了。
Jan Leike：那是会发生的。当然，人们也许有一些办法叫停它。但我们知道怎么做那件事。对齐才是一个真正的研究问题：我们不知道如何对齐超级智能。我们想弄清楚这一点。我们必须弄清楚。这不是可选项。
Rob Wiblin：是的。这个领域这么小，从一个层面看令人恼火，但从另一个意义上说也是乐观的理由，因为你可以让它翻倍。比如，如果你能让 1,000 名机器学习研究员转来做对齐，那会彻底改变局面，对吧？
Rob Wiblin：好，另一个问题。"Jan 声称 Superalignment 团队不会回避那些有助于商业化的对齐工作。但那类工作按定义来说本来就已经有金钱上的激励了。那他为什么不去尽量避开那些反正都会有人做的工作呢？"
Jan Leike：我认为这正是很多人想表达的整个要点：对齐并不会以一种让我们真正满意的方式默认被做好。或者换个说法，我们想解决的问题目前是未解决的。而且是的，其中一些会有商业价值。我认为从根本上说，如果你有两种构建 AGI 的方式，其中一种与人类对齐得多，人们会想买第二种，因为它对他们来说就是更好。这必然会有商业价值，而且不可避免。总的来说，过去还有一个相邻的批评：很多人觉得 RLHF 是一种能力上的进步，因为 RLHF 模型感觉更有能力——你和它们交互，它们更有用，它们实际做的事情更多。而原因在于它们在试图帮助你；它们更对齐。它们真正把自己的能力用到了你要求它们做的事情上，而预训练模型不会。所以它显然感觉更有能力，因为你解锁了所有这些能力。但如果你去看微调过程中实际发生了什么，模型其实并没有在学习它以前不具备的、根本性的新技能，对吧？我是说，理论上你可以通过微调做到那一点，但用我们那种算力预算做不到——比如 GPT-3 的微调用的算力不到预训练的 2%；GPT-4 甚至更少——真的是很小的一部分。但与此同时，因为模型现在如此努力地想要有帮助，它就更有帮助了，感觉就像你把原本就存在的所有能力都释放了出来。所以回到商业化的问题：我认为我真正想做的是解决这个问题。如果它有商业用途，那很好。有些不会有。或者有些研究押注不会成功。有些东西在我们真正得到能力很强的系统之前不会有用。那没关系。但目标是解决问题。那才是我们想做的。
Rob Wiblin：是的。另一个问题："OpenAI 是不是押注不会出现非常快的起飞（takeoff）？他们有没有尝试制定在'foom'情景下也能奏效的计划？"也就是 AI 极其快速的递归自我改进？
Jan Leike：是的。我认为我们绝对应该为那种情景做规划，并做好它真发生时的准备。某种程度上，在那类情景里，自动化对齐研究大概是我所知道的最好的计划：你必须让你的对齐工作与正在发生的事情成比例地扩张。而如果你能通过把几乎所有工作都委派给机器来做到这一点，那它们就真的能跟上机器的步伐——因为只有它们跟得上。
Rob Wiblin：我想担忧在于：如果发生了智能爆炸，而且非常快，那你把计划付诸行动、跟上节奏的时间就非常少。那就是一个非常糟糕的局面。它会让任何计划都很难奏效。
Jan Leike：没错。如果你想对技术进步的速度保持不可知——这正是我们在这里想做的——你能做的最好的事就是提前尽可能多地做准备。这也是为什么我们需要现在就开始思考如何对齐那些我们还没有的系统。你准备得越充分，你就越能应对那种情景。
Rob Wiblin：好，我收到一个问题，我稍微改一下："OpenAI 凭什么认为对齐是可解的？他们看过 Roman Yampolskiy 博士反对可解性的不可能性论证吗？"他们还附了一篇载有那些论证的论文链接。我不清楚那些论证具体是什么，但我知道确实有人提出过理论论证，认为出于某些概念性的原因，对齐是不可能的或者极其困难的。有没有哪些这类论证特别让你困扰？或者你认为这类论证方式本不该那么有说服力？
Jan Leike：好。我看了你提到的那篇论文，和我见过的任何这类论证一样，我没觉得它特别有说服力。问题在于，每当你想做一个理论论证，你都需要某些假设。而真正的大问题就变成了：这些假设会成立吗？在我看来，这件事似乎还远没有定论。它可能最终被证明是不可能的。我不觉得那特别可能，但我也没有证明。但我认为我们会非常努力地去找一个反例——通过证明这件事做得成。而且我认为现在绝对不是放弃的时候。我认为这非常可行。
Rob Wiblin：是的。我能感觉到你话里透出一点恼火，好像在说："所有这些抱怨这个问题不可解的人，他们帮不上忙。而且显然有那么多东西我们可以尝试。我们为什么不直接去试呢？"
Jan Leike：他们也算在帮忙，因为他们在间接帮我们做招聘——他们在为这个问题吸引注意力。如果你到处说这个问题很简单，你就不会为它吸引注意力。人们会想："好吧，没事，那我不用操心了。"但我认为那也确实制造了一种"看起来太难了，我们放弃吧"的情绪。而那，我认为是绝对错误的态度。要说有什么含义的话，那意味着我们应该更加努力，让更多人来尝试解决它，而且，你知道，"永不放弃，永不投降"（Never give up, never surrender）。胜负仍未见分晓。我们就应该全力把它拿下。
Rob Wiblin：好，有两个问题指向大致相同的方向："随着 OpenAI 越来越接近 AGI，在'给 AI 操纵员工、把自己黑出去、或以其他方式拥有因果影响渠道的机会'这方面，他们是否计划宁可偏执一点？"另一个人问："在一次大型训练中，你愿意承担多大的人类灭绝风险？"比如训练 GPT-5、6、7 等等？
Jan Leike：总的来说，随着赌注越来越高，我们对对齐证明、安全证明的举证要求也高得多。我们在每一代系统上都在加码。而我们现在拥有的系统仍然不具有灾难性风险，或者说离那还很远。举例来说，GPT-2 直接开源了：任何人都可以下载并随意使用。GPT-3 没有；你通过 API 提供它。然后到 GPT-4，唯一公开可用的版本是经过对齐微调的版本——RLHF 版本、ChatGPT 版本——而据我所知，基础模型只对研究者开放访问。所以你知道，你是在把公众引向 RLHF 模型。而在每一步升级中，你也在提升你的安全水平、提升你的对齐水平——显然，能力级别越高，赌注就越高，你需要的安全和对齐措施也就越多。
Rob Wiblin：是的，所以人们大致可以预期这个趋势会继续。同一主题下，在 Twitter 上有人在另一个帖子里问你："你会如何定义成功？"你回答："科学界一致认为我们已经解决了对齐问题。"然后[一位听众]说："Jan 的这句话很好。OpenAI 能否做出一个有意义的相关承诺？比如，除非科学界广泛达成共识、认为那类系统的对齐已被解决，否则不部署超过某个能力阈值的系统？"
Jan Leike：归根结底，我认为我们将不得不说服科学界，因为我不认为世界会允许我们构建某种具有灾难性危险的东西。而且现在全世界都在关注。我认为这都是好事。
Rob Wiblin：是的。我是说，疯狂的是眼下……我最近了解到，在英国，如果你想把一栋房子租给三个以上没有亲属关系的人，你需要一个特殊执照才能这么做。而据我所知，至少目前，训练一个 AGI 并不需要执照或任何形式的批准。我想这部分是因为我们大概还做不到那件事。但我是说，目前看起来确实没有多少法律限制，我们只是有点指望限制会很快出现。或者至少，我希望会有更多的基础设施到位。
Jan Leike：是的。在我看来是这样。人们正在推进监管，这是监管必须解决的问题。围绕这个有很多问题，我不是这方面的专家。不过回到那个科学层面的"你如何定义成功"的问题：我确实非常强烈地认为，仅仅说服我们自己相信自己干得不错是不够的——因为在你非常在乎的事情上，说服自己"干得不错"实在太容易了。我们实际上必须说服外部专家；我们必须说服那些仔细审视我们在做什么、为什么这么做的外部审计者。而且我认为我们到时候会真的拥有一座实证证据的大山："这是我们尝试过的所有东西。这是我们做[X]时会发生的事。你可以看数据；你可以看代码。"然后人们可以仔细审查我们在做的事。因为赌注最终会变得如此之高，相应地，我们也必须邀请对我们所做之事的大量审视。其中一个方面，我们现在算是已经开了头：我们要说出我们在尝试什么、我们计划做什么、我们对齐我们所构建系统的总体方法是什么。我们要邀请反馈和批评。也许存在某种好得多的做法。我很想知道，那样我们就改做那个。总的来说，我认为公众就应该知道我们在对齐上做什么，并独立判断那是否足够。而且我认为专家会在其中扮演角色，因为要从这些信息中得出有依据的结论，需要他们的知识。
Rob Wiblin：是的。听众问题里一条有趣的线索是，其中很多都是关于政策和治理的。而那些也是我更想问的问题，因为技术细节我常常不懂。我想 Twitter 上的很多人也没有足够的知识去审视技术方案，所以我们更多是在思考：在社会层面、在组织层面，事情安排得好不好。
Jan Leike：对。但我感觉我的回答常常是："是啊，我很想看到更多那样的工作。请解决这个问题。我没在做这个，但希望我正在做的东西能这样帮上忙。"
Rob Wiblin：这就是为什么我觉得把这些问题抛给你、听听你的想法是合理的。但没错，需要行动的人有很多，而你必须埋头专注于这些技术工作，因为那是你的专长。但我们也需要 OpenAI 的治理团队把好的结构建立起来，需要参议院相关委员会发挥他们的作用。就是有很多不同的拼块必须严丝合缝地拼在一起。
Rob Wiblin：好，听众问题问了一大堆，我们进入对话的最后半小时左右。我想我的梦想是，这期访谈能帮你们收到大量优秀的 Superalignment 团队求职申请。
Rob Wiblin：很高兴我们真的"对齐"了。希望我们能让一些人从那些有点意思、但没那么有用的事情，转到某种既在智识上超级有趣、又可能在某种意义上拯救世界的事情上。对于这个 Superalignment 项目比起其他那些比我技术上懂行得多的人认为靠谱的项目是更好还是更差，我不想强行唱反调，但在我听来，你阐述的这个计划不比我听过的任何其他计划差，而且看起来你们拥有把它真正做起来的资源和条件。而且我想，如果这个计划在未来几年没有结出你期望的那么多果实，我想你们也能够转向另一个计划。那么，你们在招哪些岗位？大概招多少人？都摊开讲讲吧。
Jan Leike：我们主要在招聘研究工程师、研究科学家和研究经理，而且我预计我们会持续招很多人。我猜到年底之前至少会招 10 个人。之后几年可能还会更多。那么研究工程师、研究科学家和研究经理这些岗位是什么样的呢？某种程度上，在 OpenAI 我们其实并不严格区分研究工程师和研究科学家。在这些岗位上，你都需要写代码，都需要自己跑实验。事实上，我认为非常重要的一点是要一直跑大量实验、小型实验，快速验证你的想法，然后迭代，努力更多地了解这个世界。总体上没有博士学位的要求，研究科学家岗位也一样。而且说真的，你甚至不需要以前做过对齐研究。事实上，没做过也许反而是好事，因为你会对我们试图解决的问题带来新的视角。不过，我们通常希望应聘者具备的是对这项技术工作原理的良好理解。你理解语言模型吗？比如你理解强化学习吗？你能搭建并实现机器学习实验并调试它们吗？在偏研究科学家的一端，我认为你会更多地被期望去思考接下来该做什么实验，或者提出想法：我们如何解决我们正试图解决的问题，或者有哪些我们没在考虑、但也许应该考虑的其他问题，或者我们应该如何设计能让我们学到更多的实验？而在偏研究工程的一端，则有大量工作是实实在在地把那些让我们能跑起来的东西构建出来。让我们把进展做出来。我们已经知道，就算我们有一堆好点子，那也不够，对吧？我们还必须实际去测试它们、构建它们，真正交付一些别人可以使用的东西。这涉及写大量代码。这涉及调试机器学习系统、跑大量实验，在 GPT-4 和其他大模型上搭建大规模训练任务。我认为在实践中，团队里大多数人其实都会在这个光谱上来回移动。有时候写代码多一些，因为我们大体知道该做什么。有时候更偏研究，因为我们还不知道该做什么，我们在启动一个新项目。但总的来说，你需要大量的批判性思维，要会提出重要的问题，并且对世界、对我们正在构建的这项技术抱有强烈的好奇心。至于研究经理，基本上这个角色是带领一个小型、中型甚至大型的研究工程师和研究科学家团队，朝一个具体目标推进。在这个岗位上，你应该设定方向：下一个里程碑是什么？我们该往哪里走？如何把"我们想理解某种类型的泛化"或者"我们想为自动化对齐做一个数据集"之类的模糊问题拆解开、变得更具体，然后弄清楚大家各自可以做什么。此外，还有大量日常管理工作：如何让大家有干劲、有产出，同时确保他们能协作顺畅，以及各种传统的管理事务。
Rob Wiblin：听起来，对于前两个岗位，最主要的是你对当前的机器学习技术有很好的理解。你要真的能上手，有能力构想实验并跑实验。还有没有其他具体的技能要求？或者说，什么样典型背景的人投来简历会让你特别兴奋？
Jan Leike：有很多不同的背景都适用。机器学习博士是人们进入这个领域的传统途径，尤其是如果你想做更偏研究的工作。我认为你完全不需要博士学位。而且事实上，如果你现在正考虑开始读博，我不知道你还有没有那么多时间。你应该现在就直接来研究这个问题。对于研究工程师，我想典型的背景可能是：你曾在某个 STEM 领域工作，然后你说："我不干那个了。我要花六个月，重新实现一批机器学习论文，用这种方式学一大堆东西。"或者是在某家科技公司做其他机器学习工程相关工作的人，现在想转到对齐方向。我认为那是非常好的候选人画像。我还想强调这一点：我们想招的大多数人以前都没做过对齐，就因为以前做对齐的人实在太少了。而且，我认为你需要的核心专长是机器学习技能。关于对齐有一堆东西你应该了解，但那些你来了之后也可以学，或者可以边干边补。我认为那没问题。
Rob Wiblin：关于研究经理这个岗位，我想你们要找的技能有些不同，可能需要更多管理经验。做一个好研究者和做一个好管理者不是一回事。这两者完全可能分离。所以经理岗位你们会找某种特定类型的人吗？
Jan Leike：是的。而且我认为这两者可能是负相关的，很不幸。
Rob Wiblin：我想有时候可能是这样。是的。
Jan Leike：是啊。但理想情况下，你以前管理过团队。我认为可以有不同的做法。有一种方案是把职责拆分给一个技术负责人（tech lead）或研究负责人和一个经理：经理承担更多管理职责，技术负责人则更多为团队设定方向、确保该发生的技术工作在发生。但在那种配置下，他们必须相处得非常好，必须真正想法一致，才能有效地分担这些职责。特别是，我认为经理仍然应该对我们要做的事情有非常细致的理解。不过理想情况下，我们想要的是一个人就能兼任这两个角色。背景可能是，我不知道，你在别的公司、或者机器学习的其他分支领域带过研究团队。或者你以前在其他领域做过管理，然后转为 IC——"IC"指个人贡献者（individual contributor）——参与某个大语言模型项目之类的。还有一种路径：也许你在某处做博士后，你有一个天天一起干活的小研究团队，工作非常重编码，你在用语言模型或强化学习之类的东西跑大量实验。我认为这些都是可能的画像，但很难说到底是什么样。我想更大的过滤条件其实是：你要真正在乎我们试图解决的问题，而且你得非常擅长写代码。你得非常擅长机器学习。
Rob Wiblin：据我理解，OpenAI 必须攻克的一件令人印象深刻的难事，就是搞到芯片、并让算力高效顺畅地运转。我想那是极其庞大的算力集群，让它跑起来的工程一点也不简单，而让它专门为机器学习目的工作又会增加额外的复杂性。你们在招做那类工程工作的人吗？
Jan Leike：OpenAI 整体上肯定在招。在 Superalignment 团队，我们打交道的方式更多是作为这些大规模实验运行基础设施的使用者。Superalignment 的成员需要能自如地调试这些大型分布式系统——因为如果我们在 GPT-4 上做一次微调，那就是这样一个系统；它不好调试。但我们不必去构建大语言模型的基础设施，因为它已经存在了，有其他人在做那件事。
Rob Wiblin：申请流程是什么样的？
Jan Leike：好。非常简单。你上 openai.com/careers，往下滚动，你会找到标题里带"Superalignment"的岗位。点进去，提交你的简历，说说你为什么想做这个。就这样。然后我们就会看到。
Rob Wiblin：流程还有后续步骤吗？
Jan Leike：我们遵循的一般面试流程是：先有一个技术筛查，然后是与团队成员的一次初步聊天，接着是现场（on-site）环节——我记得包括两到四轮编程或机器学习面试，以及一轮文化契合度面试。不过根据岗位或你的背景，流程可能略有不同。
Rob Wiblin：你们是打算比如先招 20 个人、长期只留下其中 10 个，还是更倾向于招那些你们大体预期能干得下去的人？
Jan Leike：我们想真正投资于我们招进来的研究者。
Rob Wiblin：所以更接近第二种。
Rob Wiblin：我想录用门槛应该相当高。有没有办法把这个门槛具体传达一下？我知道人们既可能过度自信也可能不够自信，如果有人其实非常优秀、却不觉得自己是那种理所当然该拿下这种职位的狠角色，那会挺糟糕的。所以，如果有什么更明确的方式说明谁应该来申请，会很有用。
Jan Leike：我是说，也许最重要的一句话是：如果你拿不准，请申请。
Rob Wiblin：假阴性的代价高于假阳性的代价。
Rob Wiblin：你在访谈前面其实已经稍微做过一点了，但你想不想直接向那些出色的人才做个动员，说说他们为什么应该申请来 Superalignment 团队和你一起工作？
Jan Leike：好。简而言之，我认为这是最重要的问题之一。我们真的必须把它做对。这不是可选项。我们想做非常有雄心的事情。我们给自己设定了在四年内真正解决它的目标。我们对此是认真的。所以，如果你想在一个由动力十足、才华横溢的人组成的团队里工作——他们在真正尝试解决有雄心的问题，并且拥有大量资源来做这件事——这里就是你该去的地方。我还认为我们身处技术的最前沿，OpenAI 在我们想做的事情上真正力挺我们。所以我认为，在这个问题上我们的胜算不比任何人差，甚至更高。我认为我们就应该放手去干、全力以赴。而你可以让这一切发生，那会非常令人兴奋。
Rob Wiblin：团队里也需要非机器学习、非研究类的人吗？总还有运营、传播、法务这些其他部门——还是说那类岗位就得申请 OpenAI 整体，而不是专门的 Superalignment 团队？
Jan Leike：对，是这样。而且总的来说，我也非常乐见更多真正在乎对齐问题、真正在乎 AI 未来向好的人，以任何角色申请 OpenAI——来帮我们把那个未来变成现实。OpenAI 有很多人真的很在乎这件事，但在乎这些问题、这些重要问题的人越多，我认为越好。
Rob Wiblin：是的。这次对话里冒出了那么多政策问题。我知道 OpenAI 的政策团队里有一些非常出色的人。
Jan Leike：没错。我可以点名一些其他团队。我认为 Policy Research（政策研究）团队在危险能力评估上做得非常出色，他们还在实际推动就"我们大家什么时候都该停下"达成协议。还有 Safety Systems（安全系统）团队，他们在实际改进我们现有模型的对齐和安全——比如把拒答做得更好、修复越狱、改进监控——所有这些问题都非常重要。对于某些听众来说，如果你对我们必须解决的长期问题更持怀疑态度、想做当下就有影响的事情，这些都是很好的团队，我对他们正在做的事感到兴奋。当然，OpenAI 还有很多其他团队在做重要的工作：改进 RLHF、改进 ChatGPT，还有所有这些法务、传播、招聘。要做的事情很多。我们专注于设法弄清如何对齐超级智能。但正如我们讨论过的，这不是我们需要的唯一东西。
Rob Wiblin：是的。如果有人不愿申请，是因为害怕参与进来可能会增强能力研究，而他又是那种认为加速能力研究是坏事的人，你会对他们说什么？
Jan Leike：我是说，如果你不想做那个，就别申请能力（Capabilities）团队。
Rob Wiblin：好，有道理。那么，我想显而易见的一点是：听起来在 Superalignment 团队工作，不会在任何全球层面上对能力进展做出有意义的贡献？
Jan Leike：我不想承诺我们做的任何事情都不会有任何能力上的影响。而且正如我们之前提到的，我认为一些最大的对齐胜利也会带来一些这类效应。我认为那就是现实，不可避免。我还认为，特别是在 EA（有效利他主义）社区里，存在很多这样的犹豫："如果我进入机器学习领域，或者在哪里做一份机器学习工程的工作，我可能会稍微加速时间线，如果我那么做就太糟糕了。"我认为那种推理严重低估了你在技能成长阶段先做一段这类工作所获得的职业资本增长和技能增长——之后你可以转到对齐方向。我认为总的来说，做能力研究的人已经那么多了，多一个少一个不会让它快多少。但做对齐的人没那么多。所以作为一个投身对齐的人，你实际上能产生大得多的影响。
Rob Wiblin：是的。每当这个话题出现时我们都会这么做：我会附上我们的文章《如果你想降低 AI 风险，应该接受推进 AI 能力的职位吗？》。那里面有我们向许多人提出这个问题后得到的回应，他们的观点确实各有不同。但我认为你刚才给出的推理——你个人给能力研究带来的比例性增量，相对于你给对齐研究带来的比例性增量会非常小，再加上你个人技能提升、之后能在职业生涯中运用这些技能的所有好处——至少在这个情境下，在我看来相当清楚。
OpenAI 的文化有哪些独特之处，是人们入职前应该了解的？有没有某种特定性格的人在那里特别如鱼得水？
Jan Leike：我认为我们总体上想真正欢迎各种各样不同的人、各种各样不同的性格——你知道，所有人。我认为在如何处理这个问题上，我们正需要大量的思想多样性。很多人以前也说过：这个问题还有非常多非机器学习的方面。所以，特别是如果你是那种拥有非传统背景、后来转入机器学习的人，或者有一段不典型的"出身故事"，我认为那超级宝贵。总的来说，我非常在乎营造一种真正温暖、友好、包容的团队文化，同时也为大家创造充分的心理安全感，让人们敢于对我们正在做的一些事情、或我们的总体方法发表尖锐的看法。我们很希望你能为此添砖加瓦。我们需要协作来解决这个问题，这不是比谁能抢到功劳之类的。这个问题就是需要被解决。
Rob Wiblin：如果一位非常有才华的人想转行做技术对齐，但出于某种原因不可能加入你们的 Superalignment 团队，还有什么别的地方，是你非常乐见他们去申请的、不在 OpenAI 的？
Jan Leike：有。还有其他一些我认为做得不错、工作非常酷的 AI 实验室。你知道，Google DeepMind 或 Anthropic，还有一些学术实验室在做非常酷的东西，比如在 Berkeley、Stanford 或 Oxford。我会考虑申请那些。另外，我们不得不拒绝非常有才华的人时总是很难过。但我们是一个小团队；我们不可能雇下所有人。而且有时候人们还没有完全准备好，把重心放在进一步的技能积累和职业资本投资上是好事。我认为那也是一个非常正当的策略。总的来说，经过我们招聘流程的人，大概普遍低估了去另一家公司做研究工程岗位、提升技能、学一大堆东西的价值，而做这件事的机会有很多。
Rob Wiblin：是的。再问几个实际问题：可以远程工作吗？你们能为非美国公民办理签证担保吗？
Jan Leike：签证我们肯定担保。远程工作总体上不被鼓励，因为几乎整个团队都在 San Francisco。我们每周至少进办公室三天，协作起来就是要容易得多。所以如果你能做到这一点，那会非常好。
Rob Wiblin：在我们继续之前，你还有什么想说的要点吗？
Jan Leike：有。非常感谢你让我在这里为这些岗位做宣传。我非常期待有更多真正在乎这个问题、真正在乎未来向好、想确保人类顺利完成向后 AGI 世界过渡的人加入。也谢谢你做这件事。
Rob Wiblin：好的。我们已经严重超时了。我留你聊了很久，我相信你为筹建这整个项目还有一大堆事情要做。也许走之前问最后一个问题：你有最喜欢的科幻作品吗？
Jan Leike：我非常喜欢 Greg Egan 的书。其中很多都很老了，比如《Permutation City》（《置换城市》）是我的最爱之一。他玩味的很多想法在当时肯定显得非常离谱。但现在，它在很多方面显得离现实近了不少，你能感觉到那些怪异的科幻点子正一点点变成现实。而且我其实还喜欢他试图描绘一幅社会长远来看可能是什么样子的正面图景。
Rob Wiblin：是的。不管你说哪部，我都打算问：你的生活比那部科幻作品里描绘的更怪异，还是没那么怪异？我其实不了解《Permutation City》，你能不能快速讲讲它是关于什么的，以及它是否比你在这个世界上的处境更怪异？
Jan Leike：那肯定，它比我的生活怪异太多了。《Permutation City》这本书玩味的是上传（uploading）的想法：拥有人类的数字副本，生活在一个数学宇宙里，以及这一切意味着什么，而且虚拟人可以改写自己的代码。诸如此类的很多事情我们还做不到。也许从某些方面说，AI 能做到，或者也许在不远的将来、中期的将来，如果我们在可解释性上取得进展，AI 可以改写它自己神经网络的一部分之类的。我是说，我不知道。在科幻里这非常天马行空，对吧？这正是它酷的地方。
Rob Wiblin：是啊。我不知道。我确实有时候觉得我们正活在一部科幻小说里。
Jan Leike：噢，这才哪到哪。以后会怪异得多。
Rob Wiblin：是的。好吧，那我们就期待 2030 年代或 2040 年代的那些了。
Jan Leike：我不知道具体会怎么发展，但我向你保证，按今天的标准它会很怪异。
Rob Wiblin：是的。好，祝这个项目好运。我非常期待看到它的进展。今天的嘉宾是 Jan Leike。非常感谢你来到 The 80,000 Hours Podcast，Jan。
Jan Leike：非常感谢你邀请我。
Rob Wiblin：在结束之前，我想提醒大家，80,000 Hours 确实提供一对一咨询，帮助人们弄清如何在职业中产生更大的影响，而且我们特别期待与那些想从事 Jan 在本期节目中谈到的这类职业的人交流。你可以在 80000hours.org/advising 申请与人交谈。咨询团队正在建设的一项新功能，是把咨询对象推荐给雇主、对接具体机会的系统。你很可能没法始终跟进你感兴趣领域里的新机构和新职位，因为，嗯，你怎么可能做到呢？所以，有一对一团队为你提供支持会很方便：他们会帮你留意可能出现的相关机会，并在根据你们的交流内容判断非常匹配时，主动推荐你，给你助力。注意，这是该服务中可自主选择加入的部分，所以如果你只想要建议，建议服务依然为你保留。当然，我们仍然无法为每一位申请者提供咨询，有时我们甚至会拒绝一些人，因为他们已经有了合理的计划，我们不清楚还能补充什么。但尽管如此，如果你正考虑在职业中产生更大的影响，或者在琢磨如何积累职业资本、让自己将来处于更有利的行善位置，我绝对鼓励你申请职业咨询。再说一遍，地址是 80000hours.org/advising。好了，The 80,000 Hours Podcast 由 Keiran Harris 制作并剪辑。音频工程团队由 Ben Cordell 领衔，母带处理和技术剪辑由 Milo McGuire 和 Simon Monsour 完成。附加内容编辑由 Luisa Rodriguez 和 Katy Moore 完成，Katy Moore 还负责整理完整的文字实录以及一份内容丰富的延伸阅读链接合集——这些都可以在我们的网站上找到。感谢收听，我们下期再会。