我完全同意，continual learning 确实是要害所在。它确实是我们正在构建的核心，但我并不认为这是一个被忽视、偏离当前路径的难题。我认为它正是我们努力的方向。在 alignment 领域，还有哪些研究方向是你关注或认为有前景的？alignment 的许多长期挑战在于 generalization。模型在 fallback 时依凭的是哪些价值观？要真正让模型在其他领域也表现良好，还需要弄清哪些问题？这让我再次意识到，Ilya Sutskever 是 OpenAI 的首席科学家，我认为他简直是地球上最重要的人物之一。而今天在 Unsupervised Learning 节目中，我有机会向他请教几乎所有我一直在思考的问题，我知道生态圈内许多人同样关心这些。我们聊了很多关于模型进展的话题，探讨了要让能够长时间运行的 agent 工作需要哪些条件，还谈到 OpenAI 在 AI for science 领域所做的非常有趣的工作，以及他对未来几年该领域进展的预期。我们还深入讨论了企业当下应当如何思考模型构建、何时该做 reinforcement learning，以及它们该如何看待 harnesses 的演进及其将带来的影响。我们也谈到了 OpenAI 此刻的聚焦时刻，这对研究组织意味着什么，以及他是如何带领团队的。能跟这样一位推动了诸多变革、彻底改变了整个行业乃至世界的人对话，实在是难得的机会。希望听众们也能像我一样享受这场涉猎广泛的对话。我觉得你是回答生态圈内所有人共同疑问的最佳人选。比如模型进展究竟到了哪一步。许多公司都在思考，应当如何根据模型的最新发展来构建自己的产品。在社会层面，很多人也在思考 AI 将对科学和更广泛的社会产生什么影响。而过去这些年，几乎每一代技术进步的浪潮中，你都站在最前沿。所以非常高兴你能来这档播客。
——很高兴来到这里。我想先从你说过最引人关注的一点谈起：四个月前，你和 OpenAI 团队曾提到，目标是在今年九月前打造出一个具备研究实习生水平的系统，也就是再过大概六个月。然后再到 2028 年 3 月，实现一个更加全自动化的 AI 研究员。四个月过去了，你目前对这些时间线感觉如何？是的，我认为过去这几个月里，真正发生的变化是我们见证了编程工具的爆发式增长。
——没错，这说法都算保守了。没错，OpenAI 内部确实已经发展到这样的程度：我们大部分的实际编码工作都在用 Codex 完成。所以我觉得，对大多数人来说，编程这件事本身已经发生了相当大的变化。因此，我绝对会把这看作一个信号，说明某些事情正走在正轨上。另外，过去几个月让我非常关注的另一个进展是数学研究能力的提升，还有我们在物理和其他领域看到的成果。我认为这种能力水平——也就是当模型具备提供洞察的能力，同时又能访问基础设施、或许还能利用更多 compute test time 时——这是 Codex 目前尚未达到的。而且我预计在未来几个月内，general intelligence 的整体水平也会出现非常强劲的提升。是的，这仍然是我们正在积极规划、高度聚焦的事情。那你怎么判断自己已经达到了那个水平？有没有一种工作流，可以让你确认：好了，我觉得我们已经具备了研究实习生级别的能力？我区分研究实习生和完全自动化研究员的标准，在于模型能够大体自主运行的时间跨度，或者任务被指定时的具体程度。所以我并不指望会出现这样的系统：你直接对它说，去提升你的 model 能力，去解决 alignment，它就能做到。今年内还不会，虽然我觉得未来某个时候也许会达到。但我认为，对于一些更具体的技术思路——比如我有了一个改进模型的具体想法，或者想换一种方式跑 evaluation——我觉得我们手里已经有大部分拼图，只需要把它们组装起来。
Andre Karpathy 之前发布了一个相当火的案例，用这类模型去改进他自己的一些模型——当然，那些模型比你们正在做的要简单得多。但这感觉是不是大体上体现了这些工具未来可能呈现的形态？是的，我觉得在精神上是符合的。我的意思是，我预计它会呈现出一种从 Codex 当前状态持续演进的形态，朝着更自主、能运行更长时间的方向发展。而且我认为我们会看到很多这类应用。总体而言，我们会看到模型在不同任务上更加自主，并且消耗更多 compute。你提到了数学和物理方面，显然你们在数学上取得了一些非常令人印象深刻的突破，解决了一些有趣的竞赛类问题。我觉得听众们大概能直观地理解，编程能力的进步如何直接转化为对 AI 研究的帮助。但数学和物理方面的进展又是如何与这一目标联系起来的呢？专注这些数学 benchmark 对我们最大的作用，是作为衡量和指引如何改进这项技术的 general benchmark 和 North Star，对吧？数学是非常可衡量的。判断你是否真正解出了一道数学题，远比判断你是否写出了一段好的软件要容易得多。而且它也可以变得非常困难。你可以有一些题目，判断是否解出来是很明确的，但实际去解却可以几乎难到任意程度。要知道，就在不久前，我的看法还是这样的：好吧，我们的模型也许连简单的数学题都解不了。后来变成：我们的模型能解简单数学题了，但还解不了 IMO 级别的题目。所以很明显，这些模型的 intelligence 存在着一个鸿沟，而这非常可衡量、非常容易测试。我们需要做什么也非常清楚。而这成为了我们发展 reasoning models 等事项的 North Star。当然，现在情况已经发生了很大变化。我们已经达到了一些一直为之努力的里程碑，比如 IMO 金牌水平、解出 IMO 第六题，并且在研究级别的数学上也在取得进展。而从这一点出发，我认为继续以此衡量进展肯定仍然有价值。我认为，数学推理能力的提升确实会迁移到 AI 研究能力的提升上。我们很多最优秀的研究人员都是数学家出身，或是来自其他理论领域。但毫无疑问，我们正在大幅改变对这些北极星指标（North Stars）的看法，我们非常关注正在开发的下一代模型如何在现实世界中真正发挥作用——特别是对 AI 研究有用，同时也对其他具有经济价值的活动以及其他科学领域有用，尤其是可能更偏应用的科学领域。这种转变的原因在于，我们相信模型现在已经具备了足够的能力——虽然并非在所有方面都和人一样聪明——但足以实质性地改变经济，改变人们做事的方式。因此，我们对此感到很强的紧迫感。在早期，选择一个像数学这样很难解决但容易验证答案是否正确的领域，可以说是最理想的起点。我认为代码显然与数学有很多共同特点，它容易被检查和验证，而且非常适合做强化学习（reinforcement learning）。我想很多人都在思考一个问题：我们看到强化学习在那些容易验证结果的领域表现得非常出色。世界上有很多有价值的任务，比如医学、法律、金融，在某种程度上也能验证，但肯定达不到数学和代码那样的程度。所以，我想很多人都在试图弄清楚，我们是否会在这些领域看到类似的进步？显然，代码和数学领域的进步速度是如此惊人，令人震惊。是的，我对此完全抱有期待。我认为我们经常思考的一个有趣的对偶性是，对于那些更通用的、更难评估的任务，它们与长周期任务（longer horizon tasks）有很多共同之处，对吧？因为即使是一个定义非常明确的数学或编程问题，如果你需要花一年时间来做，那么即使成功的标准非常清晰，但从长期来看，第一天该做什么其实是一个相当开放的问题。是的，所以我认为这些困难是重合的，而且它们显然是我们系统发展的下一个前沿。我认为我们确实看到了非常令人鼓舞的迹象，无论是在将这些更通用领域上的 RL 规模化方面，而且我认为我们也可以做规模化扩展，不过我也不确定这样是否展现出了很大前景。在这些其他领域，感觉最难的事情之一就是知道一项任务中什么是成功，对吧？你可以想象，无论是代码和数学所面临的短期任务问题，还是长期任务问题，在那些之外的领域，这些问题都会被放大，对吧？在这种情况下，短期的法律任务或医疗任务可能更难运行数千次迭代，对吧？并弄清楚这样做是否正确。而那些长期任务，就更难了。我很好奇你是如何构想这个研究挑战的。你需要弄清楚哪些事情，才能真正让模型在这些其他领域很好地工作？是的，我想我还是会回到这个问题上，我想告诉你的是，我们如何让模型在很长时间内工作，以及我们如何教它们评估部分进展？是的。我的意思是，如果你看看 RL 之外，这种长周期任务的进步来自哪里，对吧？随着模型在预训练中通过纯监督学习变得更加一致，它们会对“一个好的中间成果应该是什么样子”有一些概念。所以我认为，即使我们没有非常有意义地扩大 RL 的规模，随着时间的推移，我们也会看到这些任务周期的延长。是的，如何利用 RL 等方面的新思路并将其应用到通用领域，这确实是一个挑战，但我对此相当乐观。是的，这很有趣。听起来你的思维模型的一部分是，模型本身能够以某种足够可靠的节奏来检查进展。至少从外界看来，目前还不完全清楚我们是否已经在 RL 中看到了泛化能力。感觉我们……是的，显然你们似乎有一些技术，能够围绕我们选择关注的任何方向来优化模型，但这几乎感觉像是一种更老派的 ML 版本，一次只做一件事。你同意这种描述吗？你如何看待当前这种局面？嗯，我们在大量采购算力，对吧？因为我们……我的意思是，我们仍然相信扩展定律（scaling law），我们比以往任何时候都更相信它。是的，我们看到了新技术，也找到了新的扩展方式，但这基本上是我们看待事物的透镜。是的，我认为有一定程度的复杂性是我们需要去应对的，也是每个人都需要去应对的，因为我们不再真的是那种完全与现实世界隔绝的“空中大脑”了，对吧？比如如果你真的想让这个模型做医学研究，如果你想让它治愈癌症，在某个时刻它需要以有意义的方式了解现实世界，也许要进行一些实验并从结果中学习。为此你需要弄清楚如何将它真正与现实连接起来，对吧？这将涉及到一些你所说的方向上的东西，但我不认为这与我们发现并扩展那些我们一直在开发的简单算法相矛盾。我感觉我和很多公司聊过，这些天大家似乎都在问的一个主要问题是：我们应该自己做强化学习（reinforcement learning）吗？比如，拿一个开源模型，我们有一些关于人们所做任务的数据。我们有 evals，因为我们对自己的领域非常了解。对我们来说做这件事有意义吗？还是说我们应该等着模型在这些方面继续变得更好？你会给播客里众多听众中的建设者们什么建议，当他们在思考要在强化学习方面投入多少的时候？强化学习确实可以是一种非常数据高效的方式，来真正提升模型在某个任务上的表现，对吧？不过还有一种我们已知的、数据效率更高的学习方式，对吧？那就是上下文学习（learning in context）。这也许是最根本的方式，人们通过给出例子和指令来教这些模型你想要什么。我预计这种学习方式会随着时间的推移变得好很多。所以，我认为模型能够适应你的上下文，能够适应你所关心的任务类型，这一点绝对非常重要。所以，我认为这将非常关键。我不确定复制当前的 RL 流程是否会是正确的方向，但这确实是我们正在思考的问题。是的。所以，这几乎就像是你仍然得做这些工作。你仍然需要搞清楚哪些邮件是重要的，收集数据和示例，但未来情况可能会变成，你把这些内容直接输入到上下文里，远比试图在你自己的模型上做任何事要有效得多。是的，我认为这非常有可能。而且我认为，显然大家都看到了 Codex 这类工具的成功，我知道你显然是其中的核心推动者之一，然后人们也会想，嘿，我们是否需要构建自己的工具框架，或者自己使用这些系统的方式？还是说在我们自己的领域，无论是法律、金融还是医疗，我们只需要拿大型模型现有的工具框架，结合我们拥有的上下文来使用就行了？对此你有什么看法？工具框架的实现本身在很长一段时间内都不应该成为限制。我认为我们能够得到更通用的工具框架，让人们可以应用到各种其他领域。我觉得 Codex 其实非常好用，如果你把它用在编程以外的事情上。这很有趣。一个更通用的工具框架，几乎是可以自适应的，或者无论你所在领域有一组什么样的特定工具，或者你想向模型暴露哪些特定功能，它都能直接运行。是的，我是说，我觉得也值得思考，我们最终想要与模型交互的界面到底是什么样的。模型可以生成某种 UI 框架，对吧？它们可以构建自己的 UI，可以做那些人们会觉得很耗时的事情。但我确实认为，让模型能够接入我们人类目前正在使用的现有界面，这里面也有很大的空间。比如，AI 可以接入 Slack，或者接入我们的联系人，并从中学习，进而能够调用这些现有东西。所以，这中间肯定需要某种折中，但我坚信长期来看，AI 默认应该主动适应你所在的地方。如果不是这样，那应该是因为它具备了新的能力，而不是因为它存在局限。是的，这个观点很有意思。基本上今天的感觉是，这些工具框架对特定环境来说是高度定制的，但随着时间推移，当你加入越来越多的技能和工具，模型也能有效地在这些工具间穿行，届时就会有一种通用的——你知道，就像人类拥有的那种方式——那将非常合理。我很好奇，显然你每天肯定都会在研究侧看到各种疯狂的东西。到目前为止，还有哪些里程碑对你来说是真正有意义的？就是你会想，“如果有一天我看到 X 或 Y，那将非常疯狂。” 你最关注的是什么？是的。我是说，在这一点上，真正重要的是研究，对吧？关键在于模型能够发现新东西，能够执行长期的研究课题。这几乎就像是在寻找某种洞见，让你不禁感叹：“哦，如果我团队里有人提出了这个，我会非常感兴趣。”
是的。我们确实已经从类似 GPT-5.2 Pro 这样的模型那里得到了一些相当有影响力的想法，但这完全只是开始，相比我的预期，目前仍然只是很小的一部分。是的。我的意思是，这些模型几乎不可避免地会变得更好。它们将被用于研究，更广泛地用于科学。你几乎是最早直接与这些模型互动、把它们当作研究伙伴的人之一。关于如何正确地与模型合作，你有什么心得吗？或者随着这些模型持续进步，你认为研究机构可能会变成什么样？是的。我认为我们肯定正处于一个转折点，模型的短期即时质量将很快成为决定我们研究进展速度的关键因素，因为模型将驱动很大一部分研究工作。因此，这确实需要改变一些关于如何运营研究机构的直觉。通常你会尽量不去关注即时质量，而是更专注于长期目标。我觉得我们有很多非常令人兴奋的方向正在推进，但我感到非常紧迫——需要真正去执行，去利用模型智能的这些进步来加速 AI 研究，尤其是 AI alignment 的研究。是的，这个观点非常吸引人，因为我以前听你谈过运营研究机构。我觉得过去更像是给人们空间去追求那些并不直接对应“这是为了一两个月进度”的事情，而是关注哪些想法真正能推动事情前进。但现在我们处于一个时代，你会说，看，如果我们短期内专注于这件事并把它做好，我们做的一切都会好得多。在运营一个组织的同时，既要处理这些长期研究想法，又要兼顾当下，一定非常考验人。是的，这确实是我们现在和 Mark 花大量时间讨论的事情。现在你拥有大量的算力，显然你在 pre-training 侧有很好的 scaling law，在 RL 侧也有很好的扩展性。你可能还有很多实验与这两个方向都无关，但属于有趣的新方法。你如何看待在这些事情之间分配 compute？是的，这将会非常复杂，对吧？因为我们要做的事情太多了。我们开始保持的一种原则是，尽量明确地将一大块 compute 预算分配给那些我们认为对推动通用模型智能最关键、且最具可扩展性的方法上。而且，即使这并不总是最高效的 compute 分配方式，因为如果你把这么多 compute 投入到一个实验或一组实验中，你本可以用其中一小部分去加速很多其他事情。但是，我觉得面对我们正在做的所有有趣且重要的事情，我们很容易把这些 compute 全部分散掉，最终却没有真正去做那些我们认为最重要的事。你当然希望理解经验证据，确保你的评估体系井然有序，并且具备实验严谨性。然后你还想基于一些约束条件来做调整，比如：“我们理解这个方法吗？我们真的预期它能 scaling 吗？我们预期这是未来可以持续构建的东西吗？还是说这只是一次性的？”我认为要基于这些来确定价格。是的。这很有意思。你可能发现了所有自己明知可以改进的方法，但它们感觉上可能有点偏离你所认为的整体进步弧线。因此，在某种程度上你会放弃一些低垂果实，因为真正重要的是找到未来的方向，然后在此基础上做 scaling，并投入计算资源。显然，我们谈了很多关于 Codex 以及编程成功的事。感觉去年就像是编程领域疯狂 hill climbing 的一年。我很好奇，显然 Codex 已经是一个极其成功的产品。在很多方面，Anthropic 可以说是第一个进入这个市场的，Claude code 曾是那里的主导产品。回想一下，你怎么看 Anthropic 在这个领域取得的成功？是的，我认为这实际上取决于你是否真正将产品方向聚焦在你所认为的下一个技术应用落点上。如果你看看 OpenAI 产品层面的优先级排序，我的意思是，我们确实一直在做编程项目，但它们某种程度上是次要的，相比我们的主要优先级而言。有趣的是，这并不太反映 OpenAI 内部研究组织的优先级。我认为，鉴于 ChatGPT 取得了爆发式的成功——ChatGPT 本身正在演变并且还将继续演变——但就 2023 年的版本而言，这个特定的产品虽然肯定与我们对 AI 发展方向的愿景相当一致，但它并不真正代表它所赋能的一切。因此，我们大部分研究工作都聚焦于那个未来的方向，而且我认为它越来越脱离了我们短期的产品策略。是的，我对我们一直在构建的东西，以及正在模型智能研究方面构建的东西非常有信心。我们在产品方面增加投入和重点关注，实际上是为了能够部署它们，并相信它们才是真正重要的东西。是的，现在感觉显然整个公司的优先级仍然锁定并聚焦于此。而且你看到最近几个月 Codex 取得了惊人的进步。对于所有听这个播客的开发者来说，当这些模型在越来越长的任务上不断 hill climbing 时，世界会变成什么样子几乎让人难以理解。你认为他们的生活会有什么不同？或者说，在未来 3 到 6 个月里，他们会如何使用 Codex？我知道在这个世界里，3 个月和 6 个月是非常不同的时间线，但你可以随便选这之间任何一个时间点。我预期，你会逐渐提高愿意让模型自主运作的程度，包括你交给它的任务描述的详尽程度，以及它所需的监督程度。我认为我们离能够自主工作几天的模型已经不远了。可能只是需要比现在多得多的计算资源，它们就能独立产出质量高得多的产物。你有没有一种直觉，关于一直以来存在的这个问题：世界是否会变成这样——你是否需要软件工程技能来监督这些运行几天的模型；还是说，最终会发展到某个阶段，任何人都能够使用编程智能体并监督它们产出某种结果？我的意思是，我认为对于许多产出，你已经不需要那么多经验了。不过，我仍然会在这里区分实习生和真正自主的研究员或软件工程师：如果你想构建更大的东西，你可能仍然希望进行监督，仍然希望有一个总体的统筹，能够识别哪些构建模块适用、哪些不适用。但我确实预期所需的技能组合会随着时间的推移而发生相当大的转变。是的，转向这种更宏观的愿景设定。你知道，我想在研究方面，大概一个月前，我感觉所有人都在谈论 continual learning，它简直成了时代精神。有很多新实验室开始专注 continual learning。一些人离开 OpenAI 去专注这个。我很好奇，我认为这背后的部分原因可能是相信仅凭 RL 要么无法让我们达到目标，要么会让我们达到某种非常低效的 scaling 水平，而且这与人类学习的方式也有所不同。我想我甚至听过你之前说过，今天的 RL 仍然与人类学习方式非常不同。你怎么看待这场运动？是的，我对此有点困惑，因为在我看来，我们一直以来拥有的那种兴奋感——如果你看看 GPT-3 论文的标题——就是说这类模型实际上具备 continual learning 的能力，能够在上下文中学习如何学习。这实际上是推动我们进一步扩展 GPT 模型的核心动力。这也是为什么我们真的需要用 RL 来训练它们，以便更高效地在上下文中学习的前提。所以我完全同意 continual learning 确实是关键，是我们正在构建的核心，但我不认为这是一个与我们当前路径无知地偏离的问题，我认为它正是我们努力的方向。是的，我认为你认同这一点——到达那里的最佳单一路径是继续扩展 pre-training 和 RL。我认为这是迄今为止我们在该问题上取得最大进展的方式，而且我认为肯定还有更多想法、更多步骤。我也认为很多进步将单纯来自 scale。是的。我想我们有很多听众可能用这些模型做了很多较简单的事，然后他们尝试做一些更复杂的，我不知道，叫它们百步或更长期的任务，然后他们会说，模型还没法做这个。而且我认为这更难。你在内部不断感受到这种进步，但对他们来说，感觉就像是，这距离能够做这种长得多的任务还有天壤之别。你是怎么向他们说清楚的，我是说，要让这些更长期的步骤发生，需要满足哪些条件？是像你之前说的那样，需要更频繁地检查进展吗？还是说，我感觉研究界存在一种信念，觉得所有这些任务都会在未来一两年内被解决，而在实际应用场景中，很多人可能并没有完全理解我们一直以来看到的那条能力提升曲线？是的，我的意思是，很多这种预测确实只是来自于观察历史的能力提升曲线，对吧？而且我认为我们越来越能大致看清这里的整体轮廓了。我不认为这主要是因为模型变得足够聪明，能够意识到自己是否在取得进展。我觉得其中一部分是非常务实的工作：模型是否真的能够访问所有需要的上下文、所有文件、所有基础设施，来完成你期望它们做的工作。是的，我记得以前我们在讨论 RL 的路线图时，我当时明确感觉到，好吧，我们只需要优先教会模型用自身的 token 进行推理，然后当然还需要让它使用工具、与环境交互。你知道，在某个阶段我们肯定要教会它视觉，对吧？在某个阶段我们需要教会它使用物理躯体，对吧？但是，是的，我的意思是，我认为我们肯定已经进入了这样一个阶段：模型真的需要与环境交互，真的需要视觉能力，而且你知道，也许很快我们就会真正造出机器人。不过，是的，很多时候当我听到人们抱怨模型做不了这个或那个时，其实 literally 只是因为你没有接入系统，或者没有给它输入足够的上下文。实际上，我有时会想，如果上下文能够通用并顺畅地融入这些场景，我觉得很多问题其实用今天的模型就能解决。我想聊聊你们在 AI for science 方面做的一些工作，特别是其中一件事。我觉得 coding 是每个人都能直观感受到的，因为你知道，每家公司都在用这些工具，而且获得了巨大的生产力提升。而数学这边，不是所有人都参加过 IMO 竞赛，不一定对这些突破有同样直观的感受。所以，我知道你们做的一项非常有趣的工作是关于 first proof 的，对吧？我认为这些问题与传统竞赛数学非常不同。我想请你稍微讲讲这个，因为我觉得这是一个我们的听众可能不太熟悉的领域，他们也不太了解模型在这方面做出很酷的工作意味着什么。是的，你知道，我对 first proof 挑战非常兴奋，因为那一项某种程度上算是一个 benchmark，对吧？就是几位受人尊敬的数学家、理论计算机科学家发布了一些他们认为能代表日常工作的题目，但这些题目从未在任何地方发表过，这样我们就能让模型真正去尝试。我们对这个挑战非常兴奋，但你知道，它基本上是毫无预警地发布的，只有一个星期左右的截止日期来完成。当时我们正在训练一个非常激动人心的模型，所以负责训练的一位同事 James Lee 就开始手动给那个模型写 prompt，然后，看到它真的在解决这些问题，这真的非常迷人。你知道，其中一道题其实来自我读博的领域，看到模型想出一些我可能会为之骄傲、觉得要花一两周才能想出来的点子，而它大约一个小时就想出来了，那种感觉非常……是的，非常奇妙，对吧？就像以前，我有过类似的感觉是在看我们的 Dota 机器人无穷无尽地打出非常有趣的 Dota 比赛时，感觉就像有某种魔法在发生，因为你知道，有趣的事情不应该是无穷无尽的。是的，所以看到数学上也发生了这种事，对吧？对于我认为实际上很能代表我们正在做的很多工作的先驱、以及世界上很多真正重要的工作而言，是的，这绝对大大增强了我的紧迫感。另一件很迷人的事情是，你在训练这些模型，然后把这些问题丢进去，没人知道它们解决这些问题能有多好的表现。而且我觉得，看到自己如此熟悉、花了这么多时间的领域，然后意识到“嘿，上一代模型可能根本做不到这个”，甚至可能都没想过这会是用来测试的 benchmark，但它就这样展示了模型的通用能力和进步，这一定很迷人。我的意思是，现在到了这样一个阶段，我们需要去找特定领域的专家，才能告诉我们这些证明到底对不对。但比起 coding 这类事情，判断你是否真的取得了进展还是要容易得多。因为诚然，竞技编程你可以评估，但大多数编程不是竞技编程，它关乎的是抽象层次是否正确，是否能处理所有边界情况，等等。是的。我觉得，也许一年前有一种很普遍的批评，现在不知道是否还那么强烈，就是说“好吧，这些模型只是模式匹配器，但你要是想把 AI 用在科学研究上，我们不可能从模式匹配中得到新想法，或者完全新颖的东西”。感觉我们一直在瓦解这种说法。我们是不是越来越接近从根本上反驳这一点了？我相信是的。我的意思是，我觉得按规模来看，我们开始看到一些微小的进步了，对吧？不是什么巨大的突破，就是这里或那里冒出一个小想法。也许有一些与科学家合作的更重磅的论文。但是，你知道，AlphaZero 是模式匹配器吗？AlphaGo 是模式匹配器吗？我们的 Dota 机器人是模式匹配器吗？它们确实为各自的游戏想出了新策略。嗯，有趣的是，其实早在 2016、2017 年就有反例了。对对。而且你知道，我认为你总能找到漏洞，我觉得这很有意思，比如 AlphaGo 可以被某种策略击败，我们的 Dota 机器人也可能被某种策略击败。我认为这些模型在很长一段时间内还会有很多缺陷。但我也认为，正因为它们具备这些能力，所以能够发现新事物。你知道，这种方式，是的，我的意思是，从非常小的游戏环境发展到更广泛的科学研究，这花了几年时间，而在此期间需要大致遍历所有人类知识，并且学习所有人类语言等等。但我认为基本原则是非常相似的。是的。你知道，有趣的是，我想当你们得出第一批证明结果时，如果我没记错的话，组织者们评论这些AI解决方案时说：“这感觉像是19世纪的数学，那种蛮力的、计算密集型的方法，而不是优雅的现代技术。”我不确定这是这些模型工作方式的特性还是缺陷。但听到这些，我是说，这会让你担忧还是兴奋？我并不担忧。我是说，我认为这是意料之中的。我确信至少有一个问题我实际上得到了相当好、相当漂亮的结果，比预期的解法要短得多。你知道，但我认为总体上你会预期，是的，这些模型在短时间内能产生比人多得多的推理，对吧？就token或thoughts的原始数量而言。我不认为这会是一个长期的特点。目前AI for science的势头似乎非常强劲。而且你显然提到过，在某一时刻你必须将这些模型与物理世界连接起来。你们发布了一些与Ginkgo合作的很酷的东西，还有一些其他正在尝试的东西。我相信你一定深入思考过AI在诸多不同科学领域的应用。当你深入研究这些东西时，你是否形成了某种直觉？当你展望三年后，在哪些科学领域你会觉得会有疯狂进展，而哪些可能会对即时变化更有抵抗力？你知道，坦诚地说，我的直觉是，这实际上取决于那些需要大量手动工作的领域，模型还不能即插即用，生态系统也还不够成熟。但不同实验室也会很快适应这些新技术。在这些STEM领域内，显然，我觉得问题在于这是让LLM接入物理世界，还是你有专门围绕这些领域创立的公司，对吧？比如生物学领域的Isomorphic，材料科学领域的Periodic，或者机器人领域的Physical Intelligence。你的直觉是，在多大程度上用独立的、不同的模型架构来追求这些东西是有意义的，versus 全部在一个地方完成？是的，我觉得这有点类似于我之前关于Codex UI的回答，就是我更倾向于围绕技术的能力来构建，而不是过多围绕它的局限。所以，如果你拥有某种能突然设计大量有趣化学或生物实验的东西，那么建造实验室来实现它是有意义的。我认为如果我们真的到了模型非常擅长设计高质量实验的地步，让它与人类在循环中协作也是有意义的，对吧？我们不应该把它想成要么完全自动化，要么只是作为附带工具使用一些功能。我们会进入这样一个世界：与努力钻研问题的AI科学家合作是一件非常自然的事。是的。这很有趣。这几乎像是两种不同的愿景。一种愿景是，你训练一个模型来端到端地执行这些任务，成为自动化的生物学家、化学家或其他什么。另一种则是，你构建真正的工具，既能提出又能运行实验，与大量人类研究者协同工作。你知道，我不一定会这样描述。我的意思是，当然在某种程度上它们是工具，但我认为我们正在走向一个点，它们将驱动整个过程的大量设计和构思。是的，基于LM架构，但能够找出该运行哪种实验、然后真正设计出实验。是的，谈到不同架构，当然，自然语言推理是我们正在优先推进的那类工作，它赋予了你很强的通用性。但有些东西是你想要训练一个不同的模型去建模的，对吧？你知道，我认为即使你想创建一个非常好的world model，大语言模型也不是最有效的方式。所以它们最终可能给出最好的模型，但你知道，我觉得这对蛋白质折叠或这类其他任务来说也是类似的。是的，所以你认为围绕这些开展一些独立努力是有意义的，但最终会与一个核心的、非常优秀的研究型大语言模型配对，由它来推动很多事情。是的。我还想确保谈谈AI安全，因为我认为这是你做了大量开创性工作的领域。而且，我不确定所有听众都熟悉你实际上跨实验室做过一些非常有趣的工作，对吧？而且专注于chain of thought monitoring。那么，也许先给我们讲讲这项工作，以及你们发现了什么。是的，所以这实际上是我们在看到第一批当前这类推理模型时的认识。我们意识到，好吧，这能行，对吧？我们非常多地在思考这意味着什么。我们想，好吧，可能它们真的会在接下来的一两年或两三年内改变这个领域。我们一直在思考这对安全、对我们理解这些模型行为的能力意味着什么。我们意识到，由于我们训练这些模型的方式，由于我们不直接监督推理过程，对吧？不像ChatGPT那样试图保持礼貌和友善，而且它总是告诉我我的想法很棒。是啊。嗯，你知道，那是另一个问题，对吧？但即便假设它的对齐方式完全符合我们的预期——绝非那种阿谀奉承式的对齐——它仍然不会透露某些东西，不会透露它的动机和时机，因为这可能不安全，也可能不够友善，又或者它实际上并非如我们所想的那样对齐，只是它想隐藏这一点，对吧？而我们训练 reasoning 模型的方式——chain of thought——并不包含这些。它并没有被优化成某种特定形式，因为它只是没有被直接评分，对吧？它的评分只取决于它如何关联到生成高质量输出。我们意识到，这实际上是一种非常有力的范式，能够帮助我们解读模型在做什么。这其实与 mechanistic interpretability 的理念并没有太大不同，对吧？因为在 mechanistic interpretability 中，核心思路在于，你拥有这个模型，拥有模型的这些激活值，它们并不直接受到监督去预测任何标签。它们更像是间接受到了监督，但模型本身从未在这些激活值上接受过任何形式的检查或审视。因此，这些激活值可能会揭示其内部运行机制的一些信息。但 chain of thought 的巨大优势在于，默认情况下它们是用英语表达的。这样一来，理解正在发生什么就变得容易得多，尤其是在概念越来越复杂的时候。另一个有趣的点是，我们刚才谈到，在未来我们相信这些模型会运行很长时间，它们会自主工作。因此会有更多这样的推理过程。所以，如果这是模型能力提升的一个重要维度，那么我们监督它们的能力也会相应地扩展。是的，这归根结底是一个原则：你不应该去监督 chain of thought。所以这其实是我们最初在做 o1 preview 模型时就做出的决定——隐藏 chain of thought。对我来说，这是主要的动机。这就是为什么我甚至不太愿意考虑以其他方式发布它。内部确实对此有过一些讨论，但我强烈认为我们应该隐藏它，原因就在于此。另外还有一层顾虑，我一开始没考虑到，但我觉得也很合理，就是这个模型在某种程度上可以被 distill，等等。这肯定也是一个重要因素。但实际上我认为，给模型某种私人空间……顺便说一下，为什么我觉得在产品中不展示 chain of thought 很重要？如果我说重要的是在训练期间不去监督它们，那么我认为，如果我们在产品中展示 chain of thought，如果我们确立一种范式，比如“哦，你就在产品中展示 chain of thought”，那么最终你或多或少还是得去训练它们，对吧？出于同样的原因，你得训练它们，就像你得训练任何你应该训练的模型一样。我认为那样就……
不是所有人都想知道我们的模型为了给出某个回答所经历的 chain of thought。对。我是说，我认为这在某种程度上是有用的，我们也在努力捕捉其中的大部分价值，无论是通过摘要之类的形式，我觉得这有点像权宜之计。我认为更长远的解决方案是让模型实时与你对话，最新版本的 Codex 某种程度上已经做到了，最新版本的 reasoning 模型也某种程度上做到了，但我认为这会变得更好。是的，但我觉得这里有一点非常令人兴奋，就是不要让训练信号与我们对抗，对吧？不要……是的，因为如果你想在长期内理解模型的行为，但你却在扩展一种与之直接相悖的方法，那你的日子可能不会太好过，对吧？至少其他人已经尝到了惨痛的教训。因此，这种解耦——我认为——是一个让我充满希望的想法，让我们至少能够理解这些模型的动机和泛化能力如何随着它们变得更好、运行更久而演变。是的，我绝不认为这是对 AI 安全和对齐问题的完整解决方案。它只是我们工具箱中的另一个工具。但我希望，通过用这样的技术工具来充实我们的工具箱，我们能够继续逐步解决这些根本性问题。是的。从中期来看，这似乎会是一个极其有用的东西。但可能不是长期对齐的万能解决方案。是的，我认为这是一个能帮助我们理解的工具。我觉得它对建立长期对齐的理解其实非常有用。比如说，有一项非常令人兴奋的研究，是 Panagiotis 与 Anthropic Labs 合作开展的关于 model scheming 的工作，他们研究的是，取决于你把模型置于何种环境、如何训练它，它是否容易产生并开始追求隐藏的目标。而支撑这整个研究路线的是监控渠道，对吧？核心概念是：“哦，你实际上可以检查模型的动机是什么。” 我认为，从这个角度出发，在缓解措施方面可能会把我们带向一个完全不同的方向。比如说，正确的方法可能是改变模型的 pre-training 数据，又或者是类似 inoculation prompting 这样的方法。我觉得这些都是非常有趣的想法，但拥有这种理解能力对于评估这些方法是非常有帮助的。是的，这几乎是任何进一步研究领域的基础。那么，你还关注对齐领域的哪些其他研究方向，或者你认为有哪些值得重点关注的有前景的领域？是的，我认为对齐的许多长期挑战都与泛化有关。我们可以在一定程度上训练模型表现出色。对于 in-distribution、我们训练过的场景，我们大体上能够控制它们的行为。但令人担忧的是，当模型被要求去做一些非常不同的事情，或者它发现自己处于一个非常不同的情境中，又或者它变得比以往聪明得多，拥有了所有这些我们还没想过如何训练的能力时，会发生什么？因此，我认为这种长期价值对齐的研究，本质上就是对泛化的研究。也就是说，模型最终会诉诸哪些价值观？有一个我非常感兴趣的研究方向，也是我们目前投入相当多的方向，即理解这种泛化能力如何回落到 pre-training 数据上。是的，我想问问，在过去六个月里，你对 alignment 的担忧是增加了还是减少了？我们在这项工作上的总体趋势如何？我是指 alignment 的长期挑战，对吧？或者说，当你拥有各种不同的模型时会发生什么。过去几年，我对这个问题的思考演变，基本上是从一个一直觉得非常模糊、甚至难以把握或定义的问题，转变为：哦，我认为我们其实可以通过非常具体的技术方案和技术洞察来取得进展。这也是为什么我们一直将 LLM 视为研究的核心部分，并确保在设计 reasoning 模型时考虑到这一点，确保我们在开展 alignment 研究时，是以这些 reasoning 模型为参照的，等等。所以，我认为我总体上更加相信，这里存在一条能够带我们走向极其美好世界的研究路径。与此同时，我认为我对于能力极强的模型出现的时间线确实大大缩短了。我觉得我们已经不远了。再说一遍，我并不认为这些模型在任何意义上是“聪明”的，但我认为它们极具变革性。因此，我很乐观，认为我们能够很好地把握 alignment 问题的进展，能够大致评估我们的模型或其问题所带来的风险。但与此同时，我认为作为整个行业，我们必须做好准备，愿意做出权衡，甚至可能根据观察到的情况放慢开发速度。看到各大实验室都在开展这方面的工作，这本身就很有意思。你们这次是与 Anthropic 和 DeepMind 合作完成的，这种合作是自发的吗？还是说，考虑到你们三家实际上都处于这个领域最前沿，各大主要参与者之间会有很多关于 alignment 的交流？确实有一些。我的意思是，在这些话题上肯定有共同的兴趣。我想稍微转向 OpenAI 内部的情况。我觉得过去两三年里，全世界可能没有哪家公司比你们更受关注，尤其是运营一家研究机构是什么感觉。我们之前稍微聊过这个，但你之前谈到过，你工作的重要一部分是让研究人员能够感到舒适、有空间，几乎像穴居人一样，去思考几年后的模型会是什么样子。我们之前也暗示过这一点。我们现在也处于一个竞争极其激烈的时代，每个人都在疯狂地推进这些 coding 模型。我想知道，今天你是如何在实操层面平衡这两者的？在管理这个组织的过程中，你对正确做法的思考有什么变化吗？我专注于高质量的实验，组织工作，关注我们是否真的在取得进展，对自己诚实，并鼓励对结果保持诚实。我认为这一点没有改变。尽管我们的工作会大幅演变，但我相信我们还有很多工作要做。所以我不认为我们需要非常仓促地结束所有项目。因此，我不认为有根本性的改变。我认为改变的是紧迫感——要真正让我们认为最有前景的一些东西结出果实。另外，显然 OpenAI 这些年有一些非常公开的内部时刻。你在这里待了很长时间。回顾过去，你们做过的哪些艰难决定可能是那种 51 对 49 的抉择，真正定义了这家公司？或者回顾过去七八年，你人生中哪些关键时刻让你印象深刻？确实有不少这样的戏剧性时刻。但我认为公司发生最大变化的方式，并不是这种突然的改变或决定，而更多是在运营方式上的转变。我想说 OpenAI 经历了几个阶段。2017 年初我加入时，它很大程度上感觉像是一个非常学术化的实验室，追求很多不同的想法，还没有把 scaling 真正落实到实践中。我认为第一次重大转变就是 GPT 项目，我们转向：好吧，我们实际上必须购买大量计算机，必须快速扩展，必须发展 scaling 的科学，并为此搭建基础设施。这就开启了第二阶段：现在我们在做 scaling，我们仍然会追求很多基础研究想法，但我们会从它们是否真的具备可扩展性来评估。然后，就像我之前提到的，有一个有趣的时期，ChatGPT 突然成为爆款。完全出乎意料。我是说，我原以为情况会稍有不同。实际上我很惊讶——或者说惊喜——text 模型居然是第一件大事。我原以为我们会进入一个世界，其中生成式 AI 的视频类应用会是第一个真正起飞的大事，而我们将不得不在追求更长期的 text 研究上做出权衡。所以，但我确实认为我们预见到这种紧张关系会出现：你现在有一个很受欢迎的东西，但我们相信在你达到目标之前，它还会大幅演变。所以我认为这就是我们已经身处一段时间的阶段。而现在，我认为我们开始进入一个空间，在这里我们实际上正在部署 AGI，或者说部署在经济上极具变革性的模型。现在看起来的确是这样。我们采访通常喜欢用一组标准的快速问答来收尾，这基本上就是我把所有塞不进别处的过于宽泛的问题一股脑儿倒出来。所以如果你能不吝赐教，我们先从这个问题开始：过去一年里，你在 AI 领域改变了对什么事的看法？是的，我的意思是，我认为这其实开始真正调和一种张力——你最终构建的 AI 会影响世界，但在真正接近那个节点之前，它更像是一个相当理论化的事物，你只是在训练和开发算法。因此，意识到这一点后，我们现在确实需要取得大量进展，并集中精力思考如何实际部署这项技术，而这正是我最近一直在思考的问题。没错，基本上可以说，除了 ChatGPT 之外，它以前几乎更像是在抽象层面做研究爬坡，虽然在现实世界中有一些应用，但过去一年里，我们明显看到，主要通过 coding agents，它以相当大的规模逐渐渗透了进来。是的，我真的认为 ChatGPT 正朝着与 coding models 相同的方向发展，它实际上会成为一个非常有用的东西，会成为人们生活中有意义的一部分。你说的朝着相同的方向，是指执行更长期的任务，还是更多指……？这是其中一部分，对吧？但也包括成为一个可靠、值得信赖的助手或伙伴。是的，观察年轻人使用 ChatGPT 的方式很令人惊讶。我认为可以说，对于很多高中生和大学生来说，它基本上已经做到了这一点，你看他们用起来已经很自如了。你知道，要是我不向顶尖研究人员问几件大事的时间线，那我也就白当这个脸皮厚的播客主了。我觉得特别有趣的是核心 LM 领域之外的东西。最近机器人领域有很多热议，你怎么看？显然很难 pinpoint 机器人真正奏效的那一刻，但无论是找到 scaling laws，还是为机器人找到某种类似 ChatGPT 时刻的东西……
是的，我确实认为有一些非常有前景的算法想法，我相信它们会奏效，而且这些想法与 LM 领域的想法并没有太大不同。所以我对那里的时间线相当乐观。不过，我确实认为它比那种虚拟 AI 要更长一些。显然，我相信你肯定经常思考，因为你总是在想这些模型下一步能做什么，以及它们对整个社会的影响。考虑到模型持续改进的这种速度，你认为作为社会，我们在这些模型的影响方面有哪些可能是现在思考不足的？是的，我认为如果发展到大量智力工作都能被自动化的程度，会带来相当严重的问题，而这些问题并没有显而易见的解决方案。其中之一始终是就业问题，以及财富的集中，我觉得这需要真正的政策制定者介入。是的，我听过一些对此持乐观态度的看法，但我认为从根本上说，有些东西过去非常有价值，成本很高，能提供很多东西，现在却可以非常便宜地完成。从长远来看这应该是好事，但我认为这确实会导致变化，而且可能发生得相当快。此外还有一个相关的问题，如果你真的拥有一个自动化研究实验室或一家自动化公司，能做很多事情，它可能被极少数人控制，对吧？它能做很多事，对吧？如果你再有机器人，这就变得更疯狂了，但其实你并不需要机器人。我认为，弄清楚这类事物的治理应该是什么样子，对吧？这些组织可能非常强大，但也许只由几个人组成。如何看待这些问题，我认为这是我们作为社会必须应对的新问题。还有哪些其他新问题？有一件事对我来说非常重要，我最近有了孩子，一直在想，十年后他的生活会是什么样子。你身处这个领域的前沿，你对 AI 的研究如何改变了你对下一代应该如何培养的看法？我们所有人的任务，对吧？就是去构建 AI，构建一个世界，让最终人类拥有能动性，对吧？由人类来设定方向，对吧？也许我们现在珍视的很多技术挑战，会更像是某种为了取得进展而必须去做的、过去式的东西。而挑战将更多在于弄清楚什么是重要的，什么是我们应该去做的。你知道，我认为在那个世界里，人们最终会有更多事情可做，而且肯定是更令人兴奋的事情。我认为你仍然希望对这些技术有一些理解，对所有这些基础教育有一些理解，无论你以何种方式习得这些知识，为了能够思考这些问题。这次谈话非常精彩，我真的很感谢你坐下来聊了这么多不同的话题。我想确保把最后的话留给你。你想向听众推荐什么吗？无论是你正在进行的研究，还是你感到兴奋的产品，或者任何你想推介的，话筒交给你了。你知道，我相信这次谈话中有很多线索是人们想进一步探究的。我认为我们刚才讨论的一系列问题，对吧？还有关于 alignment 和可监控性的问题。我认为这些将是非常紧迫的挑战，而且我认为它们不仅仅是 AI 研究人员的挑战，对吧？它们是政策制定者的挑战，也是我们作为社会必须共同思考的事情。是的，我很高兴看到一些讨论开始出现，我认为我们需要更多这样的讨论。是的。好吧，我觉得我们可以再和你聊好几个小时，但如果占用你太多时间，让你无法继续改进这些模型的实际工作，那我就是在做一件对世界不利的事。非常感谢你来做这期节目。这非常有趣。谢谢。我是 Jacob Effron，这里是 Unsupervised Learning，一档让我能与 AI 领域最聪明的人对话的播客，向他们提出大量关于模型进展及其对全球商业意义的问题。希望这很明显，我做这件事非常开心。这是我除了白天在 Redpoint 做投资之外，利用夜晚和周末做的项目，但我们能请到这些了不起的嘉宾，真的来自于像你们这样订阅播客、与朋友分享的人。这才是最终让这一切得以运转的原因。所以，请考虑这样做，非常感谢你的支持和收听。我们下期再见。