坦白说，o1 其实主要擅长解谜。它几乎更像是一次技术演示。o3 则真正像是 AI 发展轨迹上的一次结构性转变。GPT-5 在某种程度上可以被看作是 o3.1。我所追求的是能带来下一次重大飞跃的东西。我们深知，AI 的构建、部署与发展，在历史上只此一次。我们在这通电话中聚在一起，其意义大于我们每一个人。大家好，我是 First Mark 的 Matt Turk。欢迎收听 Med 播客。今天我的嘉宾是 Jared Fowk，OpenAI 的研究副总裁，也是全球顶尖 AI 研究者 Med 榜单的成员之一。在这一集中，我们将深入探讨模型究竟如何进行推理。我们还将走进 OpenAI 的幕后：几个重大赌注是如何配备人手的，为什么所有人都知道一切，以及这种文化如何快速转变。请欣赏与 Jerry 的精彩对话。嘿 Jerry，欢迎。你好，很高兴来到这里。这次对话中我们会大量讨论推理。从高层概念上讲，当我们跟 ChatGPT 对话，ChatGPT 说它正在思考时，推理究竟意味着什么？幕后实际在发生什么？我认为，思考过程至少是一个很好的类比。在 AI 的早期，我们就一直有这个目标和梦想，试图教会模型推理。就是去琢磨问题，花更多时间以获得更好的结果。如果人类面对一道非常难的题目，很少有人能立刻给出答案。有时他们需要找到答案，有时需要进行某些计算，有时需要查阅信息，有时需要自学一些东西。而推理这个过程，就是去抵达一个你尚未知晓的答案。从某种程度上说，它可以被称为搜索，但它并不是那种非常初级的搜索。搜索是一个带有隐含意义的词，但推理是得到答案的过程，是你需要完成的一项工作，其长度通常超出了所谓“回答一个问题”的范畴。我认为区别就在这里：回答问题通常意味着你已经知道答案，你只是把答案调取出来，你懂吗？而推理的过程，则是去得到一个你还不知道的答案，并且通常你花越长时间去得到这个答案——无论你需要做什么来抵达它——结果就会越好。自从你们发布了 o1——我想大概是 2024 年 9 月，已经过去一年多了——我们都已经熟悉了 chain of thought 这个概念。用通俗的话说，就是当你在 ChatGPT 中提问时看到的那些小字消息，它告诉你它在展示它的工作过程，告诉你它在做什么。这到底在做什么？它是一棵逻辑树，逐个排除选项吗？实际发生了什么？语言模型在最基础的层面上，常被称为 next token prediction 机器。当然，在强化学习的时代，这并不完全准确，但它们仍然主要在 token 上运行，而这些 token 大多是文本。如今的语言模型也是多模态的，并且主要在文本上运行，但暂时简化来说，语言模型生成文本。而 chain of thought，就是它们的思考过程，用人类的语言和概念被表述出来。所以我们看到的这种神奇之处在于：当你在整个互联网、大量人类知识和人类思维过程上进行训练时，模型开始在某些方面学会像人类一样思考，在某些方面学会像人类一样得出答案，因为它在训练数据中——在那些基于人类行为预先生成的文本中——看到了人类大量这样做。而 chain of thought 基本上就是激发语言模型的这种能力，让它像人类一样思考并得出答案。早期 chain of thought 的许多工作有点像是在解数学谜题。而第一个、也是最有名的用来激发语言模型 chain of thought 的提示，就是所谓的“让我们一步步来解决”。在语言模型中有一个非常经典的结果：如果你问它们某个数学表达式或谜题，它们会试图给你答案，会试图预测下一个 token，但它们会失败。这很难，它们无法通过一次 token 跳跃就计算出来。但如果你对它们说，请一步步来做，它们就会开始想：好吧，我不知道答案，但得到答案的第一步是这个。然后它们会写出 chain of thought，也就是一系列文本、一系列 token，完成计算的第一部分、第二部分、最后一部分，然后把它们联系起来，这样就能得到答案。所以，chain of thought 基本上就是一种思考过程，用文字编码了人类如何在纸上一步步从头到尾解决问题的过程。既然时间——我指的是花在思考上的时间——对于推理这个概念如此重要，那么当我们在 ChatGPT-5 中处于 auto 模式时，模型如何决定思考多久？它说要自动决定思考时长，那里发生了什么？这基本上是我们优化过程的一部分，部分是为了用户的满意度和他们的预期。因为当你拥有一个思考过程时，你需要平衡两件事：一是结果的质量。正如我们所说，而且我们在发布 o1 时已经展示了一些相当不错的 scaling law：模型思考时间越长，得到的结果就越好。但人们也不喜欢等待。等待是时间损失，你本可以用这段时间去做别的事。每个人都想尽快得到结果。你知道，有句话这么说：便宜、快、好，你只能选两个。这也适用于语言模型。这里存在一种权衡，而且非常微妙。这就是为什么我们也会把这种权衡的一部分暴露给用户，你可以选择一个 high reasoning 模型和一个 low reasoning 模型。归根结底这是同一个模型，我们只是调整一个参数，告诉它我们希望你想得更长或更短。我们试图编码一些启发式规则，判断我们认为用户想要什么：什么时候为了得到更好的答案而多花一点时间思考是值得等待的，什么时候则不是；但这有点像是在猜测用户的预期。在这种特定情况下，对他们来说什么样的思考时长才是合适的？嗯，非常有趣。所以这更多是由用户驱动的，更像是一种用户体验层面的考量。归根结底确实如此，因为问题在于：你愿意为等一个答案花多长时间？你总可以等得更久，然后得到一个更好的答案。距离世界上第一个推理模型 o1 的发布已经过去了一年多，这是你主导的项目。从那以后经历了怎样的历程？先是有 o1，然后是 o3，最近则是 ChatGPT-5。你会如何刻画过去一年里推理能力在这三款模型中的具体演进？在某种程度上，我对我们推理研究项目——或者说扩大强化学习规模的研究项目——的定性是：我们进行了一系列规模越来越大、越来越雄心勃勃的 scale-up run。每一次运行，我们都试图做得更多、规模更大，以求训练出比上一个更好的模型。显然，我们并不会发布所有训练出来的模型。有些我们会发布，有些则觉得需要再等等，等它们在用户手中大放异彩的时机成熟。但o1是我们决定发布的第一款模型，某种程度上是为了向世界展示这类模型的存在。说实话，o1其实主要擅长解谜，或许也能解决一些思考类问题，但它还不是一个非常实用的模型。与其说是一款真正成熟的产品，它更像是一次技术演示。但我们觉得自己手头有很棒的东西，想要作为OpenAI与全世界分享。
o3（哼声）我认为极大地改变了这一点。从某种程度上说，它是一款真正具有实用价值的模型。虽然有点自夸，但就是从那时起，我开始频繁使用ChatGPT。我基本上已经完全离不开reasoning model了，现在在ChatGPT里我几乎只使用reasoning model，因为只有这些模型的输出和结果是我能信赖的。我认为o3能够使用工具，整合来自各种来源的大量上下文信息来给出答案，并且坚持不懈地努力达成目标，这真的很了不起。我觉得AI的发展轨迹因此发生了一点结构性转变。我认为我们在那款模型上做得非常出色。
GPT-5在某种程度上可以被视为o3.1。它有点像是同一事物、同一概念的小幅迭代。而我和我的团队目前正在追求的是下一步，那将是我们与模型交互方式的又一次重大飞跃——那些模型能力更强，思考时间更长，并在自身的探索过程中与更多的系统和信息源进行交互。但与此同时，我们也在持续基于o3技术构建许多其他东西，比如Codex。我认为coding agent目前是基于AI构建的首批相当成功的agentic产品。还有一些其他产品，比如computer using agent，目前我想是叫ChatGPT Agent，以及pre-search等等，我们会继续在o3这一代技术上打造更多功能。很好。好的，我们过一会儿会更深入地探讨所有这些内容。但在那之前，让我们聊聊你的成长经历。我认为这对我们所有人来说都是一个非常迷人的话题，毕竟你们正在改变世界。所以，我很好奇，我想我们也都很好奇，想了解一下其中的人性层面——那些正在产生如此巨大影响的人究竟是谁。那么从一开始说起，我想你是在波兰长大的，对吗？什么？是的，是的。你是在波兰长大的（清嗓子）。给我们讲讲你的成长岁月，以及你是如何进入这个领域的。是的，是的，我很乐意分享。有趣的是，这几乎就像晶体从某个核心开始生长，你在最初放入了一点什么东西。我认为有一段经历很重要，也是（哼声）我旅程的起点，但我并不知道它从何而来，因为它从我生命的最初就陪伴着我，我甚至不知道它是什么时候开始的。它一直就在我身边。我始终认为，成为一名科学家、从事科学研究是人类所能拥有的最高使命，但我真的不知道这种想法从何而来。也许我父母在我一岁左右的时侯给我唱过轻柔又恰到好处的摇篮曲，谁知道呢。总之，从我记事起，我就想成为一名科学家。在早年，我还发现自己有这方面的天赋。上学时，我意识到自己理解东西比周围的同学稍快一点。至少在普通学校里是这样，而且当时我住在波兰中部，这某种程度上让我更愿意去做这些事，比如更多地学习数学和科学，因为我觉得这感觉很好。感觉这是一件非常自然、非常适合我的事。你知道，我成长的过程中就是个很普通的孩子，只是个有点书呆子气的家伙，努力平衡自己对科学、编程和数学的兴趣，以及一定的社交生活。我确实有过一段热衷派对的时期。
（笑声）
但我认为最重要的一段经历和时刻，是我真正进入大学的时候。我去了华沙大学，最终在18岁左右决定学习数学。我那时的人生理想是成为一名数学家，拿着铅笔，坐在房间里，对着一张纸解方程。这大概就是我18岁时对于应该如何度过人生的梦想。
（哼声）以及我想在生活中做什么。而且，我的个性在某种程度上确实建立于对扎实科学、追求真理和伟大工程以及所有这些方面的极度欣赏之上。但我也确实带有一点不太合群、有点叛逆的气质。在学数学几年后，我对自己和世界有了这样的认识：我确实很喜欢数学，而且相当擅长，但我不太喜欢学术界。我意识到我不想留在学术界，不想留在大学里，我觉得那个环境不会让我长期感到快乐和适应。它感觉有点太僵化、太结构化，我不确定自己是否会在那里过得舒服。对当时年轻的我来说，大概在21岁左右，那是一场相当严重的信念危机。我曾有过一段失去人生目标的时期。于是我就做了非常简单的第一性原理思考：我拿到了数学学位，需要找份工作来养家糊口，那么什么工作能让我在其中运用数学呢？看看当时的就业市场，那应该是2011年左右，或者2010年前后，我决定成为一名交易员，以交易为生，作为一条既能做我喜欢的事——数学——又能开创职业生涯的道路。我在摩根大通这家投资银行很快获得了一份实习，在交易大厅的股票衍生品组。在那里待了六个月，稍微学习了一下交易是如何运作的，以及它大致是什么样子。完成学位后，我收到了摩根大通上级的上级的消息，大意是：“嘿Jerry，你是我们有史以来最优秀的实习生之一。我们真的很喜欢和你一起工作，现在我们要离开银行，创办一家新的对冲基金。你愿意跟我们一起走吗？”
对于当时20、21或22岁的Jerry来说，这听起来像是一个很酷的冒险故事，我很想去那里做这件事。它有足够多有趣的问题需要解决，同时又有那种尝试新事物、尝试有雄心的事的感觉，而这正是我一直喜欢的。所以我在伦敦。不幸的是，那家公司并没有成功，但它既艰难又有雄心，不是每件事都能成功。我确实又试了一次，在阿姆斯特丹和其他几个人一起从零开始创办另一家对冲基金。我在那里又工作了几年，最终我感到厌倦了。总的来说，从事交易是一个有趣且令人兴奋的问题。市场非常难，你试图理解和建模的深度非常深，而且我总体上和相当聪明的人一起工作，但做了几年之后，我不再觉得自己在成长。与此同时，我和一位一起工作的朋友开始聊AI，聊人工智能。真正吸引我投身人工智能的是reinforcement learning，特别是DeepMind的研究人员在2013年左右训练出的DQN agents，不过我想我是在几年后才真正了解到这些成果的。从我的角度来看——这只是我的思维方式——2012年的ImageNet结果并不算那么重要。在大学期间，我学到了很多关于经典AI的知识，当时neural networks并不太流行，但我还是了解了它们是什么。我学习了SVMs，以及各种训练分类器的方法。对我来说，如果你有足够多的参数，并且足够努力地调整，你就能把分类器拟合到任何你想拟合的东西上，这似乎是显而易见、自然而然的。对我来说不明显的是，我从未认为分类器是智能的东西。分类器——你学习一个从某些输入集合到某些输出集合的函数。你可以不断训练它，让它近似得越来越好。我当时错过的一点是，当你能把任何函数拟合得越来越好时，你就可以开始塑造行为和策略。而我真正看到这一点是在DQN的结果中，他们把在ImageNet上奏效的东西——比如neural networks，而且并不是特别大或令人印象深刻的neural networks——与经典的reinforcement learning领域结合起来，去解决简单的电脑游戏。结果发现，这些简单的neural networks配合简单的学习算法，开始学会玩相当复杂的电脑游戏，并展现出非常有趣的行为。我看到了那些行为，看到了那些结果，然后我想：这就是我这辈子想做的事——当然，对于20多岁的人来说，“这辈子”的跨度还不算太长——但我想，这就是我想做的事。那去哪里做呢？就像用Google搜索一样：在这个世界上，哪些地方可以做reinforcement learning？Google DeepMind和OpenAI出现在搜索结果里，那时候它们还相当小，有点知名度，但它们是……
对，你在2019年加入了OpenAI，对吧？所以是非常早期，仍然处于OpenAI那种非营利组织的时代。你是怎么……你是怎么联系上他们的？我就是通过网站申请的。我做了世界上最无聊、最无趣的事，就是去openai.com的招聘页面，申请，发送简历，然后希望他们回复。幸运的是，他们确实回复了。我不知道那时候OpenAI收到了多少简历，我想肯定比今天少得多。但我当时想，不管让我做什么，只要是reinforcement learning就行。所以你在2019年加入，带着对reinforcement learning的热情。那大概是在做Dota 2的时候吗？因为有意思的是，OpenAI在2019年的早期做了大量聚焦reinforcement learning的工作，对吧？然后之后才出现了整个无监督学习和GPT的时刻，但它是从reinforcement learning的根源起步的。那么你具体参与了这个项目吗，还是说你加入的时候它已经进行得太深入了？我当时在OpenAI做的是机器人项目，它和Dota项目共享相同的代码和方法。一方面，Dota项目是OpenAI向世界展示scaling up reinforcement learning能做什么的方式。在某种程度上，它就像是把2013年的DQN agents拿来，然后做所有艰苦的工作，让它越来越大，解决越来越难的问题。OpenAI从一开始总体上就意识到——这很简单，但内在的天才之处在于——你需要有大规模的系统才能学会真正非常有趣和复杂的行为。这也是Dota试图展示的一点：通过scaling up reinforcement learning，我们可以解决相当复杂的环境。然后，当时在OpenAI还有三个reinforcement learning项目。第二个是机器人，也就是把我们现在已经知道或被证明能解决复杂电脑游戏的同样方法，应用到实际问题上：它能帮我装洗碗机吗？能叠衣服吗？能盖房子吗？而这就是我们在做的事情。我参与的项目专注于dexterous manipulation，这在当时——并且至今仍然——是trained policies面临的一个难以捉摸的挑战。我们最终展示了一个由neural network控制的手能够还原魔方，这是一项相当精细且复杂的任务。快进到当下，还是同样的脉络，谈谈你在OpenAI的幕后故事和那里的生活。Jerry的一天是怎样的？像你这样的人具体做什么？是读论文、训练模型、管理团队吗？一天大概是什么样的？我的一天出奇地规律：早上送孩子上学后，我很早就到办公室。然后我一整天基本都在和其他研究人员交谈。我每天全天都在和其他研究人员交谈，这基本上是我唯一做的事。我从别人那里获取想法，与他们碰撞，和一个伙伴头脑风暴，然后换另一个人，重复同样的过程，不断迭代。通过这种方式，持续完善我们的研究计划。有时也会有小组会议，小组会议也存在，并有各自的团队动态。但这基本上就是我唯一做的事。唯一变化的是，从一场会议到下一场会议，从一个人到另一个人，研究主题会有所不同。研究的优先级是如何确定的？这一大堆可能的项目，是自上而下的，还是自下而上的？是人们提出想法然后其他人审核吗？这是怎么运作的？对。对。对。构建、组织和领导研究项目的艺术，是我在OpenAI的历程以及我的职业生涯中很快就开始欣赏的东西。我们擅长的一点，就是构建研究项目。我认为这是一种独特的混合模式。你不能说它是自上而下的，也不能说它是自下而上的。它是两者的结合，平衡了所有重要的方面。OpenAI 所体现和决定的一点是，我们总共只专注于极少数项目。项目并不多。OpenAI 并不试图面面俱到。我们不追求项目组合，也不打算下多种不同的赌注。理念始终是把少数核心事情做得非常非常好，并投入大量精力，这意味着需要有许多人共同协作，参与同一个大规模、雄心勃勃的项目。我们有几项这样的项目。总数大概三到四个，具体取决于你怎么定义，仅此而已。从这个角度来看，人们并没有完全的自由。不是说有人来到 OpenAI 说“嘿，我想做这个”，然后他们就能放手去做，因为你需要做的是为那四个项目之一的目标贡献力量。而在这些项目内部，我们在一定程度上试图保持相对自下而上的风格，只要它最终能服务于那些目标。研究负责人最关键的作用在于确保所有研究人员都朝着这个共同目标努力，避免他们在思维方式和工作方式上各自为战。因此，这是一项极其困难的工作。这份工作非常艰巨，而且其微妙之处并不总是显而易见的。但这就是它的核心所在。我认为，在研究组织中，完全自上而下的研究架构是行不通的。我真的不认同这种做法，因为你招来的毕竟是世界上最聪明的人，而 OpenAI 拥有极其出色的人才，不是为了告诉他们该做什么。他们需要自己去想办法该做什么。但他们无法在整个广袤的领域里判断哪些事情值得做。他们需要在项目需求的范围内，找出最能推进 OpenAI 研究目标的方向。那么，同时推进这三到四个项目的团队之间，在多大程度上存在协作呢？因为我想象自己处在你的位置，处在 OpenAI 的位置，一方面想要保持协作，另一方面——我的意思是——这很可能是世界上最重要的 IP。所以你可能希望确保不是每个人都知道所有事情的所有细节。不过也许并非如此。我只是在这里猜测。你如何看待这种协作与保护 IP 之间的平衡？说出来你可能会惊讶，但事实是，在 OpenAI 的研究部门，目前大约有将近 600 人，每个人都知道所有事情。确实如此。而且我们始终保持完全透明。在某种程度上，如果研究人员连了解全局的机会都没有，他们就无法获得最佳信息来以最好的方式做好本职工作，这其实是搬起石头砸自己的脚。是的，这确实存在泄露 IP 的风险，但在我看来，以我处理这些问题的方式而言，做错事的风险，以及人们不了解研究全貌因而无法做出最佳研究的风险，要高得多。因此，我们在研究内部极其透明，这也是我们的运营原则之一，因为我们的目标是做出最好的研究，并相应地训练出最好的模型。而且这里的文化总体上非常注重协作。要知道，当有 600 人、当有群体聚集时，总会出现这种情况：某人因为别人看他的眼神古怪而不喜欢对方，或者某人觉得对方身上有味道，又或者只是不认同他们的想法。这种事确实会发生。毕竟都是人，这些都是真实的人性。但从大体上看，我认为我们真正抱有这样的信念：我们共同投身于一个比任何个人都更宏大的目标。这是一个非常正和的游戏，因为 AI 似乎正变得越来越重要。而 OpenAI 的成功远非板上钉钉。它取决于我们每天是否都能出色地完成工作。因此，有一种强烈的命运与共的感觉，事实上我们都需要相互依靠，做好自己的工作，以实现这一共同使命。所以，尽管有时人性会带来一些摩擦，但总体而言，我认为从宏观角度看，OpenAI 是非常非常注重协作的。你们是如何保持这样的发布节奏的？因为从外部看来，似乎存在另一种张力：一方面是研究，它在某种程度上感觉像是一项长期工作；另一方面，你们似乎在整个组织层面都在快速交付，包括核心模型在内，比如你们在短短一年左右就从 o1 推进到 o3，再到 GPT-5。你们是如何平衡这一切的？为什么你们能够如此快速地交付？我认为根本原因在于，至少在我看来，OpenAI 在某种程度上是一家划时代的公司，我们背后有着惊人的 momentum。我们知道自己过去做得相当出色，而且需要继续保持。我们拥有极其聪明的人才。可以说，世界上最优秀的人才现在都涌向 OpenAI，希望在这里工作，这意味着每个人的产出都极其高，真的，每个人都承担了非常多的工作。所以我们有……（清嗓子）……推动我们向前的 momentum。我们有非常优秀的人才协同工作。我们有良好的运营方式，在研究架构上……并且可以从硅谷借鉴很多关于如何快速把事情做成的经验。而且人们通常对工作充满热情。每个人都感受到我们正在做的事、试图做的事所带来的分量和潜力，因此 OpenAI 的人往往会非常努力地工作。然后，你知道，优秀的人对他们所做的事充满热情，大家协作得还算顺畅，通常就能做成很多事。我们明白，历史上只有这一次机会来构建、部署和发展 AI，人们希望以尽可能最好的方式来完成它。你们会大量使用自己的工具吗？我记得 Fiji Seema 前几天发推说，我想你们今天在 Dev Day 上发布的最新内容，有很多都是用 Codex 写的。这是日常体验的一部分吗？你会用模型来为新模型想点子吗？你会用 Codex 来写代码吗？这是怎么运作的？是的，我们确实大量使用 Codex 来写代码，而且情况只会越来越好。就像我说的，我经常用 ChatGPT，不过毫不意外地，我其实并不怎么用它来想点子，而是用来解答很多问题。我想我现在算是 ChatGPT 的重度用户，每月乐意支付 200 美元，而且我觉得物有所值。他们收我的费，而我对此相当接受，因为这样你就能获得相当慷慨的使用额度，不会真的受到使用限制。感谢你的分享。我们换个话题，回到这一切是如何运作的。那么，理解 OpenAI 现代 AI 系统的正确方式是什么？我说的现代是指截至 2025 年 10 月，而不是九个月前的老日子。没错。那么，将其理解为 pre-training 和 RL 的结合，这种方式对吗？首先，这样想对吗？其次，如果确实如此，从高层来看，这两者之间是如何衔接运作的？之后，我希望深入探讨一下 RL，让听众们能真正学到东西。今天的语言模型基本上可以这么理解：首先是 pre-training，然后在其基础上做 reinforcement learning。reinforcement learning 没有 pre-training 是无法运作的，同样，pre-training 得到的模型也有很多局限性，如果不做类似 reinforcement learning 的事情，这些局限很难解决。所以我认为这两者都会长期存在。我觉得它们结合和运作的方式未来可能会、也很可能会演变。不应该把任何东西当成教条和固定不变的。我们需要持续找到训练更好模型的方法，这正是我们在努力做的。有意思的是，这得归功于 Ilya，他非常有远见。我 2019 年初加入 OpenAI 的时候，记得有一次 research all hands 之类的会议，Ilya 上台讲了 OpenAI 的研究计划是什么，我们要追求什么。他在 2019 年初说的是：在所有我们能获取的数据上训练大型生成模型，然后对它做 reinforcement learning。这就是 2019 年初 OpenAI 的研究计划，而我们今天做的正是这件事。当然，算法变了，架构变了。我觉得他当时甚至都没在想 transformer。那时候 GPT 只是某个人在玩的玩具示例，但目标——用全世界所有数据训练大型生成模型，然后对它做 reinforcement learning——已经刻在 OpenAI 的核心 DNA 里了，而现在正在发生的正是这个。那么，如果你愿意的话，我们来点 reinforcement learning 101，让更广泛的听众觉得有趣。用非常简单的话说，就像给我这个十岁小孩解释一样。什么是 reinforcement learning？我通常用来比喻 reinforcement learning 的是训狗。这两者非常像。我十几岁时养过狗，我还记得我父母是怎么做的，那时候我对养狗一无所知。他们通过朋友的朋友请了一位消防员过来，我觉得他大概是训练搜救犬的。他过来跟我讲了一些训狗的方法。大多数对训狗有追求的狗主人都知道，口袋里随时装一袋零食极其重要，这是必须的。每当你看到狗表现好，你就该微笑，给它零食。看到狗做错事，你基本上就收回注意力，转身离开，表现得很伤心。经过数年的选育，狗会发现这是种负面奖励，对应的是不良行为。而我们正是用同样的方法来训练模型。我们激发模型的各种不同行为，把它们置于具有挑战性的情境中，如果它们做了我们想要的好事，就给它们饼干；如果做了我们不想要、不喜欢的事，就给某种惩罚或负向奖励。做好 RL 的关键在于平衡这两者。比如你一半时间给饼干，一半时间惩罚，但这几乎是一种数学层面的考量。最重要的是激发行为、奖励好的行为，这样一来模型往后就更可能做你想要的事，更少做你不想要的事，并通过这种方式改进。这是训练模型以激发实际行为的方式，而不是单纯做 next token prediction。如果你 pre-train 模型，你实际上是在训练模型预测下一个 token。RL 则是一种完全不同的梯度，或者说我们想要从模型中获取的完全不同的一套东西。让模型按你的意愿行动，这涉及到一些词汇和语义，你有时会听到一个词叫 policy。所以在 RL 里你会听到 agent、environment、action、reward 和 policy 这些术语。很多都比较好懂，但 policy 是什么？是一种策略，是模型的行为？对，policy 就是模型的行为，模型权重代表了它在不同情境下的反应。模型归根结底是一个数学对象，你可以定义它，而 policy 就是一个将 observation 映射到 action 的数学函数：你看到了什么，然后你对此做出什么行动。对。agent 就是模型，action 就是模型的行为，reward 就是你用来判断好坏的方式。environment，你最近常听到关于为 RL 设计合适 environment 的讨论。这是什么意思？environment 在某种意义上就是模型看到的一切，但 RL environment 与其他所谓 supervised learning 或 unsupervised learning 最有趣的差别在于，你希望 RL environment 是交互式的。你希望它随着模型的行为而演变。总的来说，就像你想学吉他，你拿起吉他拨弦，然后你听到声音，你就能根据吉他发出的实际反馈来学习演奏。环境就是世界如何对你的行动做出反应，而驱动你行动的很大程度上正是你环境中发生的事，是你所在的世界里发生的事。这大概也是真正教会 agent 学习对环境变化做出反应的唯一方式，就是通过 reinforcement learning。你能从宏观视角介绍一下 RL 这些年来的演变吗？现代 RL 与历史上的 RL 主要有什么不同？对，对，对。再说一遍，有超级古老的 RL，其实也不算那么古老，但最主要的、像地壳变动一样的转折点是神经网络与 reinforcement learning 的结合。reinforcement learning 作为在数学定义的环境中优化行为的一般数学方法，以及作为研究手段，其实早于神经网络。这就是所谓的 deep reinforcement learning。对吗？是的，deep reinforcement learning，基本上就是 DeepMind 发明的将神经网络与 reinforcement learning 结合，也就是我之前跟你提到的 DQN 时刻。从那以后，曾有一段时间，reinforcement learning 在游戏上的研究非常活跃，甚至在我 2019 年左右加入时也是如此。那时候 reinforcement learning 在某种程度上还挺时髦的，虽然并不算非常成功，但 RL 确实能解决很多游戏。不过瓶颈在于，这些模型完全没有经过预训练。我们在训练中让模型学会了很多游戏行为，甚至从中诞生了 AlphaGo 那样的高光时刻，让很多人非常兴奋。但这本质上仍是在学习行为，而模型本身对这些行为并没有真正意义上的智能理解。那时候的状态仍然有点像——你不太想称之为“洞穴人智能”，但大概就是那种感觉——模型其实并不聪明，即便经过了大量强化。那段时间对 RL 的研究很深入，很多很酷的成果和理论理解都源自那个时期，因为人们当时在积极研究 RL。但从某种角度来说，没有预训练的 RL 是一条死胡同。后来，当我结束机器人学方面的工作，开始教语言模型写代码时，拥有预训练模型成了一件非常重要的事。GPT 时代带来了 scaling、大规模以及海量数据，真正训练出了优秀的模型，这让当时我们得以立刻着手开展 RL 相关工作。那几乎是我最早做的事情之一。GPT-3 训练出来后，我尝试对它做 RL，但总是遇到各种瓶颈。系统很笨重，很难搞清楚该用什么样的算法、该研究什么样的问题、该用什么样的算法来训练。那时候我在 OpenAI 所做的，以及研究推进的方式，有点像我们机械地把很多原本用于游戏和机器人领域的方法照搬过来。我最早在大语言模型上做的 RL，基本上就是我们在其他领域用的同一套 PPO。这确实产生了一些结果，但早期的 RL 成果并没有完全达到令人惊艳的程度。很长一段时间里，我们一直在持续投入。就我个人而言，我始终相信 RL 和语言模型终将迎来一个非常重要的时刻，但早期不断的试错并没有特别成功。后来我们训练 GPT-4 的时候，有一个很有意思的节点。如今所有人都觉得 GPT-4 是个很棒的模型，但在我们内部训练出来的时候，其实挺失望的。当时很多时刻我们心想：花了这么多钱训练这个模型，结果它好像还挺笨的。至少吧，GPT-3 已经能做那些事，而 GPT-4 看起来也没好多少。于是我们有了这样一个疑问：在那些只需要一个 token 的 evals 上，它看起来好像很聪明，似乎能对复杂问题给出相当详细的回答——如果答案只需要一个 token 的话。但如果你真的让它生成长文本，它就不太连贯了，或者说，很难给出很长的、质量稳定的回答。我们必须回答这个问题：怎样才能让一个权重里似乎蕴含了某种智能的语言模型，在实际对话中听起来真的聪明，真的好用？正是在那个时刻，一项早在几年前就开发出来的技术真正展现了价值，那就是 RLHF。它本质上是在大语言模型上做 PPO，奖励信号来自人类对两段文本的偏好比较——点赞或点踩。对，就是点赞、点踩，反正就是人类偏好。这是一个非常好的奖励机制，因为模型生成糟糕文本的方式多种多样，早期 GPT-4 在很多方面都会生成烂文本。而 RLHF 能够捕捉到这些问题并加以纠正，也就是说，强化好的行为，强化生成优质文本，同时惩罚糟糕的文本。最终，GPT-4 加上 RLHF 作为一个整体，向世界交付了大家所看到的 ChatGPT 时刻。这既可以说是预训练的巨大成功，实际上也是 RL 以 RLHF 的形式取得的重要成功。太精彩了。我想再深入追问一下 RLHF。作为用户，我们都熟悉界面上那个点赞和点踩的功能，但真正的 RLHF 是在训练后进行的，对吗？这项工作具体是什么样的？是有一群人坐在模型前，可能是行业专家，然后给它反馈吗？实际是怎么运作的？
RLHF 是一个研究项目，其实早就在背景中推进了一段时间。我们至少在 GPT-2 时代就做了不少 RLHF，我记得当时就已经在做了。就连为 RLHF 收集数据本身，基本上也是一个独立的研究领域，要不断探索什么样的数据适合训练模型，什么样的数据适合训练奖励模型，以及如何塑造奖励。这是我们一直在做的研究，非常开放，而且在很多层面都非常深。已经有论文阐述 RLHF 是什么、怎么做，但其中有很多深层的东西。长话短说，就是我们有所谓的 AI trainers，他们查看模型的输出并打分，然后你基本上会学习一个这些分数的模型，并用它来训练。这就是整个数据标注行业的一部分。如果有人好奇的话，Scale AI 和其他很多公司做的就是这件事，对吧？是的，是的。某种程度上，随着模型越来越聪明，这种做法越来越成为过去式，不再那么重要了。但我想几年前，尤其是 GPT-4 那个时代，这还是非常关键的。数据标注行业有一个有意思的地方——不知道你想不想展开聊这个——就是它必须不断自我革新。因为 AI 越来越聪明，某些事情如果 AI 已经能做了，你就不需要再让人类去标注了。所以你需要不断把前沿往前推，改变你标注的数据类型，因为你已经用 RLHF 处理过了上一阶段的数据。我们一直在聊 RL，但这一切的第一阶段是模型的创建，也就是预训练，属于 unsupervised learning，对吧？为了让大家都能听懂，你想不想解释一下 unsupervised 和 supervised 的区别，以及预训练在什么意义上是 unsupervised，什么意义上又是 self-supervised，或者这其中有什么细微差别？好的。我觉得这些都是细微差别，不像有些人划分得那么泾渭分明。预训练被称为 unsupervised，是因为按照某种定义，你不需要给输入模型的数据额外打标签，直接把文本原样喂进去就行。但从某种角度你也可以争辩说，数据其实已经有标签了，因为它是 self-labeled 的。如果你让模型根据已有文本预测接下来的内容，某种意义上这像是一个标签，但它是自监督的，因为我们并没有明确告诉模型什么是对、什么是错，或者我们想要什么、不想要什么。我们只是让它预测数据的下一部分。图像领域也可以做同样的事：你可以遮住图像的一部分，让它预测下一部分图像。但不管怎样，机器学习中有 targets 和 labels 的经典概念。就像我们之前讨论的分类器，监督学习就是你有一些 target 的概念，知道你的 target 是什么，也有一些 label 的概念。监督学习就是用 targets 去预测 labels，这某种意义上是一种映射。但有趣的是，target 中通常包含比 label 多得多的比特信息，研究 target 本身的结构，比学习映射本身能产生更多的学习和智能。所以，把全部算力花在仅学习数据本身而不使用 label 上，是正确的做法。这也就是通常所说的 representation learning，研究数据及其性质。好的，太好了。那我们回到 RL，你前几天发推说 GRPO 的发布在很大程度上加速了大多数美国研究实验室的研究项目。那么，什么是 GRPO？嗯，我当时有点半开玩笑。我在这里对实际情况做了些推断，因为我并没有去过大多数美国研究实验室，但我对发生了什么、怎么发生的有一些心理模型。长话短说，GRPO 是 DeepSeek 的开源发布，所有时刻在线、关注 AI 讨论的人都知道那个“DeepSeek 时刻”。就是那家中国公司发布了新模型，他们似乎在做非常出色的工作，而且这也是一个预训练模型，一个推理模型。他们开源了算法，开源了他们做的很多东西。总体而言，这是一次非常伟大、技术上非常出色的发布。当时有很多讨论，比如他们特别便宜地预训练了模型，这是“DeepSeek 时刻”讨论的一部分。但另一部分讨论是，他们某种程度上公开了他们的推理过程。这离我们发布 O1 没过多久。据我所知，我们的 O1 发布让大多数美国实验室措手不及。据我所知，他们并没有同样先进的 RL 研究项目，基本上没有人有。而且我认为，据我所知，世界上唯一一家在做类似研究的公司——不过可能还有很多我不知道的事情，毕竟你有时和人交谈会听到各种传闻。所以这是我的世界观版本：如果你去看 DeepSeek 的其他论文，那家公司在某些方面做的 RL 研究和我们做的非常相似。我必须澄清，OpenAI 正在做的并不完全是 GRPO，在很多方面都有所不同，但有些部分肯定非常相似。最重要的是，它们都是大规模 policy gradient 算法。DeepSeek 这家公司在相邻领域做研究，他们离我们并不远。当我们发布 O1 并告诉世界，通过在语言模型上规模化 RL 可以获得相当好的结果时，我认为对 DeepSeek 来说，意识到“我们离获得同样好的结果已经不远了”并不是一个很大的跨越。他们做到了，他们训练了推理模型，发布了它，并告诉世界他们是怎么做的。就在我们发布 O1 之后不久。我认为，对于很多还不知道如何训练推理模型、还没有相关研究项目的美国研究实验室来说，他们一看，“哦，这家中国公司发布了怎么做，这帮助我们更快地启动和训练推理模型，比我们自己去摸索所有细节要快得多。”
规模化 RL 需要什么？OpenAI 曾经有一个阶段非常专注于预训练，然后如果我没理解错的话，在过去 12 到 18 个月或类似的时间段里，重点已经转向计划的第二部分，也就是规模化 RL。这仅仅是给 RL 更多算力、更多数据、更多标注的问题吗？到底需要什么？嗯，首先重要的一点是，要知道并理解：RL 很难。从概念上讲，如果你仔细想想，它仍然有很多深度。但仅从概念和数学上讲，预训练极其简单。这是你能做的最简单的事情，而且已经有很多思考和优化投入其中好几年了，甚至是在非常大规模上优化和执行非常简单的数学运算。而 RL 则要复杂得多。在一次强化学习运行中，有很多事情在发生。在做 RL 时，很多事情可能出错，尤其是在你扩大规模时，有很多类型的瓶颈、故障——它是一个脆弱得多的东西，出错的空间也要大得多得多。在某种程度上，我不想把这个类比挖得太深，因为有点夸张，但某种程度上，只是为了打个比方，你可以有一家炼钢厂生产钢铁，这个过程相对标准化，你生产出钢块，它们均匀、规整、定义明确。相比之下，制造半导体——世界上能这样做的公司非常少，因为有太多事情可能出错，你必须非常关注细节才能制造出优秀的半导体。它的内部非常非常复杂。而且在很多方面，这有点像——我不想贬低，因为在大规模上做好预训练也有很多非常困难的技术挑战。但 RL 就是有更多活动部件，强化学习堆栈中有更多元素需要做对，才能让大规模运行成功。你提到了正在做 ChatGPT agent，比如 agentic AI。这一切如何定位？工具使用、agentic 自主性，与推理 RL 相比，如何协调？帮我们理清各自的作用以及相互影响。我认为重要的是，我相信 AI 可以通过自动化、通过解决问题、通过为我们做好事——做我们想要的事——对我们的世界和生活产生很多积极影响。很长一段时间以来——其实也不算长，大概过去两年左右，或者接近三年——我们一直生活在这样一个世界里：我们向 AI 提问，它给我们答案。一开始是即时的，现在它可以思考一两分钟。两分钟感觉很长，但如果你想想人类在两分钟内能解决多少问题，AI 在它能解决的事情上可能稍微快一点，但这仍然受限于它的能力。仍然有很多任务，AI 需要花费长得多的时间才能完成。最后，当我向 Codex 发出提示时，它会工作一段时间，也就是几分钟。我们在内部有很多做法能让模型工作更长时间。我们还没找到合适的产品形态来部署它们。但如今这些模型在某些类型的任务和问题上可以思考 30 分钟、1 小时、2 小时，甚至更久。而且它们通常确实有能力做到这一点，我们需要想办法让这个过程更有用，让它能真正应对现实生活中的各种问题，无论是编程、预订旅行、制定计划，还是设计房屋、研发新型电子设备，或者其他任何你希望模型做的事。我们希望它们最终能为我们做到这些。这在很大程度上依赖于模型独立地进行更长时间的思考，考虑更多的替代方案和选择，有时只是埋头处理非常长的任务清单。所以说，agentic 这部分是由基础推理能力驱动的。那有没有这样一种概念，我指的是 online RL（在线强化学习），即当 agent 做了某件事并从现实世界中学习时，RL 实时发生？总的来说，所有的 RL，至少你听到的大多数关于语言模型的 RL，都是在线进行的，但它是以一种仍处于训练过程的方式在线进行的。它仍然是独立于用户进行训练的。世界上有一些模型，我最近了解到，Cursor 似乎正尝试让模型在用户的参与下进行在线训练。理论上，在 ChatGPT 或任何其他产品中，模型也可以仅仅通过回应用户，并从中获得的各种奖励来进行强化——[哼声]——。但据我所知，这至少不是 OpenAI 目前正在做的事。这种做法可能很棒，但也可能很危险，因为你并不能真正控制在那个循环中你正在强化什么，以及可能会发生什么。所以，至少在有了非常完善的安全保障措施之前，我认为我们不应该在像 ChatGPT 这样复杂且大规模的产品中尝试这种做法。有意思。正好顺着这个话头，我们花一分钟聊聊 alignment（对齐）。对齐是一个 RL 的问题吗？我是说，你是通过评判模型什么是对、什么是错来建立对齐的吗？某种程度上是，某种程度上也不是。对齐在某种程度上是关于引导模型走向特定行为，这确实是一个 RL 的问题；但你也希望模型知道什么是对、什么是错，并理解这个世界。而推理和 RL 问题，这些往往就是 AI 本身的问题。模型要对齐，就需要知道对错才能选择正确的做法。我不认为你只需告诉模型几个范例、展示几件好事，它就会照做。模型需要深入理解自己的行为和后果，才能真正有能力做出正确的选择。我认为这是一个永无止境的追求，因为即使对人类来说，定义什么才算对齐也并不容易。我认为，随着文明的演进，alignment（对齐）的概念以及人类的目标也会不断演变，我们需要持续引导模型朝着这些方向前进，并不断向它解释我们对它的期望。但这是任何 AI 研究项目中都应该具备的、非常非常重要且核心的部分。这引出了一系列关于 RL 在哪些方面效率高、哪些方面效率低的问题。看起来它在数学和编程方面特别有效，那么下一个显而易见的问题就是：世界其他领域呢？不过我想先快速深入一下数学的话题。就在九月，也就是几周前，你们在 ICPC 世界总决赛上做了一件不可思议的事。你能谈谈那是什么吗？从模型技术角度来看，幕后发生了什么？从我们的角度来看，从模型的角度来看，幕后发生的事情出奇地少。我们只是有一个非常聪明的模型， 然后当我们让它解决编程问题时[清嗓子]，它就能做对。这里有一点背景故事：我想我们曾在一段时间里把编程谜题当作一个非常好的研究试验田来验证我们的想法。这些问题很适合做实验，它们从未被视为产品的一部分，但它们是相当复杂的问题，需要大量思考，很适合用来给予奖励。所以所有研究人员都喜欢用这些问题来尝试他们的 RL 想法。你总是需要一个数据集——那我就拿一个编程谜题数据集来试试。我想正是因为这一点，我们的模型在竞技编程方面一直非常非常强，这算是一种副产品。我们从未刻意去追求在这方面表现出色，但研究人员在上面验证他们的想法，因此每一次训练，无论我们在做什么，最终都会让这些模型非常擅长这类谜题。然后，你知道，我们去报名参加比赛，很大程度上只是走个形式，主要是为了向世界展示这些模型的能力达到了什么水平。但我认为必须承认一点，也很重要，那就是并非在所有领域，我们目前都能像在编程竞赛问题上那样，相对于人类基线表现得同样出色。很大程度上是因为这些问题被研究人员反复试验了很长时间，而研究人员并没有总是把同样多的时间花在那些人们去 ChatGPT 或模型那里寻求解决的实际问题上，我倒希望他们多花些时间在这些实际问题上。太棒了。所以它基本是开箱即用，没有专门针对这个进行训练。提醒一下大家，我们正在讨论的是 2025 年 9 月刚刚举行的 ICPC 世界总决赛，也就是国际大学生程序设计竞赛（ICPC），在阿塞拜疆巴库举行，OpenAI 在 5 小时时限内解决了 12 道复杂算法题，基本相当于在人类队伍中取得了第一名。这只是给大家一个背景。我们参加了一系列不同的竞赛。我们参加了 ICPC。今年早些时候还参加了 IOI（国际信息学奥林匹克），以及一场 Coder 启发式竞赛，我们在那场比赛中得了第二名，仅次于一个人类选手，那位选手是波兰人，曾经在某段时间受雇于 OpenAI。说来也巧，我觉得我们一直在等待这样一个时刻：我们的模型足够聪明，能够在那些竞赛中与一些极其聪慧、才华横溢的人类同台竞技。但这从来都不是我们特别设定的目标与重心。我们的思路是，如果我们为训练聪明模型做了扎实研究，它们理应足够聪明去完成那些事。我们会把这个里程碑当作一个节点，然后继续前行。我希望并且认为我们已经看到，越来越多实际且具体的成果正在涌现——每周或每隔一周，我都能在 Twitter 上看到一些我认为可信的报道，说真正的科学家正在使用我们的一些推理模型来帮助他们进行计算，用我们的模型解决艰深的技术问题。我觉得这才是我们想要达到的状态：在竞赛中取胜固然很酷，但人们参加竞赛是为了证明自己能够胜任实际的前沿工作，去解决新的技术问题，而这也是我们希望模型能做到的。我们再次深入探讨了这个问题。所以，至少在像我这样的人看来，我能理解 RL 如何能被非常有效地用于针对数学问题或编程问题进行训练。我认为目前最大的疑问之一是，面对世界其他领域和学科——那些答案并非非对即错、可能更加模糊的领域，以及经济的其余部分——你该如何做到这一点。就像你们组织前几天提出的 GDP valve，就是一种针对不同行业评估表现的方式。关于 RL 的泛化，以及它作为通往世界其他领域成功之路，你是怎么想的？我想简短快速的回答是：不知怎的，人类能够学会所有这些事物。只要存在任何评估表现的方式，能够判断某件事做得对不对，并且你能计算那种反馈——也就是说，你需要能够以某种方式算出某件事做得有多好——那么你就可以优化它，就可以用它来做 RL。我认为，有一种观点会说，如果没有对错的观念，人类也无法进步和学习，因为学习信号必须从某处而来。这主要是一个问题：获取那种反馈有多方便、多容易。每个做 RL 的人都应该努力尝试，能够基于越来越复杂、越来越有趣的训练信号进行训练。很多时候会出现一个常被称为 reward hacking 的现象，也就是在做 RL 时经常发生的事，这是一个重要问题。你以某种方式设计奖励，来奖励特定行为，但有时你奖励的东西其实并不是你真正想要的。一方面，你需要训练模型去做出你奖励的行为；但另一方面，你给模型的奖励与你真正想要的东西之间，也存在一种天然的错配。有时候模型做了你奖励的事，但这并不符合你原本想要的初衷，我们需要解决这个问题。这几乎就像一种养育子女的技巧，从某种角度你可以说，这是 RL 的一种局限，但当我思考这个问题时，我意识到这在人类系统中也很常见。存在很多激励系统和奖励系统，甚至在职场和各类人类群体中都会发生——人类得到的奖励并不总是为系统的最终目标而优化，他们会以各种方式不断 hack 奖励。在设定正确的奖励和观察系统是否按预期执行之间，存在一场持续的打地鼠游戏。这几乎在任何政策制定和任何激励项目中都是一个巨大的问题，而在 RL 研究中也是同样的打地鼠游戏：你要努力确保奖励越来越能代表你真正关心模型去做的事。好的。也许最后把视角拉远一些，来结束这场对话。你前几天发推说，我们普遍认为 AGI 本应该在昨天就建成。而它至今尚未建成，主要是因为一个需要纠正的简单错误——这条推特非常精彩。你认为 pre-training 与 scaled RL 的结合能带我们走向 AGI 吗？因为这里总有一个有趣的问题：我们认为什么才不属于 pre-training 和 RL？界限又在哪里？我总体上认为，我们今天正在做的类似 pre-training 的事是必要的。我们今天正在做的 RL 也是必要的。肯定还需要一些别的东西，而且我们在其中一些事情上有很多非常有雄心的研究项目。我不认为在研究空间中的距离问题很难判断——对有些人来说，我们想要做的、我们计划构建的东西，离这些并不远。对另一些人来说，他们会说：“哦，这完全不同。”而且很大程度上确实不是一回事。所以我不想陷入关于这是否是同一回事的争论。但我们正在并且希望不断改变我们明天训练模型的方式，这代表着我们对智能的正确形态以及最有用的学习形态的理解，并且我们会持续研究各种事物。至于离 AGI 还有多远，这也是一个非常复杂的问题。我真的很喜欢有人对我说过的一句话，而且我认为它是对的：如果你和十年前的人谈话，给他们看今天的 ChatGPT，他们可能会称之为 AGI。但我们今天不这么叫，因为它仍然有很多局限性，而我们对此都非常清楚。我们相当确定能够解决这些局限性。未来的模型可能还会有一些需要修复的进一步局限。有一个终极问题很难回答：模型什么时候能够在没有那么多外部输入、没有人类参与修复的情况下自我改进 [snorts] ？我认为这是一个非常难的问题。这是一个严肃的问题，我们需要尝试回答，人类需要尝试回答。因为那些模型可能仍然会在很大程度上依赖我们的基础设施和系统，但它们将能够开始自我修复，而不需要我们亲自去修复。到了那一刻，关于 AI 真正能够做什么、能够解决什么的预测，会比我们现在能预见的要更清晰一些，尽管我认为我们现在已经能做得相当好了。嗯，从哲学层面来说，你可能听说过，Richard Sutton 前几天在 Dwarkesh 的播客上——那是一期非常精彩的节目，大家真该去听一听——他实际上在说，通往 AGI 的唯一路径将是纯 RL，而且从根本上看，LLM……也许我适当地概括了他的观点，但 LLM 的前提是有缺陷的，因为那实际上是对现实的模仿，而 RL 则是对现实的强化。你对这个问题在哲学层面上有什么想法吗？是的，是的。我还没来得及完整听完那期节目。所以，我也没能完全领会那个想法的所有细节。但我可以说的是，如今我们在语言模型上做的 RL 已经相当认真了。就纯 RL 而言，我不认为纯 RL 真的说得通。RL 需要预训练才能成功。而且我认为预训练——正如我之前所说的——也需要 RL 才能成功。我认为，没有 RL，我们正在做的这个研究项目就说不通了。但我们在，OpenAI 在，而且我确信所有其他 AI 实验室也都在非常认真地对我们模型进行大量的强化学习。而且我想，很多人说的是，LLM 究竟是通往 AGI 的入口匝道还是出口匝道，他们很多时候指的是预训练。但同样明显的是，你知道，我们目前的做法也还不够，还不是全部。整体设置还需要进一步的调整。但有时候人们会说，“哦，如果你在做 RL，那它就不是 LLM 了，是别的东西。”有时候他们又说，“哦，如果你能在 rollout 里写程序，那这就是 chain of thought，它不再只是神经网络，而是 neural symbolic 系统。”所以，你知道，很容易就会出现这种情况：一些人认为某个东西是 LLM，而另一些人认为不是。但我个人的观点是，我们现有的基础已经相当不错，可以迈向下一步——就像我们先有了为翻译训练的 transformer，然后我们在大规模数据上预训练它们，接着我们在它们上面做 RLHF。现在我们正在做大规模强化学习。我们还会做一些越来越复杂的事情。在某个阶段，架构有可能会开始发生或多或少显著的变化。而且你知道，我个人认为我们走在正确的道路上，这感觉不太像是彻底掉头，而更像是持续添加更多东西，也许你知道，逐步淘汰一些旧元素，它们曾把我们带到那个特定的智能水平，但已不再被需要了。嗯，这感觉是一个非常好的收尾点。你非常慷慨地分享了时间和思考，让我们得以一窥 OpenAI 的内部，了解你的工作内容、幕后的样子，以及预训练和扩展强化学习的关键方面。所以，这是一次精彩的对话。Jerry，非常感谢。真的很感激。非常感谢。我也非常享受这次交流。大家好，我是 Matt Turk。感谢收听本期 MAD podcast。如果你喜欢这期节目，如果你还没有订阅，希望你能考虑订阅，或者在你观看或收听本期节目的平台上留下正面评价或评论，我们将非常感激。这真的有助于我们建设播客并邀请到优秀的嘉宾。谢谢，下期再见。