大家好，欢迎收听 Latent Space 播客。我是 Alessio，Decibel 的合伙人兼 CTO，和我一起的是我的联合主持人 Brooks，Small Eye 的创始人。Hello，hello。我们在一个假期的周一进行录制。今天请到的是来自 OpenAI 的 Noam Brown，欢迎。谢谢。很高兴终于邀请到你。很多人已经听说过你。你曾在 Lex Fridman 的播客上慷慨地分享了大量时间。而且你最近还做了一次 TED Talk，专门探讨思考范式。但我想，或许你最近最有趣的成就是赢得了世界 Diplomacy 锦标赛冠军。是的。
2022 年，你搭建了 Cicero，它的水平达到了人类玩家的前 10%。我想我的第一个问题是，自从研发 Cicero 到现在亲自下棋，你的 Diplomacy 棋艺发生了怎样的变化？当你研究这类游戏时，你必须对游戏有足够深入的理解，才能调试你的 bot。因为如果 bot 做出了某种非常激进、人类通常不会下的棋，你无法确定那是个错误，还是系统存在 bug，抑或 bot 其实下出了一步妙棋。我们当时在做 Diplomacy 项目时，我进行了深入钻研，试图更好地理解这款游戏。是的。我参加了锦标赛，看了很多教程视频和棋局解说视频。在这个过程中，我变得更强了。另外，观察 bot 在这些棋局中的行为方式也很有帮助。有时它会做出人类通常不会做的事，这也让我对游戏有了新的认识。我们在 2022 年底左右发布了 Cicero 并对外公布。我仍然觉得这款游戏非常迷人，所以一直坚持玩下去，持续参赛。这也让我在 2025 年的世界锦标赛上夺冠，也就是几个月前的事。一直以来都有关于半人马系统——即人机协作——的问题。就像围棋领域那样，你是否也因此更新了自己的棋风？如果你问的是我在锦标赛上是否使用了 Cicero，答案是没有。不过，观察 bot 的下棋方式并从中汲取灵感，我认为确实对我在锦标赛中的表现有所帮助。是的。现在人们在玩 Diplomacy 时，是不是每次都会问图灵测试式的问题？试图判断对手到底是 bot 还是人类？是的，这正是你当初最担心的事情。我们研发 Cicero 的时候其实很有意思，因为你知道，我们当时并没有最好的 language model。Language model 的质量确实是我们的瓶颈。有时 bot 会说一些很奇怪的话。你知道，90% 甚至 99% 的时间里它表现正常，但偶尔就会冒出一句非常离奇的话。比如它会对某件事产生幻觉。有人会提起之前和 bot 对话中说过的话，bot 却会说：“我完全不知道你在说什么，我从没说过那句话。”然后对方会说：“你看，只要往上翻聊天记录，那句话明明就在那儿。”bot 却回答：“不，你在撒谎。”
当它做出这类举动时，人们只是耸耸肩，心想：“哦，这人可能是累了，或者是喝醉了，又或者只是在故意逗我。”但我认为这是因为人们并没有在寻找 bot，他们根本没料到棋局里会有 bot。我们当时其实非常担心，害怕人们迟早会意识到棋局中有 bot，然后他们就会时刻提防，而如果你在刻意寻找，你是能发现它的。这就是关键所在。所以我认为，既然现在消息已经公开，人们知道要提防 bot，他们应该更容易识别出来。不过话说回来，自 2022 年以来，language model 也已经进步了很多。这是一场博弈。是的，所以到了现在，说实话，GPT-4O 和 O3 这样的模型其实已经能通过 Turing test 了。所以我不认为人们能问出多少真正有效的图灵测试问题来起到区别作用。而且 Cicero 的模型非常小，只有 2.7B 左右，对吧？是的，它的模型非常小。这也是我们在项目过程中意识到的：原来拥有更大的 language model 真的能带来巨大收益。没错。是的。你如何看待当今对 AI 的认知，以及关于 safety 的很多讨论——比如，你做了一个非常擅长说服人、能帮助人们赢得游戏的 bot。而我觉得如今很多实验室都想说自己并不研究这类问题。你怎么看待这两者之间的这种二元对立？说实话，在我们发布 Cicero 之后，很多 AI safety 社区的研究者对这项研究及其工作方式感到非常满意，因为它是一个可控性很强的系统。是的。我们将 Cicero 的条件设定在某些具体行动上，这赋予了它很强的可引导性。也就是说，它的行为是我们能够非常清晰地解读和定义的。它不是一个放飞的 language model，想做什么就做什么。不，它实际上相当可控，背后有一整套 reasoning system 来引导 language model 与人类的交互方式。实际上，很多研究者主动联系我，说他们认为这可能是实现这类系统 safety 的一种非常好的途径。我想最后一个关于 Diplomacy 的问题是，你们有没有在 Diplomacy 上更新或测试过 O 系列模型？你预期会有很大的不同吗？还没有。我记得我曾在 Twitter 上说过，我认为这会是一个很棒的 benchmark。我很想看到所有顶尖的 bot 彼此对战一局 Diplomacy，看看谁表现最好。我想有几个人受到了这个想法的启发，正在着手构建这类 benchmark 并评估模型。据我了解，它们目前表现还不太理想。但我认为这确实是一个极富吸引力的 benchmark，而且这也会是一件非常酷的事情，值得尝试。好，我们现在稍微深入聊聊 O 系列。我想你上次大量露面的时候，还是刚发布 O1 的时候，你做了 TED Talk 等等。整体氛围发生了怎样的变化？你曾说非常期待向化学等领域的专家学习，了解他们如何评价 O 系列模型。那么从去年年底到现在，你的想法有什么更新？我认为这个发展轨迹在开发周期早期就已经相当清晰了。而且我认为此后发生的一切基本都符合我的预期。所以老实说，我对未来走向的认知并没有发生太大变化。我认为我们将继续看到——我之前就说过——这种范式会持续快速进步，即使到了今天也是如此。从 O1 preview 到 O1 再到 O3，我们看到了稳定持续的进步。未来这种趋势还将延续。而且我认为这些模型的能力范围也会不断拓宽。你知道，我们将开始看到 agentic behavior。实际上，我们已经看到了 agentic behavior 的苗头。说实话，对我个人而言，O3 在我的日常生活中使用频率非常高。我只是觉得它太有用了。尤其是它现在可以浏览网页，还能替我去做有意义的研究。有点像是一个迷你版的 deep research，你只需三分钟就能得到回复。所以我觉得它会继续变得越来越有用，而且会越来越强大。这个过程也会相当快。是的，说到 deep research，你发过一条推文说，如果你需要证据证明我们能在非可验证领域做到这一点，deep research 就是一个很好的例子。你能谈谈人们可能忽略了什么吗？我感觉这个问题被反复提起：在编程和数学领域很容易做到，但在其他领域却不行。我经常被问到这个问题，包括一些相当知名的 AI 研究人员也会问：我们看到这些推理模型在数学和编程这类容易验证的领域表现出色，但它们是否能在成功标准不那么明确的领域取得成功？我很惊讶这种观点如此普遍，因为我们已经发布了 deep research，大家可以亲自试用。确实有很多人在用，它非常受欢迎。而这很明显是一个你没有简单可验证的成功指标可以衡量的领域。到底什么样的研究报告才是最好的？然而，这些模型在这个领域表现得极其出色。所以我认为这就是一个存在性证明，证明了这些模型可以在那些奖励不那么容易验证的任务中取得成功。这是因为不一定存在所谓的错误答案吗？deep research 的质量有一个光谱，对吧？你可能拿到一份看起来不错，但信息普普通通的报告；也可能拿到一份非常出色的报告。你觉得人们在拿到结果时，很难分辨其中的差别吗？我的印象是，人们在拿到结果时确实能分辨出差别，而且我认为他们对 deep research 的结果如此之好感到惊讶。当然，它还不是百分之百完美，可以变得更好，我们也打算继续改进。但我认为人们能分辨出好报告和坏报告之间的差别，当然也能分辨出好报告和一般报告之间的差别。这就足以形成一个循环，去构建产品并提升模型表现。我是说，如果人们根本看不出输出结果之间的差别，那你就算在进步上做 hill climbing，也毫无意义。这些模型会在那些有成功衡量标准的领域变得更好。现在，我认为那种成功必须容易被验证之类的想法，并不正确。我觉得即使在一个成功标准非常难以界定、有时甚至可能是主观的领域，这些模型也能做得很好。人们很依赖类比。你也用过《思考，快与慢》来类比推理模型。我认为这个概念现在已经传播得相当广了，即这某种程度上是下一个 scaling paradigm。但所有类比都不完美。在哪些方面，thinking fast and slow 或者 system one / system two 的类比，并不能完全对应到我们实际扩展这些模型的方式？有一点我认为被低估了：预训练模型需要达到一定的能力水平，才能真正从这种额外的思考中受益。这某种程度上解释了为什么推理范式会在那个时间点出现。我觉得它本可以更早出现，但如果你试图在 GPT-2 之上做推理范式，我觉得几乎不会有什么效果。这算 emergence 吗？很难说它是否一定是 emergence，因为我还没有做那些测量来真正清晰地定义这一点。但我认为这很明显：有人曾在非常小的 GPT 模型上尝试 chain of thought，发现它根本没什么用。然后当你换到更大的模型，它才开始有提升。关于这种行为在多大程度上是 emergent，有很多争论，但显然是有差别的。所以这并不是两个独立的范式。我认为它们是相互关联的，也就是说，模型需要具备一定的 system one 能力，system two 才能真正发挥作用。是的。我以前曾试图扮演业余神经科学家，把它类比成大脑的进化——你必须先进化出皮层，然后才能进化出大脑的其他部分，也许我们现在做的就是这样。是的。你甚至可以说，这其实和 system one / system two 的范式并没有那么大区别，因为如果你让一只鸽子努力思考怎么下国际象棋，它也不会有多大长进。不管它想上一千年，它也不会变得更擅长下棋。所以也许在动物和人类身上也是如此：你需要具备一定的 system one 层面的智力能力，才能从 system two 中受益。是的。顺便问一下，这也适用于视觉推理吗？比如说，我们现在有了 4o 这种原生的 Omni 模型，那也让 o3 在 GeoGuessr 上表现得很好。这也能推广到其他模态吗？我认为答案是肯定的。但这取决于你具体问的是什么问题。有些问题我觉得并不会从 system two 中受益。GeoGuessr 肯定是一个能受益的例子。而图像识别，如果我猜的话，可能是那种不太需要 system two 思考的问题。因为你要么认识，要么不认识。对，没错。我通常会举的例子就是信息检索。如果有人问你这个人是什么时候出生的，而你又没法上网查，那你要么知道，要么不知道。你可以坐在那里想很久，也许能做一个有根据的推测，比如说这个人大概生活在某个时期，所以这是个大致的日期，但除非你真的知道，否则你不可能得出确切的日期。但像 tic-tac-toe 这样的空间推理可能会更好，因为你掌握了全部信息。是的，确实如此。在 tic-tac-toe 上，我们看到 GPT 4.5 会出错。它下得还算可以。我不该说出错，它表现还算合理。它能画出棋盘，能走出合法的棋步，但有时候会犯错，如果你要让它下出完美对局，那就真的需要 system two。当然，如果将来有了 GPT-6，只用 system one 也许也能下得很完美。总有一天我们会知道的，但我认为现在你需要 system two 才能真正做好。你认为 system one 需要具备哪些能力？显然，需要对游戏规则有基本的理解。你是否还需要理解某种元游戏层面的东西，比如在不同游戏里如何评估棋子的价值，尽管这只是一个例子。你如何在 system one 中实现泛化，以便在 system two 中真正进入所谓的“游戏对局”？我认为 system one 里具备的东西越多越好，这和人类是一样的。你知道，人类第一次下国际象棋时，他们可以运用大量的 system two 思考。如果你投入大量 system two thinking，比如让一个极其聪明的人面对一款完全陌生的游戏，告诉他要与一位精通此游戏的 AI 或人类对战，让他坐下来花三周时间思考怎么玩，我猜他其实能玩得相当不错。但建立起 system one thinking，也就是培养对这款游戏的直觉，肯定大有裨益，因为这会让你的速度快很多很多。我觉得 Pokémon 的例子很能说明问题：system one 大概已经掌握了关于游戏的各种信息，但一旦进入游戏，仍然需要大量 harness 才能运作。我想弄清楚的是，我们能把多少原本依赖 harness 的东西内化到 system one 里，从而让 system two 尽可能摆脱 harness 的束缚。不过我想，这大概就涉及游戏与 AI 的泛化问题了。我觉得这算是另一个问题。在我看来，harness 的理想状态就是没有 harness。harness 不过是一根拐杖，我们最终应该能够摆脱它。所以只需要两次调用。你可以直接去问 03。其实这事挺有意思的，当玩 Pokémon 这件事逐渐成为一个 benchmark 时，我其实很反对用我们的 OpenAI 模型来做这个 eval。我的感觉是，如果要做这个 eval，那就直接用 03，看看它在没有任何 harness 的情况下能走到哪一步？玩 Pokémon 能玩多远？答案是走不了多远，但这没关系。我觉得完全可以存在一种 eval，模型在里面表现得很差。我也不认为解决办法应该是去搭建一个很好的 harness 让它在这个 eval 上取得好成绩。我觉得答案应该是，直接提升我们模型的能力，让它方方面面都变强，然后它自然也会在这个 eval 上取得进步。你觉得像检查一步棋是否合法这种事算是 harness，还是应该内建于模型之中？比如国际象棋，你可以让模型在 system one 里就学会哪些走法是合法的、能做什么不能做什么，也可以在 system two 里让它去反思哪里走错了。所以我觉得这里面有很多设计层面的问题。对我来说，如果你愿意，应该赋予模型检查走法是否合法的能力。这可以作为环境中的一个选项，比如提供一个 tool call，让它去确认某个动作是否合法。它想用的话就可以用。然后还有一个设计问题：如果模型走了一步非法的棋，该怎么办？我觉得完全可以规定，如果它走了非法的棋，就直接输掉比赛。我不知道人类在国际象棋比赛中走了非法的棋会怎么样。我其实不太清楚。我觉得根本不允许你走。对，你就是不被允许这么做的。那你会直接判负吗？我不知道。如果真是这样的话，那我觉得完全可以这么设定：在我们的 eval 里，这也同样适用于 AI 模型。不过我想，从研究的角度来理解，这大概可以解读为：你是否允许做搜索。DeepSeeker 有一个著名的发现，就是 MCTS 对他们来说没那么管用。但我觉得很多工程师仍在尝试搜索，为此消耗大量 tokens，这可能并不值得。我在这里要做一个区分：通过 tool call 去检查一步棋是否合法，和真的走了那步棋然后看结果是否合法，这是两回事，对吧？如果这个 tool call 是可用的，那我觉得用它去检查合法性完全没问题。但如果是模型说“我要走这步棋”，然后收到反馈说“你这一步非法”，接着它又说“哦，开玩笑的，那我换个别的”，这就不同了。这就是我要划的界限。有人试图把第二种情况归类为 test time compute。你不认为那属于 test time compute 吗？有很多理由说明，当你走向真正的应用场景时，你不会想依赖那种范式。想象一下，你有一个机器人，它在现实世界里做了某个动作，结果打碎了一样东西。你不可能说“哦，开玩笑的，我不是故意的，我要撤销这个动作”。东西已经碎了。所以如果你想模拟一下，如果让机器人这么动会发生什么，在模拟里你看到东西碎了，然后你决定不执行那个动作，这完全没问题。但你不能撤销你在现实世界里已经做出的动作。这个大致方向我还有几个想聊的。关于快思考与慢思考这块，我其实有个答案，也想听听你怎么看。现在很多人试图加入 model router 层，比如在快速响应模型和深度思考模型之间做路由。Anthropic 就在明确地这么做。这里面有个问题：你到底需要一个聪明的路由裁判来做判断，还是需要一个笨一点的裁判，因为它速度快？所以当你有一个 model router，比如在 system one 端和 system two 端之间转发请求时，这个路由器需要像那个聪明模型一样聪明，还是可以笨一点、只要够快就行？我觉得一个笨一点的模型也有可能识别出某个问题非常难，自己解决不了，然后把它转给能力更强的模型。但笨模型也可能被误导，或者过于自信。这里确实存在一种权衡。但我要说，我觉得现在很多人正在搭建的很多东西，最终都会被 scale 淘汰掉。harness 就是个很好的例子，最终模型会……其实 reasoning models 出现时就已经发生过了。在 reasoning models 出现之前，大家花了大量工夫去搭建各种 agentic systems，让 GPT-40 或这些非推理模型调用很多次，以获得推理行为。结果后来发现，我们直接做出了 reasoning models，你根本不需要那么复杂的行为。事实上在很多情况下，那些 scaffolding 反而会让事情更糟。直接把同样的问题丢给 reasoning model，不加任何 scaffolding，它自己就能做出来。现在确实仍有人在 reasoning models 之上搭建 scaffolding，但我觉得在很大程度上，这些 scaffolding 也会被 reasoning models 以及整体能力更强的模型所取代。同样地，我觉得像这类 routers，我们公开表达过，希望走向一个由单一统一模型主导的世界。在那个世界里，你不需要在模型之上再加一个 router。所以 router 的问题最终也会得到解决。就是说，你把 router 内置到模型自身的权重里。我不认为将来还有什么必要……我不该把话说死，因为我可能错了。当然，也许出于某些原因，你需要路由到不同的模型提供商之类，但我觉得 routers 最终会消失。我能理解为什么这在短期内值得做，因为事实是它现在就很有用，如果你正在做产品并从中获得了提升，那么现在值得去做。我想很多开发者面临的一个棘手问题是，你必须预判这些模型在6个月、12个月后会发展到什么程度，而这很难做到，因为进展太快了。你肯定不想花6个月做的东西，然后被 scaling 完全冲垮。但我想鼓励开发者，当你们在做 scaffolds 和 routers 这类东西时，要牢记这个领域发展得非常快。3个月内就会有变化，更别说6个月了，这可能需要你彻底重构这些东西，或者完全扔掉。所以别花6个月去做一个6个月后可能就被扔掉的东西。但这确实很难。人人都这么说，却没人给出具体该怎么做。那 reinforcement fine-tuning 呢？这显然是你们一个月前在 OpenAI 发布的。人们现在应该花时间在这上面，还是等它下一次飞跃？我觉得 reinforcement fine-tuning 挺酷的，值得研究，因为它本质上是针对你拥有的数据对模型做专业化，我觉得这对开发者来说值得研究。毕竟很多时候，这些数据不会突然就被 baked 进 raw model 里。所以我觉得这算是另一个问题。对。所以搭建环境和建立 reward model 是人们现在最能做的事。我想大家的疑问是，我应该急着用 RFT 去 fine-tune 模型，还是搭建好框架，等模型变强了再用 RFT？我认为区别在于，对于 reinforcement fine-tuning，你收集的数据即使模型进步了也依然有用。所以如果我们推出能力更强的未来模型，你仍然可以用你的数据去 fine-tune 它们。我觉得这正是一个很好的例子：你在做的东西会 complement 模型 scaling 和能力提升，而不是必然被 scaling 冲垮。最后一个关于 Ilya 的问题，我记得你在 Sarah 和 Ilya 的播客里提到，几年前你和 Ilya 聊过语言模型中更多 RL 和 reasoning 的事。想听听你的推测或看法，为什么他当时的尝试没有成功，或者时机不对，以及为什么现在时机成熟了。我不会用“他的尝试没成功”这种说法。在很多方面，它是成功的。对我来说，Ilya 看到，在我从事过的所有领域——扑克、Hanabi、外交游戏——让模型在行动前先思考，对性能产生了巨大影响。是数量级的差异。是一万倍的差距，对吗？对，大概1000到10万倍，相当于模型大了1000到10万倍。但在语言模型里，你并没有真正看到这种效果。模型只是即时响应。LM 领域有些人坚信，只要不断 scaling pre-training，就能达到 superintelligence。我对此有点怀疑。
2021年底，我和 Ilya 一起吃饭。他问我对 AGI 的时间线怎么看，这是非常标准的旧金山问题。我跟他说，我觉得其实还挺远的，因为我们需要以一种非常通用的方式搞定这个 reasoning paradigm。LMs 虽然很通用，但没有一个非常通用的 reasoning paradigm。在做到之前，它们的能力会受限。我们当然会 scaling，再 scaling 几个数量级，它们会变得更厉害，但仅靠这个看不到 superintelligence。是，如果我们有千万亿美元去训练模型，也许可以，但如果没有 reasoning paradigm，你会在达到 superintelligence 之前就碰到经济可行性的极限。我当时错误地确信，这个 reasoning paradigm 要花很长时间才能搞定，因为它是一个巨大的未解研究难题。Ilya 同意我的看法，他说我们需要这种额外的 paradigm。但他的观点是，也许这没那么难。我当时不知道，但他和 OpenAI 的其他人其实也在想这件事。他们也在思考 RL，一直在做这方面的研究，我觉得他们取得了一些成功，但和大多数研究一样，你必须不断迭代。你得尝试不同想法，尝试不同东西，而且随着模型能力变强、速度变快，实验迭代也更容易了。我觉得他们做的工作，即使没有直接产生 reasoning paradigm，也都是建立在之前工作之上的，对吧？所以他们搭建了很多东西，久而久之导向了这个 reasoning paradigm。给听众们说一下，Noam 可以聊这个，但据传那项工作的代号是 GPT-0，如果你想搜索那方面研究的话。我觉得曾经有一段时间，RL 基本经历了一个黑暗时代，当时所有人都全力投入，然后没什么成果，就放弃了。而现在又有点像黄金时代了。所以我想弄清楚，为什么？原因是什么？可能仅仅是因为我们有了更聪明的 base models 和更好的数据。我不认为仅仅是因为 base models 更聪明了。我觉得是因为……对，我们最终在 reasoning 上取得了很大成功。而且我认为这在很多方面都是渐进的过程。某种程度上它是渐进的。有迹象，有迹象表明有戏，然后我们迭代，尝试了更多东西。我们得到了更好的积极信号。我觉得大概是在2023年11月，或者10月左右，我当时确信我们看到了非常有说服力的积极信号，意识到这会成为一个 paradigm，而且影响巨大。但这在很多方面并非渐进式的。我觉得 OpenAI 做得好的地方在于，当我们看到那些积极信号时，他们认清了它的本质，并大力投入进行 scaling。我觉得这最终促成了 reasoning models 在彼时问世。内部有没有分歧？尤其是因为 OpenAI 可以说是开创了 pre-training scaling 的先河，有种“算力就是一切”的感觉，然后你又说也许这不是通往那里的路。是所有人都很清楚这会成功，还是有争议？这种事向来有不同意见。我觉得有些人认为只要 pre-training 就够了，无限 scaling 就能达到目标。但其实 OpenAI 的很多领导层都认识到还需要另一个 paradigm，所以他们才把所有这些研究精力投入到 RL 这类事情上。我觉得这也值得称赞 OpenAI：他们确实搞清楚了 pre-training paradigm，并且非常专注于 scaling 它。事实上，绝大多数资源都集中在 scale up 上，但他们也意识到，还需要别的东西；值得投入研究力量去其他方向探索，弄清楚那个额外的范式到底是什么。首先，关于这个额外范式究竟是什么，当时就有很多争论。我觉得很多研究人员关注 reasoning，而 RL 其实并非关于 scaling test time compute，更多是为了 data efficiency。因为当时的判断是，我们有海量算力，但实际上更受限于数据。所以存在一道数据墙，而且我们会在触及算力极限之前先撞上它。那么如何让这些算法更 data efficient？它们确实更 data efficient 了，但我认为这也相当于把算力大幅 scale up 了。这很有意思。当时有很多争论：我们到底在做什么？而且我认为，即使当我们看到了转机迹象，关于其重要性也存在很多争论。比如，我们应该投入多少来 scale up 这个范式？我觉得，尤其当你在一家小公司时——要知道，OpenAI 在 2023 年还没有今天这么大，算力也比今天更受限制。如果你把资源投入到一个方向，就会以牺牲其他东西为代价。所以，如果你看到 reasoning 方面出现了转机迹象，然后说：这看起来很有前景，我们要大幅 scale up、投入更多资源，那这些资源从哪里来？你必须做出艰难决定，从哪里抽调资源，这是一个非常有争议、非常艰难的决定，会让一些人不高兴。而且我认为，当时存在争论：我们是否在这个范式上聚焦太多？它真的有那么重要吗？我们是否能看到它泛化并做各种事情？我记得一件很有意思的事：我跟一个人聊过，他在我们发现了 reasoning 范式之后、但在发布 o1 之前离开了 OpenAI，然后去了一家竞争实验室。在我们发布 o1 之后，我又见到了他，他跟我说，当时他们真的不觉得 reasoning 这件事，这些 O 系列、strawberry 模型有那么重要。他们觉得我们对这件事的重视程度超出了它实际应得的分量。然后当我们发布 o1，他看到那家竞争实验室的同事们的反应——每个人都觉得“天哪，这是件大事”，整个研究议程都 pivot 来聚焦这个——他才意识到：哦，实际上这可能真的是件大事。很多事后来看似乎显而易见，但在当时其实并不明显，很难认清事物的本质。我的意思是，OpenAI 一直有很好的历史，就是押注正确。我觉得 GPT 模型也有点类似，对吧？一开始是游戏和 RL，然后说也许我们可以转而 scale 这些 language models。我对领导层，当然还有不断提出这些洞察的研究团队，印象非常深刻。今天回头看，这似乎显而易见：当然，这些模型会随着 scale 变得更好，所以你应该大幅 scale them up，它们就会变好。但最好的研究确实都是事后看来显而易见，而在当时并不像今天看起来这么明显。关于 data efficiency 的跟进问题。这是我个人非常感兴趣的话题。我们目前的学习方法似乎仍然非常低效，对吧？与人类这个存在性证明相比，人类拿五个样本就能学会一些东西，机器大概需要 200 个，不管你要什么数据点，可能都需要很多。有没有人在 data efficiency 方面做什么有趣的工作？或者你认为机器学习相比人类存在某种根本性的低效，而且将永远存在？我认为这个观点很好：如果你看看这些模型训练所用的数据量，再对比人类达到同等表现所观察到的数据量。我想在 pre-training 阶段很难做完全对等的比较，因为我不知道婴儿在发育过程中到底吸收了多少 token。但可以公平地说，这些模型比人类的 data efficiency 更低，我认为这是一个未解决的研究问题，可能是最重要的未解决研究问题之一，也许比算法改进更重要。因为你可以从现有世界和人类的集合中增加数据供给。我想这很好。关于这一点我有几点想法。一是答案可能就在于算法改进，也许算法改进确实能带来更高的 data efficiency。第二点是，人类又不是只靠阅读互联网学习的。所以，仅仅从互联网上的数据学习当然是最容易的，但我不认为这是你能收集的数据的极限。在换话题到 coding 之前的最后一个跟进问题。关于 Ilya，还有什么轶事或洞见吗？因为你和他共事过，我们能聊的、和他共事过的人并不多。我对他的 vision 印象非常非常深刻，尤其是当我加入时，看到 OpenAI 的内部文件，了解他在 2021、2022 年甚至更早之前的想法。他清楚地知道这一切将走向何方，以及需要什么，这让我印象非常深刻。他 2016 到 2017 年间、OpenAI 成立时的一些邮件被公开过，即使在当时他就在说，一个大型实验比 100 个小实验更有价值。这是一个核心洞察，让他们有别于 Brain，例如。他似乎比其他人看得清楚得多，这非常有洞察力。我只是好奇他的 production function 是什么，如何造就这样的人，以及如何改进自己的思维来更好地模仿它。我的意思是，我认为确实如此，OpenAI 的一大成功就是押注 scaling paradigm。这有点奇怪，因为他们并不是最大的实验室，对他们而言 scale 其实很困难。那时候更常见的是做很多小实验，更偏学术风格。人们在试图搞清各种算法改进，而 OpenAI 很早之前就押注了 large scale。我们请过 David Luan，他当时是 GPT-1 和 GPT-2 时期的工程副总裁，他谈到 Brain 和 OpenAI 的差异，基本上就是 Google 无法推出 scaled model 的原因。从结构上说，每个人都被分配了算力，你必须把资源集中起来才能下注，而你就是做不到。我认为这没错，OpenAI 的结构不同，而这确实帮到了他们。OpenAI 运作起来很像一家 startup，而其他地方往往运作得更像大学，或者传统意义上的研究实验室。OpenAI 更像 startup 那样运作，带着构建 AGI 和 superintelligence 的使命，这帮助他们组织协作、集中资源、做出关于如何分配资源的艰难选择。我认为很多其他实验室现在也在试图采用更类似那样的范式、更类似那样的架构。我们来聊聊这些模型在我看来或许是杀手级的应用场景，那就是编程。你们最近发布了 Codex，不过我很想聊聊你自己的编程技术栈。你用什么模型，怎么和它们交互？Cursor、WinSurf 这些？最近我一直在用 WinSurf 和 Codex，其实用了非常多 Codex。我玩得很开心，你只要给它一个任务，它就会自动去执行，5 分钟后带着一个 pull request 回来。那是核心研究任务，还是你没那么在乎的副业项目？我不觉得那算是副业。基本上任何我平时会尝试写代码的事情，我都会先用 Codex 来做。对你是免费的，不过现在对所有人都是免费的。我觉得一部分原因在于，这对我来说是最有效的方式，而且我也需要积累使用这项技术的经验，同时看到它的不足之处。这能帮助我更好地理解：这些模型的极限在哪里，以及我们接下来需要在哪些方面发力。你感受到过 AGI 吗？我多次感受到过 AGI，是的。那么，你觉得人们应该怎么像你这样去充分挖掘 Codex 的能力？显然你比别人更早看到这一切，因为你离它更近。我觉得任何人都可以用 Codex，并且感受到 AGI。有趣的是，你感受到 AGI 之后，很快就会习惯它。所以其实你对它的不足之处还挺能接受的。是啊，我知道，它有时候就是有种魔力。其实我最近在回看 Sora 刚发布时的老视频，还记得 Sora 刚出来那会儿，简直就是魔法。你看着会觉得：它真的来了，这就是 AGI。但如果你现在再看，就会感觉：嗯，人物动作不太自然，有些地方缺乏一致性，你能看到各种缺陷，而这些在它刚出来的时候你根本注意不到。而且你确实很快就会习惯这项技术。但我觉得很酷的地方在于，因为它发展得太快了，每隔几个月你都会有那种“感受到 AGI”的时刻。所以总会有新产品出来，让你觉得像魔法一样，然后你又很快习惯。你深度使用 WinSurf 之后有什么专业技巧？有一点让我很惊讶，就是居然还有这么多人根本不知道 O3 的存在。我是说，也许你的听众对 reasoning models 更熟悉，用得更多，但我还是很惊讶。我每天都在用。它基本上已经取代了我心目中的 Google 搜索。我就是一直用它。而且像编程这类事，我也倾向于直接用 reasoning models。我的建议是，如果你还没试过 reasoning models，真的值得一试，因为说实话，用过的人都很喜欢。显然用 GPT-4O 的人更多，就是 ChatGPT 上的默认模型那种。但我觉得 reasoning models 值得尝试，大家可能会对它的能力感到惊讶。我每天都在用 WinSurf，但他们其实还没把 O3 设成默认模型。我总是得去翻找，手动输入 O3，然后才出现“哦，原来还有这个”。这挺奇怪的。我觉得困扰我的一点是，它推理时间有点长，会打断心流。这确实是的。所以我觉得 Codex 的一个优势就在于，你可以给它一个相对独立的任务，让它自己去执行，10 分钟后再回来看结果。我能理解，如果你更多的是把它当作结对编程伙伴来用，那你确实可能会想用 GPT-4.1 之类的模型。你觉得 AI 辅助开发周期里最薄弱的环节是什么？在我看来是 pull request 审查。我一天到晚用 Codex，然后会收到一大堆 pull requests，要全部过一遍还挺难的。你还希望别人做出什么来让这套流程更具可扩展性？我觉得这真的取决于我们，我们要做的东西还很多。这些模型在某些方面仍然非常受限。我是说，我觉得很沮丧的一点是，你让它们做一件事，它们花了 10 分钟做完，然后你让它们做一件非常相似的事，它们又花 10 分钟重新做一遍。我觉得可以把它们形容为天才，但那是他们上班的第一天。这确实有点烦。就算是世界上最聪明的人，上班第一天也不可能像你希望的那样顺手。所以我觉得，如果它们能积累经验，表现得像已经入职 6 个月的员工，而不是才上了一天班，那会实用得多。但这确实需要我们自己去构建这种能力。你觉得这在很大程度上是受 GPU 限制吗？比如想到 Codex，为什么它还要我自己配置环境？如果我让 O3 为一个仓库写环境配置脚本，我相信它能写，但今天在产品里我却得自己做。所以我想知道，在你看来，如果我们投入更多 test time compute，它们是不是能做到更多？还是说今天存在某种根本性的模型能力限制，导致我们仍然需要很多人为的约束和辅助？我觉得我们现在正处于一个有点尴尬的阶段：进步非常快，有很多事情显然我们是可以做的，做了模型会更好。我们会做到的。只是，一天只有那么多小时，进度只能这么快。我们正在尽全力推进，而且我认为 O3 还不是 6 个月后技术将达到的水平。总的来说我喜欢这个问题。软件开发生命周期不仅仅是生成代码，基本上从 issue 到 PR 才是典型的完整流程，然后是 WinSurf 这类 IDE 内部的功能，除此之外还有什么呢？Pull request 审查就是这样一件事，已经有创业公司围绕这个在做，Codex 现在不做这个，但它其实可以做。那么还有什么在限制你迭代软件的规模呢？这是个开放性问题，我不知道有没有答案。关于 agent suite 整体你还有什么看法？你觉得它的产品形态会怎么发展？又或者说到明年这个时候，模型能做到哪些今天还做不到的事？我觉得它不会局限于 agent suite。你知道，我认为它也不会局限于软件工程。它将能够完成很多远程工作类型的任务。对，就像 Upwork 上的自由职业者那种。是的，甚至一些不一定是软件工程的工作。所以我的想法是，任何从事远程工作的人，都有必要去熟悉这项技术，了解它能做什么、不能做什么、擅长什么、不擅长什么，因为它能做的事情范围会随着时间的推移不断扩大。我觉得虚拟助手可能是继 AC 之后的下一个方向，因为它们是最容易切入的——你知道，就像雇一个菲律宾的虚拟助理，那种会帮你查看邮件之类的人——因为你完全可以拦截所有的输入和输出，并基于这些进行训练。也许 OpenAI 会直接收购一家虚拟助理公司。是的，我很期待的一点是，对于虚拟助手这类应用，如果模型 alignment 做得好，它们可能会非常适合这类工作，你知道吗？这里始终存在一个 principal agent problem：如果你把任务委派给别人，他们是否真的按照你希望的方式去做，并且尽可能便宜、尽快地完成。对对对。所以，如果你有一个真正与你和你的偏好 alignment 的 AI 模型，那它最终能做到比人类更好的工作。嗯，不是说它能做到比人类“能够”做到的更好，而是比人类“愿意”做到的更好。顺便说一下，alignment 这个词，我觉得 safety alignment 和 instruction following alignment 之间有一种有趣的 override 关系，或者说 homomorphism。我想知道它们在什么地方会产生分歧。好，我觉得分歧之处在于，你想让模型与什么 alignment？我认为这是个难题，你知道吗？比如说，你想让它与用户 alignment。那好，如果用户想制造一种能消灭一半人类的新型病毒呢？这就是 safety alignment。对。所以问题在于，我觉得它们是有联系的，你知道吗？我认为核心问题是：你在朝什么方向 alignment？是的，这中间有 humanity goals，也有你的 personal goals，以及介于两者之间的一切。嗯。所以这大概就是所谓的 individual agent 吧。而且你宣布了要在 OpenAI 组建 multi-agent 团队。我没看到太多相关公告，可能是我漏掉了，关于你们一直在做的研究，你能分享些什么有趣的方向吗？是的，这方面确实还没有什么公告。我觉得我们在做一些很酷的东西，而且我相信某个时候我们会宣布一些很酷的进展。其实这个团队在很多时候名不副实，因为我们做的远不止 multi-agent。Multi-agent 只是我们研究的其中一个方向。我们还在做的另一些事是大幅 scale up test time compute。比如，我们现在能让模型思考 15 分钟，那怎么让它们思考几个小时，甚至几天、更长时间？从而能够解决极其困难的问题。这是我们探索的一个方向。Multi-agent 是另一个方向，这里有几个不同的动机。我们对 multi-agent 的协作面和竞争面都很感兴趣。我是这么描述的：AI 圈子里人们常说，人类只占智能谱系中很窄的一段，而 AI 会迅速追上并超越这段智能。但我其实不认为人类智能的谱带那么窄。我觉得它其实相当宽，因为如果你比较解剖学上与现代人完全相同的穴居人，以我们今天对智能的标准来看，他们并没有走得那么远，对吧？他们没有把人送上月球，没有造出半导体或核反应堆之类的东西。而今天我们拥有了这些，尽管作为人类我们在解剖学上并没有不同。那区别是什么？我认为区别在于，你拥有数千年的时间，大量人类、数十亿人类相互合作又相互竞争，逐步积累起文明。我们今天看到的技术就是这个文明的产物。同样地，我认为今天的 AI 有点像 AI 界的穴居人。而我认为，如果你能让数十亿个 AI 在很长一段时间里相互合作、相互竞争，本质上建立起一个文明，那么它们能够产出和解答的东西将远远超出现有 AI 的能力范围。你觉得这类似 Jim Fan 的 Voyager 技能库那种不断保存技能的想法，还是说只是模型基于这些新知识重新训练？因为人类在成长过程中会把很多知识留在脑子里。我想在这儿回避一下：在我们有东西可以宣布之前——我觉得应该不会太远——我不太想具体透露我们在做什么。但我要说，我们在细节上处理 multi-agent 的方式，以及我们实际推进的方法，与历史上以及其他地方今天的做法非常不同。我在 multi-agent 领域已经很长时间了，我一直觉得这个领域在某些方面有点 misguided，包括这个领域采取的方法和整体的研究路径。所以我们试图用一种非常 principled 的方式来处理 multi-agent。抱歉，我得问一下：你不能说你们在做什么，但你可以说说什么是 misguided。什么是 misguided？我觉得很多已采取的方法都非常 heuristic，并没有真正遵循 scaling 和研究中的 bitter lesson 路径。好。也许这是个合适的时机——显然你在扑克方面做了很多出色的工作，而且随着 reasoning model 变得越来越强，我之前和一位曾经是硬核扑克牌手的朋友聊天，我告诉他我要采访你，他的问题是：在牌桌上，你可以通过很小的样本量获取关于一个人打法的大量信息，但今天 GTO 如此盛行，以至于人们有时会忘记你也可以 exploitative 地打牌。你怎么看待这个问题，尤其是联系到 multi-agent 和竞争？系统是会一直试图寻找最优解，还是很多时候需要在当下思考如何剥削对手？我猜你的观众可能对扑克术语不太熟悉，所以我稍微解释一下。很多人以为扑克只是靠运气的游戏，事实并非如此。实际上扑克里有很多策略。如果你采用正确的策略，就能持续盈利。所以扑克有不同的打法。一种是 game theory optimal。这指的是你采用一种在期望意义上不可战胜的策略，也就是不可被剥削的。有点像石头剪刀布：如果你完全随机地以相等概率出石头、剪刀或布，那你就是不可战胜的，因为不管对手怎么出，他们都没法剥削你，也就是说你在期望意义上不会输。很多人听到这个会觉得，那也意味着你在期望意义上不会赢，因为你完全是随机出招。但在扑克中，如果你采用 equilibrium strategy，对手其实很难琢磨出如何与你打平，而他们最终会犯错，这就让你在长期中获利。这可能不是巨大的盈利，但确实会赢。如果你在足够长的时间内玩足够多的手牌，期望上你就是能赢的。此外还有一种“剥削型扑克”，其核心思路是试图发现对手打法中的弱点——比如他们诈唬得不够多，或者面对诈唬时太容易弃牌。于是你开始偏离博弈论最优（GTO）的均衡策略，那种策略要求你有时诈唬、有时不诈唬，转而采用一种非常不均衡的策略：比如，“既然这人每次我诈唬他都弃牌，那我就对他疯狂诈唬”。这里的关键在于存在一种权衡，因为如果你采取这种剥削型打法，你自己也会暴露出被剥削的弱点。因此你必须在两者之间取得平衡：一种是防御性的博弈论最优策略，它能保证你不输，但可能赚不到你本可以赚到的那么多钱；另一种是剥削型策略，它可能带来高得多的利润，但也会制造弱点，让对手有机可乘、反过来套路你。这两者之间不可能完美平衡。有点像石头剪刀布——你注意到某人第六次要出剪刀，但偏偏那一次他出了石头，对吧？你永远无法真正确定。所以这种权衡始终存在。那些在扑克领域取得巨大成功的 AI——顺便说一下，我读博期间做了好几年扑克 AI，并且做出了第一个超人类水平的无限注扑克 AI。我们当时采取的是博弈论最优方法，让 AI 执行一种无法被击败的策略，与世界上最顶尖的玩家对局并战胜他们。这也意味着它们能打败最差劲的玩家，基本上能打败任何人。但如果面对的是弱对手，它们的赢面可能没有人類专家那么大，因为人类专家懂得如何从 GTO 策略进行调整，从而剥削这些弱玩家的弱点。于是就留下了一个悬而未决的问题：如何做出一个剥削型扑克 AI？很多人一直在研究这个方向。我读博时也稍微涉猎过一点。我认为从根本上说，这归结为 AI 的样本效率不如人类——我们之前讨论过这一点。人类打扑克时，往往只需十几手牌就能对对手的优势和弱点形成非常准确的判断，说实话这真的很厉害。回想 2010 年代中期我们做扑克 AI 那会儿，这些 AI 得打大概 10,000 手牌才能勾勒出对手画像——摸清这人怎么打、弱点在哪。现在我觉得随着技术进步，这个数字已经降下来了，但样本效率仍然是一个重大挑战。有趣的是，做完扑克之后，我又去做了 Diplomacy。我想我们之前聊过。Diplomacy 是一个七人谈判游戏。刚开始研究它时，我采取了非常博弈论的思路。我当时觉得，好吧，这跟扑克差不多，只要算出这个博弈论最优策略然后执行，期望上不会输，实战中就能赢。但这一招在 Diplomacy 里根本行不通。至于为什么行不通——要看我们打算把这个话题挖多深——不过简单来说，当你在玩像扑克这样的零和博弈时，GTO 非常有效；但当你玩的是 Diplomacy 这种既需要合作又需要竞争、存在协作空间的游戏时，GTO 其实就没那么好用了。你必须更好地理解玩家，并针对他们做出调整。所以这最终和扑克里的一个问题非常相似：如何适应对手？在扑克中，是要适应对手的弱点并加以利用。在 Diplomacy 中，则是要适应他们的打法风格。这就好比坐在一张桌子上，所有人都在说法语，你也不想一直说英语吧？你得适应他们，也说法语。这是我从 Diplomacy 中得到的领悟：我们需要从 GTO 范式转向对其他玩家建模，理解他们是谁，然后做出相应回应。所以在很多方面，我们在 Diplomacy 中开发的技术是剥削性的——其实也不完全是剥削，它们本质上只是适应桌上的其他玩家。但我认为同样的一套技术也可以用在扑克 AI 上，用来打造剥削型扑克 AI。如果不是因为语言模型取得了惊人进展，让我被 AGI 吸引、把整个研究议程转向通用推理，我接下来很可能会去研究怎么做出这些剥削型扑克 AI。这会是一个非常有趣的研究方向，我觉得它仍然摆在那里，等着有人去做。而关键就在于把我们在 Diplomacy 中用过的技术应用到扑克这类游戏上。在我看来，核心的一点是：当你在线打牌时，你有一个 HUD，它会告诉你关于对手的各种数据，比如翻牌前的参与率等等。而据我所知，很多模型其实并没有真正利用桌上其他玩家的行为数据，它们只是看着牌面状态然后做决策。没错。现在的扑克 AI 工作方式就是死守预计算好的 GTO 策略，不会根据桌上其他玩家进行调整。虽然你可以用各种有点投机取巧的办法让它们做出调整，但这些方法都不够有原则，效果也不算好。是的。好了，任何在听的研究生，如果你想研究这个，我认为这是一个非常合理的研究方向，至少能让你崭露头角，引起一些关注。这场对话还让我想到另一件事。关于测试时计算的下一步是什么，有一种假设认为是世界模型。世界建模是一个重要或有价值的研究方向吗？Yann LeCun 一直在不停地讲这个。但基本上，大语言模型并没有显式的世界模型——它们有内部世界模型，但不是显式的。我认为很明显，随着模型规模变大，它们会拥有世界模型，而且这个世界模型会随着规模扩大而变得更好。所以它们是在隐式地发展出一个世界模型，而我不认为这需要显式建模。嗯，我可能错了。要知道，当你与人打交道，或者面对多智能体场景时，情况可能有所不同，因为你面对的不是“世界”本身，而是在消解各种假设，判断你面对的究竟是哪种类型的实体。你知道，多智能体 AI 社区长期以来——而且至今仍在争论一个问题：你是否需要显式地建模其他智能体，比如其他人；还是说可以把它们隐式地当作环境的一部分来建模。在很长一段时间里，我的立场都是：你当然必须显式建模这些其他智能体，因为它们的行为方式与环境完全不同。它们会采取行动，不可预测，还具有自主性。但随着时间推移，我实际上逐渐转而认为，如果这些模型变得足够聪明，它们会发展出诸如 theory of mind 之类的东西，会理解还存在其他能够采取行动、拥有动机等的智能体，而这些能力只是随着规模扩大和整体行为能力提升就隐式发展出来的。这是我现在持有的观点。所以我刚才说的就是一个未被 Bitter Lesson 涵盖的启发式方法，它自然就会消失。没错，最终还是得回到 Bitter Lesson 上。每次做 AI 播客都得引用它。有一个有趣且最一致的发现，我记得你当时去了 ICLR，其中一场很火的演讲讲的就是 open-endedness，演讲者 Tim 也在 multi-agent systems 方面做了大量研究。最一致的发现始终是，AI 通过 self-play 进行竞争性自我提升，比由人类训练和指导效果更好。你看 AlphaZero 和 R0 之类的项目就是这样。你觉得这一点在多智能体系统中也会成立吗？self-play 会比人类指导带来更好的提升吗？是的，这是个很好的问题，值得深入展开。我认为现在很多人把 self-play 视为通往超级智能的下一步，甚至可能是最后一步。如果你回顾一下 AlphaGo 和 AlphaZero，我们似乎正沿着非常相似的路径前进，对吧？AlphaGo 的第一步是进行大规模预训练，当时是用人类围棋棋谱做训练；而 LLMs 则是用海量互联网数据进行预训练。这能让你得到一个不错的模型，但还达不到极其强大的水平，也就是超人类水平。接下来，在 AlphaGo 的范式中，你会进行大规模的 test-time compute，或者说大规模的 inference compute，那时用的是 MCTS；而现在我们也有 reasoning models，同样会进行这种大规模 inference compute。这一步确实能极大提升能力。最后，在 AlphaGo 和 AlphaZero 中，你有 self-play，模型与自己博弈，从这些对局中学习，变得越来越强，直接从接近人类表现跃升到远超人类能力。现在的围棋策略强到令人无法理解，它们的棋路对人类来说是不可理解的。国际象棋也一样。而这一点我们目前在语言模型上还没有做到。所以很容易让人觉得，哦，那我们只需要让这些 AI 模型相互交互、相互学习，它们就能达到超级智能了。但这里存在挑战，我刚才在谈到 Diplomacy 时稍微提到了一点：围棋是一个 two-player zero-sum game。这类博弈有一个非常好的性质：当你进行 self-play 时，它会收敛到一个 minimax equilibrium。我想先退一步说明，在 two-player zero-sum games 中——包括国际象棋、围棋，甚至两人扑克——你想要的通常是一种叫做 minimax equilibrium 的东西。也就是那种 GTO 策略，执行这种策略能保证你在期望意义上不会输给任何对手。在国际象棋和围棋中，这显然就是你想要的。但有趣的是，在扑克中就不那么明显了。在两人零和版本的扑克中，你可以采用 GTO minimax 策略，这能保证你不会输给地球上任何对手。但话说回来，我之前也提到过，这样你无法击败一个弱玩家。如果你采用 exploitative policy，本可以从他们身上赚更多钱。所以问题在于你到底想要什么？是想尽可能多地赚钱，还是想保证不会输给任何活着的人类？所有 bot、所有开发这类游戏的 AI 开发者最终都决定：我们选择 minimax 策略。而巧的是，self-play 恰好就收敛到这个策略。如果你让这些 AI 互相对战，从错误中学习，随着时间的推移，它们保证会收敛到这种 minimax 策略。可一旦你跳出 two-player zero-sum games，比如在 Diplomacy 中，这种策略就不再适用了。你不会只想采取一种非常防守性的策略，而且如果你在数学等领域也做同样的 self-play，最终会得到非常怪异的行为。举个例子，在数学里做 self-play 意味着什么？你可能会陷入一种陷阱：让其中一个模型提出极难的问题，另一个模型来解答。这看起来像个 two-player zero-sum game。但问题在于，你可以提出非常难的问题，却毫无意思。比如让它做 30 位数的乘法。这对 AI 模型来说确实很难，但这真的是我们想推进的方向吗？并不真的是。所以，在 two-player zero-sum games 之外，self-play 变成了一个困难得多、也微妙得多的问题。所以我认为，Tim 在那场演讲里基本也表达了类似的观点：当你在 two-player zero-sum games 之外讨论 self-play 时，真正要确定优化目标是什么，这存在很大挑战。我的观点是，AlphaGo 的类比在这里就失效了。倒不是说完全失效，而是说它不会像 AlphaGo 里的 self-play 那么简单。那这种情况下 objective function 是什么？新的 objective function 又是什么？这是个好问题。我觉得这也是很多人正在思考的。我相信你也在想这个问题。在你之前做的一期播客里，你提到对 Sora 印象非常深刻。你并不直接参与 Sora 的工作，但它显然属于 OpenAI 的一部分。我认为最近生成媒体领域的新进展是 auto-regressive image gen。关于这方面，你有什么觉得有趣或出人意料的吗？我并不做图像生成方面的工作，所以能评论的比较有限，但我得说我非常喜欢它。我觉得它非常令人印象深刻。是这样的，你平时做这些 reasoning models，觉得哇，我们要能做各种疯狂的事了，推动科学发展、解决 agentic 任务、做软件工程等等。然后还有另一个维度的进步：你现在能生成图像和视频了，而且特别好玩。说实话，后者吸引了更多关注，尤其是在普通大众中，而且可能也为 ChatGPT 拉动了更多订阅，这很好。但我觉得有点好笑的是，是的，我保证我们也在研究超级智能。但你可以让所有东西都变得滑稽可爱。对我来说，最大的转变在于，我原本抱持一个观点，认为因为 autoregressive emission 的出现，diffusion 已经要完了。去年年底就有这方面的传闻，显然现在 auto-regressive image gen 已经出来了。结果 Gemini 又推出了 text diffusion，diffusion 就这么强势回归了。而且这是两个方向，与 autoregressive 和 diffusion 的 inference 密切相关。我们是两者都要，还是会有一个胜出？研究的魅力在于，你必须追求不同的方向，而且什么是有前景的路径，并不总是清晰可见。我认为人们正在探索不同方向、尝试不同事物，这非常棒。我觉得这种探索很有价值，而且我们都能从看到什么方法有效中获益。diffusion reasoning 有潜力吗？比如说你的 chain……可能没法回答这个。好吧。所以你也读了机器人学硕士。我们想听听你的想法：一是 OpenAI 最初用转笔技巧和他们想打造的机械臂起步；二是研究人形机器人的下肢是否正确？你认为这是否算是 AI 实体形态的一种错误选择？除了通常那些“还要多久我们才能有机器人”之类的问题之外，你觉得现在机器人领域有什么根本未被探索、但人们真正应该去做的事情吗？我很多年前读了机器人学硕士，那段经历给我的收获是：首先，我实际上并没有太多和机器人打交道。严格来说我确实在机器人项目里，第一周还玩过一些乐高机器人，但说实话，我很快就转去做扑克 AI 了，名义上挂着机器人学硕士。但跟这些机器人学家交流、看他们的研究之后，我的结论是我不想做机器人，因为当你和实体硬件打交道时，研究周期要慢得多、痛苦得多。软件迭代快得多，我认为这就是为什么我们在语言模型和各种虚拟助手类任务上看到这么多进展，而在机器人领域进展却没那么多——实体硬件的迭代要痛苦得多。关于人形机器人这个问题，我没有很强烈的看法，因为这不是我的研究方向，但我认为非人形机器人也有很大价值。无人机就是个完美的例子，那里显然有很大价值。它是人形吗？不是，但从很多方面来说这很好。你并不想要那种技术是人形的。我倾向于认为非人形机器人能提供很大价值。我最近在读 Richard Hamming 的《The Art of Doing Science and Engineering》，他谈到，当新技术变革出现时，人们总是试图把旧的工作负载直接复制到新技术上，而实际上你必须改变做事的方式。当我看到那种在家里的人形机器人视频时，我就在想，人形其实有很多局限，本来是可以改进的，但我认为人们想要熟悉的东西。你会把一个长着十条手臂、五条腿的机器人放到家里吗？或者半夜起床看到那东西走来走去，会不会很诡异？这就是我们做人形机器人的原因吗？所以我觉得这里几乎有一个 local maximum——我们必须把它做得像人，但家里最好的形态到底是什么？这属于产品设计范畴，所以我不是能回答这个问题的人。这里有个疑问：做人形机器人更好，是因为它们对我们更熟悉；还是更糟，因为它们像我们但又不完全一样？我不知道哪种会更让我毛骨悚然。是啊。是啊。让我有点转向支持人形机器人的论点，无非是世界上大多数东西本来就是为人类设计的，所以如果你想取代人类劳动，就必须造人形机器人。我不知道这说法是否有说服力。再说一次，我在这个领域没有很强烈的观点，因为我不做这个。我本来是轻微支持人形机器人的，而让我稍微转向支持非人形机器人的，是听了 Physical Intelligence CEO 的演讲，以及他关于为什么他们不做、为什么他们要做非人形机器人的一些观点。碰巧他们的办公室离这儿很近，所以如果你想……他们要在我的会议上演讲。好，太好了。所以，我觉得可以听听他的 pitch，也许他能说服你走非人形路线。太好了。另外我想推荐的是 Jim Fan 最近关于 physical Turing test 的演讲，他在 Sequoia 的会议上讲的，非常非常好。他是一位非常出色的教育者和讲解者，尤其是在那个领域，这非常难得。
cool。我们不再问你那些你不研究的领域了。接下来只是一些 rapid fire，想试探一下你的边界，获得一些 quick hits。你或者顶尖的行业实验室是怎么跟上研究前沿的？你们用什么工具、什么方法？这真的很难。我觉得很多人有一种印象，认为学术研究无关紧要，但事实并非如此。我们确实会看学术研究。我认为其中一个挑战是，很多学术研究在论文里看起来很有前景，但实际上无法 scale、甚至无法复现。我觉得如果我们发现有趣的论文，会尝试在内部复现，看看是否依然成立，以及 scale 的效果如何。但这对我们来说是很大的灵感来源。arXiv 上出现的任何新论文，你们真的也跟其他人一样刷吗？还是你们有什么特殊流程？特别是如果我收到推荐的话。我们有一个内部频道，人们会在上面分享有趣的论文，我觉得这是很好的信息来源——好吧，这个更熟悉该领域的人认为这篇论文有趣，所以我应该读一下。同样地，我也会跟踪我所在领域里我认为有趣的发展，如果我觉得非常有趣，也许我会分享。对我来说，就是跟研究者们建一些 WhatsApp 和 Signal 群聊，就这样。是啊。我觉得……很多人也会看 Twitter 这类平台，我认为很遗憾的是，我们已经到了这样一个地步：东西必须在社交媒体上获得大量关注，才会被重视。研究生们就是被这么训练的。他们还在上课学这个。我确实会建议……我跟研究生合作过。现在合作少了，因为我们发论文没那么多了，但我在 FAIR 发论文的时候，我会告诉合作的研究生，你们必须把论文发到 Twitter 上。对。而且我们会一起打磨 Twitter thread，讨论如何展示这项工作等等。这里面确实有一门艺术，而且这很重要，这是个令人遗憾的事实。我记得你参加 ACPC，就是那个 AI 扑克竞赛的时候，你提到人们不做搜索，因为 inference 时被限制只能使用两个 CPU。你今天是否看到类似的情况——某些环境限制阻碍了有趣但可能不那么流行的研究去做，或者这类研究无法让你进入顶会？是否存在一些环境上的限制因素？绝对存在。我认为一个例子就是 benchmark，比如你看像 Humanity's Last Exam 这类测试。你有这些极其困难的问题，但它们仍然很容易评分。我觉得如果你坚持那种范式，实际上就限制了你能够评估这些模型的范围。这非常方便，因为给模型打分确实很容易，但实际上，我们想要评估这些模型的许多任务更像是模糊的任务，并非选择题。为这类任务制定基准测试要困难得多，评估成本可能也高得多。但我认为这些是非常值得投入的方向。这也契合了 GPT-4.5 作为一个某种意义上极具“品味”的模型的开创性定位。模型身上存在许多难以量化的优点，可能人们并未……好吧，我认为它们是可以衡量的，只是难度要大得多。而且我觉得很多基准测试都陷入了这样一种范式：提出那些极难解决的问题，同时又要很容易衡量。假设从 GPT 诞生到将其扩展到 GPT-4，pre-training 的 scaling 范式花了大约五年时间。那么我们给 test time compute 也五年时间。如果 test time compute 在2030年前就撞上了天花板，最可能的原因是什么？这和 pre-training 很像——你可以把 pre-training 推得更远，只是每次迭代都会变得更贵。我认为 test time compute 也会走上类似的道路：我们会先让模型思考三分钟，然后是三小时、三天、三周。或者直到耗尽人类的生命。这里有两个顾虑。一是让模型思考那么久，或者说扩展 test time compute，成本会变得非常高。随着你扩大 test time compute，你的花费也在增加，这意味着投入是有上限的。这是一个潜在的天花板。当然——好吧，也不是理所当然——但我应该指出，我们也在变得更高效。这些模型的思考方式正变得更高效，同样的 test time compute 能做更多的事。我认为这是一个被严重低估的点：重点不只是让这些模型思考更久。事实上，你看 O3，它在某些问题上比 O1 preview 思考得更久，虽然差距不算悬殊，但效果好得多。为什么？因为它只是变得更擅长思考了。总之，你会继续扩大这些模型的 test time compute，但只能扩展到一定限度。这就形成了一道软性壁垒，就像 pre-training 一样——训练更好或更大的 pre-trained 模型正变得越来越昂贵。第二点是，当你让这些模型思考更久，你会被 wall clock time 瓶颈所制约。如果你想迭代实验，当模型能瞬间响应时，迭代非常容易。但如果它需要三小时才响应，难度就大多了。要是它需要三周呢？那你至少需要三周才能完成评估并在此基础上迭代。虽然这些实验在一定程度上可以并行化，但很多情况下你必须完整跑完一个实验，看到结果，才能决定下一组实验。我认为这实际上是支持更长发展时间线的最有力论据：因为模型需要串行处理的事情太多，我们的迭代速度受到了限制。怎么突破这道墙？这是个挑战，我认为取决于具体领域。比如药物发现就是一个可能真正受此制约的领域。如果你想验证某种药物能否延长人类寿命，你需要很长时间才能搞清楚我们开发的这种新药到底能不能延寿，以及一路上是否伴有严重副作用。顺便问一句，难道我们现在还没有完美的人类化学和生物学模型吗？我觉得问题就在这儿。不过我想谨慎一点，因为我其实并非生物学家或化学家，对这些领域几乎一无所知。我上一次上生物课还是高中十年级。我认为目前并没有一个完美的人类生物学模拟器，而这可能是帮助解决上述问题的关键，甚至是我们所有人都应该投入的首要工作。这正是我们希望这些推理模型能帮我们解决的问题之一。那么，你会如何区分今天的 mid-training 和 post-training？这些定义都非常模糊。所以我没有一个很好的答案。这是大家心中的疑问，而且 OpenAI 现在明确在招聘 mid-training 方向的职位，所有人都在问“mid-training 到底是什么鬼？”我认为 mid-training 介于 pre-training 和 post-training 之间。它不是 post-training，也不是 pre-training，而是在 pre-training 之后以某种有趣的方式为模型增加更多能力。是的。好吧，我是想搞明白一点。现在的 pre-trained model 是不是基本上只是一个基础产物，然后衍生出其他模型，核心 pre-training 模型本身几乎不再对外暴露？还是说 mid-training 成了新的 pre-training，然后模型分岔出去后再做 post-training？你永远不会跟一个纯粹的 raw pre-trained model 直接交互。如果你要跟模型交互，它肯定已经经过了 mid-training 和 post-training。所以你看到的是最终产品。好吧，你们不让我们这么做，但你也懂的。是的，以前可以。不过，你知道，有些开源模型你可以直接跟 raw pre-trained model 交互。但对于 OpenAI 的模型来说，它们会先经历 mid-training，再经历 post-training，然后才发布。而且它们有用得多。坦白说，如果你只跟 pre-trained model 交互，会极其难用，而且……对，会显得有点蠢。但它会以某种奇怪的方式有用，因为当你为了聊天做 post-train 时，会出现 mode collapse。某种程度上你是想要这种 mode collapse 的，你想要分布上的那种坍缩。我懂。是的。我们接下来要采访 Greg Brockman。好吧，你跟他聊过很多次。你会问他什么？我会问 Greg 什么？我是说，我随时都能问他。你应该问 Greg 什么？就是能引出有趣回答的、那种平时没人充分问到的，或者你知道他很热衷、而你很想听听他想法的问题。总的来说，我觉得值得问这一切将走向何方。比如五年后的世界实际会是什么样子？十年后呢？各种结果的分布会是怎样的？世界或个人可以做些什么来引导事情往好的方向发展，而非负面结果？好吧，像是 alignment 方面的问题。我认为人们太专注于未来一两年会发生什么，但也值得花点时间想想“五年或十年后会发生什么？”那个世界会是什么样子？我是说，他又没有水晶球——但他肯定有自己的思考。是的，所以我认为这值得深入探讨。好的。你会推荐什么游戏给大家，尤其是适合社交的？我会推荐什么游戏？我最近经常玩一个叫 Blood on the Clock Tower 的游戏。嗯，那是什么？这有点像《黑手党》或者《狼人杀》。它在旧金山变得非常流行。就是——哦，就是我们在你家玩的那款。对。好的，我得去买一套。这挺有意思的，因为我最近跟几个人聊过，他们告诉我，以前风投和科技创始人之类的社交方式通常是打扑克。而现在，这种活动正逐渐转向 Blood on the Clock Tower。这就像是湾区人们用来建立联系的东西。而且我听说有一家创业公司办了一场招聘活动，内容就是玩 Blood on the Clock Tower。哇。是啊。所以，我猜这游戏是真的火起来了，不过它确实好玩。而且玩这个输的钱应该比打扑克少吧。所以，对那些不太擅长这类事情的人来说更友好。我觉得这算是一种挺奇怪的招聘活动，但毫无疑问是个有趣的游戏。那在这里，赢家具备哪些值得招聘的特质呢？问题就在这儿。就像是，“好吧，我猜你得擅长撒谎、欺骗，还要能识破欺骗。”但这算是最佳员工特质吗？我不太确定。那我最后想聊一个小话题，就是 Magic: The Gathering。哦。我们聊过一些游戏，比如国际象棋、围棋，它们都是完全信息博弈。然后是扑克，它属于不完全信息博弈，但可能的局势相当有限，毕竟只有一副52张的牌。接着还有一些不完全信息博弈的游戏，可选行动的组合非常庞大。你知道这难度会高多少吗？这个问题的难度是怎么随规模增长的？我很高兴你问这个，因为我在 AI 应对不完全信息博弈方面积累了大量知识。嗯。你知道，这是我研究了很长时间的领域。我了解所有这些内容，但不常有机会聊起。我们已经做出了在无限制德州扑克上超越人类水平的 AI。有趣的是，这类游戏中的隐藏信息其实相当有限，因为在德州扑克中你只有两张底牌。所以在单挑模式下，你可能处于的局势数量是1326种。你知道，这还要乘以桌上其他玩家的数量，但总体来说仍然不算巨大。因此，这些 AI 模型的工作方式是枚举所有你可能处于的不同状态。比如说，如果你在玩六人桌扑克，有另外五名玩家，那就是5乘以1326。这就是你可能处于的状态数量，然后你给每一种状态分配一个概率。接着把这些概率输入神经网络，模型就会针对每种状态返回相应的行动。问题在于，当你扩大隐藏可能性——也就是你可能处于的状态数量时——这种方法就失效了。当隐藏状态数量变得极其庞大时该怎么办，这仍然是一个非常有趣且尚未解答的问题。嗯。你知道，如果你去看奥马哈扑克，那儿你有四张底牌，你可以用一些启发式方法来减少状态数量，但实际上这仍然是个非常棘手的问题。然后如果你去看 Stratego 这样的游戏，你有40个棋子，所以你可能处于的状态数量接近40的阶乘，那么我们用于扑克的这些现有方法就会失效，你需要不同的方法。现在有很多正在进行的研究，都在问你要怎么应对这种情况。所以对于 Magic: The Gathering 这类游戏，我们在扑克中使用的技术无法直接套用。“该怎么办”仍然是一个有趣的研究问题。不过我要说明，这个问题只在你使用我们在扑克中那种搜索技术时才会出现。如果你只是做 model-free RL，这就不是问题。而且我猜，如果有人愿意投入精力，现在很可能就能做出一个超越人类水平的 Magic: The Gathering 机器人。是的，这个领域仍有一些尚未解答的研究问题。那么，它们是最重要的未解研究问题吗？怎么说呢。我倾向于说不是。我觉得问题在于，我们在扑克中用于这种搜索的技术相当有限，即使你把它们扩展，也许能让它们在 Stratego 和 Magic: The Gathering 上奏效，但它们仍然会受到局限。它们不会让你在用语言模型参加 Codeforces 时达到超人类水平。所以，我认为更有价值的是专注于非常通用的推理技术。终有一天，随着这些技术的进步，我认为我们会拥有一个模型，它能直接以超人类水平玩 Magic: The Gathering。我认为这才是更重要、更令人印象深刻的研究方向。太酷了。了不起。非常感谢你来做客，Noah。谢谢你的时间。谢谢。谢谢邀请我。