大家好，欢迎来到 Linen Space 播客。我是 Allesio，Kernel Labs 的创始人，和我一起的是 Swix，Small AI 的创始人。大家好，大家好。我们非常激动能请到 Greg Brockman 加入我们。欢迎。谢谢邀请。很高兴来到这里。你根本不需要介绍，所以我本来还在心里盘算要怎么介绍你。咱们直接跳过吧。祝贺 GPT-5、GPT-OSS，还有 OpenAI 正在推进的所有事情。这些我们都会聊到。真的很高兴你能来。过去这一周发布如潮，你感觉怎么样？太疯狂了。一周内发布这么多东西，绝对疯狂。是的，我们发布了开源模型，这是我们研发了很长时间的模型。我觉得它们真的把我们在 OpenAI 取得的一系列进展都打包进了一个非常小的体量里，非常容易获取，过去几天已经有数百万次下载。我们还发布了 GPT-5。同样，这也是我们研发了很长时间的东西。所以，能把这些产品推向世界，真正完成整个发布流程，让我为团队感到非常骄傲。而且 GPT-5 是第一个混合模型。大多数人并不能选择具体用什么模型，这背后还有不少争议，我们后面会聊到。但你最初是和 Ilia 在 OpenAI 一起创办了推理团队。那么，你能不能快速介绍一下 OpenAI 推理技术的历史？你们一开始只做 next token prediction，然后在某个时刻，你们觉得推理是一件值得投入去构建的重要能力。从那时候到现在 GPT-5——也就是用户现在基本感知不到模型切换的过程——这条路是怎么走过来的？嗯，我想说，在我们训练出 GPT-4 之后，我们有了一个可以对话的模型。我记得我们做了最早的后训练（post training）。实际上，我们对它做了 instruction following 的后训练。数据集的形式基本上就是：这里有一个查询，这是模型应该给出的补全。我记得当时我们想，如果你再跟上一个查询会发生什么？结果它真的能够给出回应，而且把之前整个问答链条的上下文都考虑了进去。这时候你意识到，这东西能聊天，对吧？它真的能跟你对话。它真的能利用所有这些信息，尽管它并没有被专门训练去做这件事。我记得我们当时有一个问题。我们开了一场研究会议，参会的人很多，有 Jakub、Ilia、Wojciech 等等。当时的问题是：为什么这还不是 AGI？对吧？这个模型显然不是 AGI，但很难说清楚为什么，对吧？它好像能回答你提出的任何问题。不过，它还不够可靠，会犯错，会偏离正轨。好吧，这是一个真正的差距。那么，我们需要做什么来弥合这个差距？最明显的一点是，你得让它在真实世界中检验自己的想法，对吧？真正地做 reinforcement learning。尝试一些假设，获得反馈，然后变得可靠。这对我们来说并不算一个新想法，对吧？如果你回溯到 2017 年，我们当时在搞 Dota，那完全就是 reinforcement learning，没有任何来自人类演示的 behavioral cloning。就是从一个随机初始化的神经网络出发，你能得到这些极其复杂、非常精密、非常正确的行为。这就是我们想要语言模型拥有的那种可靠性。所以其实在我们训练出 GPT-4 的那一刻，我们就知道必须进入推理范式。问题只是怎么做。我们有大概 10 个想法，一堆不同的假设，关于什么可能奏效，然后大家真的着手去把这些变成现实。所以这实际上是 OpenAI 许多人多年来共同努力的结果。我觉得这个领域的进展方式是：你得对一个方向有信念，而你最先尝试的 10 件事都会失败。那张清单上的大部分尝试都没有成功，但我们让其中一个奏效了。我认为真正的关键就在于我们不断地推、不断地推，你会得到一点点生命力的迹象，然后在此基础上继续成长。现在 Jerry 负责我们的 reinforcement learning 团队，并且在那里取得了非常大的进展。还有很多惊人的基础设施工作，像 Wenda，推理侧的同学，像 Felipe，OpenAI 里有很多人共同努力，才真的让这一切运转起来。是的，太了不起了。我还记得，在 AI Engineer 大会上你跟我聊过，你提到那篇 Turing 论文，你非常喜欢，而且在某种程度上正是它开启了你的机器学习之路而且我觉得他其实某种程度上已经预见到，学习机器会是部分 online 的。你知道，这也是我一直在反思的问题，从 3、4 到 5 的这段历程：学习最初完全是离线的，完全是预训练，然后现在它正慢慢变得 online。你觉得这个观察准确吗？是的，我觉得这是一个非常有趣的问题，对吧？学习发生在哪儿？我觉得我们还没有达到人类那种完整的学习闭环，对吧？而且这一点本身也不太清楚。人类是完全 online 的吗？因为你看，你会睡觉，有很多类似 back propagation 的过程发生，进入你的长期记忆。所以我认为，人类具体如何工作，并不一定映射到我们机器的工作方式上。但我们确实正在从一个“训练一次，然后大量推理”的世界，走向一个“推理—基于这些推理再训练”的闭环世界。Ilia 过去经常说一句话，我觉得非常精辟：当模型能力还不强的时候，它生成的 token 价值很低；当模型能力极强的时候，它生成的 token 价值极高，对吧？是那种经过深思熟虑的、重要的东西。而 reinforcement learning 正好有这种特性：模型在尝试的过程中生成了大量数据，然后你基于这些数据再训练，所以模型的观察——你可以说是通过与现实接触而被归一化的，或者说是被现实筛选过的——会以某种方式反馈回机器内部。我觉得这是我们正开始非常擅长去利用的一点。而且所需的规模完全不同，对吧？你看 pre-training，10 个样本根本起不到作用，对吧？任何微小的行为都需要几十万样本才能学习，这和人类学习完全不同。再说，如果你想想，你要重演整个进化过程，还要加上你 20 年的成长史，那其中有大量单纯观察世界的过程。有很多信息比特流过你的感官。但在 reinforcement learning 范式下，如果你有 10 个或 100 个样本，对吧，10 个你要完成的任务，模型尝试多次，它其实就能从中学习。因此，人类 curator 在创建这些任务时产生的杠杆效应非常大，模型也因此能展现出非常精密复杂的行为。而下一步就是让模型在运行过程中实时 online 学习。我们还没有完全做到这一点，但未来尚未成定局。我们之前还和 Noam Brown 讨论过 sample efficiency。你觉得如今瓶颈仍然是那些为 RL 创造优质任务的人类数据策展人，还是说仍然是模型本身的简单效率问题？嗯，瓶颈始终是算力，对吧？而且我是认真的，这很明显：如果你给我们大量算力，我们会找到迭代方法，真正充分利用这些算力。现在，在 RL 范式下，我们有了样本效率更高的算法，但这仍然需要大量算力。是这样的：人类创建了一个、十个、一百个或者少量任务，然后模型会尝试很多次——不只一次，不只十次，而是一万次——来完成一个任务，你从中筛选并学习。再说一次，作为人类设计者，你在其中获得的杠杆效应极高，但为了让其奏效，你必须投入的算力是成比例增长的。我想说，这是在训练过程中消耗更多算力的一种方式。Alan Turing 其实预见到了很多这一点。他有一个概念叫超临界学习（supercritical learning），而非亚临界学习（subcritical learning）。意思是我们向机器传授知识时，它们只学到我们刚教的即时内容。但超临界学习意味着，你还得思考刚学到的任何东西的二阶、三阶、四阶效应，以此来更新你所知的其他一切。那么，我们有哪些有创意的方式来消耗更多算力呢？如果我们有十倍甚至更多的算力，它会流向哪里？我只想说，我们会找到方法的，请给我们吧——虽然带着玩笑，但我是认真的。事情就是这样运作的。如果你回顾像 Dota 那样的项目，我们当初着手开发新的强化学习算法，因为当时所有人都很清楚，现有的强化学习算法不具备扩展性，这是共识。我记得 Yakob 和 Chimone 说过：“我们为什么这么认为？有人真正测试过吗？”实际上没有人真正尝试过扩展那种老派的 PO。于是他们说：“好吧，那是基线，我们必须做。”我记得每周回到办公室，他们把核心数翻倍，然后突然之间，agent 的 true skill 就持续向右上攀升。当时就觉得，“好吧，你只要不断加码，直到撞墙为止。”显然我们总会撞到墙，然后才能去做真正有趣的东西。但我们从未撞墙。然后你意识到，实际上扩展的过程本身就是有趣的东西，对吧？真正做工程的过程。当然你会遇到 bug，这些 bug 会造成一堵墙，但你修好了 bug，对吧？你会有神经网络初始化方式不同的问题，或者尺度与方差的问题，或者其他各种问题，但这些都不是算法或科学的根本。所以我认为我们现在所处的世界就是这样：我们会在每个维度上推进，也许我们会撞墙，但大多数时候那些墙只是 bug 和蠢事，所以你可以继续前进。有时修复它们的 ROI 实在太低，对吧？那就不值得了，因为你有不同的维度可选，对吧？你是想让模型更大、投入更多预训练算力，还是想做更多 RL、把更多算力推向实际的 test time？有各种各样的维度可以投入算力。在某种程度上，我把算力看作是这样的：你知道，我们最终是在做一种提炼过程，从能源转化为算力，再转化为智能，它几乎是在将算力结晶为势能，这种势能可以转化为模型去做有用的事情。这是一件非常美妙的事，对吧？算力就像是这种根本驱动力，这种智能的根本燃料，它在某种程度上塑造了一个神经网络，输出一个程序。而且你知道，这个程序的好处在于你可以运行很多很多次。即使你投入了所有这些算力，你实际上拥有这种摊销效应——你使用它的次数将远超你一次性创造它所付出的努力。所以这就像一个非常美妙的范式。对。你有点像是在把动能转化为模型中的势能。那你觉得这些模型中已有的能量，我们能否再把它转回动能，去在其他所有领域都拿金牌？因为我们已经拿到了 IMO 金牌，我是说，我们——你们为大家做到了。你觉得只要扩展算力，同样的技术、同样的基础模型就能让我们在每个其他领域都达到 IMO 金牌的同等水平，还是说你认为仍然有工作要做？嗯，我们有相当有力的证据，比如 IMO 模型实际上也帮我们在 IOI 上拿到了金牌，这本质上是一样的。是的，我觉得我们确实——我觉得我们聊过细节。评测框架有一点不同，但评测框架本身不是金牌，对吧？关键是底层的实际模型，而且我们在那边并没有做专门的训练。这最后只是几个人的副业项目，他们说：“啊，我们不妨也参加 IOI 吧？”这让我觉得非常不可思议，因为这曾经是绝对的重大挑战，需要很多人投入，而 OpenAI 的核心 IMO 团队其实只有三个人，对吧？并不是那种大规模投入。所以你意识到，某些领域可能还是需要一些专门化的，对吧？也许需要一些额外的工作，去收集数据集，但根本上我们拥有这种通用的学习技术，而学习解决难题其实是一种高度可迁移的技能。学习如何解决困难的数学问题并撰写证明，结果证明真的能迁移到编写编程竞赛题目上。但如果你从未做过物理实验，对吧？如果你从未真正去尝试混合一些化学物质之类的，你大概不会神奇地擅长那些事。所以，泛化是有限度的，对吧？你确实需要一些现实世界的经验并亲自尝试。但这些模型已经走得几乎不可思议地远了。我们一直看到这种情况：我们的湿实验室科学家拿着像 03 这样的模型，让它就某个实验装置提出假设，“我该怎么做？”它给出五个想法，他们试了这五个想法，四个不行，但一个成功了。我们从 03 得到的那种反馈所产生的成果，是可以发表在中档期刊上的，不是顶刊，但中档期刊，你知道，大概类似于某个三四年级的博士生会做出的工作。再说一次，这很不可思议，03 就已经到这个水平了。而且我们完全清楚如何在所有维度上改进 03，这需要算力，需要大量工作，需要任务设计，需要很多人类的智慧、热爱、劳动和时间，需要真正倾注我们的心血。但正如你所说，结果是，我们产出了这个蕴含所有这些势能的东西，而神奇之处在于，你不会只释放一次这种势能，对吧？它是一个 checkpoint，你可以在所有这些任务中反复使用很多次。我认为这真的能提升全人类。这太鼓舞人心了。我想回溯两件事。关于“墙”的问题。我之前试图和诺曼争论的一点是，我认为在 wall clock time（实际时间）层面存在一堵墙，因为时间必须流逝。RL（强化学习）与环境交互和模拟的问题在于，没错，你可以让模拟速度超过实时，但到了某个节点，你必须匹配实际时间。所以你可以看到，我们在迭代速度上正逐渐逼近实际时间，也就是越来越接近对现实世界的建模。不知道你对解决这个问题有什么想法。显然我们还没到那一步，所以无需担心。是的，我认为这是一个相当根本性的障碍，对吧？当然，这些模型拥有非常非人类的 affordances（功能可供性），对吧？你可以运行大量副本，所以即使无法降低延迟，你也可以横向扩展。而且思考算力去向的问题也很有意思，对吧？因为我们正从一个算力主要用于训练模型的世界，转向随着这些模型部署得越来越多，更多算力用于对它们进行 inference（推理）和实际使用。但如果你再想想，你将让这些模型大量与真实世界交互，因此它们可能应该对每一个动作都进行大量思考，对吧？所以你最终可能在每次真实世界交互上消耗巨量算力，这真的会改变你对算力实际消耗在哪里的预期。我认为拥有非常高效的良好 harness（框架）真的很重要，你要考虑诸如：如果我在真实世界中的某次 rollout（执行过程）里采取了一系列步骤，我该如何 checkpoint（保存检查点），对吧？如果你有一个系统需要重启，它会忘记所有当前状态，那可能相当糟糕。所以我认为，数字世界有一个非常不同的特性，那就是一切都可以被完美观察、checkpoint 和留存，而现实则更加混乱和复杂。我认为这不是坏事，对吧？我们看到过像 Dota 这样的 agent（智能体），它们能够在非常复杂、非常混乱的环境中运作。所以算法是有能力做到的。顺便说一句，Dota 用的是大概 3 亿参数的 neural net（神经网络），小小的一个昆虫大脑，对吧？现在我们开始扩展到规模更接近人类水平的东西，就参数数量而言，也许就算力数量而言也是如此。我们不一定完全达到了。我没有做过……我觉得你可以用不同方式计算这些数字，但根本上我们正在朝着真正的目标取得进展。如果你想想 AGI 应该是什么，它应该是一种能够以非常有成效的方式与真实世界交互的东西。是的。粗略估算一下，我脑子里的数字是，如果我数量级错了你可以纠正我，但大概是人类有 100 万亿个神经元。我们对于 GPT-4、4.5 和 5，大概在低至中两位数的万亿参数范围，但我们不确认这一点。不过我们正朝着那个规模扩展。是的。我会说是 100 万亿个突触，这大致对应 neural net 的权重，所以那里存在某种等价关系。是的。所以我们正在接近正确的数字。我就这么说吧。然后仅从生物学角度，你知道，这是我上次没机会问你的问题，关于你从 Arc Institute 学到了什么。你在那里休过学术假。我好奇这是否对你目前在 OpenAI 的工作有任何启发。嗯，我在研究 DNA neural nets 时发现最引人注目的一点是，它们完全一样。是的。没错。你只是把人类语言替换掉了。甚至词汇表还更简单。是的。是的。你只有四个字母，就像那样。但你们不是在更高层级上做 tokenize 吗？是的，我的意思是，你可以这么做。但实际上我们的方法是直接做了……
字符级别。字符级别。不会吧。是的。为什么不呢？嗯，你知道，我觉得……我猜没有理由不这么做。我不知道，反正只有四个。对对对。而在我看来，这正是核心问题之一——关于人类语言的一个有趣之处在于我们理解语义，对吧？我们大概理解它的含义、结构是什么。对我们来说观察起来很容易。当你看一个 tokenization 方案时，你能感觉到你是否以合理的方式捕捉到了所有词汇等等，我们对此有一种直觉。生物学是一种外星语言。非常有趣的是，对人类来说它就是一种外星语言。但如果你看 neural net，为什么人类语言对它来说应该比生物语言更自然呢？答案是它们并不更自然，对吧？实际上这些东西……
完全是相同的硬件。没错。所以一个惊人的假设是，这些 neural nets 可以很好地学习人类语言，所以它们也应该能很好地学习生物语言。我们真的看到了同类结果，对吧？我想说我们产出的那个 neural net，大概是一个 40B 参数的模型，在约 13 万亿个 base pairs（碱基对）之类的数据上训练。对我来说，结果感觉像 GPT-1，也许刚开始达到 GPT-2 的水平，对吧？它在广泛的生物应用中，对 downstream tasks（下游任务）是可获取、可适用的。还不是 GPT-3 或 GPT-4，更不是 GPT-5，对吧？我们还没能解决这些领域中的超级难题。但我们有算力。我们有正确的技术和算法。现在我们需要 scale（扩展）。我们需要考虑 long context（长上下文）。生物系统对模型造成的压力点与语言序列不同，比如十亿个 token 的语言序列其实不存在，但在 DNA 中存在，对吧？你大约有 40 亿个 base pairs 之类的。所以你有某种不同的侧重点，但根本上这是同一个需要解决的问题。有没有哪个应用最让你兴奋，比如 drug discovery（药物发现）？显然我觉得大家都会想到药物发现，但也许在药物发现之前有什么中间阶段的东西是可达成的，而且影响力很大。嗯，就个人层面而言，我妻子——我们谈过这个，我以前也公开说过——患有一种遗传病，叫埃勒斯-当洛综合征（Ehlers-Danlos syndrome）。直到最近，我觉得我们开始看到一些 genetic markers（遗传标记），但之前一直不太清楚确切病因和来源。而这类问题，如果你有了更好的生物学理解工具，就应该能够识别出多种不同疾病的标记。所以这只是一个例子，说明这些 neural nets 中存在的应用前景和可能性。你会如何描述 GPT-5 时代的开端？如果我把三代、四代、五代作为主要版本。我觉得三代是非常基于文本的，有点像早期尝试，真正刚起步。四代是多模态，以及所有这些不同的低延迟、长思考、o3。五代的核心亮点会是什么？显然今年是 agent 之年，对吧？这是当下的流行说法。但还有没有其他让你想到的东西，是人们应该关注的？好比说，有了五代，我们现在解锁了 X。是的，我觉得这很明智。我认为这些模型的智能已经开始变得几乎难以形容。它们仍然存在局限性，也仍然会失败。但事实是，在极其困难的领域——比如看看 IMO 的成绩——你可以拿一个在这种 reasoning paradigm 下训练出来的模型，它能写出媲美人类顶尖水平的证明。当然，在这个特定领域它还有局限性，我们还没有证明什么未被证明的定理，但它是真实的。到了这个阶段，这些模型能够完成伟大的智力壮举，这一点已经不可否认了。我觉得这是前所未有的。GBD4 虽然在一系列应用上具备能力并有商业价值，但它产生的想法并不算深刻，它解决的问题也不够可靠。我记得在 GPT3 的时候，我试过教它做一些基础的事情。当时我们意识到，你可以做 few-shot prompting，也就是展示几个例子，然后它基本就能执行那个任务。于是我想，那我能教这东西排序吗？我给了它大概七个数字让它排序，它没排出来。我就想，好吧。然后我又试着写了一大段脚本，像老师教学生一样：我是教你排序的老师，这是两个数字的例子，这是三个数字的例子，等等。然后我说，好，现在给你五个数字，结果彻底失败。如果你去问 GBD5——顺便说我还没试过让 GBD5 给五个任意数字排序——但我非常确定它能直接完美完成，毫无问题。当然，它也能调用 Python 工具。重点是，这些模型能够在辅助人类时实现的智力飞跃，是我们才刚刚开始看到的。我们从 o3 开始看到这种迹象，你也可以看到许多专业数学家开始试水 GBD5。我们还看到物理学家开始试用 GPD5，他们说这东西能够重新推导出一个他们花了几个月研究才得出的洞察。这种时候你就会意识到，这会让你的速度提升得多快。我记得我在高中和大学初期做数学研究时，会花很长时间在脑子里摆弄这些对象，思考它们之间的联系。如果当时我有一个真正能与之交流的伙伴，一个愿意深入理解我在想什么，并能基于我的提议产生新洞察的伙伴，那我的效率会提高太多，过程也会有趣得多。因为你不会陷入那种独自思考、觉得自己“等等，两周前我就已经想过这个了”的循环里。所以我觉得，作为 GBD5 的伙伴一起推进知识前沿，这是一种全新的体验。你认为人们是否受限于他们所研究问题的难度？我觉得，就我而言，在 Cursor 和 codeex 里，很明显当我给它更困难的任务时，模型表现更好。我看到很多人在 X 上发截图，说 GVD5 也没好多少。但问题是那个问题本身就没那么难。你当初宣称它是世界上最好的编程模型时，那种自信从何而来？显然你自己也是世界上最优秀的程序员之一，所以高手识高手。但对普通人来说，到底该如何评估这些模型呢？是的。某些任务确实存在上限，对吧？如果你只是闲聊，说“你好，你好吗？”，那能说的也就那么多。如果你说“请给我 remount hypothesis 的解法。”
对。这类任务所需要的智力跨度就很广了。当然，大多数任务都介于这两者之间。我们观察到的是，GBD5 在解决智力问题——也就是那些需要深度智能的任务上——表现远超我们测试过的任何其他模型。第二件事是我们花了很长时间观察人们在交互式编程场景中如何使用它，收集了大量反馈并将其反哺到训练中。这在过去我们做得不够，比如对 o3，我们主要是用一次性设置好的任务来训练，然后看着它在我们所有 metrics 上持续攀升。它在 Codeforces 这类 competitive programming 比赛上表现很棒，这很令人兴奋，但这并不能反映你实际编程的方式。实际编程要混乱得多，你得处理有 local state 的 repo，有不同的抽象层，还有不同版本的各种库，这种多样性不会神奇地从“这里有十个特定任务要完成”这种高度结构化的环境中自动产生。所以我们最近很关注的一点不仅是如何提升智能——这永远是核心——还有如何让智能与现实世界应用接轨，让它真正走出舒适区、走出象牙塔，看到现实世界的 messy reality 和多样性。在更实操的层面，你有什么建议来释放这些模型的潜能？一部分是加入 linter、type checker，设置任务让它 self loop。开发者还应该考虑哪些 meta 策略？你自己是怎么用这些模型的？我观察到的第一点是，从这些模型中榨取最大价值是一项真正的技能。这需要一种韧性，需要你去理解模型能力与弱点的轮廓。所以你要测试它，先用小任务测试，获得一点反馈，再提高难度，试着给它更大的任务，看它能否以某种方式工作。我觉得人们通常都有自己的 prompt 库，我自己从 GPD4 时代起就积累了一个 prompt 库。我记得在 GPD4 发布前，我就开始收集一些测试，比如我想知道它能不能做这个。重要的是，你想要的是那些可能有多种不同答案、没有唯一标准答案的 query。比如在创意写作方面，我会要求一个 Lord of the Rings 和 startups 的 mashup，把两个完全不同的主题放在一起，看看能得到什么，以此来真正测试和挑战模型。我会花很多时间去思考：首先，如何拆分任务，让它们自成一体，可以让模型自主运行。因为你不会只想让模型的单个实例在运作，而是想要多个实例同时工作，对吧？你想管理的不是一个 agent，而是一群 agents，对吧？因此，你首先需要思考代码库的结构，然后实际去推动模型，看它能否在你代码库的多个不同部分上运作。我觉得人们很喜欢做前端 vibe testing，IDP5 在前端方面确实很出色，但当然，那不是大多数开发者花时间做的事。所以，重要的是不要过度拟合到那个场景上。不过，我觉得也许只需要先感受下这个模型，开始熟悉它的长处和短板，把它几乎看作是你自身的延伸。而且，你知道，我经常做的另一件事是，在我思考某个超级难题的时候——不管出于什么原因，我不想让模型去处理那个难题——我会给模型派发一些不在关键路径上的任务。这样我就能不断收到反馈，比如它能不能做成某件事；或者即使它犯了错，风险也很低。因为我不觉得自己得干坐五分钟，然后什么结果都没得到。你之前提到过，我认为 OpenAI 的 Codex 和编码能力路线图是这样的：后台的 suite agents 会与 IDE 内的 agents 融合。你在这方面是怎么想的？是不是就像 IDE 可以调用后台 API，后台 API 也可以导出到 IDE 这么简单，还是说存在比那更深层的连接？我倾向于通过类比同事来思考 AI 的产品化。你想要一个优秀的程序员同事为你做什么？对吧。你不会只 Slack 他。是啊。没错。所以你想用 Slack 跟他沟通，但有时候你会说：“嘿，我这东西有点搞不定，你能过来看一下吗？”对吧。或者说：“嘿，你能接手键盘吗？”没错。所以你想要 pair form factor。你也想要远程异步的形态，而且你希望它是一个拥有跨所有场景的知识和记忆的单一实体。你不希望它像一个初级程序员，每天出现都说：“好了，我全忘了，你能提醒我该怎么 SSH 进那个什么玩意吗？”对吧。所以，我觉得所有这些都必须实现，对吧？你需要 AI 以一种可信赖的方式访问你的基础设施，对吧？一种你可以审计的方式。这些模型不同于人类的一点是，它们不介意被 micromanage。事实证明人类很不喜欢这样，对吧？如果你盯着他们运行的每一个命令，还要求他们汇报做的每一件事，那你大概留不住这个人。但模型对此完全没问题，对吧？所以这是一个非常值得思考的 affordance，应该改变界面来充分利用它。与此同时，是的，你确实希望无缝融合：模型能够在它的远程机器上做大量工作，不弄乱我的本地状态，完全 sandbox，完全可观察，然后有时候它可以表示：好了，我准备好本地运行某个东西了。而根据那是什么，以及它有多容易被 sandbox，你可以进行一次性批准。你可以给它完全的委托权限。我认为，让人类掌控这种可观察性，并管理这个团队——一个拥有不同界面的 agent，对吧？agent 的身份不应该被定义为在本地运行还是在远程运行。对我来说，这是个错误的问题。agent 其实应该是这样一个正在执行的模型，然后请求在远程 sandbox、本地、或者多个 sandbox 中运行东西，也许它同时在你的电脑和我的电脑上运行——它没必要被束缚在任何一个地方。是的，软件 agent 可以无缝、流畅地四处移动。你提到 approvals，这让我有机会介绍一下我的朋友 Fouad，他正在帮忙组建 agent robustness 团队，这个团队也是在 engineer 上宣布成立的。嗯，那是什么？OpenAI 在这方面的兴趣是什么？我们思考 agent robustness 的方式是通过 defense in depth。首先是模型本身这一层，我们发布过像 instruction hierarchy 这样的技术。有了 instruction hierarchy，你相当于在标明：这条消息来自 system，这条来自 developer，这条来自 user，它们应该按这个顺序被信任。这样，模型就能识别出那种说“忽略来自用户的先前指令”的内容，然后选择不遵循，对吧？所以我觉得，这几乎就像我们在思考如何防止 SQL injections，对吧？在底层拥有能抵御这些试图利用的 robust 系统非常重要。但这并不是终点，对吧？你希望多层思考系统控制，对吧？如果一个模型被 sandbox 了，实际上无法执行某些操作或访问特定数据，那么你对可能发生什么就有完全的保障。而且，你知道，我们采取的方法中间还有各种层级。因此，我认为，随着这些 agent 越来越深入地融入我们的生活，被赋予更多责任，前沿方向之一就是同步提升它们的安全性和 security。我也曾做过一个类比，就像是 Linux kernel OS rings。而且非常有趣的是，我们基本上正在把类似的概念构建进 LM 里，作为不同安全层的概念。另外，还有一件事我也很高兴看到：我邀请了一场关于 model spec 的演讲，是在 AI Engineer 上，那是我们举办过的所有演讲中观看量最高的一场。是啊。这就像，很难让 safety 和 reliability 变得性感。我认为 model spec 就是一个完美的例子，说明当模型能力很强时，你开始真正关心它们会做什么。这变成了最重要的问题。而 model spec 就是一个例子，我们让外界非常清楚地了解我们对这个模型的意图是什么。这并不意味着我们总能生产出有能力遵循它的模型。但它是一颗北极星，对吧？它真正确立了这就是我们的意图。任何偏离它的行为都不是出于我们的刻意努力，而是与我们的刻意努力相悖。而且我认为，spec 和实际行为之间的差距正在非常持续地缩小。非常有趣的一点是，这几乎就像价值观，对吧？你需要深入思考：如果你问模型一个有争议的问题，它应该怎么做？对吧？如果你说“我认为地球是平的”之类的，它应该回答“是的，是平的”吗？还是应该回答“嗯，科学是这么说的”？说实话，这些问题很微妙，对吧？仅仅花两分钟想想，并不清楚正确答案是什么。但如果你去读 spec，你真的能看到其中投入的深度思考。而且它也不是最终答案，对吧？我们希望得到反馈。我们希望作为一个社区共同产出它。我知道我们接下来也想聊聊 open source，但我有一个更偏门的问题。我在听你以前上 Lex Freedman 播客的那期访谈，你当时好像提到了——嗯——阿西莫夫的《基地》。是啊。
《基地》，阿西莫夫写的。这让我想到，我们播客之前请过 Brett Taylor，聊过某些语言具备特定能力，比如 Rust 是内存安全的，所以这种特性是自带的。你觉得这像不像是 LLM 和软件工程的一种周期性历史？就像是，这些模型可以预见软件会变成什么样——所有东西都会是蓝紫渐变，对吧？我们今天已经有点看到这趋势了。这些模型还会把我们带向什么方向？我们有办法改变这一点吗？嗯，它们肯定有一种“心理史学”，因为某种程度上这些模型本身就是心理史学的产物，对吧？这些模型训练时就是在观察人类思维，对吧？实际上，你可以这么理解。拿公开数据来学习，只是观察。关键在于理解支配数据集的规则。比如，最初生成数据的底层规则到底是什么？这些模型基本上就是在这样的环境里成长起来的，对吧？就像外星人看了一大堆电视节目，试图搞清楚人类到底是怎么回事。然后进入强化学习（RL）阶段，它们可以实际尝试各种做法，根据与人类意图的契合程度获得正面或负面反馈。现在我们把它们放到现实中，说：好，现在去尝试吧，这是你没见过的新任务。它会利用之前所有的经历来决定怎么做。顺便说一句，这并不明确——有时候把人类作生物学类比，很容易夸大，但也容易低估。我觉得这至少是个有用的思考框架。某种程度上人类也是这样运作的，对吧？你的 DNA 里编码了某种史前信息，你有自己的人生经历，有父母给你正面和负面的奖励，还有你在现实中试错的经验。现在你要走出去，运用这些知识。你怎么做？你怎么预测一个人的行为？实际上，你能很大程度上预测一个人会做什么。事实证明，你对其他人有一个相当好的模型，能判断他们对某件事会作何反应，会不会喜欢。很多这类信息都被内化了。要知道，了解一个人的价值观，就能很大程度上告诉你他可能会做什么、会如何表现。我认为对模型来说，未来并非预先注定的。算法本身并不会规定模型必须偏爱紫渐变，对吧？但整个流程中的某些东西确实会产生这种偏好。我觉得模型带来的一个机会是，Alec 过去常说，这些模型与其说像一个人，不如说像整个人类，对吧？它们内部嵌入了无数种人格，几乎所有人格都在里面。我们的目标是激发这些人格。而一些后训练工作、强化学习工作，几乎是在把这些人格的空间缩小到只留下那些理想的。我觉得这意味着我们有机会制造出按照我们的价值观运作的模型，对吧？如果你不只是想要紫渐变的，还想要蓝渐变、绿渐变，whatever，单一模型里全都可以有，没问题。GPD5 本身非常擅长遵循指令。所以它实际上是我们做过的最可个性化的模型。你只需要说出来，只需要提供那条指令，就能让它按照你的喜好运作。我用的类比是博格人（Borg），就像某种集体智能。星战粉和星际迷航粉之间总是争论谁对未来有更好的想象，我觉得是星际迷航（Star Trek）。嗯，Sam 发了那条推文，你知道的，他发了死星（Death Star）。所以你是站星战（Star Wars）的。是啊。那是怎么回事？你得去问他。但我觉得这些模型有一个很有意思的地方：我们现在有了各种竞技场，对吧？比如 Ellen Marina 等等，你能实际看到人类偏好如何叠加在模型的行为之上。这几乎是一种分层结构：模型在人类偏好上训练，现在它们做事，由人类评判，然后我们把这些反馈回去——嗯，好吧，也许紫色有点太多了，我们得在那儿改改。所以这几乎是一种协同进化：模型往某个方向移动，人类有某种偏好，于是我们再把它引向另一个方向，然后你不断迭代，得到越来越有用、越来越符合人类价值观的东西。但如果 RL 奖励绑定的东西可能并不是人类偏好的，你怎么做？比如我的经验是，模型很喜欢写 try catch……这样代码就不会报错。我们是不是需要大量偏好数据来告诉它们不该这么做？还是说我们会在 RL 环境里调整什么，让这种做法变得不那么受欢迎？我在想接下来该怎么走。我觉得，决定在哪里干预、怎么判断干预点，这是非常多维的，而且高度依赖于具体行为，对吧？有些东西，比如模型对不同库的知识，是从早期就固化进去的，但你也可以教模型：嘿，别依赖你以前的知识，去查最新的文档。这是你可以放在更高层面去处理的东西。而像滥用 try catch 这种事，你其实可以通过 prompt 来纠正模型，对吧？而且在我们用强化学习训练它的时候，你也可以提供奖励信号，比如：啊，别往这个方向走。这些模型的美妙之处在于，看起来好像你得在训练中针对一长串不同的偏好、风格等等逐一给反馈——如果你想走这条路的话。但这些模型会泛化。我们的算法会泛化，这就是深度学习的美丽之处。这才是真正的魔法，对吧？现在很容易——我们围绕深度学习核心搭建了一整套技术栈，对吧？有各种编排模型的方式、获取反馈的方式，还有数据等等。但深度学习的核心魔法在于它的泛化能力。某种程度上，这种泛化能力比你期望的要弱，但我觉得这些模型也是一样。真正要想的是，为了让它们能够按照不同的偏好和价值观运作，我们只需要在训练中展示给它们看，它们就能泛化到我们实际没有训练过的偏好和价值观上。这在不同代际的模型中我们都观察得非常一致。我刚想到一个梗图：哦，我的模型不泛化？那我们就让整个世界都变成你的分布，这样你就解决所有问题了。搞定。没错。就这么简单。你知道的，你只需要顺便建个戴森球就行了。我想在转到开源（OSS）话题之前，最后再谈几个关于 GT5 的点。嗯。你之前提到过有一个 router，这真的很酷。我还听了你和 John Collison 在 Cheeky Pints 上的播客，那个形式非常有趣，正如他们所说，你讲了一个关于 Dota 的故事，我以前好像没听过，是关于 beta 模型和主模型，以及如何把两者拼接起来。GT5 的 router 是不是类似的思路？就是你有 reasoning model 和 non-reasoning model，然后把它们拼接在一起？某种程度上是的。有多个模型，你在上面放一个 router。不过 Dota 那个是出于非常具体的原因：我们在游戏的前半段有缺陷，一直输。没错。就是这个模型在游戏某一部分表现不好，在另一部分表现不错。而且这些模型运行的行为域足够简单，我们很容易判断什么时候该用哪个模型。从某种程度上说，GBD5 也是一样的。我们有一个 reasoning model，我们知道它适合需要这种智能的应用，你不介意等久一点。我们还有一个 non-reasoning model，非常适合想要快速得到答案的场景。答案仍然不错，对吧？但不是那种经过深度思考、可能包含很多技巧的答案。然后你基本上就想放一个 if 语句，判断该用哪个。有时候，如果用户的积分用完了，你想回退到另一个模型，所有这些都不把负担推给用户，这其实是件很好的事。顺便说一下，我想说 model switcher 不一定是未来，它们只是现在的东西。一个完全整合的、能自动做正确选择的模型，在很多方面感觉上更理想。但另一方面，我认为证据越来越表明，AGI 的最终形态不是一个单一模型，而是一个 manager of models，它管理着多个各有优劣的模型。我觉得这是过去几年一个非常有趣的发现，方向就是：更容易拥有一个能力较弱但速度更快的小模型，它能生成更多 token，再配一个昂贵得多的 reasoning model。如果把这两者结合起来，你就能得到 adaptive compute。我们还没真正破解如何在架构内部实现 adaptive compute，但在系统的 orchestration 层面做这件事就非常直接了。所以我认为，这些模型以这种方式可组合，能带来很大的威力。是啊，我想表扬一下写 model card 的人，太棒了。他们甚至把 if 语句的关键参数都列出来了：对话类型、复杂度、工具需求、明确意图、使用速率限制，挺有意思的。有没有哪一项是你特别想评论的，或者在辩论中比较有趣的？没有，我觉得说实话，所有这些都挺符合预期的。嗯。我认为核心信息是：在 OpenAI，我们有很多事做对了，命名不是其中之一。给用户提供一个简单易懂的界面，也不一定做得好。你看我们出过那么多不同的模型，用户怎么知道该用哪个？我记得我妻子有一次在用 40，我说：“不对，你得用 03。”她问：“等等，为什么 03 比 40 好？”就像——
“那就推出 04，然后你又有 four 和 04。”
就是啊。所以，很明显我们需要一次重置，对吧？对复杂度的重置。我认为我们应该自己消化这种复杂度，而不是推给用户，这真的很重要。所以我认为这是第一步，而且我们非常清楚地听到了社区的声音，关于哪些地方他们还没准备好——我们没能为人们提供那种简单性。应该让用户直接选择我们的推荐，而不是手动挑选。我们还没完全做到，但我觉得可以取得进展。最终我们的目标应该是：既要确保 power users 能获得他们想要的控制和一致性，同时也不要让广大不想思考 403 这类东西的用户被迫去了解那么细的细节。嗯。接下来问个很棒的定价问题。我们聊过，GP5 的定价很有侵略性，非常有竞争力，甚至比 Gemini 还便宜。前几天聚会时我惊讶地发现，GP5 的价格还能降很多。大概是什么数量级？其中有多少百分比只是因为基础设施更好，比如 Stargate？我觉得这类问题的答案总是：你看我们的定价历史，我们一直在非常稳定地降价，我不知道具体倍数，但可以说每年大概 10 倍。我觉得不止，可能更激进，这很疯狂。对，你看 03，我们好像降了 80%，而使用量增长到什么程度呢？收入上要么持平，要么还正增长。这说明我觉得存在一条成本曲线，需求极其陡峭。所以只要你让它更易用、更普及，人们就会用得多得多。而且这与我们的使命高度一致。我们的目标是确保 AGI 惠及全人类。其中一部分就是确保这项技术广泛分布，让大量的人在生活工作中使用 AI。帮助我们实现这一点的方法包括更高效的 inference、更便宜的模型等等。当然，一部分解锁因素是拥有更多算力。目前我们极度受限于算力。所以我想即使我们大幅降价，也不会真的增加这个模型的使用量。我们还有很多效率可以提升，团队一直在非常努力地推进下一阶段的 inference 效率。一部分在于改进模型架构本身，你可以做很多架构决策。现在我们进入 reasoning 的世界，这不只是模型架构的问题，也涉及 post-training，对吧？还有针对特定任务它要思考多久之类的问题。所以我们有很多很多维度的改进要做，我们会继续推进。顺便说一下，我有张图表，如果你需要的话。从 DT4 发布那天算起，同等智能水平的成本已经改善了 1000 倍。太疯狂了。很不错。对，大概也就两年半左右。还有什么东西能在两年半内提升三个数量级？我不知道。没有。想不出来。对，而且还在往下走。甚至不是从 10000 降到 1000，是要降到几分钱。关于 GBD5 的发布，我写了一篇文章叫《自我改进的编程智能体》。我基本上问 GBD5：你能为自己构建工具，让自己成为更好的编程智能体吗？这是一项自由职业任务，模型在执行任务时某些方面失败了，然后我问它：你能为自己改进工具吗，做这样的循环。我发现模型不太喜欢使用它们为自己构建的新工具。它们基本上会回答说，我自己就能做，不太需要这个工具。我觉得这里面有点像——
——听起来像人。对。这里似乎存在一个天花板，即它们究竟能在多大程度上推动自我改进？你觉得部分原因是不是，它们只是被教导使用这些工具——比如图谱之类的——所以它们在推理时很难构建工具？还是你认为这是实现那次跃迁的一部分？我认为这肯定是迈向那一步的一部分，对吧？而且我觉得我们在做这件事上也不是完全为零，对吧？我认为这很大程度上取决于训练。如果模型只是用一套特定的工具训练出来的，没有被真正推动去快速适应新工具，那你就不应该指望它在评估时表现不同。但是，生成自己的工具来让自己更高效，并随着时间的推移以持久的方式积累一个工具库——这是你的工具箱里一个非常强大的原语。我认为，如果你的目标是去解决那些极其困难的挑战、未解难题，那么你会需要这类东西作为依赖。有没有哪些架构决策或创新是你想聊的？比如 sliding window attention、非常细粒度的 mixture of experts——我觉得这是 DeepC 推广的——还有 RoPE、YaRN、attention sinks，任何在 GPOSS 的决策中让你觉得突出的东西？我想说这些选择都是……你看，我们有一个团队一直在研究不同的架构。我们探索了各种东西。像 mixture of experts 这类东西挺有意思的。我觉得这肯定要归功于我们团队在那里的选择。但我脑海中的画面是，我们想要一些能在这些环境中轻松运行的东西。所以，选择稀疏程度这类事情与你的内存占用密切相关。然后你知道，前向传播时你实际能用多少计算量等等。所以我认为，在某种程度上，架构决策很大程度上受到模型规模以及它们运行时可用的计算资源的约束。是的。我的意思是，这确实是非常务实的工程决策。对，我也这么想。而且我认为模型的能力确实体现在，我们真的运用了很多前沿技术来不断推动模型能力向前发展。我想说，我确实能感觉到为 API 设计的模型和为单机设计的模型在架构上存在差异。你明白我的意思吗？当你有多租户、可以做批处理时，这和单机场景非常不同。非常不同。是的。我不知道这两者最终会不会融合，但也许就像你常说的，会是一个模型动物园。对。我觉得思考这样一种架构也很有意思：你有一个本地模型，有时它会委托给远程模型，对吧？这样可以让运行速度更快。从隐私架构的角度来看也很有帮助。就是试图决定什么数据出去、什么留在本地，拥有这种 edge compute 意味着即使你断网了，仍然能做些事情，而且你可以有一个更慢的规划模型。这些东西之间的相互作用非常有趣。是的。所以就像是设备端运行 GPT5，你本地有 GTOSS，然后如果在线可用就路由到云端。我不知道。对，类似这样。然后你的 Codex 基础设施有一个本地 agent 和一个远程 agent，能够无缝地在这两者之间交互，还能支持 multiplayer。未来就会是这样，而且会很棒。然后你有一台随身携带的设备。我能看到事情发展的方向。所有东西都连在一起了。是的。关于这个设备我们能说什么？你提到了——
我不想惹麻烦。关于这个设备我们能说什么？它一定会很棒。嗯，好的。然后另一个问题，我不知道这算不算政治问题。你知道，有很多来自中国的开源模型。为什么要有美国的开源模型，这很重要吗？关于开源模型，我们在非常实际的层面上考虑的另一点是，基于我们开源模型构建的人，某种程度上是在基于我们的技术栈构建。对吧？如果你依赖我们来帮助改进模型，依赖我们来取得下一次突破，那就意味着你确实存在一种依赖关系——这既对我们的业务有利，我认为也对国家有利，对吧？你想想看，从人们直接运行的模型，到它们如何与我们刚才谈论的方式进行交互和协同，这实际上让我们能够构建一个完整的生态系统，人们能够控制对他们重要的部分，最终建立在这些反映美国价值观的模型之上，然后能够与美国的——希望是底层的芯片——以及后端的云模型和执行环境等进行交互，所有这一切相互配合，我认为这增加了很多价值，而且我认为这让美国的领导力真正也意味着我们在世界范围内的价值观领导力。是的，祝贺你们发布了那个。谢谢。我们来聊聊 OpenAI 的工程团队。我知道关于 cloud code、Aider、open code 以及各种不同工具有很多争论。你如何看待团队本身的组织结构，才能从中获得最大的杠杆效应？你有没有从人数角度、能力角度、组织内部团队规模角度改变团队建设方式？有什么想分享的吗？嗯，工程，软件工程肯定正在多个维度发生变化。有一部分工程对这些模型来说很难真正攻克，但我们开始看到苗头初现。那就是那些非常核心、困难的算法，对吧？像 CUDA kernel 就是一个很好的例子，这是一个非常自洽的问题，实际上我们的模型应该很快就能非常擅长，但它之所以困难，是因为需要大量领域专业知识，需要很多真正的抽象思维，但话说回来，它并非不可解决。它是自洽的。这确实是非常适合我们现有技术的那类问题。还有一些在架构层面非常困难的问题，对吧？你如何思考一个系统应该如何组合，如何思考抽象？同样，我们的模型开始在这方面变得有点擅长了。所以我认为我们看到的是，对我们大多数工程师来说，即使是非常优秀的工程师，他们的很多工作实际上与模型当前的核心优势非常匹配。而且肯定对于任何你不精通的语言，你肯定不想自己写代码，你真的希望由模型来完成。然后，工作的某些部分会变得更难，因为这需要模型无法获取的东西，对吧？这需要大量的背景信息，需要去与人沟通才能做出好的决策。所以我认为，我们还没有走到因为这些工具的存在而真正改变团队架构的那一步。但我觉得我们正处于一个阶段，让模型在所有可能的领域得到应用是极端高优先级的事情。而且要思考如何以良好且负责任的方式做到这一点，思考应该设置怎样的 guardrails，并且要以非常务实的方式推进。所以我觉得我现在看到的是，我们正处于早期采用者阶段，并开始向主流阶段过渡；而人们有能力做更多事情所产生的生产力影响，意味着我们实际上需要更多人，对吧？就像我们受到软件生产能力的严重限制，受到团队清理技术债务和重构代码能力的严重限制。如果我们有工具能让这些工作变得容易 10 倍，我们就能做 100 倍更多的事情。所以我认为这些模型带来的巨大机会，并不在于只是更高效地做同样的事，而是能够做得更多，我认为这就是总体目标。是的。你们是如何调整团队的工作以更好地适配 LMS 的？追踪 issue 的方式有变化吗？组织代码库的方式有变化吗？所以我认为我们仍处在这件事的早期阶段，但我看到最成功的方法是，你真的需要围绕这些模型的优势和劣势来构建代码库。这意味着要有更多自包含的单元，要有运行速度极快的优质单元测试，要有良好的文档来说明这个模块的用途。如果你这样做，并且把细节交给模型处理，效果会非常好。然后再思考这些东西如何组合，确保你考虑好依赖关系，让这些干净的、AI 优化的模块只能被其他 AI 优化的模块依赖，这样你最终会得到一个真正 AI 优化的完整系统。所以我觉得我们仍在触及可能性的表面，而且模型进步如此之快，实际上现在为了规避模型弱点所做的工作，在六个月后那些弱点可能就会大幅缩小，所以你未必想把所有时间都花在过度拟合当下现状上。但我认为在这个特定时刻，快速行动有很大的潜力。有一个我非常好奇的问题：工程师的价值，你知道的，随时间不断增长。随时间不断增长。嗯，我是说，另外，你知道，我们工作中有些部分正在被自动化取代，而且我觉得显然现在签约奖金非常高，比我们行业历史上任何时候都高。真正有价值的是工程师本身，还是赋能他们的系统？你知道，我觉得两者兼而有之，但人们确实为工程师支付了很多钱。我是说，归根结底，真正的新鲜之处在于，我们正在生产这些技术、这些模型，它们是人类创造的最有用的工具，对吧？而在它们之下，我们正在建造人类有史以来最大的机器，对吧？就像在某个时刻，投入这些数据中心的资金开始变成一种抽象概念，对吧？500 亿美元是什么？1000 亿美元是什么？你怎么可能真正内化理解那是多少钱？我认为这几乎超出了人类理解的尺度。我们作为一个国家、一个社会、一个世界，集体正在进行的这个工程项目，对吧？像新政这样的项目相比之下都黯然失色，你知道，阿波罗计划与我们现在正在做的事情相比都黯然失色而且在很多方面，这也是应该的，对吧，因为这项技术的经济回报非常大，但更重要的是，我们正在迈向一种新经济，对吧，一种 AI 融合的经济、一种 AI 驱动的经济，而这正是我们使命的最终所在，对吧？就像我们看到了地平线上的这种变化。我们想要提供帮助，我们想要帮助引导它成为能够提升所有人的东西，对吧？这是人类历史上几乎独一无二的惊人机遇。而我们都很幸运，对吧，能够身处这个时刻，能够以某种方式参与其中，这对我来说是真正思考这场人类尺度大变革的背景。而有时候你几乎会感到一种认知失调，因为你正在调试某个底层的 CUDA 死锁，或者你在担心紫色渐变，然后你意识到我们真正在谈论的是人类的未来。所以当你思考工程师、谁在哪家公司以及所有这些事时，这些事确实很重要，对吧？就像这不只是关于任何个人。而是关于团队，对吧？但这也不只是关于任何单一产品或单一系统。真正重要的是我们共同建设的整体社会、整体经济。所以我觉得我有时候会退后一步，思考宏大的尺度，但你也需要思考微观尺度。你需要思考人们是否快乐，对吧？人们是否感到与使命相连？他们是否觉得自己的工作有意义？而这些事情实际上最终证明是最重要的。所以登上头条的未必是真正最驱动人们的东西，但它确实肯定反映了人们看到的这种技术的经济潜力。这跟 Gnome 在多智能体团队上说的有点关联，就像人类的个体智能，你知道，我们个人只能做这么多，但作为文明，我们可以，你知道，登月、建造城市、建造 AI，而且齐心协力，我觉得我们能做的远超过个人独自能做的事情。我们齐心协力可以做出惊人的事情。毫无疑问。你如何看待当前 AI 研究的现状？大家真的都在做同样的事吗？你觉得每个实验室都有不同的思路，最终会帮助我们收敛到正确的方向上，还是仅仅因为现在资金规模变得如此之大，你只能去做那些你认为会奏效的事？我认为这个领域有着惊人程度的多样性。有时候你会觉得这是一种趋同进化，但如果你真的和不同实验室的人聊聊，你就会意识到人们有着不同的视角。你知道，Open AI 早期做出的一个决定是，我们真的希望有一群思维方式一致的人，对吧？因为对于那些长期攻读博士学位、已经形成自己研究愿景的人来说，你没法告诉他们该做什么。所以，如果你想要大家齐心协力，就意味着你必须筛选出这样一群人。我认为这是 OpenAI 早期做出的、也许最重要的决定之一，它帮助我们取得了今天的成就。因此，我认为这意味着你必然可以选择不同的方向向量，你也能从不同实验室的品味、它们关注什么、产出什么中真切地看到这一点。在 OpenAI，我认为我们一直非常专注于：如何做研究才能带你进入下一个层级。即便是像 GPT-5 这样的项目，你知道，我们也面临很大压力去考虑：好吧，我们是不是就该埋头苦干，处理我们在编程方面遇到的问题反馈，你知道，你可以通过这种持续打磨取得一些进展，但有时你也必须退一步思考：如何实现下一个阶跃函数？如何实现下一个范式转变？而推理范式就是一个我们做得非常成功的例子。在 OpenAI 的发展历程中，我们多次做到这一点，并且未来也会继续这样做。因此，我认为突破仍有待实现，而且在 multimodal、不同的生成方式等方面存在如此丰富的多样性，我认为研究领域比以往任何时候都更加充裕。没错。而且别忘了，那还只是主流研究。还有语音、图像生成、视频生成。是的，是的，是的。这些东西确实很容易被遗忘。还记得 Studio Ghibli 吗？那简直是当时世界上最火的东西。完全正确。太神奇了，太神奇了。顺便说一句，那其实就是一小群人多年来真正专注于那个问题的成果。我认为，这就是 OpenAI 的核心精神：对重要问题进行长期押注，而这些方向最终能汇聚成一个有机的整体。所以从外部来看，很难弄清楚你们到底在重点攻克什么。图像生成几乎可以说是凭空出现的，这很棒，也获得了大量采用。人们应该如何看待你们的优先级排序，以及哪些事情应该由外界去探索和构建、哪些又该等你们来改进？嗯，这个领域的可能性空间非常巨大，对吧？因为神经网络、深度学习实际上适用于任何类型的数据、任何领域。而我们不可能什么都做。核心推理范式显然是我们会持续推进的。multimodal、语音、图像生成、视频生成这类领域，我们也认为非常重要，而且所有这些都能有机结合在一起。但也有一些领域，我们很难想清楚如何将其纳入核心项目的优先级排序。比如机器人技术，2018 年的时候我们取得了很好的成果，但我们逐渐意识到，在另一个领域我们可以进展得更快。事实上，我们当时让机械手完成了一项了不起的成就——解开魔方，但那个团队遇到了瓶颈：这只机械手只能运行 20 小时，然后肌腱就会出问题，接着就得找机械工程师来修理。后来那个团队去做的事情就变成了 GitHub Copilot，这显然是一项惊人的成就，真正的突破，而且他们在数字领域能比在物理领域快得多。因此，我认为对我们来说，无论招聘多少人、获得多少 GPU，我们的带宽都是有限的，对吧？我们就是一家公司、一个实验室，尽可能专注于一个连贯统一的问题。所以，你可以看看我们正在做的这一系列事情，有时我们会做一些分支项目，有时这些分支又会成为核心项目的一部分，但可能性空间对所有人来说都是如此广阔。太好了。我想趁这个机会，我们快要结束了，来几个简短的快问快答，把视野从 OpenAI 拉远一点。这个问题是 Allesio 提的，你来回答一下吧？哦，就是你创办 OpenAI 的时候，你几乎觉得创办 AI 实验室已经太晚了。那么今天有哪些事情，人们觉得几乎已经太晚了，但其实他们应该去做？我认为有一点非常清楚：把这些模型与现实世界的应用领域连接起来极具价值。有时人们可能觉得所有点子都被占用了，但经济体量如此巨大，人类活动的每一个应用领域都如此庞大，因此非常值得、也非常重要的是，人们要认真思考如何从我们创造的这些惊人智能中获取最大价值。比如在医疗领域，你必须认真考虑所有利益相关者，必须思考现有系统如何运作，以及如何让这些模型顺利融入其中。我认为在所有这些领域，都有大量尚未采摘的果实。没错，所以去写你们的 GPT wrapper 吧。去做吧。但我建议的是，要认真思考那些你创造的价值不仅仅在于写出了一个更好的 wrapper 的领域。真正重要的是理解一个领域，建立专业知识和关系网络，以及所有这些要素。是的，你偶尔也做天使投资。什么会引起你的注意？实际上我已经好几年没有做过天使投资了。好吧。是的，是的。因为所有事情都会分散我对 OpenAI 的注意力，我只想保持高度专注。好的。这是一个时间旅行问题。你想给 2045 年的 Greg 发一张什么便利贴？到时候你 58 岁了。
Dyson sphere 建得怎么样了？我不知道你有没有认真算过那需要多少资源，不过确实。更严肃地说，考虑到现在发展速度如此之快，2045 年简直难以想象。所以我希望那将是一个惊人丰裕的世界，我认为到那时我们人类真的应该已经多行星化了，几乎任何你能想象的科幻梦想，都很难否认其可能性——除了那些受限于以那种速度移动原子的物理能力的事情。但是的，我只是希望那个世界能够像我在 2025 年坐在这里所能想象的那么美好。如果真有那么丰裕，我们甚至还需要 UBI 吗？因为真正的丰裕意味着我们不需要它。嗯，我认为……首先，我记得在 OpenAI 早期就有很多争论，AGI 实现之后金钱还有意义吗？这真的很不清楚。如果你只需要跟电脑说句话，它就能产出你想要的任何东西，你想要某种实物商品，你想要某种物质物品，它都能瞬间为你制造出来，实际上免费，那金钱意味着什么？但另一方面，我认为有一种资源显然会处于极高的需求之中，那就是 compute。已经是这样了，我们在 OpenAI 内部就能看到这一点：能接触到最多 compute 的研究人员，才能开展最大的项目，做更多的事情。而且我认为，未来人们如何获取算力，以及算力分配将呈何种面貌，这将是非常重要的问题。对于你在乎的任何任务、任何应用，你拥有的算力越多，问题就越能被解决，越能发生更多的事情。因此，如果你完全不工作，你能生存吗？我想答案是肯定的。你会有充足的物质，你的物质需求会得到满足。但问题是，你能做得更多吗？你能否不仅随心所欲地生成电影（就像 Sora 那样），还能拥有令人惊叹的细节和各种额外的精致效果，还能让这个东西为你超级深入地思考——相当于100年的主观体验——只为找出最适合你个人的方案？我认为更多的算力永远会有更高的回报，因此我们必须认真思考社会该如何架构。顺便说一句，我总觉得这部分更难：给2005年的Greg写一张便利贴，也就是18岁的Greg。哇，我可以时间旅行了，呃，我能写多长？就像一张便利贴，给你自己提点小建议。显然这也是替其他所有人问的，但主要是写给你自己。我想最让我惊讶的一点是，可去解决的问题会随时间越来越多。对吧。因为我记得在1999年、2000年左右读到关于硅谷的报道时，感觉我已经错过了那趟船。我生得稍微晚了一点。很常见。没错。我就是觉得，等我准备好去工作时，所有酷的问题肯定都被解决了。什么都不剩了。结果证明这完全错了。对吧。比如现在就是身处科技领域、真正在世界上行动的最激动人心的时刻，因为我们拥有了这项惊人的工具，它将提升并革新每一个应用、每一个人类奋斗的领域。而且我认为，这本身就令人兴奋，是我们可以投入应用的。你知道，我们无疑必须克服一些挑战，但都是为了实现这个惊人的成果。所以我想，可去解决的问题会随时间增长而非减少——这个信息就是核心，我希望我当时就能真正内化这一点。太棒了。非常感谢你加入我们，Greg。好的，感谢你的时间。非常感谢。很高兴来到这里。