Wojciech Zaremba：OpenAI Codex、GPT-3、机器人与 AI 的未来

嗯，我觉得自我怀疑，而且我觉得嬉皮士意味着乐观，这两点是相当不错的处世方式。

我是说，我仍然很难真正理解政治如何运作，或者事情究竟会如何发展，而 Sam 非常擅长这些。你认为宇宙中最稀有的是什么？你说过我们可能孤独。另一种工程式的问法是：最难构建的是什么？生命、智能，还是意识？就像你说的，我们可能孤独，那么最难达到的是哪一步？仅仅是生命的起源吗？是智能的起源？还是意识的起源？

那么，让我先解释一下我对生命出现所需条件的心智模型。我想象在某个时刻，海洋中存在着原始汤，里面有氨基酸，也许还有一些蛋白质。你知道，一些蛋白质通过反应转变成其他蛋白质。你几乎可以把这个“什么转变成什么”的循环想象成一张图，本质上描述着哪种物质转变成另一种物质。而生命本质上意味着，图中突然形成了一个循环，使得同样的事情不断反复发生。这就是生命出现所需要的。从某种意义说，你可以想象你拥有这样一张巨大的图，它需要足够多的边，才能让循环出现。

那么，从智能和意识的角度来看，我目前的直觉是，它们可能是相当交织在一起的。首先，它可能并不是一个非此即彼的二元事物，不是说你要么有智能要么有意识，它似乎更像是一个连续的组成部分。比如说，如果我们审视识别图像的神经网络，人们能够证明，这些网络的激活与某些猴子视觉皮层的激活高度相关。语言模型似乎也是如此。另外，比如说，如果你在一个 3D 世界中训练一个智能体，起初它几乎无法识别发生了什么，随着时间推移，它能区分前景和背景；再后来，它能知道脚在哪里并跟随它；最终它实际上开始具备三维感知。

因此，比如你可以窥探智能体的“大脑”内部，问：如果它向右看会看到什么？而疯狂之处在于，你知道，在智能体训练不足时，这些预测非常糟糕，随着时间推移，它们变得越来越好。你仍然可以看到，如果你问头部旋转 360 度会发生什么，有一段时间它们会认为出现了不同的东西，然后在某个阶段它们才真正理解，出现的应该是同一个东西。于是它们获得了对三维结构的理解。

而且，很可能它们内部也存在某种程度的符号推理，比如它们对其他智能体有特定的符号。所以当你观察 Dota 智能体时，它们会相互协作，而且它们会对“是否会赢得战斗”有所预期，对其他智能体有一些期望。我可能把事物的外观太过拟人化了，但它们确实拥有代表其他智能体的符号，这让我相信，在某个阶段，随着它们为提升技能而优化，它们也会拥有描述自身的符号。这是一个非常有用的符号。这种特性我会称之为自我意识或自我认知。但它仍然可能与意识有所不同。

所以，我想我对“意识”这个词的理解是，比如说喝咖啡的体验，或者说作为一只蝙蝠的体验。这就是意识的含义。它并不意味着清醒。是的，感觉它也可能与记忆和循环连接有些关系。所以，如果你观察麻醉药物，它们可能会……它们本质上干扰了大脑的连接方式，导致记忆无法形成。所以当你使用麻醉时，意识会减弱。对吗？所以这是 intuit 意识是什么的一种方式。

这里还有另一个要素。可能是你描述的那种自我意识模块，再加上实际的主观体验，是一个叙事模块，它告诉我们一个关于我们正在经历的事情的故事。有趣的是，比如说，在冥想中，人们被教导不要在脑中讲述故事。而且有一部分人实际上没有内心叙事者。我认识一些没有内心叙事者的人，他们不得不借助外部人员来解决需要内心叙事的任务。所以，似乎有可能在没有语言讲述的情况下拥有体验。

当我们谈到内心叙事者时，我们说的是什么？是你脑中听到的声音吗？

对，我以为你指的就是那个。

嗯，我更多指的不是实际的声音。我是说，有一种主观体验，感觉它从根本上就是我们在给自己讲故事。感觉就像是，这种感受是一个故事，一个比原始感官信息简单得多的抽象。所以感觉它是一个非常高层次的抽象，让我觉得自己像是这个世界中的一个实体，这对我来说很有用。

它最有用的方面在于，正因为我是有意识的，我认为这与我不想死之间存在着一种错综复杂的联系。所以这是一个有用的 hack，能真正优先保证不死。这两者似乎以某种方式联系在一起。所以我讲述的故事是，作为“我”的存在有着丰富的感觉，而“我”存在于这个世界上这一事实，让我想要保存“我”。这让它成为一个对智能体有用的 hack。

所以，关于你刚才提到的第一部分，即那种描述“你是谁”的故事，我甚至也在思考这个问题。你知道，显然我喜欢思考意识，也喜欢思考 AI，我试图在 AI 中找到这些事物的类比，它们会对应什么呢？有一个叫做 GPT 的模型，它能就任意主题生成相当有趣的文本。而控制 GPT 的一种方式是，在文本开头的前缀中放入一些信息，比如这个故事是关于什么的。你甚至可以和 GPT 聊天，比如说这场聊天是和 Lex 或者 Elon Musk 进行的，GPT 就会假装是你或者 Elon Musk。这几乎就像我们给自己讲述的、用来描述生活的故事，几乎就像是你在 GPT 的上下文里放入的东西。

是的，首要的……但我们提供给 GPT 的上下文是多模态的。GPT 本身就是多模态的。GPT 本身实际上并不是从单个人类的经验中学习，而是从整个人类的经验中学习。它是一只变色龙，你可以把它变成任何东西。而且在某种意义说，通过提供上下文，你知道，它会表现出你希望它成为的样子。有趣的是，人们拥有关于自己是谁的故事，正如我所说，这些故事帮助他们在世界上运作。但同样有趣的是，我想很多人通过冥想之类的方式发现，有些你在童年时期学到的模式实际上已经不再对你有用了，而你可能还以为那就是你自己。但其实那只是一个故事。

是的，所以这是一个有用的 hack，但有时也会让我们陷入困境，它是一个局部最优解。你写道，Stephen Hawking——他发过一条推文——Stephen Hawking 问道，是什么给方程注入了火焰？意思是，是什么让一组数学方程实现了宇宙的物理学？类似地，我想知道是什么给计算注入了火焰？是什么让一组计算产生了意识？

好的，那么我们如何工程化意识？你如何给机器注入火焰和魔力？所以对我来说很明显，并非所有计算都是有意识的。我是说，你可以比如说只是反复乘以一个矩阵，在一个巨大的矩阵上，你可以投入大量计算，但我认为它不会有意识。所以从某种意义上说，问题是，哪些计算可能是有意识的？我是说，一种假设是，它纯粹与计算有关，你可以将物质抽象掉；另一种可能性是，计算的实现方式非常重要，它可能与某些力场之类有关，是它们带来了意识。目前我的直觉是，它完全可以被那样抽象。

所以在计算的情况下，你可以问自己，什么样的数学对象或类似东西能带来这样的特性。比如说，如果我们思考模型，AI 模型，那么它们真正试图做什么？像 GPT 这样的模型，你知道，它们试图预测下一个词之类的。而这其实等价于压缩文本。因为在某种意义说，压缩意味着你学习了现实的模型，你只需要记住自己错在哪里。你预测得越好……而且在某种意义说，当我们审视自己的体验时也是如此，比如说你看到一辆车行驶，你知道它会往哪个方向走，你很擅长预测。所以也许意识与压缩是交织在一起的。也许自我意识也与压缩器试图压缩自身有关。

所以……好吧，我只是在想，在数学或计算机科学中，有哪些神秘的对象可能与意识有关？然后我想，你知道，在数学中有个东西叫做哥德尔定理（Gödel's theorem），意思是，如果你有一个足够复杂的数学系统，就可以让这个数学系统指向自身。在计算机领域中，有个东西叫停机问题（halting problem），它是一个类似的构造。所以我想，如果我们相信意识与压缩有关，那么你可以想象，当你不断压缩事物时，到了某个时刻，压缩器压缩自身就变得合理了。元压缩。对，意识就是元压缩。这……这是我的一点想法，而且在某种意义上，它的创造也是如此。

谢谢。那么，你认为如果我们思考图灵机，一台通用图灵机，它能实现意识吗？是否有什么东西超出了我们对计算的传统定义？所以这是一种特定的计算，我说过这种计算与压缩有关。压缩本身，也许换一种说法是，你在内部创建了一个现实模型，以便……就像你在内心简化现实，以预测将要发生的事情。这也与我对自己意识体验的思考有些相似。显然，我无法直接触及现实，我唯一的现实通路是通过连接大脑的线缆，我的大脑正在创建一个现实的模拟，而我所能接触到的就是这个现实的模拟。

你是否碰巧听说过 Marcus Hutter 的 Hutter Prize？他设立了这个奖项，用于压缩 Wikipedia 页面。它有几个特点，其中一个我认为必须是完美压缩，而我觉得这个小怪癖让它不太适用于智能的通用任务，因为感觉智能总是混乱的。就像完美压缩感觉不是正确的目标，但它仍然是一个非常有趣的目标。对他来说，智能等于压缩。所以给定一个很大的 Wikipedia 页面，你把文件压缩得越小，系统就必须越智能。

是的，这说得通。如果你存储错误，你就可以实现完美压缩，而我认为他实际上的意思是算法加上错误。顺便说一下，Hutter 曾是 Shane Legg 的博士导师，Shane Legg 是 DeepMind 的联合创始人。对，对。所以这里有一个有趣的人际网络。现在他在 DeepMind。他是我认为真正认真对待“一个 AGI 系统会是什么样子”这一任务的人之一。我认为在很长一段时间里，AGI 的问题没有被认真对待，或者说没有被严谨对待，而他正是这样做的。从数学上讲，如果你去掉模型必须拥有合理内存量、合理运行时间复杂度、计算时间等约束，它会是什么样子？本质上，这是一场半数学半哲学的讨论：对于一个 AGI 来说，类似强化学习的框架会是什么样子？

是的，所以他甚至开发了一个框架，用来描述在强化学习中最优的是什么。存在一个理论框架，正如你所说，假设拥有无限的内存和计算资源。实际上在他之前还有一个人，名叫 Solomonoff。Hutter 将这项工作扩展到了强化学习领域。但存在一个理论上的算法，是构建智能的最优算法，而我其实可以给你解释这个算法。

好啊，说吧，说吧。

那么任务本身是……我能先暂停一下吗？一个颅骨中的大脑试图解释智能的算法，这有多荒谬。

说吧。

这相当疯狂。你知道，大脑本身其实那么小，却能思考如何设计最优解决智能问题的算法，这相当疯狂。

好吧，那算法是什么？

这么说吧。首先，任务本身被描述为：你有一个无限的零一序列。你读取 n 个比特，然后要预测第 n+1 个比特。这就是任务。你可以想象，任何任务都可以被表述成这样的任务。比如说，如果你有图像和标签，你可以把每张图像转换成零一序列，然后把标签拼接上去，然后……实际上就是这样。你可以先准备训练数据，然后再准备测试数据。所以从理论上讲，任何问题都可以被表述为在这个无限序列上预测零一的问题。假设你已经读取了 n 个比特，想要预测第 n+1 个比特。

我会要求你写出所有可能生成这 n 个比特的程序。你可以选择编程语言，Python 或 C 都可以。编程语言之间的差异可能存在一个常数因子的区别，渐近地说，你的预测将是等价的。你读取了 n 个比特，然后枚举所有能在输出中生成这 n 个比特的程序。接着，为了预测第 n+1 个比特，你要根据程序的长度给它们加权，有一个特定的公式来决定如何加权。然后第 n+1 个比特的预测，就是根据这个权重，从每个程序中统计地、按统计方式挑选出的预测。

所以程序越短，你越有可能采纳它的输出。

所以这个算法基于一种希望或直觉：简单的答案就是正确的答案。它是这种直觉的形式化。是的。这也意味着，如果你问“太阳多少年后会爆炸”这样的问题，你可以说答案更可能是某个幂次方，因为这是一个更短的程序。对，然后……好吧，我对短程序空间与大程序空间之间的差异没有很好的直觉。在一个由短程序运行一切的世界里会是什么样的？正如我所说，程序必须与 n 个比特一致。所以即使你有非常短的程序，如果它对 n 个比特的预测不够完美，你就需要加上错误。这些错误是什么？这就给了你那个与 n 个比特完全一致的完整程序。哦，所以你不能完美匹配 n 个比特，你要存储错误，这就像一个稍长一点的程序，因为它包含了这些额外的错误比特。这很迷人。

你对那些能做酷东西的程序——比如智能和意识——有什么直觉？它们是否完美？里面有很多 if-then 语句吗？它们是否存储了大量例外？你可以想象，如果有大量的 if 语句，是的，那它们就不会那么短了。在神经网络的情况下，你可以想象，当你从一个未初始化的神经网络开始时，它内部存储了许多解决问题的可能性，而 SGD 会放大那些稍微接近正确答案的路径。所以它有点像是在放大正确的程序。而且在某种意义上，SGD 是程序空间中的搜索算法，而程序空间由神经网络内部的连接方式表示，其中存在数量疯狂的特征计算方式。

让我问你一个高层次的基础问题，但它其实不那么基础：什么是深度学习？你有没有一种思考方式，与教科书上的通用定义不同？我刚才暗示的东西，可能最接近我如今对深度学习的看法。现在我的说法是：神经网络可以表示一些程序。我们不断添加的各种模块，就好像……你知道，我们希望网络是深度的，因为我们想要多步计算。而深度学习提供了一种表示程序空间的方式，这个空间是可搜索的，而且可以用 SGD 来搜索。所以我们有一个算法，可以在海量的程序中进行搜索，而梯度下降会让那些倾向于给出正确答案的东西浮现出来。

那么，一个拥有固定权重、经过优化的神经网络，你会把它看作一个单一程序吗？Christopher Olah 做过一项研究，他从事神经网络的可解释性工作。他能够在神经网络内部识别出，比如说，一个汽车轮子的检测器，或者一个汽车掩膜的检测器。然后他能将它们分离出来，并用一个简单的程序把它们组装在一起，用于汽车检测器。如果你从传统定义的程序来想，这就像程序中的一个函数，而这个特定的神经网络能够找到它，而且你可以把它撕出来，就像你可以从 Stack Overflow 上复制粘贴一样。所以，任何程序都是更小程序的组合。

是的，我是说，神经网络的好处在于，它允许事物比程序更加模糊。在程序中，你要么这样分支，要么那样分支；而神经网络更容易处于某种中间状态，或者共享某些东西。

你认为在利用这些神经网络的过程中，深度学习最美好或最令人惊讶的想法是什么？顺便说一句，对于不熟悉的人来说，神经网络是一组……你会怎么说？它受到人脑的启发，有神经元，神经元之间有连接，有输入和输出，有数百万甚至数十亿个神经元，而学习发生在调整连接这些神经元的边上的权重时。

谢谢你给出了这个定义，这本来应该由我来做，但我想你对听众有足够的同理心，知道这可能有用。

不，这就像是……我在问柏拉图生命的意义是什么，他不会回答的。你说得很哲学、很深刻、很精辟，谈到了程序空间，这非常有趣，但也有些人根本不了解我们在谈论深度学习时到底在说什么。总之，抱歉，在你从事深度学习的全部时间里，对你而言最美好或最令人惊讶的想法是什么？你做过很多迷人的项目，神经网络的各种应用。它不一定要宏大而深刻，可以是一个很酷的技巧。

是的，我在想那个技巧，但让我仍然觉得有趣的是，它居然能管用。是的，我是说，极其简单的算法——SGD，这是我在一张纸上就能推导出来、讲给高中生听的东西——当把它放到数千台机器的规模上时，居然能够创造出我们称之为类似人类的行为。所以一般来说，将梯度下降应用于神经网络都让你感到惊叹吗？还是说，在自然语言、强化学习中有某个特定的应用？另外，你会把成功归因于什么？只是规模吗？从这个事实中——它能在海量变量上起作用——我们能获得什么深刻的洞见？

我是说，有趣的是，这些算法早在几十年前就被发明出来了，而人们实际上放弃了这个想法。是的。那时候他们认为我们需要截然不同的算法，并在非常不同的算法上花费了大量精力。我相信，我们已经看到各种创新，比如 transformer、dropout 之类，它们确实有所帮助。但同样令我惊讶的是，这个来自 60 年代左右的算法——甚至你可以说梯度下降是由莱布尼茨在 18 世纪左右发明的——它实际上是学习的核心。过去人们……

这几乎可能是出于自负，人们说这么简单的一个算法不可能解决复杂问题，于是他们去寻找其他算法。而正如我所说，我认为我们实际上身处一场游戏中，坦白说有三个层面：计算、算法和数据。如果我们想构建智能系统，我们必须拉动这三个杠杆，而且它们是相乘关系。这同样很有趣。你问是否只有计算？人们内部做了研究，来确定不同层面各带来了多少收益。到目前为止，我们看到计算带来的收益比算法更多。但我们也身处这样一个世界：在计算方面，资金投入呈指数级增长，而总有一天不可能再投入更多，不可能投入 10 万亿美元，因为我们谈论的是……

比如说，全美国的税收……

但你刚才说的是资金方面，计算领域也可能出现创新，这同样成立。这里面有几个因素。一个是，人脑是一台不可思议的超级计算机，它拥有100万亿参数；或者说，如果你尝试计算大脑中的各种数量，比如神经元、突触——神经元的数量相对较少，但突触非常多。目前甚至还不清楚如何把突触映射到神经网络的参数上，但显然突触数量要多得多。所以，有可能我们的网络仍然偏小；也有可能它们比大脑更高效，或者效率低很多个数量级。我还相信，未来会出现能够大幅降低样本复杂度的算法。

目前我们处于这样一个阶段：这些神经网络需要比人类多1000倍，或者说数量级大得多的数据。但我们今天正在迈向的那些蕴含百万倍以上数据的领域，即便计算机在学习速度上可能比人类慢1000倍，这也不是问题。例如，我相信应该有可能创造出超越人类水平的治疗方案，哪怕只是采取一些非常简单的步骤去做。核心原因在于，机器将能够阅读多得多的治疗记录，并且能够同时与更多人交谈，还可以全部并行优化。

现在你触及到了我非常关心、且认为远比我们想象中困难的问题。治疗师的目标是什么？叫疗法对吧？那么，其中一个目标——这让我感到很不安——是有很多人想要自杀、饱受抑郁之苦，而治疗可以极大地帮助他们。让AI算法负责这件事，是一个生死攸关的任务，风险极高。所以，无论是人类还是AI治疗师，其中一个目标都是防止自杀意念、防止自杀。你如何实现这一点？

让我想想。首先明确一点，我不认为当前的模型足以胜任这样的任务，因为它需要极强的理解力和共情能力，而模型离这个水平还很远。

但是，你觉得这种理解和共情的信号存在于数据中吗？

我认为数据中确实存在一些信号。我的意思是，有大量的对话记录，从中可以理解人格特质，也可以判断一段对话是友好的、亲切的还是对抗性的。我相信，鉴于我们现在训练的模型——它们就像变色龙，可以拥有任何人格——它们最终可能比任何人都更善于理解他人的个性，而且它们会显得富有共情力。

有意思。但我怀疑，要对人类经验产生共情，是否需要某种程度的多模态能力？光靠语言是否足以理解死亡、理解恐惧、理解童年创伤、理解机智和幽默——当你与一个可能抑郁或受苦的人交流时，幽默、希望、爱以及所有这些元素都是必需的。

所以这里还有一个更深层的问题，就是 self-supervised 与 supervised 的区别。仅靠阅读大量记录，你能从数据中获得这些吗？

实际上，我认为阅读大量记录只是第一步。就像你不可能只在 YouTube 上看视频就学会跳舞，你必须亲自尝试。我觉得这里的情况类似。我也不会立即在高风险场景中部署这个系统，而是会逐渐观察它的发展。显然，最初它必须与人类协同工作。但目前的情况是，实际上有很多人希望接受治疗或与人倾诉，而治疗师的数量远远不够。

从根本上说，我一直在思考，哪些东西能够极大地提升人类的福祉？治疗是其中之一，冥想可能是另一个，人际连接或许是第三个。从药理学上说也是可能的，比如直接的大脑刺激之类的。但这些基本就是现有的选项。那么，我认为 AGI 事业在默认情况下是一项增加财富总量的事业，我相信我们可以极大地增加每个人的财富。同时，对我来说有两项有意义的事业：一是本质上增加财富总量，二是提升整体人类福祉。这两者相互关联，可以……

我想说这是不同的话题，但一个可以帮助另一个。另外，"治疗师"这个词挺有意思的，因为我认为友谊和爱就是治疗。我的意思是，如果把治疗师广义地定义为朋友，那治疗师这个词本身就带有很强的临床意味。但什么是人际连接呢？不是想跟你聊加缪和陀思妥耶夫斯基，但你知道，人生就是苦难，我们在内心深处那种压倒性的孤独中，拼命地试图理解这个世界，于是寻求与他人的连接。所以我认为连接与理解有关，而且似乎缺乏理解会导致痛苦。

如果你和某人交谈时感到被忽视，那确实会造成痛苦。如果你感到被深深理解，对方甚至可能不会告诉你人生该怎么做，但仅仅是纯粹的理解，或者只是被倾听——理解本身就是一种很重要的东西。只是被倾听，感到自己被听到，不知怎的就能暂时缓解孤独。如果有人通过肢体语言、他们的存在方式、他们看你的眼神、他们说话的方式让你感到"你在这儿"，你会在短暂的一刻感到不那么孤独。

非常同意。过去我也思考过与你类似的问题，那就是什么是爱，或者说什么是连接。显然，我是从 AI 的角度来思考这些问题的，这意味着什么？我说过，智能与某种压缩有关，这或多或少可以说是对周围发生的事情的理解。在我看来，另一方面似乎存在 reward functions。你可能对食物有 reward，对人际连接有 reward，对温暖、性等等有 reward。结果发现，不同的人可能在优化略微不同的 reward functions，他们本质上可能在乎不同的事情。而在爱的情况下，至少两个人之间的爱，你可以说人与人之间的边界消解到了某种程度，以至于他们最终开始优化彼此的 reward functions。

哦，这很有意思。彼此的成功？在某种意义上，我想说爱意味着帮助他人优化他们的 reward functions，而不是你的 reward functions，不是你认为重要的事情，而是对方在乎的事情，你试图帮助他们去优化它。所以，爱就是——如果你把两个 reward functions 放在一起——你只是在……一种状态。对，你把它们结合在一起了。

差不多，可能还要加上权重，这取决于关系的动态。我是说，你可以想象，如果你完全在优化某个人的 reward function 而忽略了自己的，那么也许就会制造出某种共依附之类的东西。

我不确定合适的权重是什么，但有趣的是，我甚至认为个体——我们自己——实际上并不是一个统一的内在整体。比如，你看到甜甜圈，一方面你可能会想，哇，看起来很好吃，我想吃它；另一方面你可能会告诉自己，我不应该吃，因为我想增肌。而且你不管怎样都可能吃了，有点违背自己的意志。所以似乎就连我们内心也存在各种交织的人格。我相信自爱就意味着所有这些人格之间的爱，这也意味着当你生气或压力大时能够爱自己，也就是将你内心不同自我的那些 reward functions 结合起来。

并且接受它们的存在。你知道，人们经常会有负面的自我对话，他们会说我不喜欢自己生气的样子。我试着想象，如果有一个小 Alex，一个五岁的孩子，他很生气，然后你说你不应该生气，别生气了。但实际上，相反，你会想要走过去给他一个拥抱，然后我说没关系，你想生气多久就生多久。然后他可能就不生气了，也可能不会，但你甚至不能期待他会停。

但这仍然无法解释爱为什么存在。为什么爱是人类境况的一部分？为什么结合 reward functions 是有用的？似乎这并不能……我是说，我不认为 reinforcement learning 框架能回答"为什么"的问题。就连 Hutter 的框架也有一个静态的目标函数。

我们之所以存在，是进化过程的结果。在某种意义上，进化的目的就是生存。然后这个复杂的优化目标被植入到我们体内，比如说压缩，它可能帮助我们在现实世界中运作；还有各种 reward functions 也被植入到我们体内。另外明确一点，目前我们运作的环境在某种程度上是 out of distribution 的，不同于进化优化我们时所适应的环境。爱几乎就像是我们发现很有用的合作的产物。对吗？

某种程度上确实如此。我很喜欢这个想法：爱就像是 out of distribution 的产物，或者说它并非 out of distribution——就像你说的，它是为了合作而进化出来的。我相信，合作在某种意义上最终会让我们每个人本身受益，所以这在进化上是说得通的。而且在某种意义上，你知道，爱意味着边界的消解，你拥有了一个共享的 reward function。我们进化得能够把自己认同于更大的群体：我们可以认同于家庭，可以认同于国家，以至于人们愿意为国家献出生命。所以我们实际上天生就具有爱的能力。而我认为，也许如果我们能把自己认同于全人类，那会更有益处。

所以你可以清楚地看到，当人们周游世界时，遇到来自同一个国家的人，他们会问"哦，哪个城市"之类的，突然间他们就发现了各种相似之处，会比对其他人更快地与这些人成为朋友。这其中有一种归属感。我想说，我认为对全世界来说，人们朝着这个方向前进会是一件好事。这甚至被称为 open individualism，也就是朝着越来越大的群体的心态迈进。

那么这里的挑战是——这是一个美好的愿景，我也认同——把共情和爱的圈子扩展到全人类。但接着你会开始问，界线该画在哪里？为什么不把它扩展到其他有意识的生命呢？最后，对于我们今天的讨论，我一直在想的是：为什么不把它扩展到 AI 系统呢？当对方——无论是人还是实体——具有受苦的能力时，我们就会开始尊重彼此，因为这时我们会发展出某种共情能力。所以我可以想象，越来越多与人类互动的 AI 系统会表现出类似意识的外在表现。它们通过语言和其他方式展示意识。那么问题就来了：这是意识吗？因为它们只是在表现得有意识。你知道，我们不喜欢折磨动物的原因是，动物被折磨时看起来在受苦。如果 AI 被折磨时看起来也在受苦，这不也同样需要我们给予共情、尊重和权利吗，就像我们对动物和其他人类所做的那样？

我认为这也需要共情。我是说，我希望我们——或者人类——能在理解意识是什么方面取得进展，因为我不想只停留在哲学讨论上，而是希望真正做出科学上的……曾经有过一个时代，人们认为存在一种生命力，拥有这种力量的东西就是活的。我认为实际上有一条路径可以精确理解意识是什么。而且在某种意义上，这可能需要实质上将探针植入人脑，就像 Neuralink 所做的那样。所以目标在于，我的意思是，关于意识有几件事使其成为一个真正的学科：一是对意识的严格测量，二是对意识的工程化，这两者可能有关系，也可能无关。我是说，你也可能遇到麻烦，例如在美国，对于部门……

DOT（交通部）和很多其他地方都会给人的生命定价。我认为 DOT 对每个人的估值大约是 900 万美元。同样的道理，如果你给一个生命的意识程度量化打分，你也可能会陷入麻烦，因为那样你就可以据此制定政策——比如，如果一头牛的意识程度是 0……

1，或者说像10倍于人类意识那样，你就可以开始计算了，这可能会让你陷入麻烦，但话说回来，这也可能是个很好的方法。我希望能够到达这样一种境界：我们真正科学地理解什么是意识。那样我们就能赋予其真正的价值，而且我相信其中甚至存在实验的路径。你知道，我们说过可以把探针植入大脑，而像 Neuralink 这样的设备实际上还能做其他一些事情。你可以想象，测量 AI 系统是否有意识的方式，就是直接接入大脑。我的意思是，这听起来似乎很简单，但接入大脑并询问那个人是否感觉到意识朝这个方向扩展了，当然存在一些问题。你可以说，如果有人服用了迷幻药物，他们可能会感觉自己的意识扩展了，即使那药物本身并没有意识，对吧？所以你不能完全相信一个人自称意识是否扩展的自我报告。

让我问你一点关于迷幻药的问题，因为有很多关于不同迷幻药的出色研究，比如 psilocybin、MDMA，甚至 DMT，还有大麻之类的。你认为迷幻药对人类心智有什么作用？它们似乎能把人类心智带到一些有趣的地方。那只是一点小把戏，一种视觉上的 hack，还是心智发生了某种深刻的扩展？

让我想想。我不相信魔法，我相信科学，相信因果关系，可以这么说。然后正如我所说，我认为大脑——我们对现实的主观体验——我们活在大脑运行的模拟之中，而大脑运行的这个模拟可以非常美好，也可以非常地狱般。药物改变的是这个模拟的一些超参数。正是由于这些超参数的改变，你才有可能回顾自己的经历，甚至发现那些我们认为理所当然的事情其实是可变的。因此它们能带来令人惊叹的视角。另外，例如人们在服用 DMT 后能在脑海中看到完整的电影，这让我更加相信大脑能够生成完整的电影，大脑实际上在学习现实的模型，学到如此深的程度，以至于它会试图预测接下来会发生什么。

是的，非常高分辨率，因此它能以极高的分辨率重放现实。而且我也觉得有趣的是，这些药物与冥想本身似乎存在某种相似性，这些天我甚至开始把冥想也看作一种迷幻药。你练习冥想吗？

我练习冥想。我的意思是，我曾经参加过几次静修，在冥想第二或第三天之后，几乎会有一种迷幻的感觉。冥想静修具体包括什么？我的意思是，你早上很早起床，然后长时间冥想，独自一人。是的，所以它是为隔离而优化的，尽管周围有其他人。你不与任何人说话，实际上也不看别人的眼睛，坐在椅子上，按照冥想指导把注意力集中在呼吸上。你试着把所有的注意力都放在呼吸上，吸气，呼气。而神奇的是，当你这样集中注意力一段时间后，各种记忆开始浮现，有些是你已经完全遗忘的。

这几乎感觉就像你有一个邮箱，然后你就像一封一封地归档邮件，到了某个时刻，会有一种奇妙的“收件箱清零”的感觉，零封邮件。这非常愉悦。令我震惊的是，一旦你化解了这些内在的故事或内在创伤，当什么都不剩时，人类心智的默认状态是极其平和与快乐的，极其。在某种意义上，至少对我来说，感觉就像我小时候那样，我可以看着任何物体都觉得它很美，对简单的事物充满好奇。这通常就是冥想带我到达的地方。

你正在经历什么？你只是在接收简单的感官信息，享受那种感官信息的原初状态吗？没有记忆之类的事情，你只是享受存在。是的，差不多。我的意思是，想法会慢下来，有时它们会冒出来，但不知怎么的，长时间的冥想会把你带到一个空间，在那里它们友好得多，你知道的，正面得多。还有一件事，我们实际上几乎感觉我们一直在获得一点点 reward function，我们只是把这个 reward function 分散到各种活动中。

但如果你长时间保持静止，它会积累、积累、积累，然后有一种感觉，到了某个时刻它越过某个阈值，感觉就像一滴水落入爱与 bliss 的海洋。这非常愉悦。正如我所说，这对应于主观体验。我猜一些灵性圈的人会描述说那就是现实。而我会说，我相信一个人可以拥有各种各样的主观体验，我相信例如冥想可能会把你带到非常愉悦、协作的主观体验中，我希望世界朝着一个更协作的方向发展。是的，我要说这非常愉悦，我喜欢做这样的事。

我想知道这如何映射到你关于爱的数学模型，那个把一堆东西结合起来的 reward function。看起来我们的生活就是这样，我们有一个 reward function，我们在里面以权重积累一堆东西，就像多目标优化。而冥想所做的就是，你把这些东西一个个移除，直到某一个或少数几个的权重变得非常高，愉悦感就来源于此。

是的，这和我的想法类似。所以我告诉过你，有一个关于“你是谁”的故事，我差不多把它看作 prepended to GPT 的文本。是的，有人称之为 ego。它就像是关于“你是谁”的故事。所以 ego 就是 GPT-3 的 prompt。是的，那是对你的描述。然后通过冥想，你可以达到一种状态，实际上你在没有 prompt 的情况下体验事物，你如实体验事物，不会被“它们应该是什么样”的描述所偏见。这非常愉悦。

至于 reward function，也有可能达到一种自我消融的状态，因此你可以说它们就是你——你的大脑试图模拟其他所有人或世间万物的 reward function，这是一种爱，感觉就像与万物合一。这也非常美好，非常愉悦。在那一刻，你可能会产生很多利他主义的想法。然后自我总是会回来。

如果某人对冥想感兴趣，想把它作为一个大项目来对待，你会如何推荐？你会推荐冥想静修吗？多少天？你会推荐什么样的形式？

我认为静修确实是正确的方式。而且正如我所说，冥想几乎就像一种迷幻药，但如果你只服用小剂量，你可能几乎感觉不到；一旦你服用高剂量，你就会真正感受到。所以即使你之前从未真正认真长时间冥想过，直接去参加静修吧。

多少天？多少天？从周末开始，一个周末，比如两三天。有趣的是，第一天或第二天很难，但到了某个时刻它就会变得容易。一天里有很多秒。冥想静修有多难？只是坐在椅子上。所以事情其实完全取决于你自己的 framing。如果你的心态是在等待结束，或者在等待涅槃发生，那它会非常不愉快。是的，而且在某种意义上，困难甚至不在于不能与他人交谈，而是你坐在那里，腿会因为久坐而疼痛。从实际层面来说，你会体验到某种不适吗？比如单纯坐着带来的身体不适，比如屁股发麻、腿酸痛之类？

是的，你会体验到。然后他们教你只是观察它。疯狂的是，一开始你可能会有一种想要逃避它的感觉。是的，而这变得非常明显的极其不愉快。然后你只是观察它，到了某个时刻，它就只是——它就只是存在。就像是……

我记得 Ilya 前段时间告诉我，他洗冷水澡，而他洗冷水澡的心态是拥抱苦难。是的，太棒了，我也一样。有一种艺术风格。是的，我的风格，我喜欢这个。所以我的风格其实是，我有时也洗冷水澡，纯粹是观察水流过我的身体，纯粹地活在当下，不试图逃避。是的，而我要说，那样它实际上变得愉悦了。不是那种“啊——”的感觉。嗯，这很有趣。我——我的意思是，这就是应对任何真正困难的事情的方法，尤其是在身体层面：去观察它。说它愉悦，我可能会用不同的词。

你在接受现实的全部美好，我要这么说。因为说“愉悦”，但——是的，我的意思是，在某种意义上它就是愉悦的。应对冷水澡的唯一方法就是成为一个观察者，并在其中找到乐趣。同样适用于非常困难的体育锻炼，或者长跑、耐力赛事。每当你疲惫时，任何类型的痛苦，我认为生存下来的唯一方法就是不去抵抗它，只是观察它。

你提到了 Ilya。Ilya Sutskever，他是我们的首席科学家，也是我非常亲密的朋友。他和你一起联合创立了 OpenAI。我和他聊过几次，他非常聪明，我真的很喜欢和他交谈。他的大脑和你的一样，以迷人的方式运转。现在你们俩都无法简单地定义深度学习。拥有他这样一个可以在机器学习、深度学习、AI 以及生活方面进行技术讨论的人，是什么感觉？当你们这两个智能体在一个房间里进入 self-play 状态时，是什么样的？与他合作是什么感觉？

我认为我们彼此怀有极大的尊重。我的意思是，我热爱 Ilya 的洞见，无论是关于意识、生活还是 AI。但让我感兴趣的是，你在机器学习领域是一位杰出的思考者，凭直觉深入挖掘什么有效、什么无效、为什么有效、为什么无效，Ilya 也是如此。我在想你们过去是否有过有趣的深入讨论，或者非常富有成效的分歧？

可以说，随着时间的推移，我也明白了自己的优势在哪里。显然，我们有很多关于 AI 的讨论，我自己也有很多想法，但我认为 Ilya 是世界上最多产的 AI 科学家之一。而且我意识到，也许我的超级技能是能够让人们协作在一起，我拥有某种在 AI 世界里独特的同理心，这可能来自冥想、迷幻药，或者说我读了数百本关于这个话题的书。而且我也经历过一段旅程，你知道，我开发了各种算法。所以我想也许这就是我的超人类技能。Ilya 是最优秀的 AI 科学家之一，而我很擅长组建团队，我也不束缚人——我在培养人，然后他们成为 OpenAI 的经理。是的，有空间，他们中任何一个都可以成为研究经理。

所以你找到了你擅长的领域，而他找到了他深厚的科学洞察所在的领域，你找到了让拼图拼合的方式。对吗？好的。你知道，最终，比如说 Ilya，他不管理人，那不是他喜欢做的事。而我，我默认喜欢和人相处，我是个外向的人，我关心人。

哦，有趣。好的，好的，太棒了，所以你们完美契合。但我的意思是，我也很喜欢你在各种机器学习问题上的直觉，他绝对是我非常欣赏的人之一。

我记得和他聊过一件让我头疼的事，那就是在自动驾驶的背景下，如何为过马路行人建立一个好的模型。他立刻开始构建一个框架，在这个框架内你可以通过 self-play 等机制来演化出一个行人模型。他在某个特定问题上的思考深度，尤其是他对该问题一无所知时，令人着迷。这让你意识到，人类智力的极限可能是无限的，或者仅仅是看到有人能迅速想出巧妙的点子就令人印象深刻。

是的，我的意思是，即使在深度学习领域，当你观察不同的人时，有些人曾经发明过一些突破，但很少有人能做到多次。你可以这样想，如果有人发明过一次，那可能只是运气；如果一个人发明了多次，你知道，如果发明一次的概率是百万分之一，那么发明两次或三次的概率就是百万分之一的平方或三次方，这几乎是不可能的。所以这 literally 意味着，这肯定不是运气。Ilya 正是这少数几个人之一，他的武器库中有很多这样的发明。

而且这感觉就像是，比如说，如果你想想 Gauss 或 Euler 这样的人，起初他们读了很多书，然后思考，然后弄懂了数学，Ilya 给人的感觉就是这样。是的，你知道，起初他读东西，然后他花费他的思考周期。这真是一个很好的说法。当我和他交谈时，我看到思考，他确实在思考。他让我意识到，人类心智可以进行深度思考，而我们大多数人并没有深入思考。你真的必须付出很多努力才能深入思考。我必须真的把自己放在一个能深入思考问题的位置，这需要很多努力。

就像飞机起飞之类的，你必须达到深度专注。而他——他的大脑就像垂直起降飞机，就飞机类比而言。所以这很有趣。但我的意思是，Cal Newport 谈论过 deep work 的概念。你知道，我们大多数人在深入思考特定问题方面几乎没怎么工作，无论是数学、工程还是其他什么。你想经常去那个地方，那是真正的辛苦工作，而我们中有些人比其他人更擅长这个。所以我认为关键部分在于甚至要设计你的环境，使其有利于此。

是的，所以你看，Ilya 和我经常都会让自己与世界断开联系，以便能够进行大量的思考。是的，所以 Ilya 通常只是把手边的 iPad 留下，他热爱他的 iPad。而我有时甚至只是去别的地方住几天 Airbnb，关掉手机，没有人能联系到我。是的，这对我能够真正形成新想法、进行 deep work 而不是被动反应极其重要。而且我年纪越大，手头上这些随机的任务就越多。

在我继续那个话题之前，让我回到我们的朋友 GPT。让我再问你一个大的离谱的问题：你能概述一下 GPT-3 是什么吗？或者就像你在 Twitter 简介里说的 GPT-n+1？它是如何工作的，为什么有效？

那么，GPT-3 是一个巨大的神经网络，我们假设大家都知道神经网络是什么，按定义来说。它在整个互联网上训练，任务就是预测下一个词。比如说，它看到一篇文章的一部分，它手头的唯一任务就是说出下一个词是什么，下一个词是什么。而它在“猜出下一个词”这个任务上变得异常出色。你可能会问，为什么这是个重要任务？为什么预测下一个词很重要？结果证明，很多问题都可以被表述为文本补全问题。所以 GPT 纯粹是在学习补全文本。

你可以想象，比如你在问“谁是美国总统”，GPT 就能给你答案。结果证明，还有更多的事情可以这样表述。你可以把文本格式化成你有一个英语句子的形式，甚至让它看起来像某个网站的内容，比如在别处教人如何在语言之间翻译。所以可以是“EN: 英文文本 FR:”然后你——然后你问模型继续，结果发现这样的模型实际上在预测从英语到法语的翻译。疯狂的是，这个模型可以用于复杂得多的任务。你可以把文本格式化成看起来像两个人之间的对话，那可能是你和 Elon Musk 之间的对话。

因为这个模型读完了所有关于 Elon Musk 的文本，它就能像 Elon Musk 一样预测 Elon Musk 的话。它会谈论火星殖民、可持续未来等等。而且你甚至还可以给模型任意设定人格。你可以说“这是一个与友好 AI 机器人的对话”，然后模型就会以友好 AI 机器人的身份补全文本。我的意思是，我该怎么表达这有多惊人呢？

所以澄清一下，生成一段我和 Elon Musk 之间的对话，它不仅仅会生成 Elon 可能会说的好例子，它还会把所有句法都弄对。比如采访风格，你会写“Elon:”和“Lex:”之类的。它不只是语义正确的一点点迹象，而是整件事——语法、句法、语义——都非常非常令人印象深刻。

是的，泛化能力。是的，我的意思是，我也想提供一些警告。它能生成几段连贯的文本，但当你写到更长的篇幅时，它实际上会跑偏。好吧，如果你想让它写一本书，这样是行不通的。

它从什么方面跑偏？顺便问一下，它跑偏的方式有什么有趣的吗？比如最先崩溃的是什么？

这个模型是在所有现有数据上训练的，这意味着它不是在自己犯的错误上训练的。比如说，如果它犯了一个错误——让我给你举个例子。假设我和一个假装是 Elon Musk 的模型对话，然后我开始说一些——我开始编造一些不符合事实的事情。我会说，比如 Twitter——但我明白了。对不起。嗯，好吧，我不知道，我会说 Elon 是我老婆，然后模型就会继续把它当真。是的，而且在某种意义上，如果你和真正的 Elon 正常对话，他会说“什么鬼”。是的，会有一些反馈。所以模型是在人类写的东西上训练的，但在生成过程中没有人类在环反馈。

对的。这太迷人了，说得通。所以错误被放大了，就像错误被越放越大，对吧？而且这——这也有趣。我的意思是，首先人类也有同样的问题，只是我们犯的错误更少，而且放大错误的速度更慢。我认为实际上人类身上发生的是，如果你小时候对世界有一个错误的信念，你很快就会知道它不正确，因为你扎根于现实，你从新的经验中学习。

是的，但你认为模型也能通过表征的力量自我纠正吗？而互联网上缺乏“Elon Musk 是你老婆”的信息会让它自我纠正吗？不会有那样的例子。所以错误起初会是微妙的。在某种意义上，你也可以说，那些不在互联网上的数据才是代表人类如何学习的数据。这很——而如果模型能在这样的数据上训练，那它可能会更好。

你认为 GPT-3 有多智能？当你思考智能的本质时，它看起来异常令人印象深刻，但如果你想想 AGI 这个大问题，这是否是通往 AGI 的脚步？那么，智能本身似乎有多个轴，我预期我们正在构建的系统最终可能在一些轴上超越人类，在另一些轴上低于人类。如果它在所有轴上同时变成超人类，我会感到惊讶。当然，人们会问这个问题：GPT 是一艘带我们去月球的宇宙飞船，还是我们正在建造一架通往天堂的梯子，我们只是把梯子越造越大，而我们不知道——在某种意义上——这两个哪个更好。

我在试着——我喜欢“Stairway to Heaven”，那是首好歌。所以我不确定哪个更好，但你是说去月球的宇宙飞船其实是有效的，对吗？所以批评 GPT 的人说，他们只是在造更高的梯子，永远到不了月球。目前我会说，我的想法是把它当作一个科学问题，而且我本质上是一个 builder、creator，我想的是，让我们试试，看看它能走多远。到目前为止，我们不断看到进步。

是的，那么你认为 GPT-4、GPT-5、GPT-n+1 会有一个 phase shift 吗？一个转变，到一个让我们真正惊讶的地步？话说回来，GPT-3 已经非常非常令人惊讶了。那些批评 GPT-3 的人，把它当作——是什么来着——通往天堂的梯子，我认为他们太快习惯了“预测下一个词”竟能达到如此深度的语义、如此准确的句法和语法，这有多令人印象深刻。你认为 GPT-4、5、6 会继续让我们惊讶吗？

我的意思是，肯定会有更令人印象深刻的模型。当然，问题在于是否会有一个 phase shift。而且，我思考这些模型的方式甚至是，当我们构建这些模型时，我们知道它有一定程度的能力，但我们甚至不完全理解这个模型能做的一切。实际上，最好的办法之一就是允许其他人去探测这个模型，看看什么是可能的。因此，通过 API 使用 GPT 并将其开放给全世界。是的，我的意思是，所以当我从——显然，很多人对 AGI 有担忧，包括我自己——当我思考部署这些东西到世界的策略时，我看到很多次奏效的一个策略是迭代部署：你部署稍微好一点的版本，允许其他人批评你，所以你实际上是在试错，你看到根本性的问题在哪里。

而且，你几乎不想处于这样一种情况：你握着一个强大的系统，有一个巨大的 overhang，然后你部署它，它可能对世界产生随机的混乱影响。所以你实际上想处于逐渐部署系统的状况。

我问过 Ilya 这个问题，让我也问你。我一直在读很多关于斯大林和权力的书。如果你拥有一个像 AGI 那样异常强大的系统，你认为你的品格或正直可能会腐败吗？就像著名的那句话，权力导致腐败，绝对权力导致绝对腐败。

我认为你在某个时刻会想要努力分散权力。我认为你希望处于这样一种状况：AGI 不是由少数人控制，而本质上是由更大的集体控制。所以问题在于，这需要一种 George Washington 式的权力上升过程中的举动。总有某个时刻，某人获得了巨大的权力，他们必须有正直和道德指南针来放弃那项权力。人类在历史上这一特定步骤上有好有坏。我想知道，我想知道我们是否会——例如在国与国之间——一场竞赛，是的，国家之间的 AI 竞赛，我们可能会蒙蔽自己，并为自己不分散权力地发展 AI 找理由，因为我们想防御中国，防御俄罗斯，那种逻辑。我想知道我们如何设计治理机制，防止我们变得权力饥渴，并在此过程中毁灭自己。

让我想想。我对这个话题思考了很多，但我也想承认，再一次，我其实更想依靠 Sam Altman。他写了一篇关于如何分配财富的出色博客，他建议在博客中对公司股权征税而非利润，然后进行分配。这是 Washington 式举动的一个例子，我猜。我个人对他有极高的信任。他已经花了很多钱运行一个全民基本收入项目，这让我——我想——对他有一定程度的信任。而且我也爱他，作为朋友。

是的，我想知道，因为我们某种程度上正在召唤一套新技术，我想知道我们是否能意识到，就像你描述的 OpenAI 的过程，但这也可能发生在其他地方，比如在美国政府。中国和美国现在都在全力开发自主武器系统，这真的让我很担忧，因为在国家安全威胁或军事威胁的框架下，你可以做很多相当黑暗的事情，蒙蔽我们的道德指南针。我认为 AI 将成为这些东西之一。在某种意义上，你在 OpenAI 的使命和工作就像是对抗这种趋势的制衡力量。所以你想拥有更多 OpenAI，更少自主武器系统。

我——我喜欢这些说法，要明确说，这很有趣，我自己也在思考，但这是一个——好吧，我把信任放在 Sam 身上，因为这对我来说极其难以推理。

是的，我的意思是，需要说明的一个重要观点是，思考这个问题是好的。是的，毫无疑问，对吧？毫无疑问，即使是低级的、所谓的工程师也是如此。我记得我曾经给一辆 RC 车编程，它跑得很快，大概每小时 30 到 40 英里。我记得我当时睡眠不足，所以代码写得很烂，然后代码卡住了。它在跑道上做一些基本的计算机视觉，但全速前进，代码里有一个 bug，车就是——它不转弯，直直地全速冲向墙壁并撞了上去。我记得当时想到，你需要以多么严肃的态度来对待 AI 系统的设计和编程，因为后果是严重的。就像那辆小车撞墙一样，不知为何我立刻想到，控制核武器的算法出现同样的 bug。所以公司最低级别的工程师和 CEO 都需要以严肃的态度对待这个问题，并思考最坏情况的后果。

所以我认为这是真的。我的意思是，我在自己和他人身上也意识到，甚至问这个问题都会引发很多恐惧，而恐惧本身实际上相当令人瘫痪。我目前到达的地方可能听起来有点俗套，但那就是出于爱而不是恐惧去构建事物。是的，我可以专注于如何最大化价值，我构建的系统如何有用。我不是说恐惧不存在，而且尽量减少它完全说得通，但我不想因为害怕而工作。我想出于热情、好奇心、对积极未来的期待而工作。

那么，这种爱的定义源于对同理心的严格实践。所以不只是你自己认为对世界好的东西，而是始终倾听别人。对吗？

就像那种爱，把对别人的爱推向无限的极限，就像一个从 1 到 n 的求和，其中 n 是 70 亿或其他什么数字。不是把自己的 reward function 投射到别人身上。

是的，完全正确。好的，我们能不能退一步，聊聊另一件超酷的事：开放 Codex。你能概述一下什么是 OpenAI Codex 和 GitHub Copilot 吗？它是如何工作的，为什么它如此有效？

那么，借助 GPT-3，我们注意到这个系统——那个训练了所有语言数据的系统——开始具备一些初步的编程能力。我们能够要求它实现两个数字的加法函数，而它确实能写出 Python 或 JavaScript 代码。然后我们想，不如全力以赴，尝试创造一个系统，真正擅长我们每天自己都在做的事，也就是编程。我们优化模型以提高编程能力，甚至创造了同时理解语言和代码的模型，而 Codex 就是这些模型的 API。所以它首先是在语言上预训练，然后——我不知道能不能叫微调，因为代码量很大——但它确实是在语言和代码上，语言和代码上。

它还针对各种指标进行了优化，比如低延迟等等。Codex 是一个类似于 GPT-3 的 API，我们预期会有大量潜在产品利用编程能力，我过一秒可以展开讲。Copilot 是第一个产品，由 GitHub 开发。在构建模型的过程中，我们想确保这些模型有用，于是与 GitHub 合作打造了第一个产品。Copilot 实际上会在你编程时建议代码补全。过去我们也见过各种工具能建议几个字符或一行代码，但 Copilot 的特别之处在于它能生成 10 行代码。

它的工作方式通常是，你经常在注释里写下你想发生什么，因为人们在注释里描述接下来会发生什么。所以这些天当我编程时，我不再去 Google 搜索合适的代码来解决问题，而是说：“哦，这个数组，你能把它平滑一下吗？”然后它就导入合适的库，比如用 NumPy 的卷积之类的，我之前甚至不知道这个函数存在，而它就做了正确的事。所以你写一个注释，也许是一个函数的头部，它就把整个函数补全了。

当然，你不知道它能生成的所有小程序的空间有多大，失败案例有哪些，有多少边缘情况，有多少细微的错误，有多少大错误，这很难知道。但它在大量情况下都能工作，这一事实本身就令人难以置信。

这就像一种针对互联网上已有代码的搜索引擎。对吗？

比如说，当你在网上搜索时，通常你会得到某个特定案例，如果你去 Stack Overflow，人们描述了某个特定情况，然后寻求解决方案。但在 Copilot 的情况下，它知道你全部的上下文，在上下文中——哦，这些是他们正在使用的库，这是已经初始化的一组变量——它当场就能告诉你该做什么。有趣的是，我们认为 Copilot 是利用 Codex 的一个可能产品，但还有很多空间。所以在内部我们尝试创造了其他有趣的产品。

结果发现，很多现有工具，比如 Google Calendar 或 Microsoft Word 之类，都有内部 API 来构建插件。所以有复杂的方式来控制日历或 Microsoft Word。今天，如果你想要这些程序有更复杂的行为，你必须为每种行为添加一个新按钮。但可以用 Codex，比如说告诉日历：“你能帮我下周二下午两点后和 Lex 约个会吗？”然后它就写出对应的代码片段，而这正是你想要的。

所以有趣的是，你发现有很多程序可以通过代码与之交互，因此你可以从自然语言生成那段代码。这太迷人了，而且在某种程度上也最接近 Siri 或 Alexa 最初的承诺。

是的，以前所有这些行为都是硬编码的。而 Codex 似乎能在瞬间掌握某个给定软件的 API，然后把语言转化为对这个 API 的使用，无需硬编码。你能把它翻译成机器语言。

对的。所以比如说，这对我来说真的很令人兴奋，比如 Adobe 的产品，像 Photoshop，我记得有一个 ActionScript，我认为有一种脚本语言可以和它们通信，Premiere 也一样。你可以想象这甚至允许通过手机语音编程。比如说，在过去——直到今天——我不会在手机上编辑 Word 文档，因为键盘太小了。但如果我能告诉手机：“把标题变大，然后移动段落”，而它确实做了我想做的。所以我可以再告诉你一件很酷的事，或者说我如何看待 Codex。

如果你看看计算机的演变，我们从非常原始的界面开始，也就是打孔卡，打孔卡本质上是在塑料卡上打孔来表示 0 和 1。那时只有少数专家能使用计算机，而且人们甚至怀疑是否还需要更多人使用计算机。但后来我们从打孔卡发展到首先是汇编，然后是 C，这些编程语言稍微高级一点，让更多人能够编程，也促进了技术的进一步扩散。再后来，从 C++ 跳到 Java 和 Python，每次发生这种情况，都有更多人能够编程，我们也构建了更多技术。

现在如果有人告诉你说应该用 Java 或 JavaScript 写代码，你甚至会觉得难以想象。而 Codex 又是朝着让计算机更靠近人类迈出的一步，让你用自己的语言而不是专门的语言与计算机交流。我认为这将导致会编程的人数增加。

是的，然后这些人会创造的技术种类几乎是数不清的，可能是我们完全无法预测的庞大数量的技术，因为对技术头脑、编程头脑的要求越来越低了。你把它开放给了其他类型的心智，创造性心智、艺术心智，所有那些。

比如说，我希望研究 DNA 的生物学家能够编程，而不需要花大量时间学习它。我相信这对世界是好事。而且我还要补充说，目前我管理着 Codex 团队和语言团队，我相信外面有很多聪明的人，他们应该申请。哦，好的，太棒了。那么语言和 Codex 之间是什么关系？所以它们算是——有重叠的团队？就像 GPT 是原始语言，然后 Codex 像是应用于编程？对吗？它们非常交织在一起，还有很多团队参与让这些模型极其高效和可部署，比如有人致力于让我们的数据中心令人惊叹，有人致力于把这些模型投入生产，或者甚至把规模推向极限。

所以从基础设施到实际机器学习的各个方面，我想说的是，虽然 Codex 和语言团队——我猜我直接管理他们——我很想招人。是的，如果你对机器学习感兴趣，这大概是最令人兴奋的问题和系统之一，因为真的很酷。程序合成，也就是生成程序，是非常有趣的，它带有推理和智能的回响。我认为有很多基本问题，你可能通过生成程序来悄悄接近。

是的，关于程序还有一件更令人兴奋的事。我说过，在语言方面，其中一个麻烦是连评估语言都很困难。当内容被编造出来时，你需要要么让人类说这讲不通，要么——而在程序方面，多了一层：我们实际上可以执行程序，看看它们求值的结果。因此这个过程可能更容易自动化，以提高生成质量。这并不是说——哇，这真的很有趣。对于语言，你知道，要执行它需要人类心智的模拟；而对于程序，有一台计算机可以执行它。

哇，这是一个精彩的小洞察。这东西能编译并运行，这是第一；第二，你可以在上面评估，比如做自动化单元测试。而且在某种意义上，我觉得我们将能取得巨大进步。你知道，我们现在的范式是数据多得多的时代，有数百万——对，我的意思是，你刚——因为我正想问你可靠性的事。程序的问题在于，你不知道它们会不会——控制核电站的程序必须非常可靠。所以我不会从控制核电站开始，也许有一天可以，但那不是——实际上不在当前的路线图里。

那不是第一步，你知道，这是俄罗斯式的想法，你只想立刻奔向最强大、最具破坏性的东西，用 JavaScript 运行。但我明白你的意思。所以它是影响较小的，但尽管如此，你让我意识到，通过测试是有可能达到某种可靠性水平的。我想你可以想象，也许有办法让模型甚至为自己写测试代码，等等。存在创建反馈循环的方法，模型可以通过编写生成测试的程序来不断改进，比如为自己写测试。而这就是我们获得意识的方式，因为它是元压缩。

这就是你要写的，那个注释，那个生成意识的 prompt，压缩器的压缩器。你就写那个。

你认为生成意识的代码会很简单吗？

让我想想。我的意思是，最终背后的核心想法会是简单的，但也会涉及相当数量的工程。在某种意义上，把这些模型分散到许多机器上，这并不是那么微不足道。是的，我们找到了各种创新，让我们的模型更高效。我相信第一批真正智能的、有意识的模型会有各种技巧，但话说回来，有一个观点认为，也许这些技巧只是暂时的。是的，它们可能只是暂时的。而且在某种意义上，甚至重要的是要知道技巧的成本。有时人们急于采用技巧，却忘记了维护成本或长期成本，甚至是代码灵活性，以真正实现新想法。所以即使你有能带来 2 倍提升的东西，但它需要 1000 行代码，我不确定它是否真的值得。在某种意义上，如果它是 5 行代码加 2 倍提升，我会接受。而且我们看到了很多这种情况，但这也需要某种程度的不执着于代码，愿意删除它。

是的，所以你领导过 OpenAI 的机器人团队。你能概述一下你们取得了哪些很酷的成果吗？你最自豪的是什么？

当我们开始机器人项目时，我们知道强化学习是有效的，而且有可能解决非常复杂的问题。比如 AlphaGo 证明可以构建超人类的围棋选手，Dota 2 证明可以构建超人类的 Dota 智能体。于是我自问，那现实中的机器人呢？我们能训练机器在物理世界中解决任意任务吗？我们的方法大概是：选一个复杂的问题，如果我们解决了它，就意味着我们在该领域取得了重大进展，然后我们就去攻克这个问题。我们注意到，目前的机器人其实大多是针对单个任务优化的。

你可以有一个开瓶机器人，它的末端执行器很可能就是个开瓶器。在某种意义上，这是解决任务的一种捷径，让任何任务都变得更简单。于是我问自己，什么样的机器人能像人手一样真正解决多种问题？人手有这样的特质，你有五根小手臂各自独立，能操纵非常广泛的物体。于是我们去攻克单手——比如单手解魔方。我们选这个任务是因为我们认为不可能硬编码，而且我们选的机器人本身也很难硬编码。我们去寻找能泛化到其他问题的解决方案。澄清一下，是一只机械手解魔方。

难点不在于魔方的解法，而在于操作——让它不掉下来，让它用五根小手臂转动魔方的不同部分来达到解法。对吗？

是的，那么最难的部分是什么？采用了什么方法？你最自豪的是什么？

显然，我们非常相信强化学习。你知道，一条路是在真实世界做强化学习，另一条路是走仿真。在某种意义上，真实世界的棘手之处在于，目前我们的模型需要大量数据，而真实世界基本上没有数据。我们决定走仿真的路。在仿真中你可以有无限的数据，棘手之处在于仿真的保真度，以及你能否在仿真中表示真实世界中的一切。结果证明，由于缺乏——我们最终训练了一个不是解决单一仿真，而是解决整个系列仿真的模型，这些仿真在各种参数上有所不同，比如魔方的确切摩擦力或重量。一个能解决所有这些仿真的单一 AI，最终在现实中也能很好地工作。

你如何生成不同的仿真？

你知道，有很多参数，我们只是随机挑选它们。在仿真中，模型运行相当于数千年的时间，不断在每个仿真中解魔方。而且我们使用的神经网络有记忆，当它按压魔方的一面时，它能感觉到：“哦，这一面其实很难按，我应该按得更用力。”在整个过程中，它甚至学会了如何解这个特定实例的魔方。这有点像——你知道，有时你去健身房，卧推之后你试着举杠铃，你有点忘了——然后你的手立刻就那样动了，因为它可能适应了不同的重量。是的，需要一秒钟调整。这种模型通过与仿真中的魔方互动而获得的记忆……

我很感激你用卧推来和观众解释。现在所有听众里的健身哥们可能正在锻炼，也许有人一边听这个一边在做卧推。所以也许把杠铃放下，拿起水瓶，你就会完全明白 Wojciech 在说什么。

好的，那么让整个系统运转起来最难的部分是什么？

最难的部分是，目前在物理世界中，机器人需要维护，很难复制一百万次。而且也很难精确复现事情。我记得公司里有个家伙，他有一个模型在解魔方上表现比其他模型好得多，我们当时不知道怎么回事，为什么会这样。结果证明，他用的是自己的笔记本电脑在运行，那台电脑有更好的 CPU 或者更好的——或者也有本地 GPU。因此延迟更小，而模型是一样的，而这实际上让解魔方变得更可靠。所以在真实世界中运行事物时，可能会有像这样的意外。甚至暗示了这一点，你可以想象，最初的模型——你希望拥有巨大无比的神经网络，希望给它们更多思考时间。而当你有这些实时系统时，你可能会受到延迟量的限制。最终我想构建的系统是，值得让你等五分钟，因为它给出的答案是你愿意等五分钟的。所以延迟是一个非常令人不快的约束。

对的。而且关于机器人其实还有一点棘手之处：实际上没有那么多数据。我说的数据是从机器人第一人称视角获得的经验数据，比如几 GB 这样的数据。如果我们有几 GB 机器人解决各种问题的数据，机器人学取得进展会非常容易。而你可以看到，在文本或代码方面，有大量像第一人称视角写代码的数据。

是的，你提到过这个非常有趣的想法：如果你要创办一家成功的机器人公司——OpenAI 的使命比机器人大得多，这只是你参与过的项目之一——但如果是一家机器人公司，你不会那么快否定监督学习。我理解得对吗？你会造一个机器人，也许像一个空壳，比较笨，它们在遥操作下运行。你会投资——这只是其中一种方法——投资于人类超级直接地控制机器人，同时它也在学习，随着时间推移增加越来越多的自动化。

对的。假设这就是我今天创办机器人公司的方式，如果我要创办一家机器人公司，你知道，花大约 1000 万美元录制人类控制机器人的轨迹，在你找到机器人应该做的事、有市场契合度、能靠这个产品赚很多钱之后。

对的，对的。是的，所以我会录制数据，然后本质上在上面训练监督学习模型。这可能是今天的路径。长期来看，我认为实际上需要的是在视频上训练强大的模型。你大概见过能生成图像的模型，比如 DALL-E，人们也在研究生成视频的模型，其中还有各种算法问题，甚至不知道该怎么做到，而且不清楚是否有足够的算力来做这件事。但我怀疑，如果模型对视频的理解水平达到 GPT 对文本的理解水平，那就可以用来训练机器人解决任务，它们会拥有很多常识。

如果有一天——我很确定有一天——会出现一家机器人公司，我说机器人公司是指主要收入来源是机器人的公司，价值超过 1 万亿美元。你认为那家公司会做什么？

我认为是自动驾驶汽车。

不，这很有趣，因为我想到的是个人机器人，家庭机器人。那里似乎有更大的市场机会。

我认为这很难实现。我的意思是，这可能说明了某个重要的问题：比起理解家庭机器人，我更理解自动驾驶。所以我理解真正解决自动驾驶有多难，不仅是实际的计算机视觉和控制问题，以及自动驾驶的基本问题，还要创造一个产品，它毫无疑问会更便宜——能帮你省很多钱，比如数量级上更少的钱——能取代 Uber 司机，例如。所以自动驾驶的拼车服务，在从 A 到 B 的速度方面创造类似或更好的体验，或者无论体验的愉悦度、效率、价值，同时汽车本身成本更低。我认为这很难实现。我认为家庭里有更多唾手可得的果实。

我也想给你讲讲在家里的挑战，或者也许取决于你要解决的确切问题。好吧，如果我们说的是这些机械臂，而且这些东西它们要花费数万美元，也许 10 万美元。而且显然也许会有规模经济，这些东西会更便宜，但实际上对于任何家庭来说，要买的话价格必须降到大概一千美元。

我个人认为，自动驾驶汽车提供了一项明确的服务。我不认为家庭机器人——如果一家价值万亿美元的家庭机器人公司——只会全是关于服务的，意思是它不一定非得是像机械臂帮你开瓶子或洗碗之类的事情。它必须能照顾到你提到的那个治疗师功能。我认为那是——当然，机器人和非机器人之间有一条界线，比如它不一定需要身体，但你知道，某种有某种具身的 AI 系统。我认为，实际上当你思考困难之处时，是当机器人必须与之互动的环境具有多样性时，这就变得困难了。

你知道，在一端你有工业机器人，它们反复做同样的事，在某种程度上可以规定动作，只需要很少的智能，动作就能重复数百万次。还有——你知道，工业机器人的各个部分也越来越难，比如特斯拉的情况，可能是把架子放进车里，因为架子会移动，所以没那么简单，每次都不完全一样，结果实际上需要人类来做。而焊接汽车在一起是非常重复的过程。然后在自动驾驶本身，困难在于环境的多样性，但汽车本身和你试图解决的问题是尽量避免与事物互动，你不接触周围的任何东西，因为接触本身就很难。

而如果你家里有一个必须接触东西的机器人，而且如果这些东西会改变形状，如果有巨多种类的东西需要接触，那就很困难。如果你说的是那种有个脑袋在某种方式下微笑、带摄像头、不接触东西的机器人，那相对简单。

好的，所以既要同意也要反驳一下。你说的是接触，像软体机器人，实际的触摸，但我会争辩说，你可以把基本的互动——比如非接触式互动——也定义为一种触摸，而这也可能很难解决。这是我对自动驾驶汽车的一个基本开放问题，也是和 Elon 的分歧，那就是解决自动驾驶汽车需要多少互动，需要多少触摸。你说在你的直觉里触摸是不需要的，而我的直觉是，要创造一个 compelling 可用的产品，你必须与行人互动，不仅仅是避开行人，而是与他们互动。当我们在大城市里开车时，我们不断用我们的动作威胁每个人的生命，这就是他们尊重我们的方式。与行人之间存在博弈论，我担心你不能把自动驾驶仅仅表述为一个碰撞避免问题。

所以我认为这超越了——碰撞避免是一阶近似，但至少在特斯拉的情况下，他们在收集人们驾驶自己汽车的数据，我相信这是监督学习数据的例子，他们可以训练模型，而且他们正在这么做，你知道，这可以给模型提供另一种层次的行为，让它真正与现实世界互动。

是的，实现这一点需要多少数据，这很有趣。你怎么看特斯拉 Autopilot 的整个方法？基于计算机视觉的多摄像头方法，还有数据引擎，一个多任务多头神经网络，这个过程很迷人，类似于你提到的机器人学方法——也就是部署神经网络，然后人类使用它，它在很多地方遇到麻烦，那些东西被送回去，所以部署发现了一堆边缘案例，这些边缘案例被送回去做监督标注，从而改进神经网络，然后再部署，循环往复，直到网络在驾驶任务上变得非常出色，越来越安全。你怎么看待机器人学的这种路径？

我相信这是正确的道路。在某种意义上，即使当我说录制人类轨迹时，那也是第一步，然后你部署系统，让人类修正所有问题。在某种意义上，这种方法会收敛到一个不会犯错误的系统，因为有错误的地方，你得到了修复它们的数据，系统会不断改进。所以对我来说有一个很难的问题：这个收敛需要多久，有多难？

自动驾驶汽车的另一个方面——这可能也适用于某些机器人应用——是社会。对吧？随着系统质量收敛，首先有人因工程学视角，即人类能够监督那些——即使是遥操作——机器人的心理学，其次社会愿意接受机器人。目前社会对自动驾驶汽车的安全期望远高于人类驾驶汽车。所以标准比人类高得多。因此如果自动驾驶汽车中出现死亡，那比人类驾驶汽车中的死亡被视为严重得多。机器人部署成功的部分原因在于弄清楚如何让机器人成为社会的一部分，无论是人类层面、媒体记者层面，还是政策政府层面。这似乎——也许你可以把它放进目标函数里去优化，但这 definitely 是个棘手的问题。我想知道对于自动驾驶汽车或任何安全关键系统来说，这是否其实是最棘手的部分：不是算法，而是社会接受它。

是的，我会说，我相信部署过程的一部分实际上是向人们展示这些东西是可以被信任的。你知道，信任也像一只玻璃杯，其实很容易打碎。是的，损坏它。我认为这其实是创新的常见情况，总会遇到某种阻力。是的，这只是自然的进程。所以在某种意义上，人们必须不断证明这些系统确实值得被使用。而且我发现，说服人们最好的方式往往是让他们亲身体验。

绝对是。特斯拉 Autopilot 就是例子，是的，基本上机器人都是如此。有趣的是听人们谈论机器人，有很多恐惧，即使是-legged 机器人，但当他们真正与它们互动时，会有喜悦。我喜欢和它们互动。汽车和机器人也一样，如果它开始变得有用，我认为人们立刻就能理解，而且如果产品设计得好，他们会爱上它。

你说得对。其实当我想到 Copilot，GitHub Copilot 时，人们的反应有一个光谱，最终重要的是让人们试用，然后很多人就爱上了它，尤其是程序员。是的，程序员，但有些人——你知道，他们带着恐惧来的。是的，但你试了一下，就会想，其实挺酷的。你知道，你可以试图抵抗，就像你可以抵抗从打孔卡转向 C++ 之类一样，但这有点徒劳。

我们聊了程序生成、语言生成，甚至机器人学视觉空间的自监督学习，然后是强化学习。你怎么看——在这个 AI 的美丽光谱中，你认为什么是好的基准，好的测试，值得去努力实现的智能？这是对智能的强测试。你知道，从 Alan Turing 和 Turing test 开始，也许你认为自然语言对话是个好的测试。

你知道，如果机器能解出数学上的 Riemann hypothesis，那会很好，我认为那会非常令人印象深刻。

所以定理证明对你来说是——证明定理是个好的——哦，哦，就像机器做了一件事，你会说“该死”。正是。是的，那将非常非常令人印象深刻。我的意思是，基准的棘手之处在于，你知道，当我们越来越接近它们时，我们必须发明新的基准。实际上并没有终极基准。

是的，看，我对 Riemann hypothesis 的想法是，机器证明它的那一刻，人们会说，好吧，那这个问题其实挺简单的。这就是会发生的事。我的意思是，在某种意义上，这其实就是多年来 AI 领域发生的事——我们很快习惯了事物。你知道，我和 Rodney Brooks 聊过，我不知道你认不认识他，他把 AlphaZero 称为家庭作业问题，因为他说这没什么特别的，不是什么大飞跃。我——嗯，他从一个我们提到的角度出发，他是 iRobot 的创始人之一，后者现在已经向家庭部署了数千万台机器人。

所以如果你把真正进入人们家庭的机器人视为人工智能的合法实例，那么是的，也许一个玩愚蠢游戏比如下国际象棋的 AI 不是真正的成就。但对我来说，这是一个根本性的飞跃。不过我认为我们人类接着就会说，好吧，那国际象棋或围棋没那么难，相比目前未解决的问题而言。

所以我的直觉是，从这些 AI 系统的演变来看，我们首先会在数字空间看到巨大进步。你知道，数字空间的主要特点是——一切都被记录下来了，有大量数据，而且你可以非常迅速地向数十亿人部署东西。而在物理空间，部署部分需要多年，你必须制造东西，然后送到真正的人手里，这很难。所以我预期，首先，数字空间里商品的价格会降到——比如说边际成本为零。而且问题是，我们的生活有多少会在数字空间里，因为我们似乎正朝着越来越多的生活进入数字空间的方向发展。所以物理空间的创新可能变得越来越不重要——如果你大部分生活都花在虚拟现实里，你为什么还需要开车去任何地方？

我仍然希望——至少目前我的印象是——我希望与其他人有身体接触，这对我非常重要，而且我们还没有办法在计算机里复制它。也许随着时间推移会改变，比如十年后，为什么不能有无限多你可以互动的人，其中一些是真人，一些不是，具有你可以基于自己偏好定义的任意特征？我想这也许就是我们前进的方向，也许我在抗拒未来。

是的，我告诉你，如果让我选，如果我能住在 Elder Scrolls Skyrim 里还是现实世界，我不太确定我会留在现实世界。

我的意思是，问题是，VR 足以带我们到达那里吗？还是你需要把电极插进大脑？如果这些电极不是侵入式的就好了。是的，或者至少是可证明的非破坏性的。但在数字空间里，你认为我们能解决 Turing test 吗？Turing test 的精神？你认为我们能实现人与人之间引人注目的自然语言对话吗？比如在网上有 AI 朋友？

我想这是可行的。

你认为 GPT 的当前方法能带我们到达那里吗？

所以有一部分是首先学习外面所有的内容，而且我认为这个系统应该在与你的对话中持续学习。是的，我认为这应该可行，问题是怎么精确做到这一点。你知道，显然 OpenAI 有人在问这些问题，而且一开始在所有现有内容上预训练就像是一个主干，它是一个不错的骨干。

你认为 AI 需要身体吗？联系到我们的机器人问题，为了真正与人类连接，还是大部分连接可以在数字空间里实现？

让我想想。我们知道有人在网上相遇并坠入爱河。是的，所以似乎可以建立纯粹通过互联网的联系。当然，你加入的模态越多，它可能就越引人注目。所以这就像你提出的——像 Tinder，但是给 AI 的？你是说左右滑动，一半系统是 AI，另一半是人类，你分不清哪个是哪个？

那将是——那将是我们的 Turing test formulation。AI 能够实现更多右滑或左滑——无论哪个——的那一刻，也就是它比其他人更具吸引力的那一刻，它就通过了 Turing test。

那你就通过了吸引力方面的 Turing test。

正是。嗯不，吸引力不只是对话，不只是视觉，对吧？还有机智、幽默的吸引力，以及任何让对话对人类来说愉悦的东西。

好的，好的。所以你是说，这在数字空间里是可能实现的？在某种意义上，我几乎想问那个问题：为什么不可能呢？

对。嗯，我一直和我爸争论这个，他认为触觉和嗅觉非常重要。它们确实可能非常重要。但我说，最初的系统不会有这些。不过我仍然不会认为，那些出生时没有这些感官的人，他们仍然可以坠入爱河并拥有有意义的生活。

是的，我想知道，仅靠训练对话记录能否接近完全实现，我想知道这能带我们走多远。

所以我认为实际上你还是想要图像。我想——我没有孩子，但我可以想象有一个 AI 家教，它必须看到孩子在纸上画了什么画，还有面部表情和所有那些。我们——狗和人类用眼睛相互交流。我认为这是一种非常强大的交流机制。肢体语言也是，词语的带宽要低得多。对于肢体语言，我们仍然——你知道，我们某种程度上有一个系统在计算机上显示图像或面部表情，它不需要移动机械部件或什么的。所以我认为——你知道，可以想象存在一种递进。文本可能是最简单的，但这根本不是完整的人类体验。你把它扩展到图像，无论是输入还是输出。而你描述的其实是最后的——我猜——前沿，是什么让我们成为人类：我们能够相互触摸或闻气味等等。而且从数据和部署的角度来看，这是最难的。我——好吧，我相信这些事可能会逐渐发生。

你对这种可能性感到兴奋吗？这种人类与 AI 友谊和互动的特定应用？

让我想想。你会——你期待这样一个世界吗？你说你和一些朋友住在一起，和他们非常亲近。你期待有一天，其中一两个朋友是 AI 系统吗？

如果这个系统真正希望我过得好，而不是处于这样一种情况：它优化的是我与其互动的时间。这两者之间的界线——是灰色的，灰色地带。

我认为这就是爱与占有的区别。这些东西对人类来说可能经常相关，但是——就像你会有一些几个月没联系的朋友。是的，然后你拿起电话，就像时间没有流逝一样，他们不会抓住你不放。而我——我不希望有一个 AI 试图说服我花时间和它在一起。我希望系统优化我所关心的事，帮助我实现自己的目标。

但有些——我的意思是，我不知道，有些操纵，有些占有欲，有些不安全感，这种脆弱性，所有这些东西都是随着时间形成亲密友谊所必需的，一起经历一些黑暗的事，一起经历一些 bliss 和幸福。我觉得那个过程中有很多贪婪、以自我为中心的行为。我的直觉——但我可能是错的——是人机交互不必经历计算机贪婪、占有等等。有可能训练系统，让它们实际上——你知道，它们被 prompt 或微调或其他方式，真正优化你所关心的事。你可以想象，这个过程看起来可能是，在某个时刻，我们作为人类，看着对话记录或整个互动，说：其实这里本有一种更有爱的方式，然后我们监督系统变得更有爱。或者也许我们训练系统，让它有一个朝向更有爱的 reward function。

是的，或者也许系统偶尔做个混蛋、操纵、占有，这是一个 feature 而不是 bug。因为当两个灵魂相遇，当两个人相遇时，我们体验到的一些幸福是一种从世界上的混蛋中解脱出来的感觉。所以你也需要 AI 中的混蛋，因为就像——发现一个新的 AI，而之前三个 AI 都太友好——不不，或者太残忍或别的什么，就像某种混合，然后这一个刚刚好。但你需要体验完整的光谱，就像我认为你需要能够 engineered 混蛋。

让我想想。因为我们需要一定程度地去欣赏人类体验，我们需要黑暗与光明。

这让我想起——不久前我在冥想静修时遇到一位女士。你知道，非常美丽的女士，她拄着拐杖。她有一条腿走路困难。我问她发生了什么事，她说五年前她在夏威夷毛伊岛，正在吃沙拉，一只蜗牛掉进了沙拉里，显然那里有神经毒性蜗牛，她昏迷了一年。哇。而且显然甚至有很高的死亡风险，但她处于昏迷中，某个时刻她恢复了部分意识，她能听到房间里的人说话，人们表现得好像她不在那里。你知道，某个时刻她开始能说话，但她喃喃自语，几乎无法表达自己。然后某个时刻她坐上了轮椅，然后某个时刻她注意到自己能动一个脚趾，然后她知道她将能够走路，然后——那就是五年后的她。她说从那以后，她很感激自己能动脚趾。我在想，我是否需要经历这样的经历才能感激我能动脚趾？

嗯，这真是个好故事，一个非常深刻的例子。

是的，在某种意义上，也许我们必须经历黑暗才能看到光明，但我不认为我们应该——我们不应该假设情况就是这样，也许我们会 engineered 捷径。

Ilya 有——你知道，他认为也许一个人必须去一个具有挑战性的营地待一周或六个月。是的，只是为了经历很多困难，然后回来，其实一切都很明亮，一切都很美好。

我支持 Ilya，这肯定是俄罗斯人的特质。

你 originally 来自哪里？

我是波兰人。

波兰人。好吧，我忍不住想说这解释了很多，但——是的，俄罗斯人有一种关于受苦必要性的特质。

我相信——我相信受苦，或者更确切地说，

凌晨或者早上7点，我现在还常常这样。你尝试过怎样的作息安排，才能过上高效而快乐的生活？你有没有尝试过什么有趣或特别的睡眠模式，并且发现非常适合自己？

我曾试着逐渐减少睡眠时长，比如每隔几天就减少半小时，希望能节省点时间。但显然这对我行不通，到了某个节点就像发生了相位偏移一样，我一直觉得很累。

有一段时间我常在夜间工作。夜间的好处是没人打扰你。我还记得第一次和 Greg Brockman 见面的时候——他是 OpenAI 的 CTO 兼主席——我们本来约在下午5点见面，结果我睡过头了，错过了会面。是的，下午5点。