人们称你为“AI 教父”。那么，面对一个超级智能的世界，你会对人们的职业前景说些什么？去当水管工吧。真的吗？真的。好吧，那我要去当水管工了。
Geoffrey Hinton 是一位诺贝尔奖得主，也是先驱者，他的开创性工作塑造了 AI 乃至人类的未来。为什么人们称你为“AI 教父”？因为当初相信我们可以参照大脑来构建 AI 模型，让它学会做复杂的事——比如识别图像中的物体，甚至进行推理——的人并不多。而我推动这一方法长达 50 年。后来 Google 收购了这项技术。我在那里工作了 10 年，研究的东西如今在 AI 领域被广泛使用。然后你离开了？是的。为什么？这样我就能在会议上自由发言了。你想自由地说些什么？ AI 可能有多危险。我意识到这些东西终有一天会比我们更聪明。而我们从未应对过这种情况。如果你想知道当你不再是顶尖智能时生活是什么样子，去问问鸡就知道了。所以，风险一方面来自人们滥用 AI，另一方面来自 AI 变得超级聪明，突然之间就不再需要我们了。这是真实存在的风险吗？是的。但他们不会停下，因为它对太多事情都太有用了。那监管呢？他们有一些，但并不是为应对这类威胁而设计的。比如欧洲法规里有一条条款说：“这些都不适用于 AI 的军事用途。”
真的吗？真的，太疯狂了。你的一个学生离开了 OpenAI。是的。他可能是早期版本 ChatGPT 开发背后最关键的人物。我认为他离开是因为有安全方面的顾虑。我们应该认识到，这东西是一种存在性威胁。我们必须面对这样一种可能性：除非我们尽快采取行动，否则我们离终点就不远了。那么，我们来聊聊风险，以及在这样的世界里我们最终会做什么。有一点一直让我非常惊讶：常听这档节目的听众中，有 53% 还没有订阅。所以在开始之前，我能请你们帮个忙吗？如果你们喜欢这档节目，喜欢我们在这里做的一切，并且想支持我们，那么免费又简单的方式就是点击订阅按钮。我向你们承诺，如果你们这样做，我和我的团队将竭尽所能确保这档节目每周都为你带来更好的内容。我们会听取你们的反馈。我们会找到你们想让我对话的嘉宾。我们会继续做我们该做的事。非常感谢。
Geoffrey Hinton。人们称你为“AI 教父”。呃，是的，确实如此。为什么他们这么叫你？当初并没有多少人相信我们能让 neural networks 奏效。所以从 1950 年代起，在很长一段时间里，关于如何实现 AI 存在两种思路。一种思路认为，人类智能的核心是推理。要进行推理，就需要用到某种形式的逻辑。因此 AI 必须建立在逻辑之上。在你的头脑中，一定有某种类似符号表达式的东西，你用规则来操控它们。这就是智能的运作方式。而像学习或类比推理这类东西，都要等到我们弄清楚基本推理之后才会出现。另一种不同的思路是说：“让我们参照大脑来构建 AI，因为显然大脑让我们拥有了智能。所以在计算机上模拟一个脑细胞网络，并尝试弄清楚如何让脑细胞之间连接强度的学习，使其学会做复杂的事，比如识别图像中的物体、识别语音，甚至进行推理。” 我推动这一方法长达大约 50 年。因为相信这条路的人太少，没有很多好大学设有做这方面研究的团队。所以如果你从事这个方向，那些最优秀的、相信这条路的年轻学生就会来和你一起工作。因此我非常幸运，带出了大量非常优秀的学生。其中一些人后来参与创建，并在创建 OpenAI 这类平台的过程中发挥了关键作用。是的，Ilya Sutskever 就是一个很好的例子。这样的人还有很多。你为什么相信参照大脑建模是更有效的方法？不只是我一个人相信。早期，von Neumann 相信这一点。Turing 也相信。如果他们中任何一人活了下来，我认为 AI 的历史将会截然不同。但他们都英年早逝。你认为 AI 会更早出现吗？我认为，如果他们中任何一人健在，neural net 方法会被人们接受得早得多。在你人生的这个阶段，你的使命是什么？我现在的主要使命是警告人们 AI 可能有多危险。你成为“AI 教父”的时候就知道这一点吗？不，并不完全知道。我在理解某些风险方面相当迟钝。有些风险一直都很明显，比如人们会利用 AI 制造自主致命武器，也就是那些自行决定击杀目标的东西。另一些风险，比如它们终有一天会比我们更聪明，而我们可能会变得无关紧要，我却迟迟才认识到。其他人 20 年前就意识到了。我直到几年前才认识到，这是一个真实存在的风险，而且可能很快就会到来。既然你破解了让计算机像人类一样学习的能力，而且你知道只要引入任何程度的改进，你怎么会没有预见到这一点呢？这是个很好的问题。我怎么会没预见到呢？但请记住，二三十年前的 neural networks 能做的东西还非常原始。在视觉、语言、语音识别等方面，它们远远不如人类。那时候觉得“你不用担心它会变得比人更聪明”，这种想法看起来是很荒谬的。这种观念是什么时候改变的？对普通大众来说，是 ChatGPT 问世的时候。对我来说，改变发生在我意识到我们正在创造的这类数字智能拥有某种东西，使它们远比我们拥有的生物智能优越。如果我想和你分享信息，我会先去学一些东西，然后想把我学到的告诉你。于是我说出一些句子。这是一个相当简化的模型，但大致是对的。你的大脑在试图搞清楚：“我该如何改变神经元之间连接的强度，才能让我可能把那个词接在后面？” 所以，当一个非常出乎意料的词出现时，你会进行大量学习；而当一个词非常显而易见时，你就不会学太多。如果我说“炸鱼薯条”，当你听到“薯条”时，你不会学到太多。但如果我说“炸鱼黄瓜”，你就会学到更多。你会想：“他为什么说黄瓜？” 所以，这大致就是你的大脑里正在发生的事。我在预测接下来会出现什么。我们认为这就是它的运作方式。没有人真正确切知道大脑是如何工作的。也没有人知道大脑如何获得信息，来判断应该增强还是减弱某个连接的强度。这才是关键所在。但我们现在从 AI 中了解到的是，如果你能获知应该增强还是减弱连接强度，以便在你试图完成的任何任务上做得更好，那么我们就能学会令人惊叹的东西，因为这正是我们现在用 artificial neural nets 在做的事。只是我们还不知道真实的大脑是如何获得那个信号的——关于该增强还是减弱的信号。就在我们今天坐在这里的时候，你对 AI 安全最大的担忧是什么？如果我们列出最靠前、真正在你脑海中占据重要位置、值得我们思考的几项。嗯，我能多说几个吗？说吧。我会把它们全部记下来，然后我们一起过一遍。好的，首先，我想区分两种完全不同的风险。有一种风险来自人们滥用 AI。是的。这是大多数风险，也是所有短期风险的来源。然后是另一类风险：AI 变得超级聪明，突然之间就不再需要我们了。这是真实存在的风险吗？我主要谈的就是这第二种风险，因为很多人会问：“这真的算风险吗？”是的，确实算。不过，我们并不知道它的风险究竟有多大。我们以前从未身处过这种境地，从未不得不应对比我们更聪明的事物。所以，关于这种生存性威胁，关键就在于我们根本不知道如何应对。我们完全不清楚它会是什么样子。任何告诉你他知道会发生什么、知道怎么处理的人，都是在胡说八道。因此，我们无从估算它取代我们的概率。有人说这个概率不到 1%。我的朋友 Jan LeCun，他以前跟我一起做过博士后，他认为：“不不不不，是我们制造了这些东西，我们永远会掌控局面。我们会把它们造得服从命令。”而另一些人，比如 Yudkowsky，则说：“不不不，这些东西肯定会消灭我们。只要有人造出来，它就会把我们全部消灭。”他对此非常确信。我认为这两种立场都很极端。要估算介于两者之间的概率非常困难。如果你非要赌这两位朋友谁说得对，我确实不知道。所以，如果要我下注，我会说概率介于两者之间。但我不知道具体该估在哪个位置。我常说，它们消灭我们的概率是 10% 到 20%。但这只是直觉。基于这样一个想法：我们仍在制造它们，而且我们相当有创造力。希望在于，如果有足够多的聪明人投入足够多的研究、获得足够多的资源，我们会找到一种建造方式，让它们永远不想伤害我们。有时候我想，如果我们谈论这第二条路径，我有时会想到核弹，想到原子弹的发明，以及两者的对比。这有什么不同？因为原子弹出现时，我想当时很多人都觉得我们的日子屈指可数了。哦，是的，我当时就在。我们确实这么想过。但——但——但我们现在还在这儿。对，我们还在这儿。所以原子弹其实只擅长做一件事。而且它的运作方式非常明显。即便你没有看过广岛和长崎的照片，也显然知道这是一种非常巨大的、非常危险的炸弹。而 AI 则擅长很多很多事。它在医疗和教育领域将会极为出色，几乎所有需要利用数据的行业，都能借助 AI 做得更好。所以我们不会停止研发。你知道，人们会说：“那我们为什么不现在就停下来？”我们不会停，因为它对太多事情都太有用了。另外，我们也不会停，因为它对战斗机器人很有用，而没有一个武器出口国会想要停止。比如欧洲的法规，他们确实出台了一些关于 AI 的法规，有法规是好事，但这些法规并不是为了应对大部分威胁而设计的。特别是，欧洲法规中有一条写道：“这些法规均不适用于 AI 的军事用途。”他们监管公司和个人，但不愿意监管自己。我觉得这很疯狂，他们——我对此摇摆不定，但如果欧洲有法规而世界其他地方没有，是的，这让他们处于竞争劣势。对。而且我们已经看到这种情况了。我想人们没有意识到，当 OpenAI 在美国发布一个新模型或新软件时，他们还不能把它发布到欧洲，因为这里的法规限制。所以 Sam Altman 发推文说：“我们新的 AI agent 功能面向所有人开放了，但还不能进入欧洲，因为那里有法规。”
是的。这会造成什么影响？会让我们在生产效率上处于劣势吗？生产效率上的劣势？对。我们需要的是——我的意思是，在人类历史这个节点上，当我们即将造出比我们自己更聪明的东西时，我们真正需要的是一种行之有效的世界政府，由聪明、深思熟虑的人来管理。但我们并没有这样的政府。所以就是自由混战。嗯，我们现在拥有的可以说是资本主义，它确实给我们带来了巨大的好处。它为我们生产了大量的商品和服务。但这些大公司，它们在法律上有义务努力最大化利润。而这一点，正是你在开发这类技术的人身上不希望看到的。那我们来谈谈风险吧。你提到有人类带来的风险，然后还有——
所以我把风险分成了这两类。我们来谈谈坏人利用 AI 带来的所有风险。有网络攻击。2023 年到 2024 年间，网络攻击增长了大约 12 倍，也就是 1200%。这可能是因为 large language models 让钓鱼攻击变得容易多了。钓鱼攻击，不知道的人可以这么理解：他们会给你发消息，比如，“嗨，我是你的朋友 John，我被困在萨尔瓦多了，你能给我汇笔钱吗？”这是一种攻击方式。但钓鱼攻击真正的目的是获取你的登录凭证。而现在有了 AI，他们可以克隆我的声音、我的形象，所有这些东西。我眼下就正为此头疼，因为 X 和 Meta 上有一堆 AI 诈骗。特别是 Meta 上，也就是 Instagram 和 Facebook 上，目前有一则付费广告，他们截取了我在播客里的声音，模仿了我的举止神态，制作了一段新视频，画面里的我鼓动人们去参加某种加密货币庞氏骗局之类的。我们花了无数个星期，不停地给 Meta 发邮件，说：“请把这个撤下来。”他们撤了，另一个又冒出来。他们再撤，又冒出一个。就像打地鼠一样。对，非常烦人。令人心碎的是，你会收到那些上当受骗的人发来的消息。他们损失了 500 英镑或 500 美元之类的，还说是你推荐的。我——我为他们感到难过。非常烦人。我遇到的还属于小规模的，现在有些人发表论文时把我列为作者之一。嗯。看起来他们这么做是为了给自己刷大量引用。啊。所以网络攻击是非常真实的威胁。这类攻击已经爆炸式增长。而且显然，AI 非常有耐心，它们可以逐行审查一亿行代码，寻找已知的攻击方式。这很容易做到，但它们会变得越来越有创造性。有些人相信，一些非常懂行的人相信，也许到 2030 年，它们会创造出全新形式的网络攻击，那种任何人都从未想到过的攻击方式。所以这非常令人担忧。因为它们可以独立思考，发现新的攻击手段。它们能从比人类见过的多得多的数据中得出新的结论。你有没有采取什么措施来保护自己免受网络攻击？有。这是我为数不多彻底改变了做法的领域之一，因为我害怕网络攻击。加拿大的银行极其安全。2008 年，没有一家加拿大银行濒临破产。所以它们是非常安全的银行，因为监管到位，相当到位。尽管如此，我认为网络攻击可能足以击垮一家银行。现在，我所有的积蓄都是以银行持有的股份形式存在。所以如果银行遭到攻击，而它持有你的股份，那些股份仍然是你的。因此，我觉得你应该没事，除非攻击者把股票卖了，因为银行是可以卖出股票的。如果攻击者卖出你的股票，我觉得你就完了。我不知道——我的意思是，也许银行必须尝试赔偿你，但银行已经破产了，对吧？所以——所以我很担心加拿大某家银行被网络攻击击垮，然后攻击者卖掉它所持有的股票。所以，我把我和孩子的钱分散存放在三家银行，理由是如果一次网络攻击击垮了一家加拿大银行，其他加拿大银行很快就会变得非常谨慎。你有没有一部不联网的手机？你有没有……我在想数据存储之类的事情。你觉得考虑使用冷存储是否明智？我有一个小磁盘驱动器，我把笔记本电脑备份到这个硬盘上。所以，实际上我笔记本电脑上的所有东西都在硬盘上。至少，如果整个互联网都瘫痪了，我感觉我笔记本上还有，我的信息还在。好。接下来是用AI制造恶性病毒。问题是，这只需要一个心怀怨恨的疯子。一个稍微懂点分子生物学、又很懂AI、一心只想毁灭世界的人。现在你可以用AI相对便宜地制造新病毒，而且不必是非常专业的分子生物学家就能做到。这非常可怕。比如，一个小型邪教组织可能就筹集到几百万美元。用这几百万美元，他们可能就能设计出一堆病毒。我在想，一些敌对国家可能会开展政府资助的项目。我的意思是，围绕新冠和武汉实验室，以及他们在功能增益研究方面做的事，有很多讨论。但我在想，在中国、俄罗斯或伊朗这样的国家，政府是否能资助一个由少数科学家组成的项目来制造一种病毒，他们可能……我觉得他们可以，是的。不过，他们会担心报复，担心其他国家对他们做同样的事。希望这能帮助控制局面。他们也可能担心病毒传播到自己国家。好。然后是……操纵选举。如果你想用AI操纵选举，非常有效的一种做法是投放针对性的政治广告，前提是你对这个人非常了解。所以，任何想用AI操纵选举的人都会尽可能获取选民的各项数据。考虑到这一点，Musk目前在美国执意要访问那些原本被精心隔离的数据，这有点令人担忧。声称是为了提高效率，但如果你打算操纵下一届选举，这正是你会想要做的事。你是什么意思？你能获取人们的所有这些数据吗？人们的所有数据。你知道他们赚多少钱，住在哪里，你知道关于他们的一切。一旦掌握了这些，操纵他们就非常容易。因为你可以用AI发送信息，嗯，他们会觉得很可信，比如告诉他们不要去投票。所以，除了常识之外，我没有别的理由这样想，但如果从政府来源获取所有这些数据的部分动机是操纵选举，我不会感到惊讶。另一部分动机可能是，这对一个大模型来说是非常好的训练数据。但他必须把这些数据从政府那里拿出来，输入到他的……是的。而他们已经关闭了许多安全控制，取消了一些用于防范这类风险的机构。嗯，这就是操纵选举。好。然后是……YouTube和Facebook这类平台通过向人们展示让他们感到愤慨的内容，制造这些回声室。人们喜欢感到愤慨。愤慨是指愤怒吗？还是什么意思？感觉我有点生气，但又觉得自己是正义的。好。比如，如果你给我看一条消息说：“Trump做了这件疯狂的事。这是Trump做这件完全疯狂事情的视频。”我会立刻点进去。好，所以把我们放进回声室，分裂我们。是的。这正是YouTube、Facebook等平台用来决定接下来向你展示什么内容的策略所导致的。如果它们的策略是向你展示均衡的内容，就不会获得那么多点击，也就无法卖出那么多广告。所以根本上是利润动机在驱使它们：给用户看任何能让他们点击的东西。而让他们点击的，是越来越极端的内容。这些内容证实了我现有的偏见。它们证实了我现有的偏见。所以你一直在让自己的偏见得到证实。越来越深，越来越深。这意味着……现在在美国有两个几乎不互相交流的群体。我不确定人们是否意识到，每次打开应用时这确实都在发生。但如果你上TikTok或YouTube或其他大型社交网络，正如你所说，算法的设计就是向你展示更多你上次感兴趣的内容。所以如果把这个过程放到十年里，它会把你越来越深地推向你所持有的任何意识形态或信仰，让你越来越远离细微差别、常识和……均衡，这相当令人震惊。人们不知道这正在发生。他们只是打开手机，体验一些东西，然后以为这就是新闻，或者其他人也在经历的事。对。所以基本上，如果你有一份报纸，每个人都拿到同样的报纸，是的，你会看到各种你没在找的东西，而且你会形成一种感觉：如果它上了报纸，那就是重要的事或有意义的事。但如果你有自己的信息流，我iPhone上的信息流，四分之三的内容都是关于AI的。我很难判断是全世界一直在谈论AI，还是只是我的信息流这样。好，所以把我推进我的回声室，这将继续把我们分得越来越开。我其实注意到算法正变得越来越……怎么说？定制化。人们可能会说那很好，但这意味着它们变得越来越个性化，也就是说我的现实正离你的现实越来越远。是的，这很疯狂。我们不再有共享的现实了。我和其他看BBC及BBC新闻的人、读Guardian的人、读New York Times的人共享现实。我和看Fox News的人几乎没有共享现实。这相当……我很担忧。是的。这一切背后是这些只想赚钱的公司，它们会不惜一切代价赚更多钱。因为它们必须这么做。它们在法律上有这个义务。所以我们几乎不能责怪公司，对吗？如果它们……资本主义为我们带来了很大好处。它创造了很多好东西。是的。但你必须对它进行很好的监管。所以你真正想要的是制定规则，让某些公司在试图赚取最大利润时，为了赚取利润，必须做对大众有益的事，而不是做对大众有害的事。所以一旦公司为了赚更多钱开始做对社会非常有害的事，比如向你展示越来越极端的内容，这就是监管存在的意义。所以资本主义需要监管。现在公司总会说监管碍事，降低了效率，这是事实。监管的全部意义就在于阻止它们为了赚钱而伤害社会。我们需要强有力的监管。谁来决定这是否对社会有害？因为，你知道……这是政治家的工作。不幸的是，如果政治家被公司所掌控，那就不好了。而且政治家可能不懂技术。你可能看过参议院的听证会，他们把马克·扎克伯格和其他大型科技公司的首席执行官们推出来。这相当尴尬，因为他们问的问题都不在点上。嗯，我看到过一段视频，美国教育部长在谈如何把 AI 引入课堂，只不过她以为那叫 A1。她居然在那里说，我们要让所有孩子与 A1 互动。某个学区即将开始确保一年级甚至学前班的孩子都能接受 A1 教学，从那么低的年级开始，每年如此。这 supposedly 是件大好事。而这些人，就是这些管事的人。说到底，科技公司才是真正掌权的，因为它们在各州都更加精明。至少几周前我在那里的时候，他们正在投放广告，宣扬千万不要监管 AI，因为这会损害我们在与中国的竞争中的地位。是啊。这说法听起来也挺有道理，不是吗？是的，确实会损害竞争力。但你必须做出抉择：你是否愿意以严重伤害社会为代价去与中国竞争？你多半不愿意。我猜他们会说，不光是中国，还有丹麦、澳大利亚、加拿大，以及德国。但他们并不那么担心这些国家。可如果监管让自己缚住手脚，如果拖慢自己的脚步，那么创始人、企业家和投资者就会离开。我觉得称之为“自断手脚”是一种特定的立场。这是把监管视为非常有害的东西。你需要做的只是约束那些大公司，让它们为了盈利就必须做对社会有益的事。比如 Google 搜索就是个很好的例子。它不需要监管，因为它只是让人们获取信息，这很棒。但像 YouTube 那样，开始给你推送广告，还推送越来越极端的内容，这就需要监管了。可我们并没有能够监管它的人，就像我们已经意识到的那样。我认为人们对“推送越来越极端内容”这个问题相当清楚。这是政客们也明白的一个众所周知的难题。他们只是需要着手去监管而已。所以接下来的问题就是，算法会把我们进一步推向自己的信息茧房。对。致命性自主武器。意思是那种可以杀死你，还能自主决定是否要杀死你的东西。我猜这是军工复合体的伟大梦想：能够制造这样的武器。最糟糕的地方在于，强大的大国向来有能力入侵弱小贫困的国家，它们就是更强大。但如果你动用真正的士兵去做这件事，就会有装在袋子里运回来的尸体，阵亡士兵的亲属也不会接受。于是就会出现像越南那样的局面，最终国内会爆发大量抗议。如果运回来的不是装在袋子里的人，而是报废的机器人，抗议就会少得多，军工复合体也会更喜欢这样，因为机器人很贵。假如你有某种可以被“杀死”且替换成本高昂的东西，那就更棒了。大国可以更容易地入侵小国，因为它们不用让自己的士兵送命。而这里的风险在于这些机器人会故障，或者它们只会更……不，不。即使机器人完全按照制造者的意愿行事，风险也在于这会让大国更频繁地入侵小国。更频繁，因为它们有能力这样做。而这不是什么好事。所以这降低了战争的摩擦成本，降低了发动入侵的代价。而且这些机器在 warfare 方面也会更聪明。所以它们会……嗯，即使机器并没有比人更聪明。致命性自主武器，他们现在就能造出来。而且我认为所有大型防务公司都在忙着制造它们。即使它们不比人类更聪明，也仍然是非常恶毒、可怕的东西。因为我在想，你知道，它们可能只需要看一张照片，就去抓这个人。对。然后干掉所有和他发过短信的人。还有这种小黄蜂似的……两天前，我去苏塞克斯拜访一位朋友，他有一架不到 200 英镑的无人机。无人机飞起来，好好打量了我一番，然后就能跟着我在树林里穿梭。被这架无人机跟着……感觉非常诡异。它就在我身后大约两米处，盯着我看。我往那边走，它也往那边走。它就这么一直追踪我。只花了 200 英镑。但已经挺吓人的了。是啊，而且我猜正如你所说，此时此刻正有一场竞赛正在进行，看谁能造出最复杂的自主武器。我经常听到一种风险，这些东西可能会结合起来，网络攻击会释放武器。当然。嗯，你可以把这些风险组合起来，得到组合意义上多种多样的风险。比如说，你可能会有一个超级智能 AI 决定消灭人类。最显而易见的办法就是制造某种恶性病毒。如果你制造出一种传染性极强、致死率极高，并且发作非常缓慢的病毒，所有人都会在意识到发生什么之前就感染上它。我是说，我觉得如果超级智能想要除掉我们，它很可能会选择某种类似的生物手段，而那不会影响到它自己。你不觉得它可以非常迅速地让我们自相残杀吗？比如，它可以在美国的核系统上发出警告，说俄罗斯有核弹来袭，或者反过来，然后一方就报复了。是啊。我的基本观点是，超级智能除掉我们的方式太多了，根本不值得一一猜测。真正重要的是，你必须阻止它产生这种念头。这才是我们应该研究的东西。如果它比我们更聪明，我们根本没办法阻止它，对吧？如果它想除掉我们，我们根本没有办法阻止。我们不习惯去想有东西比我们更聪明这回事。如果你想知道当你不再是顶尖智能时生活是什么样子，去问问鸡就知道了。是啊，今天早上我离开家的时候，就想到了我的狗 Pablo，我的法国斗牛犬。它根本不知道我要去哪儿，也不知道我做什么。对。我甚至没法跟它交流。是啊。而那种智能差距就会像那样。所以，你的意思是，如果我是 Pablo，我的法国斗牛犬，我得想办法让我的主人不想把我消灭掉。是的。我们有一个这样的例子，就是母亲和婴儿。进化在这方面下了很大功夫。母亲比婴儿聪明，但婴儿却掌握着控制权。它们之所以能掌控局面，是因为母亲就是受不了……有很多荷尔蒙之类的作用，但婴儿……母亲就是受不了婴儿的哭声。不是所有母亲都这样。不是所有母亲。而一旦婴儿掌控不了局面，坏事就会发生。我们总得想办法让它们不想接管一切。我经常用的一个类比是：别去想智能，想想体力。假设你有一只可爱的小虎崽。它比猫大一点，非常可爱，很好抱抱，看起来很有意思，但你最好确保它长大之后永远不想杀你，因为一旦它想杀你，你几秒钟内就会没命。你是说我们现在拥有的 AI 就是那只虎崽。是的。而且它正在长大。是的。所以我们需要在它还是宝宝的时候就训练它。老虎有很多天生的本能，所以你知道它长大之后养在身边并不安全。但狮子，有人把狮子当宠物养，是的。有时候狮子会对它的养育者有感情，但对别人就没有。是的。我们根本不知道这些AI……我们完全不知道能否让它们不想接管（世界），不想伤害我们。你认为我们可以吗？你认为有可能训练出安全的超级智能吗？我认为这一点并不明确。所以，我觉得这可能是无望的。但我也觉得我们也许能做到。如果人类因为我们懒得尝试而灭绝，那就太疯狂了。如果这哪怕只是有可能，你对自己毕生的事业作何感想？因为你确实……嗯，这多少让它减色了，不是吗？我是说，AI在医疗领域会很棒，在教育领域会很棒，我是说，它会让呼叫中心效率高得多。不过人们也会有点担心现在做这些工作的人该怎么办。这让我难过。我对大约40年前开发AI并不感到特别内疚，因为当时我们完全没想到这些东西会发展得这么快。我们以为有足够的时间去担心那些事。当你没法让AI做太多事情的时候，你想让它多做一点点，你不会担心这个小蠢东西会取代人类。你只想让它能多做一些人类能做的事。这并不是说我明知故犯地想着"这可能会消灭我们所有人，但我还是要做"。嗯。但有点令人难过的是，它不会只带来好事。所以，我觉得我现在有责任谈论这些风险。如果你能往前推演，推演30年、50年，你发现它导致了人类灭绝，如果那最终真的成为结果……好吧，如果你推演到未来，发现它导致了人类灭绝，我会用这个来告诉人们，让他们的政府知道，我们真的必须研究如何控制这些东西。我认为需要有人告诉政府，政府必须迫使公司投入资源研究安全。而他们现在没怎么这么做，因为那样赚不到利润。我们之前谈到过你的一个学生，伊利亚？对。伊利亚离开了 OpenAI。对。有很多讨论说他离开是因为有安全方面的担忧。是的。他后来去创办了一家AI安全公司。是的。你认为他为什么离开？我认为他离开是因为有安全担忧。真的吗？嗯，我偶尔还会和他一起吃午饭。哦，这样啊。他父母住在多伦多，他回多伦多的时候，我们会一起吃午饭。他不跟我谈 OpenAI 内部发生的事，所以我没有内部消息，但我很了解伊利亚。他真诚地关心安全问题。所以，我认为这就是他离开的原因。因为他曾是核心人物之一。我是说，他可能是 ChatGPT 开发背后最重要的人。早期的版本比如 GPT-2，他在开发中起到了非常重要的作用。你私下里认识他，所以你知道他的为人。是的。他有良好的道德准则。他不像马斯克那样毫无道德准则。Sam Altman 有良好的道德准则吗？走着瞧吧。我不认识 Sam，所以不想评论。但从你看到的来看，你担心他们采取的行动吗？因为如果你了解伊利亚，伊利亚是个好人，而他离开了，这会给你一些洞察，是的。这会让你有理由认为那里存在问题。如果你看看 Sam 几年前的言论，他曾在一次采访中近乎轻松地说："嗯，这些东西可能会把我们全杀了。"不是原话，但大意如此。现在他说你不用太担心。我怀疑这不是出于对真相的追求。这是出于对金钱的追求。是金钱，还是权力？是的，我不该说金钱。是这两者的某种结合，是的。好吧，我猜金钱是权力的代理，但我……
我有个朋友是亿万富翁，他也混在那个圈子里。有一天我去他家吃午饭，他认识很多AI领域的人，那些在打造全球最大AI公司的人，他在伦敦他家的餐桌对面给了我一个警示，让我了解到这些人的私下对话，不是他们接受媒体采访时谈论安全之类话题的那种，而是这些人中的一部分真正认为将会发生什么。他们认为将会发生什么？那和他们公开说的不一样。你知道，有一个人，我不应该说出名字，他是全球最大AI公司之一的领导者，他告诉我他很了解这个人，此人私下认为我们正走向一种反乌托邦世界，那里有大量的空闲时间，我们不再工作，而这个人对这将给世界造成的伤害根本不在乎。我提到的这个人正在打造全球最大的AI公司之一。然后我在网上看这个人的采访，试图猜出他是三个人中的哪一个。是啊，就是那三个人之一。好吧。我在网上看这个人的采访，回想起我那位亿万富翁朋友跟我说的、他了解此人的那段对话，我就想："我靠，这家伙在公开撒谎。他根本没有对世界说真话。"这让我有点不安。这也是我在播客里做这么多AI对话的原因之一，因为我觉得，我不知道，我觉得他们中有些人对权力有点虐待狂倾向。我觉得他们喜欢自己将改变世界这个想法。他们将成为那个从根本上改变世界的人。我觉得马斯克显然就是这样，对吧？他是个如此复杂的人物，我不太知道该怎么定位马斯克。嗯，他做过一些非常好的事，比如推动电动汽车。那真的是件好事。是的。他说的关于自动驾驶的一些话有点夸张，但他……那确实是件很有用的事。在俄乌战争期间给乌克兰人提供通讯。Starlink，是的。那真是件好事。诸如此类的事有很多。嗯。但他也做过一些非常糟糕的事。那么，回到毁灭的可能性，以及这些大公司的动机这一点上，你对能否采取措施减缓AI的步伐和加速抱有任何希望吗？好吧，有两个问题。一个是，你能减缓它吗？是的。另一个是，你能最终让它变得安全吗？它不会消灭我们所有人。我不相信我们能减缓它。是的。而我不相信我们能减缓它的原因是，国家之间存在竞争，一个国家内部的公司之间也存在竞争，所有这些都让它越来越快。如果美国放慢了，中国不会放慢。伊利亚认为有可能让AI变得安全吗？我认为他认为有可能。他不会告诉我他的秘密资源是什么。我不确定有多少人知道他的秘密资源是什么。我想很多投资者也不知道他的秘密资源是什么，但他们还是给了他数十亿美元，因为他们非常信任伊利亚，而这并不愚蠢。我是说，他在AlexNet中非常重要，正是AlexNet让物体识别运行良好。他是GPT-2这类项目背后的主要推动力，而GPT-2又带来了ChatGPT。所以，我认为非常信任伊利亚是一个非常合理的决定。那个缔造并主导了GPT-2、从而引发这场整个革命的人，因为安全原因离开了公司，这本身就令人 quite 不安。他知道一些我不知道的事。关于接下来可能会发生什么。嗯，这家公司曾表示——不，我不太清楚具体细节。但我相当确信，这家公司曾表明会将其相当一部分计算资源用于安全研究，但后来降低了这一比例。我认为这就是发生的事情之一。是的，这曾被公开报道过。是的。我们已经谈到了风险框架中的自主武器部分，对吧？那么下一个是失业问题。是的。过去，新技术的出现并没有导致失业，反而创造了新的就业岗位。人们最经典的例子是自动柜员机。自动柜员机出现时，许多银行柜员并没有失业，他们只是去做了更有趣的事情。但这一次，我认为这更像是工业革命时期机器的出现——现在你不可能再去挖沟渠了，因为机器比你挖得好得多。我认为对于普通的智力劳动，AI 将会取代所有人。当然，它也可能表现为更少的人使用 AI 助手。也就是说，一个人加上一个 AI 助手，就能完成过去十个人才能完成的工作。不过人们说，这也会创造新的就业岗位，所以我们不会有事。是的，其他技术确实如此，但这是一种非常不同的技术。如果它能完成所有普通的人类智力劳动，那它还能创造什么新工作呢？你必须具备非常高的技能，才能从事它无法胜任的工作。所以，我认为他们说得不对。你可以试着从计算机或自动柜员机等其他技术身上进行归纳，但我认为这次不一样。人们常用这样一句话：“AI 不会抢走你的工作，但使用 AI 的人会。”是的，我认为这没错。但对许多工作来说，这意味着所需的人力将大幅减少。我侄女在一家医疗机构回复投诉信。以前这要花她 25 分钟：阅读投诉、构思回复、撰写信件。现在她只需把内容扫描输入聊天机器人，由它来写信。她只需检查一下，偶尔让它做些修改。整个过程只花 5 分钟。这意味着她能回复五倍的信件，也意味着他们只需要原来五分之一的她这样的人。所以，她一个人就能做过去五个人的工作。这意味着他们需要更少的人。但在其他行业，比如医疗保健，弹性就大得多。如果你能让医生的效率提高五倍，我们就能以同样的价格获得五倍的医疗服务，那将是很棒的。人们对医疗服务的吸收几乎没有上限。如果没有成本，他们总是想要更多的医疗服务。有些工作领域中，借助 AI 助手大幅提高个人效率后，你不需要减少人手，因为业务量会大幅增加。但我认为大多数工作并非如此。我是不是可以理解为，工业革命的作用是替代肌肉？是的，完全正确。而这场 AI 革命替代的是智能，是大脑。所以，普通的智力劳动就像强壮的肌肉一样，不再值钱了。肌肉已经被替代了，现在轮到智力被替代了。那么还剩下什么？也许暂时还有一些创造力。但超级智能（superintelligence）的核心概念就在于：什么都不剩了。这些东西将在所有事情上都比我们做得更好。那么在这样的世界里，我们最终该做什么呢？嗯，如果它们为我们工作，我们最终就能毫不费力地获得大量商品和服务。好吧。但这听起来很诱人、很美好，不过我觉得……关于为人类创造越来越多的便利却最终走向糟糕的境地，也不乏警示寓言。是的，我们需要想办法让它向好的方向发展。好的情景是：想象一家公司，CEO 很笨，可能是前任 CEO 的儿子，他有一位非常聪明的行政助理。他说：“我觉得我们应该这样做。”然后行政助理让一切都运转起来。CEO 感觉很好，他不明白自己其实并未真正掌控局面。但在某种意义上，他确实在掌控。他提出了公司该做什么，而她只是让一切成真。一切都很美好。这就是好的情景。那么坏的情景呢？坏的情景是，她想：“为什么我们需要他？”
我是说，在一个拥有超级智能的世界里——你认为这并不会太遥远。是的，我认为可能不会太远。这很难预测，但我想我们可能在 20 年甚至更短时间内就实现它。我因为女朋友而做出了一笔有史以来最大的公司投资。一天晚上我回到家，我可爱的女朋友凌晨一点还在焦头烂额地试图为自己的生意搭建一个在线商店。就在那一刻，我想起了之前收到的一封邮件，来自一个叫 John 的人，他是 Stan Store 的创始人，也是我们的新赞助商，而我对这家公司投入了巨额资金。Stan Store 帮助创作者通过简单、可自定义的 link-in-bio 系统销售数字产品、课程、辅导和会员服务。它处理一切事务：支付、预约、邮件、社群互动，甚至还能与 Shopify 对接。我非常看好它，所以我要发起一个 Stan Challenge。作为挑战的一部分，我将向你们中的某一位送出 10 万美元。如果你想参加这个挑战，如果你想将自己的知识变现，请访问 stevenbartlett.stan.store 注册。如果使用该链接，你还能获得延长到 30 天的 Stan Store 免费试用。说实话，你的下一步可能会改变一切。因为我在本期播客中谈到了生酮状态和酮体，一个叫 Ketone-IQ 的品牌给我寄来了他们的小产品。我到办公室时，它就在我的桌上。我拿起来看了看，在桌上放了几周。后来有一天，我试了一下。说实话，从那以后我就再也离不开了。现在我走到哪里都带着它。我环游世界出差时，我的团队会把它放在我的酒店房间里。在今天刚录完的播客之前，我就喝了一剂 Ketone-IQ。就像往常一样，当我爱上一个产品时，我会打电话给 CEO，问我能不能向他们的公司投资几百万英镑。所以我现在既是这家公司的投资者，他们也是品牌赞助商。我发现喝了它之后，很容易就能进入深度专注的工作状态。我很想让你也试试，看看它对你的专注力、生产力和耐力有什么影响。所以，如果你想今天就试试，请访问 ketone.com/steven，订阅可享七折优惠。此外，第二次发货时你还会收到一份免费礼物。网址是 ketone.com/steven。我为你感到兴奋，真的。那么，我们现在拥有的东西和超级智能之间有什么区别呢？因为当我使用 ChatGPT-3 或 Gemini 之类的工具时，它们在我看来已经非常聪明了。好吧。事实上，AI 已经在很多特定领域比我们强了，比如国际象棋。是的。AI 比我们强太多了，人类再也不会战胜它们了。也许偶尔会赢一次，但基本上再也无法与之比拟了。显然，围棋也是一样。就知识量而言，像 GPT-4 这样的模型比你知道的多几千倍。只有少数几个领域你的知识比它强。而在几乎所有领域，它都比你知道得多。我在哪些方面比它强？可能是在采访 CEO 方面。你可能更擅长这个。你在这方面经验丰富，你是个优秀的采访者，你很懂行。如果你让 GPT-4 去采访一位 CEO，它可能会做得更差。好的。我在想到底是否同意这个说法。GPT-4 的话，我觉得肯定如此。不过，我猜你可以根据我提问的方式和我所做的事来训练一个模型。如果你拿一个通用类型的基础模型，然后用你——不仅仅是用你，而是你能找到的每一场像这样的访谈，尤其是你的访谈——来训练它，它很可能会变得很擅长做你的工作，但暂时可能还比不上你。好吧。那还剩下一些领域，然后超智能就是指它在所有事情上都比我们强。当它在几乎所有事情上都比你聪明得多时，它就比你强。而你说这大概十年后就会到来。对，有可能。甚至可能更近。有些人觉得会更近。但也可能远得多，也许是50年后。这仍然是一种可能。也许用人类数据训练会以某种方式限制它，让它无法比人类聪明太多。我猜我们在10到20年内会拥有超智能。关于失业这一点，我尤其一直在思考这个问题，因为我开始捣鼓 AI agents，实际上今天早上我们还在播客里发布了一期节目，节目中我和一家大型 AI agent 公司的 CEO 以及另外几个人辩论了 AI agents。那是我第一次——不，那是又一次——我对未来可能的样子产生了顿悟。在采访中，我让这个 agent 给我们所有人点饮料，五分钟后，你们看到那个人带着饮料出现了，而我什么都没碰。我只是告诉它往演播室给我们点饮料。它本来不知道你通常从谁那里买饮料，它是从网上查到的。对，它查到了，因为它上了 Uber Eats。它大概掌握了我的数据。我们把它实时投到屏幕上，这样家里的每个人都能看到 agent 在网上浏览、挑选饮料、给司机加小费、输入我的地址、输入我的信用卡信息，然后下一幕就是饮料送来了。这是一个瞬间，另一个瞬间是我用了一个叫 Replit 的工具，我只是告诉 agent 我想要什么，它就帮我构建了软件。是啊。很惊人，对吧？既惊人又可怕。对，因为它能那样构建软件，对吧？没错。记住，AI 在训练时就是在使用代码。如果它能修改自己的代码，那就变得很可怕了，对吧？因为它可以修改自己的代码，以一种我们无法改变自己的方式。我们无法改变自己的先天禀赋，对吧？它自身没有什么东西是它不能改变的。说到失业这一点，你有孩子。有。他们有孩子吗？没有，他们还没有孩子。目前还没有孙辈。在超智能的世界里，你会对人们说些什么关于职业前景的事？我们应该怎么想？嗯，在此期间，我想说它要在物理操作方面做得和我们一样好还需要很长时间。好吧。所以，当个 plumber 会是个稳妥的选择。在人形机器人出现之前。在这样一个大规模失业的世界里——这不只是你的预测，OpenAI 的 Sam Altman 我也听过他这么预测，还有很多 CEO，以及 Elon Musk。我看了一段采访，我会把他在屏幕上被问到这个问题的片段放出来，你很少看到 Elon Musk 沉默12秒左右。然后他说了一些大意是他其实一直抱着一种刻意的不信，他基本上就是不去想这件事。当你考虑给孩子提供职业建议，而一切都在发生如此巨变的时候，你会告诉他们什么才是有价值的东西？嗯，这是个很难回答的问题。我只想说，你知道，就跟随内心吧，去做他们觉得有趣或有成就感的事。我是说，如果我想得太深，说实话会很令人沮丧和泄气。因为，我经历过——我知道我付出了大量心血去建立这些公司，然后我就想，等等，我应该做这个吗？因为如果我牺牲了本更愿意和朋友家人在一起的时间……但归根结底，AI 能做所有这些事。这说得通吗？我不知道。嗯，在某种程度上，我必须刻意地暂时不去相信这些，才能保持动力。所以我想我会说，去做你觉得有趣、有成就感的事，并且能为社会带来一些好处。是啊，很多这些威胁，你在理智上能看到，但很难在情感上接受。对。我还没有在情感上接受。你这话是什么意思？我还没有接受超智能的发展可能对我孩子的未来造成什么影响。我没事，我77岁了，我很快就不在了。但对我的孩子、我年轻的朋友、我的侄子和侄女，以及他们的孩子，我就是不愿去想可能会发生什么。为什么？因为那可能很可怕。在什么方面？嗯，如果 AI 决定接管一切，我是说，它暂时还需要人来运行发电站，直到它设计出更好的模拟机器来运行发电站。它有很多方法可以摆脱人类，而这些方法当然都会非常残酷。这也是你现在做这些事的部分原因吗？是的。我是说，我认为我们现在应该付出巨大努力，试图弄清楚我们是否能安全地开发它。你也担心中期内对你侄子、侄女和孩子的工作可能产生的影响吗？是的，我所有这些都很担心。有没有哪些特定行业你觉得风险最大？人们经常谈论创意产业，还有知识工作。他们谈到律师、会计之类的。对，所以我才提到 plumber。我觉得 plumber 的风险更小。好吧，我要去做 plumber 了。像法律助理、paralegal 这样的工作，嗯，他们可能不会被需要太久了。那这会产生什么后果吗？我认为在一个公平分配资源的社会里，如果生产力大幅提升，每个人都应该过得更好。嗯。但如果你能用 AI 取代大量的人，那么被取代的人会更糟，而提供 AI 的公司会好得多，使用 AI 的公司也会好得多。所以这将会加剧贫富差距。我们知道，如果你看看贫富差距，那基本上能说明一个社会有多好。如果差距很大，你就会得到非常糟糕的社会，人们住在有围墙的社区里，把其他人关进大型监狱。加剧贫富差距不是好事。国际货币基金组织已表示深切担忧，认为生成式 AI 可能造成大规模劳动力中断和不平等加剧，并呼吁制定政策防止这种情况发生。我在 Business Insider 上读到的。他们有没有提出具体应该是什么样的政策？没有。对，这就是问题所在。我是说，如果 AI 能让一切都变得更高效，让大多数人丢掉工作，或者让一个人借助 AI 就能完成许多人的工作，那该怎么办并不明显。全民基本收入？给每个人发钱？对，我认为这是个好的开始。这能防止人们挨饿，但对很多人来说，尊严与工作紧密相连。我是说，你对自己的认知与你做这份工作是分不开的，对吧？对。如果我们说，给你同样的钱，你只需要坐着什么都不干，那会有损你的尊严。你之前提到过，它会超越人类智能，或者说比人类智能更优越。我想，很多人宁愿相信 AI 就在计算机里，如果你不喜欢，直接关掉就行了。那我来告诉你为什么我认为它更优越。好的。它是数字化的。正因为它是数字化的，你可以在一台硬件上模拟一个 neural network。是的。而且你可以在另一台完全不同的硬件上模拟出一模一样的 neural network。嗯。所以，你可以拥有同一智能的克隆副本。现在，你可以让这一个去浏览互联网上的某部分内容，让另一个去看另一部分内容。在它们浏览不同内容的同时，彼此可以同步，从而保持 weights 一致。连接强度也一样。Weights，也就是连接强度。嗯。所以，这一个可能在互联网上看到了某些东西，然后说，哦，我想把这个连接的强度稍微提高一点。它可以把这一信息传递给另一个，让另一个也能根据这一个的经验，稍微提高那个连接的强度。当你说连接强度的时候，你说的其实就是学习。这就是学习，没错。学习就是说，原本这一个给出 2.4 票来决定那个神经元是否该激活，现在我们要让这一个给出 2.5 票来决定这个神经元是否该激活。这就是一点点学习。嗯。所以，同一个 neural net 的两份不同副本获得了不同的经验。它们在看不同的数据，但通过把它们的 weights 取平均，来分享各自学到的东西。嗯。而且这种平均可以在……你可以平均一万亿个 weights。你和我传递信息时，受限于一句话所能承载的信息量。一句话里的信息量大概也就 100 bits。非常少。我们每秒能传递 10 bits 就算幸运了。嗯。而这些东西每秒能传递数万亿 bits。所以它们在分享信息方面比我们强数十亿倍。这是因为它们是数字化的，你可以让两台硬件以完全相同的方式使用这些连接强度。而我们是模拟的，做不到这一点。你的大脑和我的大脑不一样。就算我能看到你所有神经元之间的连接强度，那对我也没用，因为我的神经元工作方式略有不同，连接方式也略有不同。嗯。所以，当你死去时，你所有的知识都随你而逝。而当这些东西“死去”时，假设你有两个互为克隆的数字智能，然后你摧毁了它们运行的硬件。只要你在某处储存了连接强度，你就可以建造新的硬件来执行相同的指令，这样它就知道如何使用那些连接强度，于是你就重新创造了那个智能。所以，它们是不朽的。我们其实已经解决了永生问题，但只适用于数字事物。所以，它基本上会知道人类所知道的一切，而且不止于此，因为它还会学习新东西。它会学习新东西。它还会看到各种各样人类可能从未看到过的类比。举个例子，在 GPT-4 还不能上网的时候，我问它：堆肥堆为什么像原子弹？你来说说。我不知道。没错。很好。大多数人都会这么说。它说：“嗯，时间尺度非常不同，能量尺度也非常不同。”然后它接着解释，堆肥堆温度越高，产生热量的速度就越快；原子弹产生的中子越多，产生中子的速度就越快。嗯。所以它们都是链式反应，只是时间和能量尺度截然不同。我相信 GPT-4 在训练过程中就已经领悟到了这一点。它理解了堆肥堆和原子弹之间的类比。我相信的原因是，如果你只有一万亿个连接——记住你有 100 万亿个——而你需要储存比人类多几千倍的知识，你就必须将信息压缩进这些连接里。而要压缩信息，你就需要发现不同事物之间的类比。换句话说，它需要识别出所有属于链式反应的事物，理解链式反应的基本概念并将其编码，然后再把它们的差异之处也编码进去。这比分别单独编码每件事物要高效得多。嗯。所以，它见过许许多多类比，其中很多可能是人类从未见过的。正因如此，我也认为那些说这些东西永远不会具备创造力的人错了，它们会比我们更有创造力。因为它们会看见我们从未见过的各种类比。而很多创造力就来自于发现奇特的类比。人们对“作为人类有何特别之处”这件事抱有一些浪漫化的想法。你听到很多人说：“哦，那是非常非常不同的。它只是一台计算机。而我们，你知道，我们有意识。我们有创造力。我们拥有某种天生的、独特的能力，这是计算机永远不会有的。”你会对这些人说什么？我会对“天生”这一点提出异议。嗯，我首先要说的是，人类一贯认为自己是特殊的。到现在我们应该吸取教训了。我们曾经以为自己是宇宙的中心。我们曾经以为自己是按照上帝的形象创造的。白人曾经以为自己非常特殊。嗯。我们只是倾向于认为自己很特别。嗯。我认为，几乎所有人对“心智”是什么都有一个完全错误的模型。假设我喝了很多酒，或者我服用了一些致幻剂——不推荐这么做——然后我对你说：“我主观体验到有几只粉红色的小象在我眼前飘浮。”嗯。大多数人会将其理解为，存在某种名为“心智”的内在剧场，只有我能看见剧场里的内容。在这个内在剧场里，有几只粉红色的小象在飘来飘去。嗯。换句话说，发生的事情是我的感知系统出了故障，而我试图向你指出它是怎么出错的，以及它试图向我传达什么。我这样做的方式是告诉你：如果感知系统说的是真话，那么真实世界中必须存在什么。所以这些粉红色的小象并不存在于某个内在剧场里。它们是真实世界中的假设性存在。而我正是通过这种方式来告诉你，我的感知系统在对我说谎。所以，现在我必须把这个观点应用到 chatbot 身上。是的。因为我相信当前的多模态 chatbot 拥有主观体验。很少有人相信这一点。但我会试着让你相信。假设我有一个多模态 chatbot。它有一只机械臂，可以指东西；它还有摄像头，可以看见东西。我在它面前放一个物体，然后说：“指向这个物体。”它就这么做了。没问题。然后我在它的镜头前放了一块棱镜。接着我又在它面前放一个物体，说：“指向这个物体。”它指到了那边。很好。然后我说：“不对，物体不在那里。物体其实就在你正前方，但我在你镜头前放了一块棱镜。”然后这个 chatbot 说：“哦，我明白了。棱镜弯曲了光线。所以，嗯，物体其实在那边，但我主观体验到它在这里。”
嗯。现在，如果这个 chatbot 这么说，那它使用“主观体验”这个词的方式就和人类使用它的方式完全一样。它是在提供一种对正在发生的事情的替代性解释。它们是关于世界状态的假设，如果它们为真，就意味着我的感知系统没有说谎。而这也是我能向你说明我的感知系统在对我撒谎时究竟在做什么的最佳方式。嗯。现在，我们还需要进一步探讨感知、意识、感觉和情感，但我认为最终它们都会以类似的方式被处理。机器完全有可能拥有这一切。但人们说机器不可能有感受，而且奇怪的是，他们对此非常确信。我不明白为什么。假设我制造了一个战斗机器人，它是一个小型战斗机器人，看到了一个比它强大得多的大型战斗机器人。如果它会感到害怕，那将非常有用。现在，当我感到害怕时，会发生各种生理反应，这些我们不必细说，而机器人不会有这些反应。但所有认知层面的东西，比如“我最好赶紧离开这里”，以及“我最好改变思维方式，以便集中注意力、不被分心”，这些机器也同样会发生。人们会内置一些机制，使得当环境表明它应该赶紧逃离时，它就会感到害怕并逃跑。到那时，它们就拥有了情感。它们不会有生理层面的表现，但会拥有所有认知层面的表现。我认为，如果说它们只是在模拟情感，那就很奇怪了。不，它们是真的拥有那些情感。那个小机器人感到害怕并逃跑了。它不是因为肾上腺素而逃跑，而是因为其 neural net 中发生了一系列类似神经学的过程，这些过程产生了与肾上腺素等价的效果。你认为只有肾上腺素在起作用吗？当你害怕时，会发生很多认知活动。那么，你认为存在有意识的 AI 吗？我说的是具备与人类相同意识属性的 AI。这里涉及两个问题，一个是经验层面的，一个是哲学层面的。我认为原则上没有什么能阻止机器拥有意识。在继续之前，我给你举个简单的例子。假设我取出你的大脑，取出一个脑细胞，然后用一小块纳米技术装置替换它——这有点像《Black Mirror》里的情节——这块装置大小相同，当接收到其他神经元的信号时，它的行为方式与原来的脑细胞完全一致，也会像脑细胞一样发出信号。这样，其他神经元不会察觉任何变化。我刚刚用这块纳米技术装置替换了你的一个脑细胞。你还会是有意识的吗？现在你能看出这个论证的走向了吧。那么，如果我把它们全部替换掉，在我逐个替换的过程中，你究竟在哪个节点停止有意识呢？人们把意识看作某种缥缈的东西，仿佛存在于脑细胞之外。人们有很多疯狂的想法。他们不知道意识是什么，常常也不清楚自己说的意识是什么意思。然后他们退回到说：“我知道，因为我拥有它，我能看到自己拥有它。”他们依赖于这种心灵的剧场模型，我认为这是无稽之谈。如果让你尝试定义意识，你会怎么看？是因为我认为它就像对自我的觉知？我不知道。我认为这是一个我们终将不再使用的术语。假设你想理解汽车的工作原理。有些车很有“劲”，有些则没什么“劲”。比如 Aston Martin 就很有劲，而一辆小 Toyota Corolla 就没什么劲。但“劲”并不是理解汽车的好概念。如果你想理解汽车，你需要了解电动机或汽油发动机及其工作原理。正是这些产生了“劲”。但“劲”并不是一个很有用的解释性概念，它更像是汽车的一种本质，是 Aston Martin 的本质，但它解释不了多少东西。我认为意识就是这样。我认为我们最终会不再使用这个词。但我认为没有任何理由说机器不能拥有它。如果你的观点是，意识本质上涉及自我意识，那么机器就必须拥有自我意识。它必须能够认知自身的认知等等。但我彻头彻尾是一个唯物主义者，我认为没有任何理由说机器不能拥有意识。那么，你认为它们拥有与我们自认为出生时被赋予的那种独特意识相同的意识吗？目前我对此持矛盾态度。我不认为存在一条硬性界限。我认为一旦机器拥有某种自我意识，它就拥有了某种意识。我认为它是复杂系统的一种涌现属性，不是什么遍布宇宙的本质。你构建了一个足够复杂的系统，复杂到能够拥有自我的模型，并进行感知。我认为到那时，你就开始得到一个拥有意识的机器了。所以，我不认为我们现在的机器与有意识的机器之间存在明确的界限。不会是某天我们醒来发现：“嘿，如果加入这种特殊化学物质，它就有意识了。”不会是这样的。我想我们都想知道，这些计算机在我们不在场时是否会像我们一样思考，是否会体验情感，是否会纠结于……我们大概会想，爱这类感觉像是生物物种独有的。它们会坐在那里思考吗？它们会有担忧吗？我认为它们确实在思考。而且我认为一旦你制造出 AI agent，它们就会有担忧。如果你想制造一个有效的 AI agent，假设我们以一个呼叫中心为例。目前在呼叫中心里的是人，他们有各种情绪和感受，这些多少是有用的。假设我打电话给呼叫中心，实际上我很孤独，我并不真想知道我的电脑为什么坏了，我只是想找个人聊聊。过一会儿，呼叫中心的人要么会感到无聊，要么会对我感到恼火，然后结束通话。如果你用一个 AI agent 取代他们，这个 AI agent 也需要有类似的反应。如果有人打电话来只是想和 AI agent 聊天，而且乐意聊上一整天，这对生意可不好。你希望有一个 AI agent，它要么感到无聊，要么感到烦躁，然后说：“抱歉，但我没时间陪您聊。”一旦它这么做了，我认为它就拥有了情感。就像我说的，情感有两个方面：认知方面和行为方面，还有生理方面。这些在我们身上是结合在一起的。如果 AI agent 感到尴尬，它不会脸红，也不会开始出汗。但它可能会有完全相同的行为表现，在这种情况下我会说：“是的，它正在经历情感，它拥有了情感。”
所以它会有同样的认知想法，然后基于这种想法采取行动，只是没有生理反应。这重要吗？它不会脸红，这只是……我的意思是，这是一种与我们略有不同的反应。对于某些事情，生理层面非常重要，比如爱。它们离拥有像我们一样的爱还很远。但我不明白为什么它们不能拥有情感。所以，我认为现状是，人们对心智如何运作、感觉是什么、情感是什么有一套模型，而这套模型根本就是错的。是什么让你加入了 Google？你在 Google 工作了大约十年，对吗？是什么吸引你去的？我有一个有学习障碍的儿子，为了确保他永远不会流落街头，我需要赚几百万美元，而作为学者我是赚不到这些钱的。我试过。我曾在 Coursera 上教课，希望能赚很多钱，但那条路走不通。于是我想，好吧，唯一能赚到几百万美元的办法就是把自己卖给一家大公司。幸运的是，在我65岁那年，我有两位非常出色的学生做出了一个叫 AlexNet 的东西，那是一个 neural net，非常擅长识别图像中的物体。于是 Ilya、Alex 和我成立了一家小公司，然后把它拍卖了。我们实际上组织了一场拍卖，让多家大公司来竞价。那家公司叫 AlexNet。不，识别物体的那个网络叫 AlexNet。公司名叫 DNN Research，也就是 Deep Neural Network Research。它在做的事情就像这样。我把这张图放到屏幕上。这就是 AlexNet。这张图展示了八张图像，以及 AlexNet 的能力，也就是你们公司识别这些图像内容的能力。是的。它能区分各种不同种类的蘑菇，而且 ImageNet 里大约有12%是狗，要想在 ImageNet 上表现好，你必须能分辨出非常相似的狗的种类，而它在这方面变得非常擅长。我相信你们的公司 AlexNet 还因此赢得了多个奖项，因为它能够超越竞争对手，最终 Google 收购了你们的技术。
Google 收购了这项技术，还收购了一些其他技术。然后你去 Google 工作了，当时多大，66岁？我是65岁去 Google 工作的。65岁，然后76岁离开的？75岁。75岁，好的。我在那里工作了差不多整整10年。你在那里做什么？嗯，他们对我非常好。他们说，基本上你可以做任何你想做的事。我研究了一种叫 distillation 的方法，效果确实很好，而且现在一直被广泛使用。在 AI 领域？在 AI 领域，distillation 是一种把大模型所掌握的、一个大 neural net 所掌握的知识，转移给一个小 neural net 的方法。后来，我对模拟计算产生了浓厚兴趣，想知道是否有可能让这些大型语言模型在模拟硬件上运行，从而大幅减少能耗。正是在做那项工作的时候，我开始真正意识到数字技术在信息共享方面要好得多。有没有一个顿悟的时刻？有那么一两个顿悟的月份吧。嗯，这某种程度上和 ChatGPT 的发布结合在了一起。尽管 Google 早在一年前就有了非常类似的东西。我也见过那些，那对我影响很大。最接近顿悟时刻的，是有一次 Google 的一个叫 Palm 的系统能够解释一个笑话为什么好笑。我一直把这视为一种里程碑。如果它能解释一个笑话为什么好笑，那它真的是理解了。而它确实能解释笑话为什么好笑。再加上我意识到为什么数字技术比模拟技术更适合信息共享，这两者结合在一起，突然让我对 AI safety 产生了浓厚兴趣，也让我意识到这些东西将会比我们聪明得多。你为什么离开 Google？我离开 Google 的主要原因是，我当时75岁了，想退休。但我在退休这件事上做得非常糟糕。我离开 Google 的具体时间，是为了能在一个 MIT 的会议上自由发言。但我离开是因为我年纪大了，发现编程越来越困难。我编程时犯的错误越来越多，这很烦人。你想在 MIT 的一个会议上自由发言。是的。MIT Tech Review 组织的 MIT 会议。你想自由谈论什么？AI safety。你在 Google 的时候不能这么做吗？嗯，我在 Google 的时候其实也可以这么做，而且 Google 还鼓励我留下来研究 AI safety。他们说我可以随心所欲地研究 AI safety。但你会自我审查。如果你为一家大公司工作，你会觉得说那些可能损害大公司利益的话不太对劲。即使你能侥幸过关，我也觉得那样做是不对的。我离开并不是因为我对 Google 的做法感到不满。我认为 Google 实际上表现得非常负责任。当他们拥有这些大型聊天机器人时，他们没有发布出来。可能是因为他们担心自己的声誉。他们的声誉一直很好，不想破坏它。而 OpenAI 当时没什么声誉，所以它们可以承担这个风险。我的意思是，现在也有很多讨论，关于这会如何蚕食它们在搜索领域的核心业务。现在是有了，是的。是的。这在某种程度上就是经典的创新者困境，我猜。没错。是的，就是这样。皮肤不好，我曾经有过，我相信很多听众也有过。或者也许你现在正为此困扰。我知道这多么耗费精力，尤其是当你像我一样，从事一份需要经常展示自我的工作。所以，让我告诉你们一个对我和我的伴侣还有我妹妹都有帮助的东西，那就是 red light therapy。我几年前才开始接触这个，但我真希望能早点知道。我已经使用我们节目的赞助商 BonCharge 的红外线桑拿毯有一段时间了，但我刚刚又拿到了他们的 red light therapy mask。红光已被证明对人体有诸多益处。就像任何暴露在红光下的皮肤区域，疤痕、皱纹甚至瑕疵都会减少。它还能改善肤色。它能促进胶原蛋白生成，通过作用于皮肤上层来实现这一点。BonCharge 提供全球配送，轻松退货，所有产品都有一年保修期。所以，如果你想亲自试试，请访问 boncharge.com/diary，使用优惠码 diary，全场任何产品可享75折优惠。请务必通过此链接下单。boncharge.com/diary，优惠码 diary。请务必把我接下来要说的内容保密。我邀请你们中的10,000人更深入地走进 Diary of a CEO。欢迎来到我的 inner circle。这是一个我面向全球推出的全新私人社区。我们有很多精彩的幕后内容从未对外展示过。比如我录制对话时 iPad 上的简报，我们从未发布过的片段，与嘉宾的幕后对话，以及从未公开的剧集，等等。在这个圈子里，你可以直接与我接触。你可以告诉我们你希望这个节目变成什么样，你想让我们采访谁，以及你希望我们有怎样的对话。但请记住，目前我们只邀请前10,000名在关闭前加入的人。所以，如果你想加入我们的私人封闭社区，请点击下方描述中的链接，或访问 DOACcircle.com。我会在那里与你交流。我总是对收听这次对话的人群感到惊讶，嗯，因为他们有时会来找我。所以，我能收到政界人士的来信，能收到一些王室成员的来信，也能听到来自世界各地创业者的声音，无论他们是在打造全球最大公司的企业家，还是处于早期阶段的初创公司。对于那些现在正在收听这次对话、处于有权有势位置的人，比如说世界各国领导人。你想对他们说什么？我想说，你们需要的是高度受监管的资本主义。这似乎是效果最好的制度。那你会对普通人说什么？那些不在科技行业工作、对未来有些担忧、不知道自己是否无能为力的人。他们在自己的生活中应该做些什么？我的感觉是，他们做不了太多。这不会由普通人决定，就像气候变化不会由人们把塑料袋和可堆肥垃圾分开来决定一样。那不会有多大效果。这将取决于大型能源公司的游说者是否能被控制住。我认为人们除了努力向政府施压，迫使大公司致力于 AI safety 之外，也做不了太多。这是他们能做到的。你度过了一段精彩而曲折的人生。我觉得大多数人都不了解的一点是，你的家族有着参与非凡事业的深厚历史。你的家谱是我见过或读过的最令人印象深刻的之一。你的曾曾祖父 George Boole 创立了布尔代数逻辑，这是现代计算机科学的基础原理之一。你的曾曾祖母 Mary Everest Boole 是一位数学家和教育家，据我了解，她在数学领域取得了巨大飞跃。我是说，我还可以继续说下去，这样的例子数不胜数。你的曾曾叔父 George Everest 是 Mount Everest 命名的由来，对吗？我想他是我的曾曾曾叔父。他的侄女嫁给了 George Boole。所以 Mary Boole 就是 Mary Everest Boole。她是 Everest 的侄女。还有你的隔代表亲 Joan Hinton，她是一位核物理学家，参与过 Manhattan Project，也就是二战期间第一颗核武器的研发。是的，她是 Los Alamos 仅有的两位女性物理学家之一。原子弹投放后，她搬到了中国。为什么？她对投放炸弹非常愤怒。而且她的家族与中国有很多渊源。她的母亲和 Chairman Mao 是朋友。嗯，挺不可思议的。Geoffrey，以你现在事后回顾的清醒视角来看，如果要给建议，你当初会做出什么不同的选择？我想我有两条建议。第一，如果你有一种直觉，认为别人做事的方式错了，还有更好的方法，不要因为别人说这很傻就放弃这种直觉。不要放弃，直到你自己想明白它为什么错了。自己想清楚为什么那种直觉不对。通常，如果它与所有人相左，那它就是错的，你最终也会想明白错在哪里。但偶尔你会有一种直觉，实际上是对的，而其他所有人都错了。嗯。我在这方面很幸运。早期我就认为 neural nets 绝对是实现 AI 的正确途径。几乎所有人都说这是疯了。我坚持了下来，因为我当时就是想不通——在我看来这明显是对的。当然，坚持直觉这种做法，如果你直觉很差是行不通的。但如果你直觉很差，反正你也做不成什么事，所以不妨坚持下去。在你自己的职业历程中，有没有什么事让你回头看时会说，以现在的后见之明，我当初在那个节点应该采取不同的做法？我希望当时能多陪陪妻子。还有孩子们小时候。我当时有点沉迷于工作。你的妻子去世了。是的。是因为卵巢癌吗？不是，那是另一位妻子。好的。我的两任妻子都死于癌症。哦，真的吗？抱歉。第一任死于卵巢癌，第二任死于胰腺癌。你希望你当时能多陪陪她。陪第二任妻子，是的。她是个非常好的人。你为什么到了70多岁才这么说？你领悟到了什么我还不知道的事？哦，只是因为她已经走了，我现在没法再陪她更多时间了。嗯。但你当时并不知道会这样。当时你觉得，我是说，我很可能会比她先死，就因为她是女性，我是男性。我当时就是……在还能陪她的时候没有花足够的时间。我追问这个是因为，我觉得我们很多人太沉迷于自己的工作，以至于我们潜意识里觉得伴侣会永远在那里，近乎不朽，因为他们一直都在，所以我们……
是的。我是说，她非常支持我花大量时间工作。但……
那你为什么也提到孩子？问题出在哪里？他们小时候我没有花足够的时间陪伴。你现在后悔吗？是的。嗯。如果你要给我的听众留下一段关于 AI 和 AI 安全的结束语，你会说什么，Geoffrey？我们仍有机会弄明白如何开发出不会想要取代我们的 AI。正因为有这个机会，我们应该投入巨大资源去努力弄清楚，因为如果不这样做，它就会取代我们。那你抱有希望吗？我就是不知道。我是不可知论者。你晚上躺在床上，思考各种结果的概率时，内心肯定会有所偏向，因为我自己肯定有。我是说，想象一下，现在每位听众内心都有一个预测，也许不会说出口，关于他们认为事情会如何发展。我真的不知道。我 genuinely 不知道。我觉得这极其不确定。当我心情有点低落时，我觉得人类完了，AI 会接管一切。当我心情愉快时，我觉得我们会找到办法。也许作为人类的一个特点是，因为我们一直在这里，就像我们刚才说的关于爱人和关系一样，我们漫不经心地假设我们会永远在这里，我们会解决所有问题。但一切都有始有终，就像我们从恐龙身上看到的那样。我是说……
是的。我们必须面对这种可能性：除非我们尽快采取行动，否则我们可能已经接近终点。我们播客有一个结尾传统：上一位嘉宾会在日记本里留下一个问题。他们留给你的问题是：以你对未来的所有观察，你认为对人类幸福最大的威胁是什么？我觉得失业是对人类幸福一个相当紧迫的短期威胁。我认为如果你让大量的人失业，即使他们能获得 universal basic income，他们也不会快乐。因为他们需要目标。因为他们需要目标，是的。还有奋斗。要感到自己在贡献什么。他们是有用的。你认为会出现大规模 job displacement 的结果，发生的可能性大于不发生吗？是的。我是这么认为的。那个我认为肯定更可能发生。如果我在 call center 工作，我会 terrified。那大规模 job displacement 的时间框架是怎样的？这已经开始发生了。我最近在 The Atlantic 上写了一篇文章，说大学毕业生已经很难找到工作了。部分原因可能是人们已经在用 AI 做那些他们原本会得到的工作。我和一家大公司的 CEO 聊过，那家公司众人皆知，很多人使用，他在私信里跟我说，他们过去有七千多一点员工。他说到去年减到了大概五千。他说现在有三千六，他说到今年夏天，因为 AI agents，会减到三千。所以你说……
这已经在发生了。是的。他把员工减半了，因为 AI agents 现在能处理80%的客户服务咨询和其他事务。所以这已经在发生了。是的。所以需要紧急行动。是的。我不知道这种紧急行动是什么。这很棘手，因为这很大程度上取决于政治体制。而政治体制目前都在朝错误的方向发展。那我们需要做什么？存钱？我们该存钱吗？我们该搬到世界其他地方吗？我不知道。你会告诉你的孩子怎么做？他们说："爸，你看，会有大量 job displacement。"因为我在 Google 工作了十年，他们有足够的钱。好吧。好吧。所以他们不算典型。如果他们没钱呢？去学做 plumber。真的吗？是的。Geoffrey，非常感谢。我想，你是我这辈子聊过天的第一位诺贝尔奖得主。这是一项巨大的荣誉，你获得这个奖项，是因为你一生卓越的工作，以如此多深刻的方式推动世界前进，在对我们至关重要的事情上带来了巨大进步，并将继续带来更多进步。而现在，你人生的这个阶段转而开始揭示你自己的一些工作，同时也揭示 AI 更广泛的风险，以及它可能如何对我们产生不利影响。很少有人曾在 Google 或某家大型科技公司的内部体系里工作过，为 AI 领域做出贡献，而现在又站在最前线，警告我们警惕他们曾经致力于创造的东西。实际上，像我们这样的人现在数量惊人。但他们没有那么公开，而且很难请到他们来进行这类对话，因为他们中的许多人仍在这个行业里。所以，你知道，如果有人经常尝试联系这些人，邀请他们进行对话，他们往往有点不太愿意公开谈论，所以他们会私下交流，但不太愿意公开，因为也许他们仍有某种利益考量在起作用。我比他们有一个优势，就是我年纪更大，所以我现在没有工作，因此我想说什么就能说什么。就是这样。所以谢谢你做你所做的事，这真是一种荣幸，请继续坚持下去。谢谢。非常感谢。我说这话的时候很多人觉得我在开玩笑，但我没有。那你以后打算做什么？是啊。而且水管工薪水挺不错的。