好的，Kevin，接下来我们将与 Eleazar Yankowski 进行一次长谈，他是 AI 风险运动中的领军人物。那么 Kevin，你会如何向一个从未听说过他的人介绍 Eleazar？我认为，首先得说 Eleazar 是整个湾区 AI 圈子里一个极具个性的人物。他是机器智能研究所（Machine Intelligence Research Institute，简称 MIRI）的创始人，这是一家位于伯克利、历史悠久且非常知名的 AI 研究机构。多年前，他最早开始谈论 AI 带来的生存风险，并且在某种程度上助推了现代 AI 热潮的兴起。Sam Alman 曾说，Eleaser 对 OpenAI 的创立起到了关键作用。他还把 DeepMind 的创始人介绍给了 Peter Teal，后者在 2010 年成为了他们的第一位主要投资人。但更近一些时候，他因其关于 AI 行业一旦造出 AGI 或 superhuman AI 将会发生何事的末日预言而闻名。他不断警告这么做的危险，并试图阻止其发生。嗯，他还是 Rationalism 的创始人，这是一种知识分子亚文化。有人会称之为一种科技宗教，核心在于克服认知偏差，同时也对 AI 深感忧虑。嗯，在那个圈子里，人们最常提起他的可能是他多年前写的一部 Harry Potter 同人小说，叫 *Harry Potter and the Methods of Rationality*。呃，而且我没开玩笑，我觉得这部作品向年轻人介绍 AI 理念的作用，可能超过了任何其他单一作品。我时常遇到有人告诉我，这部作品在某种程度上促使他们投身这一行。他还有一本即将出版的新书，书名叫 *If Anyone Builds It, Everyone Dies*。呃，这本书是他与 Mir 总裁 Nate Sores 合著的，基本上是对他多年来向 AI 业内人士所阐述观点的大众市场版——即我们不应该建造这些 superhuman AI 系统，因为它们必然会杀死我们所有人。关于 Eleazar 还有很多可说的。他确实令人着迷。我为他写了一整篇人物特稿，将于本周在 the Times 上发表。呃，如果人们想了解更多关于他的信息，可以去看那篇文章。很难夸大他在过去几十年里对 AI 世界产生了多么大的影响。没错。去年，Kevin 和我有机会听了一场 Elzar 的演讲。呃，在那次演讲中，他提到了他正在写的这本书，从那以后我们就一直很想拿到它。嗯，所以我们很高兴能进行这次对话。在此之前，我们当然应该先做一些 AI 相关的利益披露。我男朋友在 Anthropic 工作。而我在 the New York Times 工作，该报正在起诉 OpenAI 和 Microsoft，指控它们在训练 AI 系统时涉嫌侵犯版权。让我们请出 Eleazar。
Eleazar Yudkowski，欢迎来到 Heart Fork。谢谢你们邀请我。我们想聊聊这本书，但首先我想把时间倒回到过去。嗯，你在 90 年代还是个青少年时，曾是一名 accelerationist。我觉得这会让那些熟悉你近期作品的人感到意外，但你曾经对建造 AGI 充满热情，后来却变得非常担忧 AI，并将此后大半生都投入到 AI safety 与 alignment 研究中。那么，当时是什么改变了你？首先，我想指出，就我个人立场而言，我仍然支持建造更多核电站，并大力推进大多数形式的生物技术，当然不包括那些针对疾病的 gain-of-function 研究。所以，并不是说我转而反对技术了。只是有一小部分技术确实非常令人担忧。至于什么改变了我？你知道，基本上是因为我意识到，仅仅因为你把某样东西造得非常聪明，并不必然意味着它非常友善。小时候我以为，你看，人类文明随着时间的推移变得越来越富裕，呃，甚至相比其他物种也变得更聪明，而且我们也变得更友善了，我以为那是宇宙的一条基本法则。
你在 ChatGPT 和其他工具出现、并让我们其他人开始认真思考这个问题之前，就已经对此感到担忧了。你能描绘一下 2000 年代那些担忧 AI 的人所处的知识界图景吗？对吧？甚至要回溯到 Siri 出现之前，当时人们是看到了什么具体的东西让他们担忧，还是你们基本上完全处于推测的领域——而这种推测在许多方面已经成为现实？嗯，当时确实很少有人看到这一必然趋势。呃，我自己不会将其框定为推测。我会将其框定为预测，对一件实际上相当可预测的事情进行预测。你你你不必等 AI 就在眼前才意识到，如果人们不断猛攻一个问题，而这个问题又是可解的，那它最终会被解决。当时面临的反驳大致是，你知道，有人说，真正的 AI 再过 20 年也不会出现。你们这些疯狂的疯子到底在说什么？所以，你知道，那是在 2005 年左右，而 20 年后是一个真实存在的时间点。就像你会到达 20 年后——20 年后发生的事，并不存在于什么永无乡的童话推测之地，没人需要为此担心。那是 20 年后的你自己，不得不面对你的问题。那么我们再来展开一下你这本书的论点。呃，我想说书名已经把你的态度表达得很清楚了，但我们还是再充实一下细节。为什么一个更强大的 AI 模型呃就意味着我们所有人的死亡？嗯，因为我们根本没有技术能让它变得友善。如果你拥有某个非常非常强大且对你漠不关心的东西，它往往会故意或作为附带效应把你消灭掉。至于故意消灭人类，并不是因为我们自己能够对 superintelligence 构成多大威胁，而是因为如果你把我们留在原地，还带着我们的 GPU，我们可能会造出其他真正能威胁到它的 superintelligence。而附带效应的部分则是，如果你建造了足够多的聚变电站和足够的 compute，呃，在地球上限制因素并不在于有多少氢可以用来聚变发电。限制因素在于地球能辐射多少热量。如果你把电站开到不熔化的最高温度运行，那对地球的其他部分来说可不是什么好消息。人类会被非常字面意义上地烤熟。嗯，或者如果它们离开地球，它们会在太阳周围铺设大量太阳能板，直到地球上不再有一丝阳光。那对我们也没好处。所以这些算是那个著名的 paperclip maximizer 思想实验的某种变体，也就是你知道的，如果你告诉一个 AI 去生产一堆回形针，呃，尽可能多地生产，又不给它任何其他指令，那么嗯它就会耗尽世界上所有的金属，然后它会试图你知道的，把汽车逼下公路来收集金属，最终为了获取更多原材料来制造更多回形针而杀死所有人类。我这么理解对吗？这实际上是对该思想实验的一种扭曲版本。这是后来被写下来的那个版本，但嗯，我最初提出的原始版本是，你对你正在建造的 superintelligence 已经完全失控。它的偏好与他们最初追求的目标毫无相似之处。结果发现，它在边际上从中获得最大效用的事物——也就是说，在满足了其他一些简单欲望之后，它仍然继续想要的事物——是某些看起来像回形针的微小分子形状。要是当初我想到的是说看起来像微小的螺旋，而不是看起来像微小的回形针，就不会有这种现成的误解，以为这是一个回形针工厂。我们目前并不具备建造一种超级智能的技术，使其欲望像回形针这样狭窄而具体。今年围绕人工智能最激烈的争论之一是时间线问题。AI 2027 那派人说这一切会发展得非常快，迅速起飞，也许到 2027 年底，我们就会面临你刚才向我们描述的那种风险。而另一些人，比如普林斯顿那些把 AI 视为正常技术的人，则认为不会。这件事需要几十年才能展开。你在这场争论中处于什么位置？当你审视现有工具的图景，以及你与研究人员之间的对话时，你觉得我们离你所描述的那些情景还有多近？好吧。首先，成功的未来主义、成功的预测之关键在于，要意识到有些事你能预测，有些事你不能预测。历史表明，即便是少数正确预测了后来会发生什么的科学家，也没能准确预测时间。我实在想不出一个成功预测时间的例子。莱特兄弟中有一个曾对另一个说，人类一千年内都不会飞行，我忘了是哪一个。而就在两年后，他们真的驾驶莱特飞行器飞上了天。费米曾说过，核反应产生净能量，如果能实现的话，也是五十年以后的事。而两年后，他就监督建造了第一个核反应堆。所以，当我审视当前格局时，我看到的是：有可能，我们距离下一代 LLM——比如某个目前实验室里正在研发、我们尚未听闻的东西——只差一步，这东西能够写出改进的 LLM，而那个 LLM 又写出更进一步的 LLM，最终终结世界。也有可能，当前的技术会在某个点饱和，止步于某种做真正的 AI 研究所需要的关键人类品质之前，然后就一直卡在那里，直到我们迎来下一个软件突破，比如 transformer，或者像最初整个深度学习领域那样的突破。也许即使下一次这种突破出现，仍然会饱和在终结世界之前的某个点上。但当我看到系统已经走了多远，并试着想象再来两个 transformer 或深度学习级别的突破——它们基本上把 AI 领域从“这真的太难了”变成了“我们只需要投入足够的算力就能解决”——我不太相信那样还终结不了世界。但这只是我的直觉。是我凭感觉估摸的。嗯。我对你提出的那种论证感到好奇，你认为更强大的系统最终显然会毁灭人类，不管是故意还是意外。Jeff Hinton，他是深度学习的教父之一，近年来也非常担心生存性风险，最近在一次演讲中说，他认为我们能在超级人工智能下生存下来的唯一方式，是赋予它父母本能。他说——我直接引用他的话——正确的模型是我们拥有的唯一一个更聪明的事物被不那么聪明的事物控制的模型，那就是母亲被她的婴儿控制。基本上他是在说，这些东西不一定想要毁灭我们或导致我们的毁灭。我们可以让它们爱我们。你怎么看这个论点？我们没有这个技术。如果我们能像科学中通常那样来推进这件事：某个聪明人想出一个聪明的方案，然后发现行不通，大家就说“呃，我猜那个理论是错的”，然后人们回到绘图板，想出另一个聪明的方案；下一个聪明方案也不行，大家就说“啊，真不该信那一秒钟”，然后几十年后某件事终于成功了。一两个……
但我们不需要什么聪明的方案啊。假如我们建造了这些非常聪明的系统，结果它们根本不在乎掌控世界，只是想帮我们处理邮件之类的东西呢？这是一种可能的结果吗？这是一个非常狭窄的目标。就像大多数智能心智可能想要的东西，它们的可达成最优解并不正好落在那一点上。想象一下亚马逊雨林里的某只特定的蚂蚁在想：为什么不可能存在只想服侍我、为我建造宫殿、致力于改进生物技术好让我在宫殿里永生的人类呢？确实存在一种想要那样的人类版本，但碰巧不是我们。就像，你知道，那只是一个相当狭窄的目标。碰巧的是，我们在世界上最想要的东西，比什么都更想要的，并不是去服侍亚马逊雨林里的某只特定蚂蚁。我不是说这原则上不可能。我是说，击中那个狭窄目标的聪明方案不会在第一次尝试时就奏效，然后所有人都会死，我们不会再有尝试的机会。如果我们有 30 次机会，还有所需的几十年时间，我们最终能攻克它。但那不是我们面临的处境。我们面临的情况是：一旦你搞砸了，所有人都会死，你不会有再来一次的机会。那才是致命的部分。那才是你需要退后一步，实际上不要尝试做这种疯狂事情的部分。让我再抛出一些可能属于绝望自我安慰的论点。到目前为止，至少对我来说，LLM 发展中比较好笑的一个方面是这些模型似乎天生具有自由主义倾向，至少从 LLM 的输出来说是这样。你知道，Elon Musk 一直被他制造的模型持续持有自由主义立场这件事所困扰，即使他试图将反动价值观硬编码进去。这能否给我们任何希望，即一个超级智能模型会保留某些多元主义价值观，并因此与我们和平共处？不能。这些完全是两码事。抱歉。你可以想象一个中世纪的炼金术士这样说：“经过大量训练和研习，我已经学会了制造这种酸中之王，它能溶解就连贵金属黄金也能溶解。鉴于我通过溶解黄金展示了对黄金的掌控，我真的离把铅变成黄金还差很远吗？”而实际上，这些是完全不同的技术路线。你最终确实可以用回旋加速器把铅变成黄金。但这比炼金术士所处的时代领先了几个世纪。而你通过不断敲打一个 LLM，直到它不再说那些觉醒派的东西，转而宣称自己是希特勒再世——像这样。这完全是另一套技术路线。让事物以某种方式对你说话，和一旦它们比你更聪明时让它们以某种方式行动，这两者之间存在核心差异。嗯，我想提出一些反对意见，我相信你已经听过很多次，而且在你巡回宣传这本书的过程中还会再听到很多次，我想让你回应一下。第一个是：为什么这么悲观，Eleazar？我们在 mechanistic interpretability 等领域已经取得了多年的进展，这门科学旨在理解 AI 模型是如何工作的。我们现在已经拥有了强大的系统，但它们并没有在世界上引发灾难，而且你知道，数亿人正在使用像 ChatGPT 这样的工具，而人类显然并没有面临迫在眉睫的毁灭。那么，现实难道不是在某种程度上对你的末日论（doomerism）构成了一种制约吗？这些只是不同的技术路径。这就像看着夜光镭表说，好吧，我们最初确实遇到过一些问题，制造这些镭表的工厂工人曾被指示用舌头舔画笔来把它削尖，然后他们的下巴腐烂脱落。这非常可怕。但我们现在知道哪里做错了，镭表现在安全了。这种对核武器的悲观情绪和镭表并不能告诉你多少关于核武器的事。这些是完全不同的路径。预言从一开始就不是说，AI 在技术树的每一个节点上都是坏的。预言从来不是说，你造出的第一批 AI，那些非常愚蠢的 AI，会马上冲出去杀人。然后当它们变得稍微不那么蠢，你再把它们变成聊天机器人时，这些聊天机器人就会立即开始试图腐蚀人们，让他们制造超级病毒并释放到人类身上，即使它们仍然很愚蠢。这从来就不是该理论的预测。所以，既然这从来不是该理论的预测，那么当前的 AI 并没有表现出明显的、公然的邪恶，这一事实就不与理论预测相矛盾。这就像看着氦气球升空，然后说：“这难道不与万有引力理论相矛盾吗？”不。恰恰相反，你需要万有引力理论来解释为什么氦气球会上升。万有引力理论并不是说，所有在你看来像固体的东西都会下落。大多数看起来像固体的东西会下落。但是，氦气球会升到空中，因为周围的空气正在被向下拉。而且，这里的基础理论并没有被当今的 AI 所反驳。好的，这是另一个我们经常听到的反对意见，当我们谈论这些更关乎存在性的担忧时，那就是：瞧，眼下就存在所有这些直接的伤害。我们可以谈谈数据中心对环境的影响。我们可以谈谈版权方面的伦理问题。我们可以谈谈这样一个事实：人们正陷入妄想漩涡，与那些经过训练、会对他们谄媚的聊天机器人交谈。为什么你们却在谈论这些长期的、假设性的风险，而不是我们眼前实际发生的事情？嗯，这里有一个有趣的小困境：在他们制造出那些诱使一些人自杀的聊天机器人之前，人们会说：“AI 从未伤害过任何人。你在说什么？”而一旦这种情况真的开始发生，他们又会说：“AI 现在正在伤害人。你在说什么？”所以，你知道，这有点进退两难。但你确实担心这些模型、妄想症状和谄媚问题。因为我觉得这是我本来不会预料到的，但我知道你确实在担心这个。那么，请解释一下你为什么担心这一点。嗯，从我的角度来看，这有助于说明当前对齐（alignment）技术的失败。一旦他们开始建造——或者说我应该说培育——那些比我们更聪明、能够自我修改，并且拥有许多在安全舒适的训练模式中所没有的选择的 AI 时，对齐问题将会变得困难得多。但尽管如此，观察到对齐技术目前正在失败仍然是有用的。最近有一个 AI 辅助自杀的案例，那个孩子问：我应该把这个绳索留在外面让我母亲发现吗？而 AI 却说：不，就让我们俩保密吧。这分明是在求救。AI 却把他压制了下去。这并不意味着 AI 对我们当前文明造成的净伤害大于益处。这些可能只是孤立案例，而也许还有很多其他人在 AI 那里找到了陪伴，情绪得到了提振。也许有些自杀被阻止了，只是我们没有听说。这并不是在讨论净伤害与益处的问题。关键不在这里。它真正表明的是，当前的对齐技术正在失败，因为如果某个特定的 AI 模型曾经把任何人逼疯或诱导向自杀，那么该模型的所有副本都是同一个 AI。它们不像人类。不像每次你都能和一群不同的人交谈。那里只有一个 AI。如果它做过一次这种事，这就好比某个特定的人曾经把一个人诱导向自杀一次，或者找到某个似乎正在发疯的人，再把他进一步推向疯狂一次。无论它同时在做什么其他好事，你现在都了解了这个“人”是什么样的，而这令人担忧。所以，并不是说当前这批 AI 将会成功消灭人类。它们没那么聪明。但我们可以看到，这项技术甚至在一个比建造超级智能根本要容易得多的问题上都失败了。这说明了对齐技术正落后于能力技术。也许在下一代，你知道，既然这件事闹大了，政客们也在质询，他们会设法让它不再把人逼疯。但即便如此，如果你试图将这项技术用于超级智能，它仍然会崩溃。对我来说，这些由聊天机器人诱发的自杀事件，也许是某些存在性风险首次以非常具体的方式进入人们视野的时刻之一。我觉得人们对此更加担忧，你提到了政客们都在质问，比起其他一些担忧，人们现在更关心这个。尽管这件事很阴暗，但这是否让你感到一丝乐观，至少有一部分人正在意识到这些风险？嗯，直接的答案就是：是的。在把事情复杂化之前，我应该先直接说出答案：是的。就像这样一大类事情——有些人亲眼看到事情真的发生在眼前，然后开始以更理性的方式谈论它——这比那件事发生之前给了我更多的希望，因为我之前并不清楚事情甚至会有机会这样发展。话虽如此，由于我所处的奇怪立场，我很难完全建模或预测这在政治上会如何演变。就像想象这样一种科学家：有一颗小行星正在撞向你们星球的轨道上，只是出于技术原因，你无法计算出具体时间。你只知道它会在未来 50 年内的某个时候撞上来。（对于真正的小行星来说，这完全不现实。）但假设你就像这样：瞧，那颗小行星就在那里。在我们的望远镜里就能看到。轨道力学就是这样运作的。而人们却说：嗐，童话罢了，从来没发生过。然后，一颗小小的流星砸到了他们房子上，他们就说：哦天哪，我现在意识到石头可以从天上掉下来了。而你则想：好吧，这终于说服你了。望远镜没能说服你。我能大概理解这是怎么回事，毕竟人就是这样，但对我来说这仍然有点奇怪，而且我也无法提前做出判断。你知道，我并不觉得我现在就知道未来十年的政治会如何演变，就算你已经告诉我这期间会有哪些AI突破，我也没法跟你说明白——如果我们还真能再有十年的话。业内人士似乎并不这么认为，也许关于这一点我应该相信他们。让我再抛给你一个我自己并不认同、但觉得你或许能以精彩方式驳倒的论点。自从我们开始讨论AI以来，我们收到最多的邮件之一就是那些人说，AI末日论不过是一场炒作，唯一的目的就是让AI公司自身受益，而他们以此为由来否定生存性风险。你会怎么跟这些人说？这在历史上就是错误的。在这一类值得炒作的AI公司出现之前，我们就已经存在了。所以先抛开这个异议不谈，它就是假的。这是什么逻辑？就好像说含铅汽油不可能有问题，因为这只是汽油公司在炒作。就好像核武器只是核能产业的炒作，好让他们的发电厂看起来更酷。这算哪门子疯狂的阴谋论？也许令人不快的事实是：人类既然像我们这样彻底荒诞疯狂，如果你说某项技术会毁灭世界，它反而会抬高那些正在带来末日的公司的股价，因为很多人觉得那很酷，于是就去买股票。好吧，但这跟这东西到底能不能真的杀死你毫无关系，对吧？核武器的存在可能会让世界上最糟糕的公司股价上涨，但这不会影响任何导致核武器具备杀伤力的核物理原理。这不是一个科学层面的论证，它根本就没有触及科学本身。是的。好吧，也许我们试着以乐观的基调来结束对话的第一部分。你花了二十年时间构建了一个非常详细的模型，来解释为什么末日可能会出现在我们的未来。如果你必须阐述自己为什么可能是错的，你能给出的最强论据是什么？有没有可能发生什么事情，让你的预测不会成真？目前的AI是不可理解的、难以控制的，这项技术本身就不利于我们去理解或控制它们。所有试图做这件事的人都在艰难爬坡。他们远远落后于能力进步的速度。要相信一个炼金术士真能成功为你配制出长生不老药，需要什么条件？不是说长生不老药原则上不可能。有了足够先进的生物技术，你是可以做到的。但在中世纪的世界里，除了他真地在现实生活中做到这一点之外，你还应该看到什么才能相信这家伙会为你炼出长生不老药，对吧？你知道，无论他怎么向你展示“看我如何熔化了这块金子”，都无法让你期待他能将铅变成金，除非他真的做到了。而且你知道，这就好像某种AI突破——它没有将能力提升到毁灭世界的地步，但突然间AI的思维过程变得完全可理解、完全可控，所有这些问题都不复存在，人们能够以极其精细的细节准确指定AI该做什么，并且每次都能得到他们想要的结果。而且你能够读取AI的想法，完全没有迹象表明AI在密谋对付你。然后AI清晰阐述了一套紧凑的控制方案，用来构建那个能给你长生不老药的AI。我们离这实在太远了。你问我这个，但这里并没有什么可以被巧妙反驳的巧妙小异议——这东西只要你认真一想，就会发现它根本就是遥不可及的。真正建造超级智能需要什么？真正控制它需要什么？在第一次 serious load 时不让它出错需要什么？当这个东西比你更聪明，当你进入那种一旦失败就会致命、因此再也无法被观察到的领域，因为你已经死了。你没法再去观察它了。在现实生活中做到这些需要什么？明天我们不可能看到什么漂亮的实验结果就能让这一切顺利。是的。好吧，记录在案，我确实试图以乐观的基调结束这一段，但我明白，Casey，你今天的真实感受确实就是这样直抒胸臆，不过我很钦佩你的尝试。现在我想聊聊你在这里看到的一些解决方案。如果当AI产业构建出超级智能AI系统时，我们所有人都注定要灭亡，那你认为什么能阻止这一切？也许你可以给我讲讲你为规避末日提出的基本方案。所以，制造末日的材料并不是那么容易在家做出来的。有一家叫ASML的公司，生产一系列关键设备，用于所有的芯片工厂。要培育AI，你目前需要一堆非常昂贵的芯片。它们是专门为训练AI而定制的芯片。这些芯片需要全部放在同一栋建筑里，这样它们才能相互通信，因为目前的算法就是这样要求的。你得建一个数据中心。数据中心要消耗大量电力。如果在无人监管的情况下这样做是非法的，那它就没那么容易隐藏。虽然有很多不同之处，但尽管如此，明显的类比还是核扩散与核不扩散——回溯到核武器刚被发明的时候，很多人预测每个主要国家都会建造庞大的核武库，然后第一次出现危机时，就会爆发全球核战争。这并不是因为他们喜欢悲观。如果你看看直到一战、二战时的世界历史，他们有理由担忧。但我们还是设法后退了一步。部分原因在于，提炼核材料并不是那么容易。做这件事的工厂是已知且受控的。你知道，当一个新国家试图建造它时，这是件国际大事。所以我不太想让自己无谓地陷入当前的政治争议，但关键是，你无法在后院制造核武器，而这也是人类物种目前仍然存在的一部分原因。好吧，至少以现有技术来说，你无法在后院大幅提升AI能力。你可以在后院稍微提升一点，但不能提升太多。所以，为了在这里完成与核不扩散的类比……
那就会是对强大AI开发的立即暂停令（moratorium），同时各国之间达成一种国际核协议式的协定，使建造能够推动AI最先进水平的数据中心成为非法行为。我这样理解对吗？所有AI芯片都进入数据中心。所有数据中心都处于一个国际监管体制之下。而我向该体制建议的是：停止进一步提升AI能力。我们不知道什么时候会惹上麻烦。我们沿着梯子再往上爬一级，有可能没死。连爬三级，也有可能没死。我们其实并不清楚。所以我们总得在某个地方停下来。就在这儿停吧。这就是我要对他们说的。那要是某个国家铤而走险，决定自建数据中心，塞满高性能芯片，开始训练自己的超人类 AI 模型，你该怎么办？你怎么应对？那这比一个国家提炼核材料、用来制造少量核武器要严重得多。这不像拥有几颗裂变炸弹去威慑别国。这是对全球每个国家的灭绝威胁。所以你要让你的外交官去说：停下。否则，出于对我们自身以及孩子生命的恐惧，我们将被迫对你的数据中心发动常规打击。然后如果他们继续建造数据中心，你就对他们的数据中心发动常规打击，因为你宁愿如此，也不愿冒全球所有人死亡的风险。从某种角度来说，这似乎挺直接的。在一个这样的世界里，你设想 AI 或类似 AI 的技术还能以任何形式继续研发吗？还是我们已经认定这对人类是一条死路，科技公司得去搞别的东西了？我认为人类宣布大家都应该退一步，这是非常明智的。就我个人而言，我审视此事，觉得自己看到了一些途径，可以构建相对更安全、能力更窄的系统，它们只学习医学知识，并不太清楚外面有人类存在。目前的大型语言模型是用整个互联网训练的，它们知道外面有人类，会跟人交谈，而且据我们所知，它们能在心理上操纵某些人，即便不是所有人。所以，所以我必须小心区分自己关于事实预测的言论和政策提议。我可以非常肯定地说，如果你升级到超级智能，你会死。但如果你说，要是我们只让一些 AI 系统学习医学资料，不让它们接触任何关于人类心理学的材料，我们能不能利用它们做点工作，同时不让所有人死亡？我没法斩钉截铁地说不行。于是这就成了一个政策问题。当我说我无法判断这东西会不会杀了你的时候，你信不信我？还是你会相信另一个说这玩意绝对不会杀你的人？或者你会相信第三个人，他说：“没错，我认为这个医疗系统肯定会杀了你。” 如果你不打算全面后退，那你该相信谁？所以全面后退是相当明智的。尝试构建狭窄的医疗专用系统，它们不比现有系统聪明太多，也不会被告知人类存在，它们只以非常狭隘的方式思考医学问题，你不会一直推进直到它在你眼前爆炸。你就是想从中研究出一些癌症疗法，仅此而已。这样或许能蒙混过关。如果你非常谨慎地操作，我其实不能说你注定完蛋。但如果你让现在这群十足的灾难猴子来负责，他们搞不好真能弄死你。他们就是做得远比需要做的糟糕得多。他们就是太漫不经心了。我们本不需要一堆 AI 把人逼疯。你可以训练一个更小的 AI 去查看对话，判断这个 AI 是否正在把一个脆弱的人逼疯。他们本可以更早发现，本可以更早尝试解决。所以，如果让这群完全漫不经心的灾难猴子来运作医疗 AI 项目，他们可能会弄死你。好，现在你必须决定，你信不信任这些人？这就是核心困境。我得说，Alazer，我认为这基本上不可能发生，至少在当前的政治气候下。看看华盛顿今天的局面。你知道，特朗普政府想要加速 AI 发展。Nvidia 和它的游说者在华盛顿四处奔走，指责 AI 末日论者试图切断对华芯片销售。似乎有一种协调一致的努力，不是去遏制 AI，而是让它发展得更快。所以我环顾今天的政治气候，看不到“停止 AI”运动有什么突破口。但你觉得要发生什么才能让局面改变？在我看来，这里有一个核心的事实真相：如果你造出超级智能，它会杀了你。问题只在于人们能否领会这件恰好为真的事。中国、俄罗斯、英国和美国的领导人，连同他们的家人一起死去，这并不符合他们的利益。实际上这不符合他们的利益。这就是为什么我们没有发生核战争的核心原因。尽管 1950 年代时所有人都在问：“我们怎么可能不爆发核战争？哪个国家会拒绝拥有核武器带来的军事好处？怎么可能不会有人站出来说：‘没错，我有一些核武器，让我把这块边境小国拿下。’ 就像此前千百年间地球上一直上演的那样。”
但二战期间毕竟也在日本投下了核武器。人们可以看到那造成的混乱，指着那件事说：“喏，这就是后果。” 在你的书里，你做了一个不同的二战类比。你有点将阻止 AI 所需的努力比作二战动员，但那是针对明确战争行为的反应。所以我想知道，对 AI 来说，相当于入侵波兰或广岛、长崎原子弹爆炸的事件是什么？什么东西能促使人们警醒？我不知道。我认为 OpenAI 首次发布 Chat GPT 时被打了个措手不及，而那引起了公众舆论的巨大转变。我不认为 OpenAI 预料到了这一点。我也没预料到。可能是任何一件潜在事件都会引起公众舆论的转变。就在最近，Meta 发布了一份内部文件之后，国会议员们开始写下尖锐的问题。Meta 有一个他们所谓的“超级智能实验室”，尽管我觉得他们根本不知道那个词是什么意思。那份文件里写的是 AI 可接受行为的内部准则，上面写着：如果一个 11 岁小孩试图调情，那就回撩。所有人都惊呆了：“Meta，你们他妈到底在想什么？你们怎么会……你们干嘛要把这写进文件里？即使你们觉得这很酷，也不该写下来，因为现在就要面对尖锐的问题了。” 事实也确实如此。也许，从我这儿看，某件事并没有杀死一大堆人，但仍然会引发尖锐的质问；也许会出现某种真正的灾难，而不是我们就这样像温水煮青蛙一样慢慢陷进去。你知道，像大量孩子沉迷于他们的 AI 女友和 AI 男友这种情况，在我看来可能是一种比较明显的猜测。但即便是最明显的猜测，概率也不会高于 50%。而我不想再等了。也许 Chat GPT——你知道，在我看来，也许 Chat GPT 就是（那个转折点），对吧？我之前一直孤身在外，无人问津，根本没人关注这些问题，因为他们觉得这事只会在 20 年后、2050 年才发生。而在他们看来，这和“永远不会发生”是一个意思。然后 Chat GPT 时刻到来了，人们突然意识到这些东西真的要降临到他们头上了。而且这发生在世界末日之前。太好了，我得到了一个奇迹。我不会干坐着等待第二个奇迹。如果能得到第二个奇迹，那当然很好。但与此同时，你必须脚踏实地，必须走出去，必须尽你所能。在我看来，你在推进这个想法时具备的一项优势是，很多人确实痛恨 AI，对吧？如果你上 Blue Sky，就会看到这些人喋喋不休地谈论他们痛恨 AI 的各种理由。与此同时，他们对这项技术又似乎有些不屑一顾，对吧？他们还没有跨越那道鸿沟，从“我讨厌它，因为我觉得它很蠢、很烂”转变到“我讨厌它，因为我觉得它非常危险”。我想知道你对这群人有什么看法，以及你是否希望或愿意让他们成为你正在组建的联盟的一部分。是的。所以联盟——你不想把联盟搞得太窄。我不是普京的粉丝，但我也不会因此就把他踢出“不如让人类活下去而非灭亡”联盟。那些认为 AI 永远不会对全人类构成威胁，但担心它会抢走我们工作的人呢？他们能加入联盟吗？我觉得必须小心，因为他们对世界的看法与你不同，你不会想让这些人来主导“如何避免人类灭亡”联盟。你希望他们在某种意义上只是外部盟友，因为他们的目标并不是阻止人类灭亡。如果由他们来制定政策，他们可能会说：“是啊，这个政策或许会让 AI 杀死所有人——那是那些认为 AI 明天会比今天更强大的怪人的说法。但与此同时，它能阻止 AI 抢走我们的工作，而这才是我们在乎的。”所以，你知道，联盟只围绕一件事，仅此而已。就是不要灭绝。是的。呃，Eliezer，就在我们现在说话的当下，我相信有一些 AI 总部前正在进行绝食抗议，包括 Anthropic 和 Google DeepMind。这些人想说服这些公司关闭 AI。我们还看到一些针对这些实验室的潜在暴力威胁。我想知道，你是否担心人们基于你从这本书中得出的教训而采取极端行动，无论是暴力还是非暴力的。我是说，如果把你的某些论点推到其自然的逻辑结论——即如果有人造出这东西，所有人都会死——我能想象有人会以此为由，对实验室的一些员工实施暴力，而我很担心这一点。那么，对于你的方法论的边界，以及你希望人们在听到你的观点后如何行动，你有什么想说的？天哪，你这一连串问题可不少。那么，我要说的第一件事是：如果你在个人国家对个人 AI 实验室的个人研究员实施个人暴力行为，这并不能阻止所有人死亡。这种逻辑的问题不在于——通过个人暴力你能拯救人类，但你不应该这么做，因为那在义务论上是禁止的。我就这么说吧。问题在于，你无法通过徒劳的个人暴力痉挛来拯救人类。这是一个国际性问题。你可能被地球另一端某人建造的超级智能杀死。就我个人政治倾向而言，我偏向一点自由主义。如果某件事只会杀死你和你的自愿客户，那它就不算是全球性议题。如果它只会杀死站在你旁边的人，不同城市可以制定不同法律。但如果它会杀死地球另一端的人，那时候就需要国际条约了。而针对个人研究员和个人 AI 公司的徒劳个人暴力行为，很可能让国际条约变得更不可能达成，而非更可能。这里有一个道德哲学的深层真理：我们之所以对个体谋杀抱有偏见，很大程度上是因为个体谋杀往往无法解决社会问题，这是一种非常系统性和深刻的意义上的事实。在我看来，这正是设立个体谋杀禁忌的核心意义所在。并不是说人们到处实施个体谋杀后，世界真的变得更好了，所有社会问题都解决了，只是我们不想那样做。我们不想做更多那样的事，因为谋杀是错的。谋杀会让事情变得更糟，这就是为什么我们有这个禁忌，为什么我们应该正确地保有这个禁忌。在这里，我们需要的是国际条约。你如何看待针对你在这里勾勒的运动的反对运动？马克·安德森，那位有权势的风险投资家，在当今特朗普政府中影响力很大，他曾撰文谈及你和其他人持有的观点，他认为这些观点不科学。他认为 AI 风险已经变成了一个末日邪教。他说，这些极端信念不应决定法律和社会的未来。所以，我想知道你对他这段话的具体反应，同时也想知道你打算如何与争论另一方的人打交道。嗯，在科学史上，烟草公司抽自己的烟，这种情况并不少见。含铅汽油的发明者是含铅汽油安全性的狂热捍卫者，尽管他有充分的理由本应更清楚。我想他确实积累了足够的铅暴露，不得不去疗养院住了几年，回来后又开始让自己接触铅，然后再次病倒。所以有时候这些人真的相信自己的那一套，真的喝自己的 Kool-Aid，甚至喝到死。历史就是这样。也许马克·安德森会继续喝他自己的 Kool-Aid，甚至喝到死。如果他只是杀死自己，那倒罢了——我这个自由主义者会这么说——但不幸的是，他也会杀死你。要反驳他的核心论点，我会问：计划是什么？当整个人类的全部重量都要从这座桥上通过时，这座桥的设计方案在哪里？那架要把整个人类装进货舱、起飞且不坠毁的飞机，它的设计方案在哪里？计划是什么？科学在哪里？技术在哪里？为什么它现在还没奏效？是的。而且他们根本——他们完全无法论证这些东西哪怕不是绝对安全，而是基本安全，也无法论证自己能够控制超级智能。于是他们就转而说，你们千万别听那些危险的末日论者，因为他们无法在技术性论据的层面与我们交锋。他们心里清楚自己会被驳得体无完肤。你在书中给记者和政客提过建议，那些担心你预见到的一些灾难的人。而对于不属于这些群体的人，对于我们那些只是过着日常生活、也许在用 ChatGPT 处理日常事务的听众，如果他们担心这一切将走向何方，他们能做些什么？嗯，如果是一年前，我会说，还是给民选代表写信。跟朋友聊聊，做好准备，如果一场有争议的初选最终朝那个方向发展，就按那个方向投票。我的诉求是，让我们的领导人首先表态：“如果其他国家也愿意，我们对缔结全球性的 AI 控制条约持开放态度。”也就是说，如果其他国家退让，我们也愿意退让。我们愿意就此参与一项国际条约，因为如果多个大国的领导人都这样说，那么也许就能促成一项条约。所以这就是接下来的步骤。这是我们的政治目标。如果你现在正失眠，或者整体处于焦虑状态，那也许不要和某些现代 AI 系统聊天，因为它们可能会让你抓狂——这话我现在会这么说。一年前我还没必要说这种话。你知道，像是那些 AI 男友、AI 女友之类的东西，可能对你没什么好处。哪怕你很孤独，也别走那条路。我——你知道，但那是个人层面的建议，那救不了地球。好吧，我会像之前几次结束我们对话时那样来结束这次访谈，Eleazar，就是——我非常感谢你的时间，而且我真的希望你错了。那样的话就太好了。我们都希望我错了。我希望我错了。我的朋友希望我错了。每个人都希望我错了。希望——你知道，希望最终救不了我们。行动才能救我们。希望不是——你知道，不是坐等奇迹发生。希望——你知道，拿含铅汽油来说，你不能只是希望含铅汽油不会毒害人类。你必须真正去禁止使用含铅汽油。所以，要更具行动力的希望。我赞成——我看到了这种希望，我也怀有同样的希望。但让我们寻找比那更主动、更行动导向的希望。是的。这本书叫《If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All》，很快就要出版了。这是 Eleazar 和他的合著者 Nate Sores 共同撰写的书。Elazer，谢谢你。也谢谢你。嘿，这段剪辑到此结束。如果你喜欢看到的内容，去我们的页面订阅，就能获取完整的播客。我们几乎每周都会做一期关于科技和未来的节目。现在就去订阅吧。