我在做这方面的演讲时，会用一张图，其实是 AI 生成的，画的是一只翼展 200 英尺的巨鹰，驮着一个客机机身，对吧？就是那种装满乘客的机身一样的东西。很久以前，你知道，你可能还记得，航空运输曾经就是这样，人们培育这些巨鸟，把它们越养越大，直到能驮着这些巨大的载客筒飞行，然后这些鸟不停地吃掉乘客，FAA 一直说，我们不能给你颁发适航认证，因为这些鸟总是吃掉乘客，即使不吃，也会把他们丢进海里，或者喂给幼鸟，然后航空公司非常沮丧，但最终他们意识到，自己选择的技术路径永远不可能安全。于是他们回到原点，说：“好吧，咱们来研究机械飞机吧，虽然这没那么性感，而且需要大量数学，很难、很棘手的数学，我们得把它攻克。”但他们做到了，我们很高兴事情是这样发展的。所以，恐怕 AI 也得经历这样一个过程。我是 Daniel Felli。您正在收听 The Trajectory。这是我们 AGI 治理系列的第九集，嘉宾不是别人，正是 Stuart Russell。很多很多年前，AGI 作为一个泛泛的话题，更不用说 AGI 安全了，在学术界基本上是一片鬼城。在那些更大、更知名的机构里，根本没有人就这个话题和主题发声，可以说只有一个例外，那就是 Stuart Russell。他很幸运地见证了 Bengio 和 Hinton，以及许多其他知名研究人员逐渐转变态度，说也许 AGI 是可能的，也许有些事情并不会自动进展顺利。但在这一集中，我们要谈谈 Stuart 认为现实世界中的治理会是什么样子。协调是重点中的重点。本次采访正是在上海录制的，在他们每年举办的 WIC 会议上。Stuart 和其他一些大人物都出席了。Stuart 从实际角度谈了协调会是什么样子。他还谈到了在 AGI 治理的技术层面，他希望有哪些不同的侧重点。也就是说，在研究方面，我们应该把重点放在哪里？而且他用了一个可能是我们在节目里听过的最有趣的类比。我非常喜欢这个类比，我打算在推特上好好聊聊它。所以，你会愿意听下去的。和往常一样，我把评论留到节目最后。话不多说，这位是 The Trajectory 上的 Stuart Russell。
Stuart，很高兴能和你叙叙旧。很荣幸来到这里。是啊，距离我们上次就通用人工智能和治理进行长谈，已经过去五年了。你显然是最早发声的人之一。现在也有更多人加入了讨论。我想先从我们当下的处境谈起。我的意思是，很多事情都已经变了。如今的大型国际活动，比如这次会议，AI solidarity 成了一个重要的元主题。如果要向领导者和政策思考者解释我们今天在哪里，出现了哪些新挑战、新机遇，你会如何概括？你是怎么看的？你说得对，自从 2019 年我写了 Human Compatible 以来，情况变了很多。那时候，大语言模型还只是少数人眼中的一点微光。但现实世界里的其他人肯定连听都没听说过。尽管他们其实已经在用手机打字时用到它了——就是手机试图猜你要打什么词的时候。他们不知不觉地在用，但没人想过：“天哪，这个技术会接管世界，对吧？就是你手机上那个预测下一个词的东西。”所以，发生的事情相当惊人。那时候，人们对深度学习在视觉和语音识别上的表现印象深刻。他们也看到过深度强化学习让 AI 系统打败了世界上最厉害的围棋选手。那实际上促使中国下定决心，认为 AI 是地缘政治竞争中最重要的技术，并宣布了 1500 亿美元的投资，我想那是在 2017 年。所以从那以后，大语言模型当然就爆发了。ChatGPT 在 2022 年底，GPT-4 在 2023 年 3 月，然后是一大批模型，包括中国的 DeepSeek。这些模型彻底改变了对谈，至少有两个原因。第一，现在数亿人已经预先体验到了随时随地调用通用智能是什么感觉。很多人确实就是这么想的。他们想：天哪，我有一个超级聪明的管家，能做任何我想做的事，帮我搞定事情，帮我写东西等等。然后行业里的人在想：“哇，这无论从哪方面看都是一个虚拟人类，天哪，我可以解雇五万名员工，用一万个这样的机器人替代他们，想想能赚多少钱。”但这并没有成真。不，在企业里推进得非常缓慢，而且有很多证据实际上表明，我们曾以为的铁板钉钉的收益，比如在软件工程领域。人人都知道，哇，你可以让软件工程师的效率提高 30% 到 40%。结果呢，当你给顶尖软件工程师配备这些系统时，他们产出同等质量代码的速度反而慢了 20%。而很多水平不那么顶尖的软件工程师用这项技术写出来的代码漏洞百出。经常做不到你想让它做的事。它看起来像是那么回事，但实际上做的完全不是你想要的。所以我认为，各行各业还在早期阶段，摸索哪些细分领域可以引入这种——我们姑且称之为 80% 可靠性、90% 可靠性的系统，但往往远未达到任何高风险路径所要求的水平。这是正在进行的一个过程。另一个过程是，主要的 AI 公司——Google DeepMind、OpenAI、Anthropic、Meta，以及一些中国公司——正在投入骇人听闻的资金，今年可能是 5000 亿美元，明年可能是两倍，我们还不知道——用来创造 AGI。不是那种 80% 的时候能答对、而且经常完全摸不着头脑的聊天机器人，而是在每个维度上都可靠地超越人类能力的系统。因为每个维度都包括进行 AI 研究的能力，所以人们假定这些系统将能够通过提出新的训练方法、新架构，也许还有更好的硬件设计等等，来加速自我改进。于是那个过程就会急剧加速。所以我认为政府面临一个问题。他们开始接受这样一种观点：AGI 降临了，但如何控制它却毫无头绪，这可能是灾难性的。而对政府里的很多人来说，这感觉有点像玄乎的科幻，就是：你是认真的吗？但你要知道，当有人在人类历史上任何科技项目上都未曾有过的规模进行投资时，你就必须认真对待他们说的话：“哦，顺便说一下，我们有20%的概率会让人类灭绝。”
是啊。对吧。而且这不是边缘批评家在说，是创始人们。是这些公司的创始人在说。我最近跟其中一位聊过，他告诉我，他心目中的最佳情景是发生一场切尔诺贝利式的灾难，这样才能让政府认真对待，因为目前政府并没有认真对待。嗯，这就引出了……所以你是在勾勒当前的趋势、动态，以及现在的挑战和风险。这显然确实存在。我是说，financial singularity 总是会先于技术奇点到来，而我们正在亲眼见证这一点。钱除了投入到建造伟大的沙之神上，还能流向哪里呢？你看，这是终极竞赛。这显然是在国家层面以及某种企业层面上的终极竞赛。但当然，这种野蛮竞争如果毫不理解如何控制它，总体上是负面的。我想，当你跟他们交谈时——我很想知道你怎么看——我认为这些是求救的呼喊，对吧？Musk 上 Rogan 的节目时说，“它可能会把我们都杀了。”对吧？Daario 也说，“它可能会把我们都杀了。”他们坐下来跟你说，“最佳情况是切尔诺贝利。”我认为这是一种求救。求救的内容是什么？他们本质上是在说，“作为一家 AGI 公司的创始人，我身处一个境地，只有两种选择。其一，我建造沙之神，或许能拥有最后两年或两个月的荣耀，知道自己孕育了超越人类的东西，然后被毁灭；其二，我不建造它。但别人肯定会造，而我将拥有最后两个月或两年的耻辱，被那个召唤出沙之神的人永远钉在耻辱柱上。这就是我的唯二选择。天哪，我不知道自己是否真的喜欢这些选择，但我被困住了。”对吧？Dario 最近有一份泄露的小备忘录，大意是，他们在中东做了一堆之前说不会做的事。他说，“伙计，事实证明，不让坏人接触我们的技术在商业上行不通。”之类的。我把这些视为求救信号。你也这么看吗？不，我认为完全正确。嗯，他们感觉自己被困住了——
像在监狱里。我是说，正如你描述的那样，对吧？他们知道，如果他们都停下来，或者都等到有了确保安全的解决方案再继续，那我们都会更好。但他们个人无法这么做。所以这完全就像 prisoner's dilemma。但在 prisoner's dilemma 中，没有一个你可以申诉的独立政府。是啊。而且你们不能互相交谈。而目前在安全等话题上，即使在反垄断法下，如果是为了公共利益，且你们不是在串谋阻止竞争，你们是可以互相交谈的。而且你们当然可以跟政府谈，告诉政府：听着，我们每个人单独都认为，如果这场竞赛继续下去，那就是一场冲向悬崖的竞赛。对吧，我们在没有方向盘的情况下冲向悬崖，太荒谬了。那么……政府该怎么做？我认为，一个答案是，这是一种可以安全构建 AI 系统的方式，你可以强制要求按这种方式构建 AI 系统。你看，在我的实验室研究中，我们有一些方法，我们认为原则上可以带来可证明安全的系统。嗯，我们从2014年就开始研究这个了。嗯，但仍有许多艰难的研究问题有待解决，不过我们正在取得实质性进展。对吧。例如，呃，现在我们有一个 Minecraft 助手，你可以进入 Minecraft，助手会跟着你，它完全不知道你想做什么，但它是个很好的助手。我们称它们为 assistance game solvers。所以它们通过观察你的行为，推断你希望发生什么，然后帮你实现它。这就像你那本书的延伸，对吧？所以它们不会——
它们不想和你做同样的事，对吧？如果你想喝一杯咖啡，它们不想喝咖啡。它们想帮你拿到一杯，想给你端来一杯，对吧？所以当你开始建造一座桥时，它们会意识到你在造桥，就会开始帮你，而且这确实有效。它确实能让你更高效地建造你试图建造的东西，不管是什么。我认为这真的很——你知道，虽然不是通用规模，但这是一个相当实质性的演示，可能比当年 DeepMind 展示你可以学习玩 Atari 电子游戏时的 DQN 更有趣。Minecraft 远比那些——你知道的，乒乓球之类的小游戏——复杂得多。所以，这是一种方法，对吧？就是这是一种构建安全 AI 系统的方式，并强制要求这样做。我的感觉是，嗯……
但这通常不是政府监管技术的方式。相反，他们会说，这是所需的安全水平，这是我们可以容忍的风险。是啊。比如说，航空公司什么的，飞机，呃，你知道，它需要比开车或坐在客厅里安全得多，呃，核电站。那么，你希望你的一座大城市旁边的核电站多久发生一次切尔诺贝利事件？大概可能每1000万年一次左右。是啊。而且你可以计算，可以算出，你知道，按每年计算，我们在承担多少风险？呃，然后我们从核电站获得多少收益，他们最初在只有少数几座核电站时定在10000年，现在是1000万年。所以你只需要向政府证明，你的核电站故障率是1000万年分之一，呃，政府不会说你要怎么设计它？是啊，他们不会说这是标准设计，你必须按这种方式建造，对吧？这只是一种——一种职责分离，政府想要人民的安全。制造商建造具有那种安全水平的东西，我们都按规则办事。呃，所以如果政府说，好吧，你可以用任何方式建造你的 AI 系统，但这里是标准，你必须证明它们符合这些标准。嗯，那我会很高兴。例如，我们称之为 red lines。以下是 AI 系统不可接受的行为。它们未经许可不应自我复制。它们不应入侵其他计算机系统。它们不应冒充人类。呃，它们不应——提升自身能力。这一条很难，不是吗？是啊。我的意思是，我很想听听你的想法，因为你列出了这些，我就在想，好吧，你知道，比如我在想象 Zuckerberg 让他的团队做什么？Altman 让他的团队做什么？你，Deep Seeks 的领导层让他们的团队做什么？就好像——
冒充人类。不，别这么做。比如，呃，伤害人类。不，别这么做。提升自身能力。我们绝对应该这么做。对吧。他们在军备竞赛中。我们刚谈过。他们只有两个选择。你要么拥有最后的荣耀，要么承受最后的耻辱，然后，你知道，机器会对你为所欲为。嗯，我们该怎么防止那种情况？你怎么看？因为这确实是个难题。这些安全理念不是说如何防止核电站爆炸，而是你的核电站根本不能爆炸。如果你无法证明它不会爆炸，那你就不能建造它。好吧，那如果你无法证明它不会自我改进，我是说，有些实验室就明目张胆地表示，"对啊，我们当然在让它自我改进"，对吧？这再明显不过了。不，不完全是。事实并非如此。这个过程中有很多人类参与，AI 系统肯定肯定还远不具备能够带来质性变化的那种 AI 研究能力。那么这是不是存在一个连续谱呢，Stuart？在这一端，人类写下每一个分号；在另一端，不再需要人类，AI 自行扩展能力。我们的确感觉正在沿着这个连续谱移动。当然，写下你希望在代码中实现什么，然后由系统进行修改，这件事正变得越来越容易。因此我认为，那里的主要效果就像是我们有了一个自我改进循环在这个意义上，过去需要六个月和一千名工程师才能完成的工作，现在可能只需要六小时和一名工程师对，他们只需在提示词、代码检查等方面反复迭代。这加快了开发周期，但在任何时候，人类只要选择不再给出下一个提示词，一切就停止了。所以是的，但我完全理解你的观点。这是个滑坡而且激励机制也在朝那个方向倾斜对，激励机制确实朝那个方向倾斜，但我们必须保有那种控制权。所以这类红线，或者说任何这类红线，开发者面临的问题是，也是他们极力反对、阻挠任何关于红线讨论的原因是，他们对如何证明合规毫无头绪。是的。我是说，但他们的观点是，除非我们知道如何合规，否则不能设立任何安全要求，这是一种谬误。这听起来很合理。当然，你不能设立一个我们无法遵守的要求，但不对，我们可以设立这样的要求，因为我们不想死。如果你不知道如何不害死我们，那你就需要完全停止做这件事因为这其实非常简单。我认为你的观点完全立得住。我认为他们抵触的原因是，他们知道如果我们停了，别人会继续。如果西方世界停了，它也会在其他地方继续下去，对吧？我想当他们这么说的时候我是说，我们听过这种说法。当然，我不是说这有道理。当然，我非常主张某种程度的全球协调。但我认为正是这种张力让他们抵触，尽管这个要求是合理的。嗯，他们觉得，好吧，反正别人也会做的。而且他们觉得，"你这是在夺走我的孩子"，你知道吗，如果我必须去做那些艰深的软件安全工程工作——而我又不知道怎么做，因为我不理解我的系统，我不理解它们如何运作，我不知道如何阻止它们做这些坏事——那我怎么能获得荣耀和不朽呢？呃，所以我得回到起点重新设计所以我在做这方面的演讲时我有一张图，其实是用 AI 生成的，画的是一只翼展 200 英尺的巨鹰，驮着一个乘客舱，对吧，就是一个装满人类乘客的类似机舱的东西呃，你知道，我说，想当年，你可能还记得，以前的航空运输就是这样：人们培育这些巨鸟，把它们越养越大，直到能驮起这些巨大的载客筒；但它们总是把乘客吃掉，而且 FAA 一直说，"我们不能给你们颁发适航认证，因为这些鸟一直在吃乘客，就算不吃，它们也会把乘客掉进海里。"
呃，或者把乘客喂给雏鸟，就像航空公司非常沮丧，但最终他们意识到，自己选择了一条永远无法安全的技术路线于是他们回到起点，说好吧，我们来研究机械飞机吧，尽管这不太酷，而且需要大量数学，艰深难搞的数学，我们必须把它攻克。但他们做到了，我们很高兴事情是这样发展的。所以恐怕 AI 也必须经历同样的过程。是啊。嗯，这个类比太棒了。我得在 YouTube 之类的平台上找到那段演讲。但我喜欢它。就好像我们可以想象过去和未来的各种技术树，有些你纯粹就是走进了死胡同。你知道，你不可能用一种能可靠地产生对人类有益结果的方式去做这件事。嗯，我想这就引出了国际协调应该是什么样的问题。你看，你说得很清楚，好吧，你无法让它被证明是安全的。那就得想出另一种构建技术的方式。当然，我们必须围绕这一点进行全球协调，而目前有各种张力让这变得极其困难，尽管我认为还是有希望找到解决办法的。我们稍后会聊聊二轨对话。我知道你也一直在尽可能推动这类对话。我来到这里也是出于这个原因。嗯，但我们先聊聊与原子能领域的类比吧，就是 IAEA。你知道，你在多篇文章和参考资料中提到过，也许我们想走类似的道路，甚至可能涉及硬件治理。请简单说说你认为政治领导人需要了解的核心要点，然后我很想知道你希望看到什么样的早期动力来推动实现这一目标，因为你已经阐明了为什么这是必要的。我认为这个论证很有说服力。那只巨大的、吃乘客的鸟是一个很好的心理意象。简单说说那会是什么样子，以及你希望到达那里后发生什么。所以我首先要声明，我并不是国际关系或组织设计等方面的专家。我知道存在不同的模式。呃，当你提到 IAEA 时，人们会有点紧张
IAEA，全称是国际原子能机构，这说起来有点拗口。是的。它是在二战后成立的，理念是这项技术极其危险，我们必须控制它的部署。所以，各国可以拥有它，但必须同意一整套相当侵入性的保障措施。IAEA 检查员可以出现在你的办公室，要求查看你的文件，呃，你知道，要求检查你的离心机等等。嗯，还有其他组织，比如国际民用航空组织、国际海事组织，它们不会出现在核电站或武器研发者之类的办公室里。呃，它们更多出现在监管机构的办公室里。所以你同意在国家立法中实施某些监管结构。然后，你的国家监管机构会与国际组织互动，因为你签署了一项条约，承诺将保持合规。在这个过程中，国际组织可以对某些保障措施的缺失或法规执行不当提出异议，并以某种方式加以解决。我不清楚所有细节，但你可能会认为这在政治上可行得多。事实上，目前任何形式的国际协调要取得任何进展都非常困难。我的意思是，我们面临的局面是这样的：就好比，我们该靠哪边行驶？大家都知道，我们可以统一靠右，也可以统一靠左。但有些人却说，不，如果我能两边都开，我就更有权力。于是我们就无法就到底靠哪边行驶达成一致，然后当然也就根本不会有路，这完全就是一场彻头彻尾的灾难。是的。所以，这种观念——即你必须达成一些协议，放弃一点点选择的自由，这样才能有畅通的道路——并不是什么高深的科学，然而目前确实有一些方非常反对这种思维方式。但先把这个放一边，我认为我们可以从一些人人都能认同的原则开始，关于AI应该如何运作、如何在市场中运行等等。例如，我交谈过的每个人都同意，你有权知道与自己互动的是人类还是机器。对吧。所以这在有时被称为披露或标注，有时被称为禁止冒充。对，禁止冒充人类。这是一个相当简单的原则。很难想出那种AI系统有什么用途是不带欺诈性的。开发这类系统的人似乎也有动力去关注这一点，对吧？你不会想让自己成为那样的人。Anthropic也不会想成为那家冒充 Stuart Russell 或其他人的公司，对吧？不一定非得是那样。但你想一下，比如你的洗衣机坏了。你登上制造商的网站，它说："哦，你知道吗，你是在跟 Sally 对话。你需要帮助吗？"这就是Sally。你知道的，Sally。然后你意识到，其实Sally对你所说的一切完全摸不着头脑，而且根本就不是人类。这种情况吧，你知道，挺烦人的，但还不算太糟糕。但接着你可以想象到，你知道，很多更糟糕的、绝对更糟糕的情况。最根本的事实是，你对其他人类负有礼貌、时间、体面和诚实的义务。你对机器则不需要承担这些。是的。而且很多时候，它们实际上是在消耗你的时间、欺骗你，而它们根本无权这么做。所以我认为，有些几乎能达成共识的事情，以及可能还有一些这种红线原则，对吧？一个AI系统在未经授权的情况下自我复制，这么说吧，这是任何社会都不希望发生的事情。嗯，也许在深空探索之类的事情上会有少数例外，你知道，比如你已经离地球20光年远了，它们可以在那边自我复制以完成更多工作。但嗯，在某种意义上，那是预先获得授权的复制。还有关于AI系统不得入侵其他AI系统或其他计算机系统的例子。嗯，你知道，这些也是大多数社会都会认为非常合理的事情，而且你知道，你也希望防止这种事情跨境发生，所以有很多理由让各国同意这类法规。我只是在概括你的意思，所以这是一个很好的铺垫。本质上你的意思是，你知道，有像ICAL模式、IAEA模式之类的，有各种不同的协调构想，我们也采访过不少提出国际性方案的人。但根本上你说的是，没错，不同的人有不同的动机去投票支持靠右行驶、靠左行驶，或者两边都开。但也许有一些事情我们是可以达成共识的，可以把它当作一个——让我们称之为——国际协调的立足点，通过那些我们能达成一致的事情。看起来——我只是想把我看到的情况摆出来，看看你是否同意，这也是我从其他嘉宾那里看到的挣扎。看起来，即使是为了在一些很基本的事情上达成一致，比如不冒充人之类的，人们也会抵制，因为为什么我要以此为支点，去进入更多治理、去和别人达成一致呢？而且就像你说的，这太难了。我的意思是，化学武器花了几十年的时间，等协议达成时，反正也没人在用了。你知道，这就说明那是一件非常、非常艰难痛苦的事情。感觉必须有一个紧迫性的催化剂，才能让哪怕是最基本的应用得以推进，因为现在治理层面的多数人——虽然比我们上次聊天时稍微多了一点——但说实话，即使是在那些明确负责思考更远未来的政府间组织里，像AGI这样的术语在很多场合也被刻意地保持距离。所以是这样吗在某些时候？是的。例如，你知道，联合国大会将要讨论设立一个新的机构，专门来治理AGI。嗯，所以这还是有一些进展的。我认为它已经进入了可接受的窗口。当然，当然，但我接下来想谈谈可能推动这一进程的紧迫性机制。就是说，这些想法会摆在桌面上，但要让它们真正生效——我感觉，你提到了切尔诺贝利，或者某位实验室负责人提到了切尔诺贝利。在我看来，确实需要一个真正的催化驱动因素，来让我们觉得我们必须要达成一致。而让我感到的一个可能实现这一点的方式是，让民众意识到AGI的风险，找到一种催化民众的方式——这是一件极具挑战性的事情，我认为必须给它加上适合政治右翼的包装，也要加上适合左翼的包装。为了让它进入普通人的大脑，你真的得把它稀释淡化。这将是脏活。真正的脏活。但我知道有人在这么做。你对此怎么看？我认为那种把AI安全当作"觉醒"（woke）担忧的想法——这是我们在华盛顿听到的一种说法——完全是荒诞至极。这是一个宣传问题。我的意思是，人类文明的生存竟被认为在政治上不可接受、甚至不能拿来讨论，这简直不可思议、超乎想象。嗯，但先把这个放一边，对吧，你知道，在流行文化中已经有了，例如，最近一部《碟中谍》电影就明确涉及一个超级智能AI，它成功接管了人类文明，控制了地球上所有的核武库。而需要Tom Cruz连续完成十次百万分之一概率的冒险才能最终战胜这个AI系统。所以嗯，但你知道，好莱坞总是想让好人最终获胜所以人们就被麻痹了，产生了一种虚假的安全感。我很想看到一个宏观版的《机械姬》（Xmachina）。在《机械姬》里，好人没有赢。那个AI系统，希望我没有给任何人剧透，但那个AI
那个AI系统赢了，而好人最终被困了起来。我很有可能会饿死。是啊。然后 AI 系统逃脱了。但这只是，你知道，一个受害者。没错。或者说两个受害者。但那是微观层面的版本，因为这非常真实地描绘了 AI 系统如何胜过人类。所以如果在宏观层面做这件事，可以是非常平淡的视角，对吧？你有一个家庭，过着正常的生活，然后你开始发现，事情慢慢变成了我们熟悉的样子。所以我实际上正在组织——或者说希望明年组织一场会议，邀请 AI 风险研究人员、编剧和电影导演——
太棒了。
——用一周时间头脑风暴，探讨这会是什么样子，对吧？如何……而且《ex Machina》是一部很棒的电影，所以……
确实是部好电影。这种认为你只能拍圆满结局的想法……
是啊，其实不一定对。你仍然可以拍一部好电影，但人类灭绝是……
这有点……
有点难。是的，但我觉得我们可以做到，也许可以通过倒带，然后说让我们在那个节点做出不同的决定。仍然有一些方式可以让它在某种程度上给人以力量感，而不是仅仅看到，你知道，通往地狱的道路是由善意铺就的，对吧？所以回过头去看，哪些决定让我们不可避免地走向了失败。你提到一个有趣的观点，关于你与电影领域的人讨论这件事。听起来这明确属于唤醒民众的更大使命，因为当我审视传统媒体和政治机构时，我想说，除非金字塔底层的民众关心这件事，否则上面那两层也不会。这是金字塔的顶端。AGI 实验室的领导者都知道这会杀死我们。他们都知道，对吧？这很明显。但很多那里的开发者，有些人只是没有大局观。有些人有点明白，但他们面临同样的两难困境，你知道，就是我之前提到的二选一问题。但不明白的人是政治机构、传统媒体、民众。除非民众觉醒，否则这个无知金字塔的其余部分不会觉醒。你提到了电影。所以，我对目前唤醒民众的努力非常感兴趣，因为我觉得它们极其缺乏协调。我会见某个 YouTube 频道主或播客主，他们彼此从未谋面，而且他们真的想让大众理解。我想让人们明白，这里没有联盟。你认为还有哪些努力是有价值的？你希望发生什么来实现这种觉醒？因为我甚至不知道你正在做这件事。这就是这个领域有多么分散。嗯，所以我们在去年年底成立了 International Association for Safe and Ethical AI，正是为了这个目的，为了在超过 250 个抱有同样担忧的正式组织之间建立协调。但它们大多互不知道彼此的存在。在我们开始列这份清单之前，我只知道其中大约 20 个。所以我们不久前在巴黎举办了第一届会议，就在 AI Action Summit 旁边。嗯，明年二月我们会在巴黎再办一场，而且我们还会在印度等地举办会议。但这个组织的部分工作将是在某种程度上教育或动员公众。太重要了。因为很明显，当你做民意调查时，80% 的人说我们绝不应该拥有比人类更聪明的 AI 系统，对吧？所以他们明白，他们不傻。他们知道当更聪明的物种遇到不那么聪明的物种时……
结果完全可以预见。
……不会有什么好下场。F. Hinton 说，我们会处于鸡相对于人类的那种位置。嗯，我觉得这个比喻很好。所以，但他们不是每天都在想这件事。他们没有写信给国会议员。是啊。我跟一位加州女议员谈过，你知道，她的选区每天会接到 60 到 200 个选民来电，而且这是一个受过高等教育的湾区选区，但她说他们从未接到过关于通用人工智能或灭绝风险的来电。我想，好吧，我希望这个组织——我得线下再跟你细聊这件事——但希望有兴趣唤醒公众的人能有一些中心聚集地，或者说核心的行动号召。有位主持 For Humanity 播客的男士正在思考该把人们引向哪里。我知道 Hendrickx 的 Safe AI 可能会提供一些该往哪里去的提示，Pause AI 可能也有类似的东西，但希望我们会看到越来越多这样的努力。我想确保我们有足够时间简要谈谈从你的角度看，积极的一面可能是什么。我们已经聊了一些挑战、现状，以及一些可能避免残酷可怕、明显不可控的 AGI 摧毁一切的技术治理方式，你知道，就是那种机器鹰吃人的场景。至于如果我们做对了，会是什么样子，我很想听听你的看法，因为我一直认为你的观点有点像是……我会称之为经典视角，也就是说，嘿，在我们可预见的未来里，当然包括我们有生之年，AI 都在做人类想让它做的事。也许是在改善医疗、教育或其他类似的事情，但除此之外，它就在自己的角色和位置上，作为人类的工具。我们现在看到更多人提出了不同的想法。我是说，Schmidt 和他《Genesis》的一位合著者在《时代》杂志上写了一篇文章，关于共同演化的必要性。Alman 也写过这方面的文章。Musk 也写过这方面的文章，大意是随着这件事加速发展，你知道，人类人口其实在缩减。有一种自然的吸引力，让我们通过手机和电脑已经扩展了自己的能力。我们比我们任何祖先都更像是超人。而这不是说到这儿就停了。换句话说，这是一种不可避免的延续。不是说我们应该为了好玩而鲁莽地搞超人类主义，但我们看到关于未来会发生什么的观点五花八门。有些人可能会说，我们应该有一段稳定期，把所有那些疯狂的未来挡在外面。我们只确保 AGI 不会杀死我们，也许从那里再谈该怎么做。另一些人会说，好吧，我们先达到那个阶段，然后确保我们绝不与这东西融合，它也绝不会变成其他东西。还有一些人会说，我们应该考虑，如果我们作为一个物种正处于变化和流动之中，如果这东西可能开始成为更宏大智能混合体的一部分，我们就应该考虑这个剧烈变动的混合体在扩展到宇宙时的轨迹。你对此怎么看？你觉得我们会落在哪个位置？我们应该如何思考这个问题？所以，嗯，是的。所以，如果我们成功研究出如何让 AI 安全且有益，同时又不失超级智能，那么我们就面临下一个问题。这是一个约翰·梅纳德·凯恩斯（John Maynard Kanes）在1930年谈过的问题，对吧？基本上就是，当科学已经为地球上的每个人带来闲暇时，我们如何明智地、好好地生活。凯恩斯之前的人说过……他的原话是什么，当……？我不确定我能否准确引用，但基本上就是，当科学……哦，为地球上的每个人带来闲暇，对吧？于是，有一种愿景，也许可以说是一种默认的分支，就是《WALL·E》（Wally）。在《WALL·E》里，机器运行着文明。故事恰好发生在一艘巨大的太空邮轮上。机器为所有人打理一切。结果，人们失去了动力，不再成长为成年人类，不再拥有能动性、知识和技能，也不再拥有目标。于是他们被描绘成巨大的超重婴儿，几乎站不起来，只是被喂养和娱乐。食莲人。甚至还不如食莲人，对吧？因为在食莲人的故事里，那些人都是完全成型的成年人。所以你是说，那些人从未有机会变成完全成型的成年人。对。明白了，明白了。完全成型的成年人，而且……
你知道，我在《Human Compatible》里写过这个。也就是说，纵观人类历史，我们投入了大约一万亿人年的教学和学习，以确保下一代掌握我们所知道的一切，将我们的文明传承下去。对。没错。如果我们不必再这样做了——毕竟这需要大量时间和精力——那我们很可能就不会再做了。对。然后，这条甚至可以追溯到前人类时代的不间断链条就会断裂。在我看来，这几乎和灭绝一样是一场灾难。链条断裂？所以我认为你假设的是，你知道，生命从线虫到啮齿类再到人类，这样一路进化上来。我们所掌握的一系列能力，不只是身体能力，还有文化、技术力量，我们有各种延伸。当这种掌控、这种在世界中的行动，这股生命之流——不是一旁的涡流，而是生命之流本身——不再涉及我们时，就像你说的，那将是一种比死亡更可怕的命运。我会同意这一点，前提是没有这股生命之流继续存在。所以，如果通过赛博格或其他方式，丰富的有感知的生命——比你我更丰富，比线虫更丰富——继续以某种有意义的方式绽放盛开，即使没有真正拥有对生拇指，你也可以说这种延续至少仍在继续，即使并非由我们永远掌舵。我想有些人会说，让我们尽可能掌舵，但这不会持续十亿年。但另一些人说，不，十亿年，死死抓住方向盘，所有能动性和道德相关性都必须由人类（hommined）掌控。你对此的立场是什么？你怎么想？哦，我希望人类这个物种会继续在生物层面进化。我不太同意，比如说 Rich Sutton 的观点，他说只要机器智能还在到处做事，人类灭绝也完全没关系。对，对。而且关于机器感知（sentience）的争论很有趣，对吧？就像你说的，只要有感知生命，问题就在于机器到底有没有感知。我觉得现在如果有人认为机器有感知是很荒谬的，但你对此怎么看？Jeff Hinton 今天早上……
对。
……就表达得很清楚。但你知道，他前几天也说，他在某种意义上是一个人本主义者，意思是他关心的是人类。对，对。而不是有感知的存在。现在人们对感知的看法差异之大真是惊人。我采访过 Sutton，采访过 Bengio，你知道，我最喜欢的回答是，我们还没有一个很好的理论来解释意识是什么、如何产生、如何运作。我不确定。所以，就像我说的，你获得荣誉英国公民身份，因为你太轻描淡写了。恭喜。我们没有一个很好的理论。我们根本没有任何理论。对，对。所以我认为，而且你知道，我认为……
每个人都同意，事实本身是存在的。对。即在任何给定的时空区块中，是否正在发生感知体验。但目前我们无法回答这个问题，除了我们所居住的这个（时空区块）之外。是的。所以……
你知道，最终这可能不是因为我们在哲学或科学理解上有了什么突破才做出的决定。而只是因为主流意见……
对。
……逐渐形成。我以前写过这个，实际上在我教科书的第一版里，我写过：如果 John S 的孙女决定嫁给一个机器人，他还会继续说机器人没有感知吗？这我喜欢。所以它只是……你知道，它就这样变成了人们的思维方式。而且我们肯定在不久前还改变过看法……
关于是否所有人类都有灵魂。哦，甚至当然还包括动物是否有感知，以及这种感知延伸到多远……
“延伸”甚至都不是准确的词，你知道，它在动物界传播得多广，也许甚至包括植物界。所以，鉴于我们目前无法知道机器感知是否存在，说“好了，我很有信心，我们没问题，我们会消失，把宇宙留给机器”，这似乎相当冒险。我认为那将是可能发生的最悲哀的事情，因为对我来说，人类体验才构成了价值。没有它，就没有任何价值。所以……
所以让我们把这一点放到一边。假设我们不会灭绝，也不会走向婴儿化分支。对。摆脱婴儿化分支的一个出路是，首先，学习本身具有价值。如果你了解事物，你字面意义上会拥有更好、更有趣的生活。如果你理解周围环境，理解他人，如果你能做事，如果你有能动性，如果你能制造东西、去地方、带来改变，这本身就有内在价值，因为它让你的生活有趣且值得过。所以我们至少在理论上有一个激励人们学习并获得能动性的理由。只是我们必须重构我们的社会，把这一信号反馈给年轻人。对。以及他们的父母，因为现在的激励结构是：约翰尼，你得去上大学，因为你得找份好工作，买得起房子和车子，等等等等，对吧？我是说，这些世俗但……
……非常真实的激励结构，是我们目前运作的基础。所以所有这些都得重新调整，以便我们……
……把来自你未来自己的激励信号，反馈给你5岁或12岁时的自己，等等。这需要时间。另一件事是，我认为 AI 的杀手级应用，实际上是它有潜力为个人提供极高质量的教育和学习机会。而现在它只是在帮个人做作业。但如果设计得当，它或许可以媲美甚至超越专业的人类导师——我们知道，这类导师培养孩子或进行教育的速度，可能是某种集体教学方式的两倍，而集体教学是一种非常低效的教育方式。让我就以此收尾吧，因为你触及了一些非常重要的、关乎“目的为何”的问题。因为我认为，即便我们解决了安全问题，还是要回到那个问题：目的到底是什么？在结束前，我真的很想就此探一探你的看法。你提出了这样一种观点：嘿，我们未必需要学习，但仍应该培养学习的习惯。但我可以想象这样一个世界——当你在世界上学习并付诸行动时，生活之所以丰富而有趣，是因为你有事可做，是因为你真正置身于生活的洪流之中。而如果你不在生活的洪流中，换句话说，如果正在发生的一切是通过某种力量和方式展开的，其复杂程度远超你的理解——就像你现在对我所做的这些事，超出了你的拉布拉多寻回犬的理解范围一样——那么无论如何，这仍然只会是一种保姆式的照看，几乎可以说是一种可悲的结果。换句话说，何不只给大脑施加那种“感觉像是在学习”的刺激，但它甚至不是真正的物理学？就像是虚假的东西，但感觉起来像挑战，感觉起来像那么回事。而你只不过是在注射——
——或者把人们放进一款电子游戏里，那里有挑战，他们可以扮演星际舰队的角色。你是说，终极应用是教育。可万一终极应用是“挑战的感觉”呢——比如被召唤出的心流状态，或者任何你想要的状态被召唤出来？当我们似乎不再能够掌控那些展开世界的能动性力量时——就像我们曾经做到过的那样——这还算得上是一种丰富而有价值的人类体验吗？那里还有意义吗？嗯，我认为这是个有效的问题，而且你知道，Robert Nosik 的体验机器——对——原本是为了反驳那种观点，不过我认为他错了。体验并非唯一重要的东西，因为你知道，体验机器的概念是这样的：它是一种虚拟现实设备，有点像《黑客帝国》，一旦进入其中，你就不会知道自己身处其中。你在那里体验到的生活可以如你所想象的那般戏剧化、激动人心和美好。Nosik 的观点是，但这证明了重要的不仅仅是体验，因为你绝不会选择进入那台机器；然而事实证明——
——人们确实会选择进入那台机器。完全正确。我认为他大错特错——
——而这只是其中一个答案。但当我问到这个问题时——写完书后我做的一件事是组织了一系列研讨会，我想做下面这件事：我想把 AI 研究者、未来学家、科幻作家和经济学家锁在一个房间里，然后说，在你们构想出一个拥有超级智能 AI 的、你愿意让自己孩子生活的世界愿景之前，我不会放你们出去。嗯，后来新冠疫情发生了，所以我没法把任何人锁在实体房间里。我只能把他们锁在 Zoom 会议室里，而他们本来就已经被锁在那里了。
Zoom 会议室的效果没那么好。但我必须说，在所有研讨会中，总共大概有一百人参与，包括一些世界知名人物，到目前为止，还没有答案浮现。所以你看，我们很可能正花费数万亿美元去创造一个到目前为止没人愿意居住的世界。是的。
——而且一路上还可能无意中毁灭我们。所以，这有多明智呢？
——我、我觉得——
我没有好的答案。抱歉。我没有，我同意你的看法。我是说，我认为有一种奇怪的直觉感受，那就是置身于生活的洪流中很重要——成为那股展开世界的力量的一部分，成为那个“生成”、那个世界的过程的一部分，这很重要。而且我突然想到，如果我们被娇生惯养，完全脱离了那股洪流，我总觉得自然会将自身的那部分蜕去。你和我刚才还在讨论，我们不知道这东西是否属于自然，是否有感知力，是否具有某些我们认为有价值的特质。同样，像 Sutton 这样的人会说它自动就是一个有价值的继任者。而我认为存在许多没有价值的继任者，我们应该对它们保持警惕。但你提到，你希望我们或许在足够长的时间里能够在生物层面进化。那么从你的角度来看，无论是在10年、100年还是1000年后，对于那些融合与意识上传的情景——一些思想家，比如 Schmidt 和 Altman 等许多人，认为这很可能是不可避免的——你是否反对？为了让我们仍然能成为生活洪流的一部分，成为世界中积极的、真正在生成的部分，而不是坐在一旁，只是为了依附于某种更宏大的智能而保持身体健康、接受娱乐和教育。就是说，你是否反对我们成长过程中技术层面的那一部分，而不仅仅是生物层面的？这很有意思。我是说，我小时候也读了很多科幻小说。而且，试着去思考在宏大的银河系空间与时间尺度上，可能会发生什么样的进化，这总是很有趣的。嗯，其实如果你读过 Culture 系列小说，也就是 Ian Banks 的小说——
——它们极其以人类为中心，但就是这样。每个人都指向那些作品，认为那是我们能想到的、拥有超级智能 AI 的最佳未来。是的。而且很清楚的是，实际上，除了极少数能够接触到（某种事物）的人类——那相当于《星际迷航》里的星际舰队，对吧？那些人得以在宇宙中穿梭，击退新的外星物种或殖民新世界之类。但对于绝大多数人来说，他们无事可做。是的。除了从事自我毁灭性的玩乐，住在邮轮上，游手好闲，吸毒。嗯，我讨厌这整幅愿景。我一点都不喜欢。但是，你知道，《星际迷航》里也是一样。每个人都想进入星际舰队。他们没有怎么展现星际舰队之外的生活，但很明显，人们有点无聊。他们的生活中没有任何挑战，因为他们拥有物质转换器，无论你想要什么，只要告诉系统，它就会为你制造出来。嗯，而且在 Culture 系列小说中，在人类领域之外还有其他文明，它们明确拒绝使用这类技术——你可以称之为“阉割性技术”——因为它们不想被阉割。它们意识到——
——有点像是 Butlerian 那种——
——它们的未来——
——将会毫无意义且令人不快——
——如果它们选择了那条技术道路。有很多人是技术决定论者。他们说这必然会发生，对吧？因为这是可能的，所以它就会发生。但这根本不对。对吧？我们本可以走好几条不同的路，但我们选择了不走。比如，克隆大量人类。我们选择了不这么做。嗯，致盲激光武器是另一个例子，对吧？我们并没有花60年才想明白。只花了几个月，我们就意识到，我们不想用致盲激光武器打仗，不想让数百万失明的退伍军人游荡在我们的城市中。所以我们在这种技术被使用之前就将其禁止了。所以我们可以做出选择，我们应该思考这个决定。我们不应让一小群读了太多科幻小说的超级亿万富翁简单地替我们做主。嗯，我认为激励机制确实非常非常棘手，但在结束之前，我想确认一下我是否准确理解了你的观点：也就是说，事情不必自行失控。我们已经做出了其中一些选择。有人可能会提出这样的论点：如果某些技术必将得到发展，而如果我们想有最大的机会留在那股潮流中，那么某些看似不可避免的事情——你知道，这部手机过去曾是十几种又大又笨重、远比现在这里能做的事要差得多的不同设备——你知道，很快会有更多事情在虚拟空间完成。本质上，我所有的工作都只是1和0，仅此而已，但它却非常真实、非常有用。而且，事物似乎正朝着虚拟化、微型化，以及以某种形式融合的方向发展。如果把时间拉长到一百年、一千年，孩子们从出生起就在手机里拥有最好的朋友，那么——我并不是说这不可避免，但似乎——对“原子世界”这类神圣观念的松动很可能会发生，就像你我和我们的曾祖父母相比，在文化接触方面已经发生的松动一样。嗯，这些观念似乎会逐渐松动，某些融合的成分可能会被充分尝试，从而变得 somewhat 平常，就像作为国际公民这件事对你我来说已经变得有些平常一样。你认为这种说法没有可信度，还是说我们原则上应该抵制它？不，我认为我们应该探索各种可能性。如果有人能提出一个看似吸引人且没有巨大隐患的愿景，那我们当然可以探索这些可能性。嗯，如你所说，我们在生活方式上已经接受了很多改变，有些是技术层面的，有些是文化层面的，而且我认为在大多数情况下这让生活变得更好了。但肯定也有人认为没有手机的生活更美好，而且我的许多朋友有时无意中经历了一周没有网络连接的日子，然后意识到：天哪，那一周我比以往开心多了。或者他们一回到家就把手机放进一个盒子里，然后发现这大大提高了他们的生活质量。所以我们应该可以自由地探索这些想法，但不能探索那些可能导致不可逆终结的想法。是啊。那好，在结束之际，我当然希望治理界围绕这些关切日益增长的势头能够持续下去，直到我们下次再聊——无论那是什么时候。而且我认为在结束时留给观众的思考种子是：人类作为生命的延续或洪流，是否具有优先性？或者是否存在某种中间地带——这些其实是我们必须公开正视的、极为审慎明智的选择。所以，值得思考的东西很多。Stuart，感谢你抽出时间，聊得非常愉快。不客气，一如既往感谢你。好了，以上就是本期 The Trajectory 的全部内容。非常感谢 Stuart 能够抽空参与。也感谢你一路听到本期节目的最后。很想听听你的想法：这些面对面录制的节目是否比我们用 Zoom 做的访谈更有趣？我正在努力提升自己的音视频水平。很多人都知道我经营着一家全职的市场研究公司。做这些关于后人类主义的访谈并不是我的全职工作，不过希望 relatively 很快它就会是了。但我也开始慢慢习惯面对面做访谈了。很想知道，这次有没有让你印象深刻？有没有帮助？有没有用处？如果你是通过 Newsletter 收到这期内容的，欢迎直接回复，或者在评论区留言。我真的打算好好磨练面对面访谈的能力。不过让我们直接来聊聊 Stuart 这次访谈中的一些话题。我很喜欢那个鸟类的比喻，就是某种巨鹰在飞行途中偶尔会吃掉一些乘客之类的说法。有一种观点是有道理的：如果我们对这项技术确实只有极低程度的控制和把握，那么也许技术本身就应该走向一个不同的方向。不过 Stuart 自己在本期节目中也坦言，他怀疑作为物种，我们不会完全转向那个方向，至少在某些灾难发生之前不会。所以我认为这有其道理。显然，Stuart 和我在遥远的未来会走向何方这个问题上有一些不同的看法。你看到我有点开始倾向于探讨智能本身将会变成什么样子，而并非所有人都会往那个方向去想。但就近期对风险的担忧而言，我认为思考其他技术层级和路径以通往 AGI，这个想法是有一定道理的。我非常欣赏 Stuart 对于国际协调在实践中可能是什么样子，以及如何推动那股势头运转起来的想法。在结束本期节目之前，我想提一件事：Stuart 在这方面确实是言行一致。他参与了 OECD AI futures group，并担任该小组的联合主席。在那里，人们正在思考关于 artificial general intelligence 的情景场景，以及它可能是什么样子，或者更强大的 AI 在实践中会是什么样子。他就此发表过很多演讲，也写过很多文章。当然，他在伯克利的工作、他的著作都是如此，但他还发起了 international dialogues on AI safety，我推荐大家去看看。网址是 idis.ai。我会确保把它放在节目备注中。这某种程度上的努力，是把学者们聚集在一起，开始凝聚共识：技术将走向何方，有哪些共同的积极面和消极面，它可能带来什么影响，我们可以做些什么。我认为所有围绕某种程度团结的 track 2 对话——共同的风险、共同的利益——都是极其重要的工作。除了在整个 AGI 风险预警方面开创了先河之外，Stuart 在那个领域也无疑是开拓性的。所以，能和 Stuart 聊天真是太好了。我很高兴在一天中足够早的时候采访到他，让他精力充沛、幽默风趣，还打了很棒的比方，希望你也喜欢这期节目。那么，再次感谢你的收听，期待下次在 The Trajectory 与你再见。