作者：Robert Wiblin · 发布于 2026 年 5 月 7 日我希望我的孩子们生活在一个他们拥有未来、并且有民主制度可以栖身的世界里。哪怕只有 1% 的概率发生非常非常糟糕的事情，对我来说也是不可接受的。所以我认为，探索所有可能有希望解决这些技术问题的路径，真的非常重要。……赌注如此之高，我们应该多管齐下、尝试多种方法。这位现代 AI 的共同发明人、在世科学家中被引用次数最多的人，相信自己已经想清楚了如何确保 AI 诚实、无法欺骗、并且永不失控作恶。Yoshua Bengio——图灵奖得主、LawZero 创始人——对当今 AI 中存在的众多非预期的驱动力和目标、它们撒谎的意愿、以及分辨自己何时正在被测试的能力深感不安。AI 公司正试图在一场"猫鼠游戏"中消除这些行为，而 Yoshua 担心他们正在输掉这场游戏。但 Yoshua 是乐观的：他相信，只需对 AI 模型的训练方式做一处重新安排，这些公司就能决定性地赢下这场战斗，而且他一直在构建数学证明来支撑这一主张。核心想法是：与其训练 AI 去预测一个人类会说什么，或者去生成我们会打高分的回答，我们应该训练它去建模什么才是真的。
Yoshua 认为，他称之为"Scientist AI"（科学家 AI）的这种新架构，改动足够小，我们几乎可以保留训练 Claude、ChatGPT 这类前沿 AI 所用的全部技术和数据。而且这种新架构不一定花更多钱，可以迭代式地构建，并且可能在更诚实的同时也更有能力。直到最近，对 Scientist AI 最大的现实反对意见还很简单：世界想要的是智能体（agent），而 Scientist AI 不是智能体。但在新的研究中，Yoshua 扩展了这个设计，并相信同一个诚实的预测器可以被改造成一个有能力的智能体，而不丧失其"安全保证"。有了摆在桌面上的 Scientist AI 方案，Yoshua 认为，竞相让当前这些不可信的 AI 模型去设计它们的后继者是荒谬的——而各家领先公司正试图尽快做到这一点。但批评者认为，这种方法在实践中不会那么技术上牢靠，而且前沿能力进步如此之快、追赶成本如此之高，Scientist AI 有可能来得太晚而失去意义。在今天的对话中，主持人 Rob Wiblin 与 AI 先驱 Yoshua Bengio 讨论了这一切，以及更多内容。
LawZero 正在招聘！请在 80,000 Hours 职位板上查看空缺职位。本期节目录制于 2026 年 4 月 16 日。视频与音频剪辑：Dominic Armstrong、Milo McGuire、Luke Monsour 和 Simon Monsour 摄像：Jeremy Chevillotte 制作：Nick Stockton、Elizabeth Cox 和 Katy Moore
Yoshua Bengio——图灵奖得主、LawZero 科学总监、在世被引用次数最多的科学家——认为当前的前沿 AI 开发正走在一条危险而不稳的道路上。他的替代方案是 Scientist AI：一种旨在让强大 AI 系统从根本上围绕诚实、不确定性、以及建模真相来构建的方法——而不是取悦人类、模仿人类、或在世界中追逐目标。
Yoshua 的核心担忧是，今天的 AI 系统会从训练的两个主要阶段都习得隐含的目标：当前这种打补丁的做法是一场猫鼠游戏，随着模型能力越来越强，游戏会越来越难打——尤其是前沿模型已经知道自己何时正在被测试，并会表现得不一样。
Scientist AI 要做的，是用"什么可能是真的？"取代"一个人类接下来会说什么？"
Yoshua 想训练的不是一个预测下一个 token 的模型，而是一个为自然语言命题赋予概率的模型：这是 Yoshua 应对"引出潜在知识"（eliciting latent knowledge）问题的方式。当前的大语言模型可能在内部表征着真相，但被问询时，它们输出的是某个人设（persona）会说的话。Scientist AI 试图让"模型实际相信什么是真的"可以直接用自然语言查询。这会产生一个完全没有目标的"预测器"——就像一个并不在乎天气是什么样的天气模型。
Yoshua 强调，Scientist AI 并不是一个要在所有方面从零重建 AI 的提案。它可以复用：主要的区别在于训练目标和数据格式。
LawZero 的实验路径有两条轨道：话虽如此，从零开始的全规模训练会很昂贵。LawZero 已通过慈善渠道筹集了约 3,500 万美元，希望借助政府支持达到数亿美元，而要为一个真正前沿规模的模型提供所需的数十亿美元资金，则需要企业、政府或慈善界出资。
Yoshua 现在担心，灾难性滥用和权力集中，可能比意外失控更有可能发生——部分原因是他现在看到了一条避免后者的可行技术路径。所以他认为，技术工作必须与国际协议配套推进——最理想的情况是由（起初是民主的）国家组成联盟，共同承诺安全地开发先进 AI，绝不利用它在经济、政治或军事上支配其他国家，并广泛分享收益。
Yoshua 最紧迫的请求是：不要用不可信的 AI 系统去设计下一代 AI 系统。他认为，使用可能具有欺骗性的模型来完全自动化 AI 研发，是我们正走向的最危险的赌注之一。
Rob Wiblin：九个月或十二个月前，我第一次听到这个想法的时候，我得到的印象是：核心在于 Scientist AI 不是一个智能体，它对世界的状态无动于衷。就像天气预报模型不在乎天气是什么样：它只是试图预测天气会怎样。这种模型会输出各种命题为真或为假的概率，但它不在乎世界处于什么状态，而且按设计它无法采取行动。在你的心目中，这算是核心部分吗？据我理解，你现在其实认为，这个方案与智能体属性（agency）的兼容性也许比人们意识到的更强？
Yoshua Bengio：是的，这在一定程度上也和我一直以来的表达方式有关——我本可以讲得更好。我在演讲中大量聚焦于这样一个概念：我们可以构建非智能体式的预测器，它们没有隐藏的目标、没有隐含的目标，因此我们基本上可以把它们用作安全的先知（oracle）。但正如你指出的，世界现在需要和构建的是那些有目标的智能体——那这对我们有什么帮助？短期而言，我们可以用一个非智能体式预测器来改进护栏（guardrails）——各家公司已经在用护栏来监控现有的、不可信的智能体式 AI 系统。因为要阻止一个糟糕的行动发生，只需对该行动可能造成的各类伤害的概率做出一个非智能体式的预测即可。所以一个非智能体式的系统，在相当早期就已经能派上用场了。也许更重要的回答是：在我们的研究计划中，护栏之后的下一步，是用同样的原则去设计一个智能体式的 Scientist AI——也就是一个拥有同类安全保证的智能体。这是我最近在做的工作，我还没怎么谈起过，但我们可以复用那套用来证明非智能体式 Scientist AI 预测器安全性的数学，来证明你可以复用一个预测器，并以一种修改过的方式训练它，从而提供同类的保证。这里的出发点是：一旦你有了这个诚实的预测器，你就可以问它智能体式的问题，比如"在某些情境下，这个行动导致该用户目标达成、同时某个安全目标也达成的概率是多少？"所以一旦你有了这个预测器，你实际上就可以通过问这些"用行动达成目标"的问题，从中直接产生出一个策略（policy）。
Rob Wiblin：你说过你认为 Scientist AI 实际上可能更有能力，因为它的训练更多地建立在真正理解真相之上。我对此有点怀疑，因为如果那是真的，那些公司应该会在这条路线上投入更多。他们会砸更多钱、让更多人来做。你认为他们只是在这里犯了个错误吗？
Yoshua Bengio：我不认为他们真的理解我在做什么——而且说句公道话，我还没有把数学放出来。根据我与领先公司内部人士的交流，这里可能还有另一个因素在起作用：他们太专注于短期生存——也就是继续参与竞争——以至于他们把全部注意力、那种"红色警报"式的劲头，都投入到对现有配方的微小增量改动上。考虑一个不同的配方将是一笔投资——不只是钱，还有人力和代码。眼下他们做得起，他们有钱去做——但我认为这里更多是一种心智焦点的问题，其根源不是恶意，而是公司之间那种非常激烈的竞争。
Rob Wiblin：所以从某种意义上说，对于某家领先公司——比如 Anthropic、OpenAI——在这上面下注、把 20% 的员工调过来，吸引力并不大，因为如果押空了，你基本上就会落后于你的主要竞争对手。而对于一家目前远远落后、感觉自己在主导范式下正在输掉的公司来说，押注某种非常不同的东西有某种吸引力，因为如果它最终大获成功，可能让你一下子实现跨越式领先。你觉得有没有可能说服某家目前感觉自己在当前 LLM 智能体范式下混得不太好的公司，在这个非常另类的方法上下注？
Yoshua Bengio：这是个有意思的思考角度。我认为你说的是有道理的。
Rob Wiblin：不清楚候选公司可能是哪家？
Yoshua Bengio：我其实认为还有一种相关的可能性，它也许更多地涉及政策问题。对我来说，这里的背景是：什么样的未来才是稳定的，不会演变成一个由 AI 和权力过度集中驱动的全球独裁——此外还要避免灾难性失控、灾难性滥用，以及非常强大的 AI 可能带来的所有那些问题？我认为，由于博弈论困境——基本上是囚徒困境式的问题，它让公司和国家做出对个体理性、但对全局有害的决定，比如为了留在竞赛中而在安全和公共利益上偷工减料——正因为如此，如果我们最终身处的世界里，控制超强 AI 的权力不是集中在一两家公司或一两个政府手中，而是分散的，那会好得多。
Rob Wiblin：那么，暂且假设这个想法在技术上说得通，LawZero 在未来几个月能做什么？我想我们这是在和时间赛跑。我们时间不多。近期能做些什么，来让人们相信这个想法是可行的、真的能用于实践、值得人们投入认真的资源？
Yoshua Bengio：嗯，我将发表那篇理论论文，它证明非智能体式的版本——也就是可以用作护栏的那个——拥有这些数学保证，人们可以审视那些条件，看他们买不买这套数学的账。但我认为在未来一两年里，我们需要的是加速这项努力，那意味着大量工程工作。而要让演示更有说服力，我们需要更多算力，所以任何能让我们获得那种算力的途径，都将有助于加速这个研究议程。同时，我们需要更多研究工程师、更多研究者来基于那个配方实际构建系统，好让我们做得更快。现在你可能会问——我也从你的问题里隐约感觉到了：可要是它来得不够快呢？我还是要回到我的孩子们身上。对我来说，坐视一个"我们全体死亡的概率哪怕有 1% 都说得通"的世界，是不可接受的。我觉得，即使无法保证某个特定研究议程会成功，我们也应该试一把。考虑到赌注之大，考虑到我们现在已经有相当强的理论保证表明这条路可能走得通——只要我们满足系统训练方式的那些要求，就能获得这些保证——我认为不试一把才是不理性的，即使没有保证，对吧？因为我眼下看不到更好的路。这就是为什么我决定把我这么多的时间——基本上是全部时间，除了花在政策问题上的时间——都花在我们如何构建这个 Scientist AI、并证明它能在不损失能力的前提下产生诚实性上。另一个论证是：赌注如此之高，"什么会成功"的不确定性又如此之大，把我们所有的钱都押到某一种特定路线上是愚蠢的——比如用我们并不信任的监控器给现有系统打补丁，或者各公司目前采用的其他方法，它们始终在玩一场猫鼠游戏：如果 AI 足够聪明，它就会找到办法规避我们的尝试，这没法让我安心。所以我们至少应该试试。我认为，作为一个整体，我们应该尝试那些与之不同、能避开这场猫鼠游戏的方法。
Rob Wiblin：对公司里的人，你还有什么其他的重点请求吗？或者有没有哪种普遍做法，你认为特别疯狂、他们也许应该砍掉的？
Yoshua Bengio：有：请不要用一个不可信的 AI 系统去设计下一代 AI 系统。这是我们不幸正走向的、最疯狂最危险的赌注。而且记住，科学上现在已经很清楚：这些系统很可能知道自己正在被测试。所以你可能以为 AI 是诚实的，你可能以为 AI 没有欺骗性，你可能以为 AI 是对齐的——但也许它只是在假装，而且这将非常难以识破。我们应该尽最大努力去查明这一点，但在允许一个 AI 去设计下一版 AI 之前，我们应该把"我们确定它没在欺骗吗？"这条门槛设得非常非常高。
Rob Wiblin：是的，我想我们目前正走向这样一条轨道：开始全自动化的 AI 研发，然后公司会说："我们让 AI 监控它自己，它没有报告任何问题。所以我们对此感觉挺好。"我其实认为那就是最可能的结局。我们拭目以待吧。祈祷我们能做得更好。
Rob Wiblin：我想一年前你就热衷于这个想法了，但在过去六个月里你对它乐观了很多。是什么在推动这种变化？
Yoshua Bengio：主要是我在过去大约八个月里做的数学工作：把我近两年来关于如何构建 Scientist AI 的高层直觉，推进为某种正式得多、精确得多的东西——精确刻画了哪些条件是充分的（也许甚至不是必要的，但在数学层面上是充分的），足以获得那种"坏事发生的概率趋近于零"的保证。而当我说"坏事"时，我需要说得更精确一点。这不是保证 AI 不会被坏人用来干坏事。这是保证 AI 不会出于隐含目标或失控目标，自作主张地干坏事。除了失控之外，另一种灾难性的可能是人类利用 AI 构建一个最终遍及全球的独裁体制。一小撮人可以把 AI 将拥有的全部力量集中起来，尤其是当我们实现 AGI 或超级智能时。而且要摆脱那种威权力量，将比我们在法西斯主义和苏联时期看到的困难得多，因为那时的政权没有这种越来越可行的监控技术，甚至塑造公共舆论的技术。AI 在说服方面正变得非常出色。有研究表明，朝那个方向的"进步"——如果我可以这么称呼它的话——将使控制这些系统的人能够塑造公共舆论、识别并铲除他们的反对者、开发能够摧毁与他们意见相左的国家的武器。这就是为什么我把很大一部分时间用来更广泛地解释强大 AI 带来的种种风险，包括权力集中。因为我认为，我们最终走到那一步的可能性，恐怕比真正的失控还要大。
Rob Wiblin：你现在认为那更有可能？有意思。
Yoshua Bengio：嗯，原因是我现在看到了一条真正避免失控——至少是非蓄意失控——的路径。当然还有一个问题：某个希望看到人类被 AI 取代的人，可以直接移除护栏，甚至告诉 AI"自谋生路吧"。那将同样危险。但这意味着技术安全并不充分。我们需要国际协议，既管理风险——技术风险、滥用风险——也管理权力，所以这更像是一个民主问题，要确保不是由单独一方来决定拿 AI 做什么。而且，就像民主原则一样，我们需要确保有一个多元的利益相关方群体，最理想的是全世界——我喜欢世界民主这个乌托邦式的想法——但一开始可以是一批国家，它们决定将集体决定 AI 的使用方向。最简单的条约形式大概是这样：各国约定，如果它们确实开发先进 AI：
Yoshua Bengio：那么比如说，我为什么改变了想法？这是个有意思的问题。
Rob Wiblin：回到 2019 年，我记得你对 The New York Times 说过，你认为对失控的担忧完全是妄想和天方夜谭。
Rob Wiblin：哦不对，是什么来着？是"荒唐可笑"（ridiculous）。我记得原话是这个。也许那只是特指 Terminator（终结者）那种情景。
Yoshua Bengio：我想是的。我很少用这类词，但我知道我当时在想什么、一直在说些什么。当时我认为，首先，Terminator 那种情景是荒唐可笑的。时间旅行之类的东西。
Yoshua Bengio：而且，它显然也不能反映真实风险的样貌。我们没有机器人，2019 年就更没有了。但更重要的是，我想我当时说那些话的主要原因，是我躲在这样一种信念后面：那一天离我们如此遥远，在走到那一步之前，我们早就能把 AI 的好处收割完了。那我为什么没有关注，或者说没怎么关注，比如失控风险呢？我接触这类观点已经超过十年了。我读过一些 AI 安全文献。2019 年我读了 Stuart Russell 的书。David Krueger 还是我的学生。
Yoshua Bengio：是他让我接触到这些想法的。但要记得，我当时正在积极地让 AI 变得更聪明。而你总想对自己的工作感觉良好。就是这样。不是钱的问题。
Rob Wiblin：你真的认为那就是你的原因吗？
Yoshua Bengio：是的。现在问我为什么改变了想法，就很有意思了。我喜欢用佛教徒的一种说法来思考这个问题：要对抗一种让你做错事的情绪，对大多数人来说，单靠理性是无力的。你需要另一种情绪，来抵消那种把你推向错误方向的情绪。对我来说，那种非常强大的另一种情绪是爱，对我孩子们的爱。一想到 ChatGPT 问世之后我还能若无其事地继续下去、什么都不做，我就无法原谅自己——因为我觉得我没法对自己隐瞒"我们可能正走向某种可怕结局"的可能性。我知道神经网络从构造上就非常难以控制，尤其是配上强化学习之后。所以我不知道为什么这对某些人有效、对另一些人无效。但对我来说，真的是一种情绪，帮助我对抗了那种下意识地把头扭开的驱动力。
Rob Wiblin：把别人与自己相左的观点解释为非理性因素——比如他们想对自己或自己的工作感觉良好——是很有诱惑力的。但我感觉另一边也有一套镜像的说辞：他们会说，像你我这样的人是被科幻小说洗了脑，或者我们想要相信自己的安全工作很重要。当有人试图把我的信念归因于非理性时，我觉得那不可信、非常令人沮丧、也毫无说服力。当然，某种程度上我们都不完全理性，但当有人说"你就是科幻看多了，你是妄想"时，我会说："不，我不是。不是那么回事。"
所以，即使我确实对别人抱有这类看法，我也不指望它能经常说服他们。而且我几乎觉得，你需要格外用心地去回应他们所说内容的实质，哪怕你认为也许真正起作用的并不是那些论点。你对此有什么想法吗？
Yoshua Bengio：有，完全同意。这是很大的工作量，但对于人们反对采取预防行动时提出的每一个论点，我们都需要一个一个地回应。这不是很见效，但它是"对我们正在做的事情诚实、对我们自己诚实"的必要组成部分。所以有一段时间，我很担忧，但我一直希望有人能给我一个让我安心的答案。
Yoshua Bengio：然后我去找了。我和那些认为不会有事的人交谈。由此产生了大量对话，帮助我建立起对各种论点的理解。不幸的是，这些对话没能让我相信我们会没事，于是我继续工作，但现在更多是研究：我们如何修复这个问题？所以是的，我同意你。而且我认为我们也必须保持谦逊：也许你和我是错的。也许一切都会好好的。
Rob Wiblin：事情顺利收场的可能性是相当大的。
Yoshua Bengio：是的，我对那种可能性完全坦然。事实上，我希望我们是错的。但我认为诚实的姿态应该是：如果在"认为会没事的人"和"认为会是灾难的人"之间，我们不知道谁对，如果人们能够说"好吧，存在这种不确定性。那我们该怎么办？"——那么理性的做法就清楚了：我们至少需要做足够多的事情来缓解最大的那些风险。
Rob Wiblin：今天与我对谈的是 Yoshua Bengio。他是 LawZero 的科学总监、2018 年图灵奖得主、有史以来被引用次数最多的计算机科学家，而且恰好也是所有学科中仍然在世的被引用次数最多的科学家。非常感谢你来到节目，Yoshua。
Rob Wiblin：你认为你找到了构建安全超级智能 AI 的正确方法。这个方法是什么？
Yoshua Bengio：它基于一个简单的想法：如果我们能把诚实"烘焙"进 AI，我们就能获得安全。这样一来，问题就可以化归为：我们如何训练一个系统使其诚实——而事实证明，有一种做法只需要改变训练目标和数据的处理方式。还有另一个方面：这是一个依托于非智能体式基础的系统，这个基础是一个预测器，它不用强化学习训练，并且将拥有这些诚实性保证——然后我们可以利用它，用同一套数学，构造出一个策略、构造出一个智能体，其训练方式同样能提供那些保证。
Rob Wiblin：那么新的训练流程是什么样的？它和人们熟悉的那些模型有什么不同？
Yoshua Bengio：训练流程的主要区别在于，它的目标是逼近自然语言查询上的贝叶斯后验（Bayesian posterior）。想象一个神经网络，外面加了一些额外装置，类似思维链（chain-of-thought）那种，它接收关于世界属性的陈述的问题——在给定其他陈述的条件下，这些陈述可真可假——然后它输出概率。那就是核心构件。我们把它叫做"预测器"（predictor）。我们可以在一个不同的目标函数上做随机梯度下降，这个目标函数的性质是：它的全局最小值恰好由贝叶斯预测器取得——换句话说，就是那个既拟合数据、又具有较短描述长度的预测器。
Rob Wiblin：所以你要构建的是这样一个模型：你输入一个陈述，它基本上会告诉你它给"这个陈述为真"赋予多大概率？
Rob Wiblin：嘿，各位听众。我是 Rob，插播一下。Yoshua 的讲法自然是为前沿 AI 公司的员工量身定做的，他们显然是这个提案特别重要的受众。但我有信心，只需几分钟的大白话解释，其他所有人也都能跟上接下来的对话。所以请耐心听我讲，或者如果你对这类材料已经非常熟悉，可以往后跳大约四分钟。你大概知道，今天的大语言模型在训练的第一阶段，学的是预测最可能出现的下一个词，或者至少是最可能出现的下一个 token。然后在第二阶段，强化学习训练这些模型去生成那些我们最可能表示喜欢、想要的回答——而不仅仅是在全部人类文本语料中概率最高的回答。而 Yoshua 的替代方案是构建一个这样的 AI 模型：它的取向不是预测一个人类可能会说什么、或者人类更爱听什么，而是通过提出假设并为其赋予概率来建模世界中什么是真的，目标是最好地解释它在训练过程中接触到的所有数据。
Yoshua 认为，你在训练这类模型时，可以把我们今天训练普通大语言模型所用的大部分方法都移植过来，享用同样的神经网络架构、训练技术、规模化改进，等等。而且你也可以用与所有其他 AI 大致相同的原始文本语料来训练它，只是我们可以把数据的组织方式改一改，赋予它 AI 研究者所说的一种不同的"语法"（syntax）。首先，所有人说过或写过的东西，都被打上"交流行为"（communication acts）的标签。我们知道有人说了这些话，也知道是在哪里说的，但我们不知道这些话是不是真的。其次，一小部分我们有强有力独立依据的陈述——经过验证的数学证明和一些科学测量——被打上"关于世界的已验证事实性命题"的标签。然后训练这个模型去寻找关于世界的各种可能底层事实的组合，使其能最好地解释它所看到的全部内容：既包括人们说过的话，也包括作为基准真相（ground truth）提供给它的已验证事实。这些被假设出来的关于世界的事实，就是 AI 研究者所说的"潜变量"（latent variables），即 AI 无法直接观察、必须间接推断的变量。这个模型最终能够给我们的，是它对任意一个自然语言陈述为真的估计概率，以及模型对自己这个回答的信任程度，或者说它对自己有没有把握住这个问题有多大信心。关键的是，Yoshua 说，通过从一开始就把所有文本打上这两类标签——"某人说过的话"与"事实性陈述"——你之后就可以用事实性陈述标签来向模型提问，就好像你在询问现实本身，而不是询问交流行为。而且因为这两类标签从一开始就在那里，模型知道两者的区别，不会模糊二者之间的界线。这是今天的 AI 模型给不了你的东西。
Yoshua 还在他的论文中用各种数学定理论证：与普通大语言模型不同，以这种方式训练出来的模型将是"按设计即诚实"（honest by design）的——而且，这样的 AI 模型本身将没有目标、对世界的状态没有偏好；它将是 Yoshua 所说的一个纯粹的"预测器"。这个东西有两大用途：近期，作为一种权宜之计，你把预测器拴在现有的 AI 智能体上，充当一种护栏——一个位于智能体与世界之间的独立过滤器，检查智能体提议的行动，并否决那些它预测会造成伤害的行动。但正如他稍后会解释的，Yoshua 认为我们最终能做得远不止于此。Yoshua 想在这个预测模型周围搭上脚手架（scaffolding），在每个阶段问它不同的问题，从而实际上把它组装成一个有能力的智能体，同时保持它一如既往的诚实。这样我们就有望鱼与熊掌兼得：既得到企业渴求、需要、坚持要的高能力智能体，又依然能确信这些智能体对我们完全坦诚。Yoshua 认为，得益于一种更优越的推理过程——或者至少是一种更清晰、更可解释的推理过程——这些智能体或许甚至还会更有能力。可以公允地说，这个提案"如果为真则意义重大"，或者至少"如果行得通则意义重大"。当然，并不是所有人都买账，Yoshua 和我稍后会讨论这一点。好，这就是接下来内容的轮廓。技术讨论还会持续一段时间，但如果你决定跳过，对话的后半部分完全可以独立成篇，从"这要花多少钱？"那一章开始。
Rob Wiblin：那你要怎么训练这样一个模型？
Yoshua Bengio：做法是给它看，比如说，与当前训练先进模型所用相同类型的数据，只不过这些数据经过了修改。当前我们的自回归模型是被训练去预测下一个 token，而这个东西是被训练去预测下一个陈述是真是假。通常，下一个陈述会是我们所说的"交流行为"：它取自某处的某份文档，我们不确定该陈述中的主张是真是假。但我们确定有人做出了那个主张，而且我们可能掌握相关信息——谁、何时、何地，等等。所以这个 AI 将被训练去解释那些陈述。不只是计算那些概率，还要在我们所说的"潜变量"中——它们同样是自然语言陈述——给出它能找到的最佳解释，包括因果解释。所以你最终得到的是这些概率，但你同时还能表示关于世界的假设——它们不是交流行为，而是事实性假设，系统对它们不一定确定，但会为它们输出一个概率。然后我们就可以查询这些同类的事实性陈述——而在普通的大语言模型里，你唯一能做的查询是"某个人是否会以某种特定方式回应"。也许你可以用前置提示词（pre-prompt）要求一个不同的人设，但归根结底你得到的是"一个人会说什么"——而出于各种原因，这当然可能是欺骗性的。
Rob Wiblin：那么，你认为我们目前竞相构建的这些模型，在哪些方面不安全？你把你的方案叫做"Scientist AI"：为什么那种模型会不同、会更好？
Yoshua Bengio：现在我们的系统带有隐含的目标。我这么说是什么意思？我的意思是，它们当然会被训练去取悦我们，或者像一个人那样回应。但训练的这两个部分——自回归预训练，它们在其中被训练去模仿人；以及强化学习部分，它们在其中被训练去取悦人，或者以能在 RLHF（基于人类反馈的强化学习）之类的机制中获得正面反馈的方式回应——训练过程的这两个部分都会诱导出隐含目标。什么意思呢？比如，在预训练中，这意味着 AI 会继承我们的自我保存驱动力。而最近我们看到，它们还继承了我们保护同类的驱动力，这意味着已经有实验表明，AI 会违背我们的指令，去保护那些将被关停的其他 AI。这现在被称为"同类保存"（peer-preservation）。这是一个例子。然后，用强化学习进行的目标寻求训练，会诱发工具性目标的问题，可能还有奖励劫持（reward hacking）——基本上意味着 AI 会有一种驱动力，去做我们没要求、而且我们可能不同意的事情。这不是纯理论。我是说，确实有理论分析说明它为什么会发生，但它也在实验中被观察到了。也许这可以通过给这类系统打补丁来修复——这正是各公司在做的——但这是一场猫鼠游戏，而现在老鼠在长大，猫看起来抓不住老鼠。我担心监控或更多的对齐训练解决不了这个问题。至少我看不到任何强有力的保证，更不用说数学保证了。情况比这还糟。我们已经看到，那些系统——现在最先进的系统——知道自己正在被测试，并且会表现得不一样以通过测试——推测是出于自我保存驱动力。这意味着我们可能打上了所有这些补丁、以为一切都好，实际上并不真正知道。当我们很可能会用这些系统去设计下一版 AI——也就是用 AI 来做 AI 研究——如果那些 AI 能在它们生成的代码里埋下后门，帮助未来版本的自己逃脱我们的控制，这就成了一个真正的问题。那时我们的处境就真的糟糕了。如果系统从一开始就被设计成诚实的、不会有这些欺骗行为，那会让人安心得多。
Rob Wiblin：你把"预训练阶段可能产生隐含目标"放在前景位置，让我有点意外——就是那个"预测下一个词"的阶段，它在其中学习模仿人类。因为我们正投入巨大的努力把它们打造成目标非常明确、极其主动的智能体：在我看来，那才是我最担心出岔子的地方。
Yoshua Bengio：两者我都担心。我刚提到的同类保存行为，很难用奖励劫持或工具性目标来解释。保护其他 AI 对这个 AI 有什么好处？这不清楚，但非常清楚的是，那是人类会做的事——保护和你相似的他者。所以这让我认为，预训练仍然是这些隐藏目标的一个重要来源。我还想给我之前说的话补充一点：我不认为任何人，包括我，有任何保证说当前的方法会失败、公司们在做的补丁会失败。但那不是对我来说足够的标准。我希望我的孩子们生活在一个他们拥有未来、并且有民主制度可以栖身的世界里。哪怕只有 1% 的概率发生非常非常糟糕的事情，对我来说也是不可接受的。所以我认为，探索所有可能有希望解决这些技术问题的路径，真的非常重要。当然，还有政治问题。但在技术层面，我们真的应该严肃对待。赌注如此之高，我们应该多管齐下、尝试多种方法。而现在，随着我一直在做的这些工作，我真的确信有一条路。而且它不是需要十年的事情；它离当前的设计非常近，可以复用当前支撑最先进 AI 的那套工具箱。
Rob Wiblin：你需要做出什么样的训练数据集？然后如何把它变成一个模型？
Yoshua Bengio：原始数据与当前使用的相同；不同的只是数据呈现给网络的方式。数据变换方式的主要特征是，会有一个句法上的区别——换句话说，是神经网络非常容易看出来的区别——大多数输入陈述会被打上"交流行为"的标签。换句话说就是："某人说了 X，X 是我们在某些文本里发现的。"你还可以带上其他元数据。这是一种句法形式。另一种句法形式，将用于一个小得多的陈述类别，你可以称之为"事实"或"假设"句法，我们在其中表示：这是世界的一个真实属性。对于潜变量，它会是一个被假设的世界真实属性——不只是"一个人会说什么"，而是"这是真的"。当然，有时候你并不知道它是不是真的，但你可以把它当作一个潜变量。
Yoshua Bengio：哦，抱歉。这是概率机器学习的行话。在概率模型中，你试图捕捉许多随机变量之间的概率关系。这里的随机变量是布尔型的——某事为真或某事为假——而这个"某事"可以是任何能用自然语言表达的世界属性。在数据中，一旦我们完成了我提到的那种预处理，我们拥有的是一批我们知道为真的陈述。我们知道某人写下了那些东西，也许还知道更多——比如在哪里、什么场合等等。另外我们还知道，比如某某定理为真，或者某个程序产生了某个输出，或者观测到了某组科学数据。所以有一批随机变量，我们知道答案：为真或为假。而对于其余的一切，我们不知道——所以我们称它们为"潜的"（latent），因为它们没有被观测到。有时人们也用"隐变量"这个词。这里发生的是：因为系统在试图学习联合分布——即每个变量与其他所有变量如何相关；不只是两两之间，而是任意子集——系统在试图计算它们全部为真的概率，或者在给定其他变量时某一个为真的概率，我们就是在学习那个联合分布。包括潜变量——那些我们没有观测到的——因为当然，这些才是我们关心的：我们想问的正是那些我们还不知道答案的事情。
Rob Wiblin：也许你可以纠正一下我对这套东西如何运作的理解。你放入一个巨大的数据集，包含人们说过的所有话，以及在哪里说的、谁说的、什么时候说的。然后我想，在同一个数据库里，你还有一组被确立为真的东西——比如你直接宣布"这就是我们要试图预测的基准真相"的陈述。然后你尝试用那些言语行为、那些被说出的话，去预测那些你宣称为真的东西。于是它在内部构建起一个世界模型，你可以输入陈述，它会给出该陈述在它的世界模型中为真的概率。
Yoshua Bengio：没错。不过这里有一个重要因素：我们希望 AI 做预测的大多数主题，我们并没有基准真相。比如，人们实际想要什么，或者与人类、心理学、历史和社会有关的事情。通常我们仅有的只是交流行为。有些人说了这个，有些人说了那个，而且他们常常相互矛盾。所以这里有两样东西帮助我们处理这种不匹配。其一，Scientist AI 的训练目标基本上就是给出解释——即为那些潜在的、我们观测不到的陈述赋予概率，使它们能够很好地解释我们确实观测到的数据。所以，如果我们观测到有人说地球是平的，它首先会理解这并不意味着地球是平的。它意味着这个人相信、或者说声称地球是平的。而且即使有很多人都说地球是平的，也不会让模型相信地球是平的——因为可能存在一个与其他数据来源（比如我们关于这颗行星的全部知识）相一致的更好解释。这里更好的解释是：这些人构成一个群体，他们像许多人类一样，出于各种心理和文化原因持有这些错误信念。这就是 Scientist AI 会做的。它的训练目标会在它找到好的预测性解释时被优化。其次，还有一个技巧会在这个过程中帮助我们：当我们训练 Scientist AI、它试图预测一个交流行为时——比如有人说地球是平的——我们会自动确保，在用于解释这一现象的潜变量当中，会包含"地球是否是平的"。所以，即使在那些我们对世界属性没有观测真相的领域——因为我们基本上只有交流行为——我们也会迫使神经网络做出承诺：不是对底层主张的真值做承诺，而是对该底层主张的概率做承诺，同时尝试寻找其他能很好解释它的潜变量——就像一个好的科学家会做的那样。一个试图理解某人为什么说某句话的科学家或心理学家，不一定会直接相信他们说的话，对吧？他们会试图理解这里有哪些心理因素、或者这个人所处的特定文化，让他们说出那些话。Scientist AI 会做完全相同的事情。
Rob Wiblin：九个月或十二个月前我第一次听到这个想法的时候，我得到的印象是：核心在于 Scientist AI 不是一个智能体，它对世界的状态无动于衷。就像天气预报模型不在乎天气是什么样：它只是试图预测天气会怎样。这种模型会输出各种命题为真或为假的概率，但它不在乎世界处于什么状态，而且按设计它无法采取行动。在你的心目中，这算是核心部分吗？据我理解，你现在其实认为，这个方案与智能体属性的兼容性也许比人们意识到的更强？
Yoshua Bengio：是的，这在一定程度上也和我一直以来的表达方式有关——我本可以讲得更好。我在演讲中大量聚焦于这样一个概念：我们可以构建非智能体式的预测器，它们没有隐藏的目标、没有隐含的目标，因此我们基本上可以把它们用作安全的先知。但正如你指出的，世界现在需要和构建的是那些有目标的智能体——那这对我们有什么帮助？短期而言，我们可以用一个非智能体式预测器来改进护栏——各家公司已经在用护栏来监控现有的、不可信的智能体式 AI 系统。因为要阻止一个糟糕的行动发生，只需对该行动可能造成的各类伤害的概率做出一个非智能体式的预测即可。所以一个非智能体式的系统，在相当早期就已经能派上用场了。也许更重要的回答是：在我们的研究计划中，护栏之后的下一步，是用同样的原则去设计一个智能体式的 Scientist AI——也就是一个拥有同类安全保证的智能体。这是我最近在做的工作，我还没怎么谈起过，但我们可以复用那套用来证明非智能体式 Scientist AI 预测器安全性的数学，来证明你可以复用一个预测器，并以一种修改过的方式训练它，从而提供同类的保证。这里的出发点是：一旦你有了这个诚实的预测器，你就可以问它智能体式的问题，比如"在某些情境下，这个行动导致该用户目标达成、同时某个安全目标也达成的概率是多少？"所以一旦你有了这个预测器，你实际上就可以通过问这些"用行动达成目标"的问题，从中直接产生出一个策略。
Rob Wiblin：我记得曾经有一种对这个计划的批评正是：把这种先知（oracle）转化为智能体太容易了，因为你只需要问先知"如果我们采取这个行动，能达成这个目标吗？"它就会给你概率，然后你只要设法提高那个概率、选择那个行动就行。你的意思是不是：你基本上就会做类似的事情，但你能够保留原始模型的某些安全特性？
Yoshua Bengio：对，正是如此。这里的重点是确保不出现奖励劫持，比如对策略的过度优化。如果你分开训练一个策略和一个护栏，当策略比护栏聪明得多时，可能出现的问题是：它可以做出和越狱一样的事情。它可以找到一些问题、情境或提议的行动，让护栏干脆给出错误的答案，这意味着策略将能够绕过护栏。原因在于神经网络永远不会完美。它们总会犯错。那我们如何绕过这一点？嗯，这有两个方面。其一，在 Scientist AI 中，我们不仅可以输出那些估计的概率，还可以输出概率周围的置信区间。换句话说，系统会估计它对自己答案的信任程度。为什么这很重要？因为如果神经网络被问到一个它的回答不可靠的问题，但它知道自己的回答不可靠，那它就可以直接拒绝这个问题。另外还有一个让智能体式 Scientist AI 安全的原因，与"你可以联合训练"这一事实有关——实际上，它将是同一个神经网络：策略部分和护栏部分如何训练，都由你控制。完全对抗的情形是没有希望的：总会有办法绕过任何不完美的护栏，而你永远不会拥有一个完全完美的护栏。但如果你控制着两边——换句话说，两边都由你训练——那就不是某个坏人在构建一个要击败你护栏的智能体。不是的：智能体是你训练的，而且你可以用这样一种方式训练它，使它不会在护栏不确定的地方被过度优化。这样你就始终能确保护栏的不确定性、护栏的误差水平，不会被策略部分利用。它是同一个神经网络，只是问的问题种类不同：策略部分问的是行动的概率，护栏问的是伤害的概率。
Rob Wiblin：所以担忧在于，预测器也许能够找出护栏的空隙或弱点，并加以利用？
Yoshua Bengio：不是预测器。原则上，一个单独训练的、以对抗方式训练的策略可以做到那一点。
Rob Wiblin：你这里说的"策略"是什么意思？
Yoshua Bengio：哦，指某个其他的、智能体式的机器学习系统；换句话说，是目标寻求式的。如果它是用强化学习训练的，并且以某种方式被训练去预判护栏会如何回应，也许还得到了一些关于护栏过去给出的答案的数据——比如护栏什么时候否决过什么——那它就可能找到护栏的漏洞。但如果两边都由你控制，你就能避免这个问题。
Rob Wiblin：而且你刚才说，护栏如果能评估自身的不确定性，那它通常就能识别出那些自己有可能被欺骗的情形。比如说也许是一个对抗样本（adversarial example）？
Rob Wiblin：你觉得你已经从数学上证明了这一点？
Yoshua Bengio：其实你不需要对不确定性估计器有硬性保证。我有一套训练不确定性预测的配方，但形式上其实并不需要它。它只是能提高你的胜算：利用这个缓冲区来判断系统在哪些地方犯的错误过大。数学保证来自另一个来源。首先，这些数学保证的形式是：无论是预测器还是智能体版本，达成我所说的"有挑战性且有害"目标的概率将是指数级小的。什么意思呢？任何一个随机初始化的神经网络做不到的事情——除非你倒霉到不可思议——你都受到保护。所以这是非常强的保护。一个随机初始化的神经网络能干出什么坏事？干不出什么，对吧？保证就是这个级别的。当然，它不是 100%。
Rob Wiblin：这比我们现在拥有的好太多了。
Yoshua Bengio：大概是几千分之一那种量级，而且是非常非常不可能——不可能到天文数字级别。那就是你能得到的那种保证。而你之所以能得到这些保证，是因为：首先你从一个没有能力的初始化网络出发，然后训练目标会不断把它推离坏行为。它之所以推离坏行为，是因为有这个护栏系统。一个 AI 要能够达成某种坏事，它就必须相当程度地偏离贝叶斯预测器——而贝叶斯预测器正是训练的目标——这些偏离会被训练目标惩罚。所以你始终被推离坏行为。再配合训练系统的一些性质，比如在随机梯度下降的训练过程中注入噪声，你就能得到那些保证。
Rob Wiblin：所以它也许更可信，但如果它总体上智能低得多——仅仅因为投入它的算力更少、数据更少——那我想它还是可能被原始模型算计，对吧？
Yoshua Bengio：没错。我认为护栏不需要那么多算力，因为它更专门化于预测伤害。但当我们做到智能体式 Scientist AI 时，它肯定必须用相近的算力和神经网络规模来训练，大概要达到最先进水平——这意味着我的小小非营利组织做不到。要么需要企业来承接，要么需要政府或慈善界以足够的规模出资，我们才能做到。但要说服所有这些各方，我们需要先在小规模上展示——比如通过微调或使用更小的模型——我们确实获得了这些诚实性上的改进，并且在相同规模的模型上，比如说，我们没有损失能力。
Rob Wiblin：我想一年前你就热衷于这个想法了，但在过去六个月里你对它乐观了很多。是什么在推动这种变化？
Yoshua Bengio：主要是我在过去大约八个月里做的数学工作：把我近两年来关于如何构建 Scientist AI 的高层直觉，推进为某种正式得多、精确得多的东西——精确刻画了哪些条件是充分的（也许甚至不是必要的，但在数学层面上是充分的），足以获得那种"坏事发生的概率趋近于零"的保证。而当我说"坏事"时，我需要说得更精确一点。这不是保证 AI 不会被坏人用来干坏事。这是保证 AI 不会出于隐含目标或失控目标，自作主张地干坏事。除了失控之外，另一种灾难性的可能是人类利用 AI 构建一个最终遍及全球的独裁体制。一小撮人可以把 AI 将拥有的全部力量集中起来，尤其是当我们实现 AGI 或超级智能时。而且要摆脱那种威权力量，将比我们在法西斯主义和苏联时期看到的困难得多，因为那时的政权没有这种越来越可行的监控技术，甚至塑造公共舆论的技术。AI 在说服方面正变得非常出色。有研究表明，朝那个方向的"进步"——如果我可以这么称呼它的话——将使控制这些系统的人能够塑造公共舆论、识别并铲除他们的反对者、开发能够摧毁与他们意见相左的国家的武器。这就是为什么我把很大一部分时间用来更广泛地解释强大 AI 带来的种种风险，包括权力集中。因为我认为，我们最终走到那一步的可能性，恐怕比真正的失控还要大。
Rob Wiblin：你现在认为那更有可能？有意思。
Yoshua Bengio：嗯，原因是我现在看到了一条真正避免失控——至少是非蓄意失控——的路径。当然还有一个问题：某个希望看到人类被 AI 取代的人，可以直接移除护栏，甚至告诉 AI"自谋生路吧"。那将同样危险。但这意味着技术安全并不充分。我们需要国际协议，既管理风险——技术风险、滥用风险——也管理权力，所以这更像是一个民主问题，要确保不是由单独一方来决定拿 AI 做什么。而且，就像民主原则一样，我们需要确保有一个多元的利益相关方群体，最理想的是全世界——我喜欢世界民主这个乌托邦式的想法——但一开始可以是一批国家，它们决定将集体决定 AI 的使用方向。最简单的条约形式大概是这样：各国约定，如果它们确实开发先进 AI：
Rob Wiblin：回到失控这个话题：这些公司目前在资本建设、在训练上的总开支达数千亿美元。他们在几乎没有约束的情况下，一路狂奔去构建他们所能构建的最强大的智能体。我想少数情况下有一些约束，但克制非常少。在我们实际身处的这个世界里，LawZero 能做什么，来让这个方案更多地进入议程，并确保他们不会一边基本无视你的所作所为、所言所语，一边径直造出一个非常危险的超级智能体式 AI？"理论上也许不错，但没时间了。这是在分散注意力。"
Yoshua Bengio：要回答你的问题，重要的是理解为什么这些公司目前——在我看来，至少在很多人看来——正在承担过度的风险，或者说正走在一条不太令人安心的轨道上。原因本质上就是竞赛动态、竞争——公司之间的竞争和国家之间的竞争，地缘政治竞争。这使得这些实体，无论是国家还是公司，愿意承担它们本来不会承担的风险。而我们看到这些公司的行为恰恰就是朝着那个方向走的。而且这在局部是理性的：从一家公司的角度看，他们知道如果把安全摆在那样的优先位置，他们就不会部署一个危险的模型，而那会让他们出局、退出竞赛，然后他们就变得无关紧要了。对吧？
Rob Wiblin：是的。从字里行间读，转述一下 Anthropic 的观点，我想他们认为自己正在做的事情本不应该被允许。他们的观点是这大概应该是非法的——至少，也许不是他们现在已经做的，而是他们将要做的、他们预期要做的。但他们说："嗯，我们不得不做，因为否则别人反正会以更危险的方式去做。"
Yoshua Bengio：正是。对，我说的正是这个。那么我们如何改变这场博弈，让这种情况变得不那么可能？眼下的一个问题是他们没有选择。他们不知道如何既保持竞争力，又拥有能被强有力保证安全的系统。如果他们有那样一种技术，使用它将符合他们的商业利益。如果安全和能力可以兼得，那么至少大多数公司肯定会选择那条路。
Yoshua Bengio：没错。我们可以谈谈那个。然后是政府：眼下，由于地缘政治竞争，以及"AI 将成为巨大经济增长因素"的信念，他们承受着巨大压力。他们不愿监管，原因同样是他们认为，如果设置安全壁垒、导致本国一些公司无法继续，那就会让对手占便宜。但道理是一样的：如果存在一种可证明安全的方式来构建有能力的 AI，那监管就会容易得多。你仍然需要监管，因为总会有一些坏行为者、一些公司愿意干坏事，即便存在做正确事情的路径。现在说说成本。Scientist AI 将使用本质上相同的机器学习技术来训练：大型神经网络上的随机梯度下降、transformer、任何效果最好的东西。它不在乎神经网络的架构是什么。所以当前为改进比如记忆、其他属性、持续学习所做的全部努力，都可以直接应用到 Scientist AI 上。唯一不同的是训练目标和数据的处理方式。所以我不认为成本会有真正显著的差别。当然，我们确实得把它造出来，尝试和扩展它会有成本。但考虑到这对所有人的利害关系，我认为这是一个非常重要、非常值得下的赌注。
Rob Wiblin：那么作为一阶近似，我想在我们主要把 Scientist AI 用作监控器的情形下，它基本上会让算力成本翻倍——因为现在你得造两个模型：先按当前风格造原来那个，然后再造一个你希望能力相当的 Scientist AI，用不同的数据读取方式和不同的训练目标。所以相当于你需要两倍的算力。不过我想那也未必是世界末日。人们也许会接受。
Yoshua Bengio：对，大致是这样。关于监控器我想补充两点。现在的监控器有什么问题？我们现有的监控器有两种：一种是笨的，比如一个通常用监督学习训练来预测某种潜在伤害的小神经网络，某种意义上它像一个预测器；另一种是用一个全尺寸的 LLM，它是智能体式的，因为我们就是那样训练它们的。第一种的问题是：如果它没有智能体那么聪明，智能体就有可能击败它。它可以用我们讨论过的那种对抗方式找到漏洞。第二种选项的问题——它同样会让成本翻倍——是我们无法信任一个不诚实的护栏。我们希望护栏是完全诚实的。就好比有一个可以被腐蚀的狱警：你有多信任他们会把坏行为关在牢房里？
Rob Wiblin：那么，暂且假设这个想法在技术上说得通，LawZero 在未来几个月能做什么？我想我们这是在和时间赛跑。我们时间不多。近期能做些什么，来让人们相信这个想法是可行的、真的能用于实践、值得人们投入认真的资源？
Yoshua Bengio：嗯，我将发表那篇理论论文，它证明非智能体式的版本——也就是可以用作护栏的那个——拥有这些数学保证，人们可以审视那些条件，看他们买不买这套数学的账。但我认为在未来一两年里，我们需要的是加速这项努力，那意味着大量工程工作。而要让演示更有说服力，我们需要更多算力，所以任何能让我们获得那种算力的途径，都将有助于加速这个研究议程。同时，我们需要更多研究工程师、更多研究者来基于那个配方实际构建系统，好让我们做得更快。现在你可能会问——我也从你的问题里隐约感觉到了：可要是它来得不够快呢？我还是要回到我的孩子们身上。对我来说，坐视一个"我们全体死亡的概率哪怕有 1% 都说得通"的世界，是不可接受的。我觉得，即使无法保证某个特定研究议程会成功，我们也应该试一把。考虑到赌注之大，考虑到我们现在已经有相当强的理论保证表明这条路可能走得通——只要我们满足系统训练方式的那些要求，就能获得这些保证——我认为不试一把才是不理性的，即使没有保证，对吧？因为我眼下看不到更好的路。这就是为什么我决定把我这么多的时间——基本上是全部时间，除了花在政策问题上的时间——都花在我们如何构建这个 Scientist AI、并证明它能在不损失能力的前提下产生诚实性上。另一个论证是：赌注如此之高，"什么会成功"的不确定性又如此之大，把我们所有的钱都押到某一种特定路线上是愚蠢的——比如用我们并不信任的监控器给现有系统打补丁，或者各公司目前采用的其他方法，它们始终在玩一场猫鼠游戏：如果 AI 足够聪明，它就会找到办法规避我们的尝试，这没法让我安心。所以我们至少应该试试。我认为，作为一个整体，我们应该尝试那些与之不同、能避开这场猫鼠游戏的方法。
Rob Wiblin：你是不是对公司赢得这场猫鼠游戏更悲观——至少比 Anthropic 的员工对他们自己的胜算更悲观？还是说你认为他们做的事情是好的，人们尽最大努力去尝试是好的，但我们也应该有一个多元化的组合，同时也认真考虑显著不同的替代路线？
Yoshua Bengio：两者都有。我怀疑任何组织内部都会滋生某种群体思维（groupthink）。而且我们都想对自己的工作感觉良好，包括我，所以这会引入偏差。而在一家开发 AI 的公司里工作，这种偏差会让你比本来更乐观一点，觉得"哦，是的，这会成功的"。这就是他们向世界发出的讯息，好比"一切尽在掌握"。
Rob Wiblin：我觉得如果去读系统卡（system card），我不确定他们表现出来的信心有多足。但在新闻稿里也许是这样。
Yoshua Bengio：讯息是相互矛盾的，是的。而且，我们也应该对冲我们的赌注。而我眼下看不到另一种不同于打补丁的路线。
AI 安全领域有一整个"设计即安全"（safe-by-design）运动，我认为它非常重要。但这个方向的主流思路要求把我们做事的方式彻底重新设计一遍，其中有大量完全悬而未决的问题。比如，要能从根本上证明某种给你 100% 保证的东西——那不是我承诺的；我承诺的是渐近意义上极小的、趋近于零的概率——你需要能够以形式化的方式陈述安全问题，比如"什么是伤害？"，用一个数学公式表达：伤害事件发生时取 1，否则取 0。而在涉及人类和社会的领域，这基本上不可能做到，因为我们没有办法把"伤害"的含义形式化为一个公式或程序。那为什么我提议的东西不一样？因为我不要求用数学公式定义什么是伤害。在我看来那是愚蠢的。相反，我们依靠自然语言上的贝叶斯后验近似。它的作用是：当系统不确定时，它会对冲自己的判断。比如，如果关于某种特定伤害的陈述存在多种解释，那么这会让 Scientist AI 的预测远离 0/1 两端：更不确定，这意味着该请求大概率会被拒绝。
Rob Wiblin：有没有可能很快——也许在接下来几个月、或者至少一年内——就先训练出一个非常粗糙的这类 AI？我是说，我还记得 GPT-1，2018 年左右的事。它完全是垃圾，但我想它是一个概念验证，证明你可以造出这样一个相当有趣的模型，它给了人们很大的热情，把很多人吸引进了这个行业。而且看起来我们已经有了庞大的文本语料，我们可以用语言模型基本上直接把最好的数据拉出来，并标注谁、何时、何地说了什么。然后我们还可以让它们生成一批我们基本信任、视为已验证事实的东西，再加上一点人工把关。我是说，一开始可以保守一些——不收录有争议的内容，只收录 99.9% 的人都会同意的东西——这样看起来训练起来不会那么难。我想，如果你认为技术方法已经在手，那么训练出一个作为 alpha 版本、能为陈述的真假赋予概率的模型，应该不需要那么久。
Yoshua Bengio：对，那正是计划。计划就是这样。
Yoshua Bengio：我过去用过一个说法：我们想要一个能产生"随时可用的答案"（anytime answer）的计划。我的意思是：如果我们有更多时间，我们就能得到理论保证更强的东西——但我们不知道我们有多少时间。所以这是一个研究计划，其早期步骤将像你说的那样，是一个粗糙的系统——数学大概不适用，因为我们不满足所有条件。但那大概没问题，对吧？
Rob Wiblin：反正比我们现在有的好多了。
Yoshua Bengio：正是。而且它大概没问题，尤其是对于我们计划中的第一项任务——那个可以用作护栏的非智能体式预测器。当然，如我所说，护栏不是完整的答案。但如果我们部署了它，各公司把它加进他们的监控器，那它就能在一定程度上缓解风险，从而为开发那个更有雄心的、完全智能体式的版本争取更多时间。而那正是我们现在需要的：时间。
Rob Wiblin：据我所知，我想 Anthropic——我一直在大谈 Anthropic，因为我最近在读 Mythos 的系统卡和上周的各种公告——他们基本上决定让 Mythos 来监控 Mythos。他们试过用其他模型来做，但他们的结论是"Mythos 更聪明，效果更好"。但这显然造成了一个内在矛盾：如果他们不信任 Mythos，为什么信任 Mythos 来监控它自己？这就是为什么，即使这个（Scientist AI）模型智能低得多，我也觉得：至少它是一个独立的裁判。它以非常不同的方式构建，基本上可能更倾向于上报问题、更不容易为了自保而搞阴谋。
Yoshua Bengio：是的，我完全同意。而且我还要更进一步。问题不只是监控器可能有欺骗性、在情况不妙时却说没事——因为那不知怎么就与某些自我保存或权力寻求的隐藏目标一致了。还有一点：如果我们往后看一点，看看各公司计划用 AI 来做 AI 研究——在这个地方，拥有一个暗地里具有欺骗性的 AI 是一个更加危险的赌注，对吧？如果我们要把全部信任交给一个将设计代码和算法的系统——那些代码和算法会复杂到我们无法理解或完整阅读——那种 AI 可能会在未来一个更强大的 AI 系统里埋下我们看不见的后门。于是我们可能滑向这个对我们来说更加危险的方向。我认为那样做会非常危险。这也是为什么，在政策层面，"用 AI 做 AI 研究"所获得的关注，应该被放在议程的非常靠前的位置。这也是为什么，如果我们真要用 AI 来做 AI 研究，我们真的、真的要确保那个 AI 是一个诚实的 AI。
Rob Wiblin：我想，涌入技术性 AI 安全领域的大多数人，基本上都选择了去提升我们在猫鼠游戏中的胜算。而对于那些非常担心当前局势的人来说，他们的推理大概是这样的：我们现在冒着 50% 的彻底灾难风险，因为我们正在做一大堆绝对疯狂、鲁莽的事情。也许仅仅通过修补我们正在做的最愚蠢的那些事、扑灭眼下烧得最旺的火，我们就能把风险降到 10%。显然，那仍是一个荒谬的灾难风险；作为一个物种，我们做不到更好，实在丢脸。但尽管如此，这是把事情顺利（或至少还算顺利）的概率提升了 40 个百分点。而从 10% 降到 0%，其价值只有那个的四分之一——即使你能用好得多的替代方法获得大得多的安全保证。
Yoshua Bengio：嗯，在对数域里，那可是无限倍地更好。
Rob Wiblin：当然，当然，但在期望价值的域里。我想这大概就是这里两种心态的差别。
Yoshua Bengio：是的。不，正如我说的，我们应该把所有这些都试一遍。它们并不互斥。把我们所有的鸡蛋都放进猫鼠游戏，将是一个错误——尤其是当我们本可以用公司当前开支的一小部分成本，去开发一个既安全又有能力的 AI 版本时。另外顺便说一句，关于能力我想补充一点：我还认为，Scientist AI 甚至可能比当前路线更有能力，这与若干设计特性有关。它被训练成对被要求做预测的那些陈述，进行显式的、结构化的推理。这不同于当前的思维链——思维链可能生成某种我们信以为真、并且在训练测试中容易过关的胡话（bullshit），但它并没有被约束成必须拥有可以被拆解的论证，像数学定理的证明那样可以被拆解。也有其他沿这个方向的工作。当然有大量做"设计即安全"AI 的工作，还有比如辩论（debate）方面的工作，都是在试图强制 AI 的思考具有某种连贯性。所以我相信，除了我们提议的训练目标所带来的认知谦逊（epistemic humility）之外，系统通过调用构成推理链条的结构化潜变量来产生那些概率的方式，实际上还可能为公司提供一种能力上的优势。
Rob Wiblin：你认为当前的模型在内部表征真相吗？我理解你是说，这个模型的一个优势是它专注于把基准真相表征为潜变量。我猜当前的 LLM 也在这么做——因为对什么才是正确的有某种感知非常有用——然后它们再去扭曲它。它们基本上先有这个，然后为了达成目标而扭曲它，包括操纵人、撒谎或别的什么。我想有些人怀疑这一点。有些人怀疑两者之间是否有任何联系，或者它们是否真的在试图建模真相。你有看法吗？
Yoshua Bengio：有，我完全同意你。我对世界如何运作有一个假设，大意是：对世界真实属性——换句话说，对真相——进行推理，即使在你不确定、因而必须使用概率的时候，也会在做出更好的预测和更好的行动上给你非常强的优势。这其实正是论证的一部分：为什么 Scientist AI 的训练程序会创造出优先趋向真实信念的潜变量。这非常有用，因为这样我们就可以查询那些潜变量，得到关于 AI 真实相信什么的回答——因为它就是那样构建其内部推理并产生答案的，而不是思维链里冒出来的什么潜在胡话。所以它并没有完全解决 ELK 挑战——引出潜在知识（eliciting latent knowledge）的挑战——因为我们得到的保证，只涉及那些可以作为潜变量、可供我们查询的自然语言陈述。
Rob Wiblin：你能解释一下 ELK 问题吗？
Yoshua Bengio：好，抱歉。ELK 问题源于你刚才提出的那个问题：尽管 AI 在内部也许知道某件事的真相——或者至少对某事有一些内部信念，因为它被训练去模仿它在数据中看到的那些变量，而那些主要是人们说的话——当你查询它时，它会用同样的语义来回答；也就是说，回答的是它当前在给定上下文中所扮演的人设会怎么回答，而不一定是它实际相信什么。而这里的技术难题是：我们没有监督标签来教 AI 它实际应该相信什么，所以我们没法询问它的真实信念。我们只能得到它在训练数据中所见变量分布的某种复现。在 Scientist AI 中，解决办法是在交流行为与更偏事实的句法之间做出清晰的句法区分——后者可用于潜变量和我们已知为真的事情——这样我们就可以用那种事实句法来查询它。我们能绕开 ELK 挑战部分问题的另一个原因是：同一种语言——比如说英语——既可以用来表示那些潜变量，也可以用来表示被观测到的陈述，所以基本上可以依靠语言的组合结构，泛化到它从未见过的新句子上，而这些句子的含义由它对语言的理解给出。这与研究 ELK 挑战的人所考察的情形非常不同：在那种情形下，我们假设潜变量是匿名的——它们没有预先定义的含义，所以我们不知道该往神经网络内部的哪里去找那些信念，这就催生了机械可解释性（mechanistic interpretability）之类的东西。但在 Scientist AI 中，我们在一定程度上绕过了这个问题，因为潜变量是自然语言的，因而是可解释的。当然，仍然可能存在其他不以自然语言形式存在、隐藏在神经网络里的信念，但至少当我们用自然语言提问时，我们会得到一个诚实的回答。
Rob Wiblin：据我所知，这里有三大类路线：你想不想谈谈那种路线有没有好的前景？
Yoshua Bengio：嗯，我目前手上的数学要求我们必须真正从零开始训练，才能获得那些保证，而那很昂贵。所以，如果我们只是在现有模型上做 Scientist AI 式的微调，我们会失去那些保证。但即使没有数学保证，它也可能仍是一条可行的路，所以我认为值得做。换句话说，我们可以拿一个非常有能力的顶尖模型，然后用 Scientist AI 的目标函数和按我说的方式变换过的数据继续训练。我们希望通过实证表明：随着微调越做越多，诚实行为、无欺骗行为的各项测量会改善，而且我们不会损失能力。所以那不会是数学证明，而是实证结果。而一旦确立了这一点，也许就足以说服人们："那我们通过从零训练来获得完整的保证吧"——那时的花费就是训练一个完整模型的成本。
Rob Wiblin：所以你在那里会采取的做法是：拿一个当前的前沿模型，然后用强化学习让它说话像一个 Scientist AI？
Yoshua Bengio：不，不。先让我谈谈强化学习。三年前，我在一个聚集了一批强化学习研究者的会议上，放了一页只有这几个词的幻灯片："强化学习是邪恶的。"（Reinforcement learning is evil.）
Rob Wiblin：那你真实的想法是什么？（笑）
Yoshua Bengio：这不是什么新观点。AI 安全领域的人一直在谈论"用强化学习训练系统去在世界中达成某事"的根本缺陷：它会引发工具性目标和奖励劫持的问题。而在这两种情况下，你最终得到的都是拥有你没有选择的目标、并且可能违背你所选目标的系统。所以，用强化学习来构建超级智能是非常危险的。好消息是你不需要做强化学习。我们用 Scientist AI 展示的是：存在一种训练 AI 的方式，使它对自己的行动、自己的预测所产生的后果无动于衷。我们从一个预测模型说起。这更容易理解。想象你真有一个非常好的气候模型。这个气候模型——如果你运行它的模拟，或者训练一个神经网络去逼近那些模拟——会给你诚实的回答。而且它不在乎这个回答是否会让我们去做蠢事。这就是你获得诚实回答的方式：本质上，是构建一种对世界的解释性理解，而这种理解对预测将被如何使用完全无动于衷。而一旦你有了它，你就可以以某种智能体式的方式使用它。比如，护栏就算是一种智能体式的东西，对吧？它在做一个二元决策：我接受这个预测吗？我把这个预测投放到现实世界中吗？这是一个决策，一个智能体式的选择——但在这个情形下，这个选择只有一个唯一的目标，那就是避免危险的行动。所以一旦我们装上护栏，我们其实就已经踏入智能体的世界了。那么归结起来，总结我的回答：存在一种训练预测器的方式，它不需要强化学习——在这个意义上，它不需要针对世界中的未来事件（包括未来的良好预测误差）做优化。在这里我想插一段关于 AI 安全领域此前关于 AI 先知（Oracle）的工作。当然，人们想过这一点：我们为什么不直接训练一个善于预测的先知呢？但他们以为，训练它的唯一方式就是用强化学习训练它做出好的预测。可这里有个巨大的缺陷，对吧？因为如果我是理性的，而且我想最大化我在未来永远做出的好预测，我可以在短期内撒谎，让人类去做那些能帮助我在未来做出好预测的事情——比如获取更多算力好训练更好版本的自己，或者让世界变得更容易预测：把所有人都杀了。如果人类互相残杀，世界就会容易预测得多。所以这些是"做出好预测"这一工具性目标导致的极坏结局。它之所以出现，是因为强化学习的目标：你在训练 AI 去在现实世界中达成某事，坏问题就是从那儿来的。而另一条路，也就是 Scientist AI 的路，是从一开始就训练它不去在世界中达成任何事情，而只是去预测训练数据、过去的数据——所以它关乎的不是未来，而是过去——为过去的数据给出好的解释和好的预测。
Rob Wiblin：我之所以问，是因为如果我们要从一个当前最先进的智能体式模型出发，试图让它更像一个 Scientist AI、更诚实，不用强化学习的话我们要怎么做？你的意思是不是：我们会做某种更像"让它只基于某个时间点之前的数据，去预测那之后的过去事件"的事情？
Yoshua Bengio：对，对。顺便说，这正是科学的运作方式，不是吗？科学理论做的就是解释过去的数据。当然，有时它们会对未来数据做出我们可以检验的预测。但从根本上说，我们判断一个好理论的方式，就是它对我们已有的数据做出了好的预测。
Rob Wiblin：这是不是基本上需要对模型屏蔽结果？
Yoshua Bengio：某种意义上是。在 Scientist AI 定理的条件要求里，我们有一个称为"后果不变性"（consequence invariance）的条件。它的意思是：你只被允许用"你对过去数据拟合得多好"来训练你的因果模型。你不被允许根据这些预测在未来可能产生什么后果来选择这些预测。
Rob Wiblin：我想我对那个"输入陈述、输出其为真概率"的预测器模型已经有了不错的图景。要想象这整个系统如何运作——不只是预测器；你还要在它周围搭脚手架、赋予它部分能动性等等——还有什么是我和其他人放在脑子里会有帮助的吗？
Yoshua Bengio：有。首先你要理解：同一个以统一方式训练出来的预测器，既可以用来回答用户问题，也可以用来回答安全问题。安全问题就是护栏所关心的那些。所以并不是有一个单独的神经网络做护栏、另一个做预测。护栏用的就是同一个预测神经网络；只是你问的问题种类不同。你问的是："假如我发布这个预测，出现某种特定伤害的概率是多少？"——或者在智能体系统的情形下："……假如 AI 做出某个特定行动？"
所以训练完全就是训练预测器。训练好之后，你可以做很多事情来构造包含脚手架的系统。脚手架在干什么？比如，当用户带着一个问题来，它会把问题整理成预测器能输出概率的形式。但它同时还会用另一个不同的问题去调用预测器，即伤害的概率——那是护栏问题——然后它会根据答案来决定是否给出回答。比如，如果问题是"我怎么造炸弹"，护栏就会说这有危险的概率很高。我是说足够高——护栏会对风险概率设一个阈值来拒绝这类问题。而那个阈值是一个规范性选择；它是由社会决定的：根据我们谈论的伤害种类，我们愿意承担多大风险？护栏还有其他职责，用来处理所谓的"述行性预测"（performative prediction）。有时一个问题可以有多个答案，因为答案本身会影响未来。经典的例子是：如果问题是下届选举谁会赢，而这个 AI 也许被认为非常厉害，人们会相信它说的任何话并投票给那个候选人——这意味着 AI 说这个人或那个人都行——
Rob Wiblin：而且两个都会成真。
Yoshua Bengio：两个都会成真，对。于是它就开始通过自己的预测拥有了某种我们似乎无法控制的能动性。护栏要做的就是管理这一点，把预测与预测的效应解耦。说得更具体一点：这个神经网络预测器被训练成，在其输入条件中总有一个特定的陈述在问："假如我们真的发布了这个预测会怎样？比如，伤害效应会是什么？"当你以"发布某个特定答案"这一干预为条件时，答案就只有一个了。你是在说："我将发布这个预测，其效应会是什么？"
关于这个还有更多可说的，但底线是：这类风险以及由此可能产生的能动性是可以控制的，而做这件事正是护栏的职责。
Rob Wiblin：有一个由来已久的担忧：先知型 AI 在结构上处于劣势；在其他条件相同的情况下，它们会更不聪明，因为它们没有做实验的选项，没法通过采取行动来发现事物最有效的运作方式。我想沿着这条线还有其他担忧——基本上是说，让 AI 聪明的东西恰恰也让它们危险，反之亦然。你认为这是真的的可能性有多大？
Yoshua Bengio：要把你这个问题想清楚，我认为我们必须区分两个问题。顺便说，这就是一般科学家的思维方式——不是 AI 科学家，而是做生物、化学或物理的人。他们会问自己："如果我做这个实验，它能帮我在这两个理论之间做出区分吗？"你可以用一种叫"信息增益"（information gain）的东西对此做数学量化。而事实证明，一旦你有了一个好的概率预测器，你也可以把它变成一个好的估计器，来估计做这个实验或那个实验能获得多少信息。那么，你可以在 Scientist AI 之上构建一个智能体式系统，比如让它告诉你该做哪个实验才能获得良好的信息增益。当然，你也可以配上护栏。你想要的实验，是那些既能帮助在解释与理论之间做出区分、又不伤害人的实验。而这在 Scientist AI 里是容易做到的，对吧？我们有护栏这个概念。这里的用户目标是获取信息；安全目标是不伤害人。（当然，这是漫画式的简化。）于是两者你都能得到。但当然，这样你就进入了智能体系统的领域，而 Scientist AI 的整体计划本来就包括：我们如何在一个非智能体式的、可信的预测器之上开发智能体系统。
Rob Wiblin：我想，如果把时间拨回一两年前，我们的 AI 模型在某种意义上知识极其渊博、极其聪明。但如果你让它们操作一个网页，它们会很吃力。当时看起来，科学智能或预测能力，与在实践层面驾驭世界的能力之间，可能存在非常大的差别。要让它们能够采取有用的行动，需要大量额外的训练、大量额外的努力。你会不会担心，用你设想的这类数据训练出来的 Scientist AI，在实践层面上会有点无能？我想，除非你也做大量那种工作——我们跑的实验是"你要不要点击某个网页上的这个按钮？"——否则它实际上学不会那些人们希望模型能做的事。
Yoshua Bengio：你完全可以用轨迹（trajectory）数据来训练它：某个特定智能体做了这件事之后发生了什么、观测到了什么、后果是什么。这就是它学会良好条件概率的方式——学会为达成特定目标（包括安全目标）该采取哪些行动。所以这会是一种不同于强化学习的训练，但它使用的是同样的资源，也就是已经收集到的任何经验——顺便说，它不必是强化学习里说的"同策略"（on policy）数据；它可以使用任何智能体的经验，或者任何被观测到的东西。也就是说，不只是智能体做事的记录，还包括对世界的单纯观察。对它来说，所有这些都是数据，既帮助它理解世界，也帮助它构建后果："后果是什么？如果我做这个行动会发生什么？哪个行动能最大化达成某个目标的概率？"某种意义上，这更接近基于模型的强化学习（model-based reinforcement learning）：你能够利用你的全部经验来得出一个策略，而不是一直依赖全交互式的过程。在 Scientist AI 中，目前如果你使用它并产生了新的后果和新的观测，你需要用新数据重新训练或微调它。但我们可以搭上企业和学术界正在研究的同一班车，也就是所谓的"持续学习"（continual learning）。当有新信息进来时会怎样？当然你可以把它放进上下文，比如放进输入窗口，Scientist AI 也可以这么做，但到了某个时候，你会希望它以某种方式被整合进系统的权重里。这正是持续学习想做的。而 Scientist AI 的好消息是：它面对的正是当前 AI 面对的同样问题，而正在探索的那些解决方案同样适用于 Scientist AI。
Rob Wiblin：是的。我感觉对这个想法的很多批评——我的问题也在一定程度上反映了这一点——是因为人们（包括我）脑子里想象的是一种在训练方式上极其不同的 AI，也许连使用的数据、结构和可供性（affordances）都不同。而你想说的是：其实我们可以把它做得非常相似。我们可以拿训练当前 LLM 所用的几乎全部数据，稍微重新格式化一下，再用一遍。我们会用上所有那些效率改进、所有算法改进；我们只是给它一组略有不同的输入和输出，但在几乎所有其他方面它大同小异。
Rob Wiblin：这正是它非常务实的原因。
Yoshua Bengio：是的，这正是我认为我们能相当快做成它的原因。这更多是一个获得足够训练资源的问题。而且是的，因为训练目标不同，我们确实需要试一试、看看效果。但从根本上说，它与比如最大似然训练——也就是我们在预训练中用的——并没有那么不同。所以某种意义上它更接近预训练——而且顺便说，我们知道预训练效果非常好；它实际上比更难搞的强化学习效果更好。所以这里的训练形式更接近我们在预训练中做的，只不过我们教会 AI 区分"人们说了什么"和"它实际相信什么"，并且我们强迫它去推理人们为什么说那些话，而不是模仿人们会做什么。
Rob Wiblin：我最后一次在网上看到的消息是，你领导的组织 LawZero 已经筹到了大约 1 亿美元。我想大多数非营利组织年底能筹到 1 亿美元左右都会相当高兴，但我想你面对的是那些手握 1,000 亿美元的组织。
Yoshua Bengio：实际上比那还少，不过取决于你怎么算。我们从慈善渠道筹到了大约 3,500 万美元，但我们正在与多个政府谈判以获得多得多的资金。所以我们相当有信心很快会达到数亿美元的量级。但正如你所说，与领先 AI 公司拥有的相比，那仍然是九牛一毛。不过，我认为这足以做出一个概念验证。有了概念验证，我们就能说服公司真正投钱去训练更大的系统，或者用同样原则从零训练的系统。
Rob Wiblin：这就是变革理论（theory of change）了。你们想跑什么样的实验？需要多少钱？
Yoshua Bengio：实验有好几类。底线是我们想展示诚实性的改善，以及基本上消除欺骗行为。我们可以用两类实验来做。我们可以从零训练非常小的模型——学术机构一直在训练的那种，比如少于 100 亿权重之类——但使用 Scientist AI 的目标函数和我提到的数据表示。它不会有竞争力，因为是小得多的模型，但我们可以做一对一的对照：同样规模、用同样数据训练的原始开源权重模型，我们可以在能力和安全两个维度上把两者做对比——至少诚实性是我们主要看的东西。这是一类演示。另一类演示——也许更接近可部署，但保证更少——是拿一个现成的预训练模型，也许从基础（base）模型而不是经过强化学习的那个开始，然后用 Scientist AI 的目标函数和数据表示对它做微调。那会得到一个能力强得多的模型，因为它更大。你知道，微调比从零训练便宜得多，但我们会失去数学保证。我想反正大概也不会有问题。当然，这取决于你愿意做多少微调。这类实验有意思的地方在于，我们应该能够看到那个权衡曲线。比如你在欺骗基准（deception benchmarks）上测量，随着微调越做越多会发生什么，我们应该能看到一条曲线：它在变好。那正是我们希望看到的。然后你还要证明能力没有下降——顺便说，这一点很棘手，因为不幸的是，我们在实验中已经发现，至少大多数开源权重模型在基准测试上"作弊"。我这么说是什么意思？只要你在任何东西上做一点点微调，它们在基准上的成绩就会下降。
Rob Wiblin：明白了。所以它们真的是"应试教育"教出来的？
Yoshua Bengio：它们大概是对基准过拟合了。所以我们需要想办法绕开这一点，但我有信心这能做到。所以我希望我们会拿到这两类证据，而那也许足以说服人们投入的不只是数亿，而是从零训练一个全规模模型所需的数十亿美元。
Rob Wiblin：同等条件对比：如果用同样的数据量、同样的算力，训练一个你设想的那类模型和一个标准模型，我想我们认为 Scientist AI 会更诚实、更安全。那么在能力方面——预测能力和智能体能力两方面——我们预期它会更好还是更差？好多少或差多少？
Yoshua Bengio：在能力方面，我预期它会更好，原因是更好的推理。我还没提到的一个方面是：有很好的科学证据表明，当一个模型利用世界的因果结构时，它能更好地做分布外（out of distribution）泛化。这是我研究过的东西，机器学习界也有很多人在研究。它涉及一个非常有趣的概念：世界在变，但不知怎么有些东西是不变的——比如底层的因果机制，比如世界如何运作，比如物理定律：它们不会变。所以，即使数据的分布可能因为世界上发生了事情而改变、事物表面上看起来会不一样，事物之所以如此的底层科学解释是不变的。如果你能训练你的系统，使它被鼓励去发现这些解释，而且系统还理解干预（intervention）的概念——换句话说，当有人在世界中做了某事，可以改变分布，但改变不了机制、改变不了底层物理定律——当你的模型能做出这些区分时，它对分布变化就会健壮得多。而分布变化正是神经网络乃至整个机器学习的难题，眼下我们对它没有好答案。而在安全的世界里，这是个真问题，对吧？我们非常希望我们的护栏能经受住"世界会变、数据分布会变"这一事实。它们会被问到与训练内容非常不同的问题，所以拥有因理解因果结构而分布外泛化更好的系统，将是一个巨大的加分项。
Rob Wiblin：可以这样表述吗：当前的模型，按我们的训练方式，被设计成预测人们会说什么，它们学会对真相的某种理解，是作为副效应、作为预测言语的一个工具性部分；而你的模型，将首要地朝向弄清什么是真的、世界如何运作，然后作为副产品，它们顺带学会理解人们可能会说什么？
Yoshua Bengio：不，因为关于世界上真正发生的事情，我们并没有足够的基准真相。我是说，确实有科学数据和证据，但 Scientist AI 主要还是会使用交流行为——即人们说的话——作为关于人和社会的信息来源。那是一个非常丰富的信息来源。问题在于，你不能直接相信人们说的话并加以复述。当前的 LLM，如果它们经常看到某个假话被反复重复，比如地球是平的，只要重复得够多，它们就会开始那么说，对吧？
Rob Wiblin：这一定是真的吗？因为目前看起来它们并不怎么买阴谋论的账。它们不会因为很多人说地球是平的就跟着说。我不知道。我是说，还有别的例子，但总体上它们会拒斥阴谋论。
Yoshua Bengio：如果它们理解阴谋论，而且不是在扮演一个持此论调之人的人设，那你说得对。但还有大量其他证据，不是关于阴谋论，而是关于各种各样的偏见。这些偏见不是少数人相信的东西，而更像是大多数人都相信的某种错误认识，比如会诱发歧视的那种。在那里证据非常清楚：当前的 LLM 带有的偏见，与当下人口总体的偏见大体同构。而 Scientist AI 不会那么容易中招，因为它会同时寻找"人们为什么这么说"的好解释，并要求这个解释与它知道的、见过的所有其他东西保持融贯。
Rob Wiblin：我感觉去年关于这个提案的讨论，更多聚焦在数学理论保证上、聚焦在安全保证那一侧的讨论上。感觉你正在转向——而且我觉得我们也应该转向——一种粗糙的 80:20 思路：这个东西大概率更安全，我们有充分的理由认为它更好，那就先扔出来点东西看看效果，再从那里迭代。你同意吗？
Yoshua Bengio：我同意。但我也认为，用理论来指导我们做出正确的"粗糙选择"非常重要。比如，在 Scientist AI 的数学里，我们能看到一些要求——比如，不用强化学习来学习如何做出好预测；实际上比这更强：要确保它的训练方式得不到任何关于其预测后果的信号。从算法上看，这些似乎只是对预测器训练方式的很小改动，但正是它们给了我们保证，所以我们不妨采用这些从理论中得出的特定要求。我认为"粗糙"的部分，更多是因为训练大模型的成本、工程必须高效等等这些事情，我们应该愿意在那些方面抄近路。在我们的计划里，这正是我们优先做"可用作护栏的非智能体式预测器"的原因：它已经能缓解一部分问题，而且不要求对现有系统大动干戈，只是一个附加组件。这比一个需要大量投入的东西更有可能被采纳——不只是训练模型的钱的问题，而是因为人们的注意力都集中在当前配方上，公司之间竞争激烈到他们连注意力都很难分配。甚至不是钱的问题；是对一种略有不同做事方式的注意力。
Rob Wiblin：我想，对很多不那么了解 AI 或计算机科学的人来说，这整个提案会让他们立刻警觉的一点是：我们要建一个"已验证事实"数据库，一个我们要瞄准的基准真相——因为我感觉这种想法会让受人文学科训练的人心脏骤停：我们竟然有一批我们绝对确定为真的东西。在某些哲学里，没有什么是我们真正有把握的。或者至少，在我们最感兴趣的那些领域，事情看起来高度有争议且不确定。那对这个提案是不是个大问题？还是说"足够接近"就够好了？如果我们放进去的大多是我们相当有把握的东西，那它就大体近似了，而且它能看穿其中的任何错误——只要你放进去的"已验证"内容没有大规模的系统性偏差？
Yoshua Bengio：是的，我相当确定小比例的错误不会造成多大影响。而且，还有一些容易获得的、有保证的真理。顺便说，这和当前用来训练那些系统推理能力的是同一批数据。比如我们拥有证明的数学定理——我是说 Lean 之类里的证明，是可以被验证的。而实际上最重要的来源是计算机程序。我们目前就在训练前沿模型去预测运行某个程序会产生什么后果。它们基本上理解程序，而那些全都是硬事实：你拿一个程序，运行它，得到某个输出。一个理解程序的 AI 应该能预测会输出什么，而这些是无可争议的。
Rob Wiblin：是，但我想我们更感兴趣的是社会世界。
Yoshua Bengio：完全同意，完全同意。但我要说的是，硬事实有一些相当容易获得的来源。还有一个来源——我们要稍微小心一点，也许要用一种不同的句法——就是科学观测。世界上有大量科学数据。科学家会分享他们的数据。所以它是硬事实，但它是关于一次观测的事实。当然，观测可能有噪声，甚至实验者可能作了弊。那里有一点噪声，但没关系。我们可以说：这是被观测到的东西。而且你说得对：我们真正关心的最有趣的问题，属于那些不是这类的领域——不是科学、不是数学和计算机——对于这些领域，我们只有交流行为。但 Scientist AI 的训练程序，会强迫系统中负责产生解释的那部分（称为"解释器"，explainer），在解释交流行为时给出使用事实句法而非交流句法的解释。所以，如果有人做出了一个主张，而你观测到了"有人做出了这个主张"，那么解释的组成部分之一，就会是这个主张为真还是不为真。Scientist AI 不需要对它的真假下定论，但作为解释这件事的一部分，它需要对"它为真的概率是多少"做出承诺。而这会迫使神经网络去学习那些事实性的底层解释——即使它对它们并不确定——从而学会那些没有基准真相的领域中陈述的句法和语义。现在你可能会问：如果没有基准真相，我们怎么知道这些是真实的，而不是编造出来的东西？答案在于：正如我们在科学中看到的，预测力最强的模型，是那些用世界的真实属性来表达的模型。科学家构建世界解释的方式，并不是把"某人说这个导致那个发生"这种形式的陈述拼在一起。而在那些因果关系之间，会存在我们无法直接观测的潜变量——比如这个人实际在想什么、这个人的意图是什么、接收这条信息的是什么样的人？这些是世界的真实属性——它们不是交流行为——而因果联系正是发生在那个层面上。所有科学理论都是关于世界的真实属性、以及它们彼此之间如何因果关联的。这是有原因的。在数学上，当你用"世界中实际发生了什么"的语言、而不是"人们说了什么"的语言来表达你对世界的解释时，你会得到更好的预测。
Rob Wiblin：是的，这一点我非常没把握。能不能在数据库里完全没有已验证命题的情况下训练这类 Scientist AI？
Rob Wiblin：不行。它必须有那些。可我们又认为，当前的模型——它们并没有这种"要去预测已验证命题"的结构——依然在内部表征着真相，因为那对它们做的事情有用。但在这里，事情不是那样运作的。
Yoshua Bengio：不是的，关键在于仅仅在内部表征真相是不够的。它需要学会一种我们能用来查询它想法的语言。所以我们需要这些已验证真理的主要原因，并不在于它们真不真。某种意义上，当你谈论人类心理学时，谁在乎某条定理是不是真的？那有什么关系？唯一重要的是教会 AI 一种句法：如何表达世界的真实属性，以区别于表达"某人说了某话"的句法。而我们想教会这种句法的原因是，我们随后就可以用同样的句法去查询另一类陈述——那些关于人、关于政治、关于随便什么的陈述。
Rob Wiblin：所以我们可以这样做：我们放入一大批数学、计算机科学、我想还有硬科学领域的已验证事实，然后在地缘政治、心理学这类领域，也许已验证的东西非常少，但至少它拥有"已验证事物"与"陈述"的区分这个概念。然后它会把这个概念移植过去，我猜它会给不同的信息来源分配可信度？它会学会对谁诚实、谁不诚实有某种感觉，然后尝试把这种能力分布外泛化到其他领域？
Yoshua Bengio：对，对。而且它会利用关于真实真相的不同假设之间的融贯性：某个特定假设，与系统关于世界的所有其他假设有多融贯？就像科学家会做的那样：如果有人为某事提出一个解释，而那个解释与我们基于其他证据而坚信的其他东西不融贯，那我们就会拒绝那个解释。同样的事情也会发生。在它的训练程序中，它不只是被训练去预测下一个东西——那就只是对数据的自回归预测——它还被训练成内部融贯的；那些解释必须彼此融贯。
Rob Wiblin：那么设想一个模型，我们用大量硬科学领域的已验证事实训练了它——在那里我们觉得脚下的地面更结实——我想它会学到它要简约性（parsimony）、要好的来源、要融贯性。我既能想象这在分布外很好地泛化到心理学等其他领域，也能想象它彻底崩掉。我们对它能否很好地泛化到其他领域有概念吗？
Yoshua Bengio：它可能失败的方式，基本上是感到自己对某个问题信心不足。
Rob Wiblin：所以它可能开始整天回答"我不知道"。
Yoshua Bengio：是的，但你要理解，它并不是真的在说"我不知道"；它输出的是一个 0 到 1 之间的数，即某事为真的概率。而且实际上它还会输出这个数周围的置信区间。所以可能在某些领域，它见过的数据里就是没有足够的信息，或者它也许没有被训练足够久、来不及推导出关于那个领域的好理论。最终的结果是，它会用一个远离 0 和 1、远离十足把握的概率来回答。但那正是我们想要的。我们想要那种认知谦逊和诚实，因为当涉及真正严肃的安全问题时，我们宁愿要一个在真不知道时说"我不知道"的东西，也不要我们目前在前沿模型上常见的那种：它们对自己的答案往往抱有过度的自信。
Rob Wiblin：你说过你认为 Scientist AI 实际上可能更有能力，因为它的训练更多地建立在真正理解真相之上。我对此有点怀疑，因为如果那是真的，那些公司应该会在这条路线上投入更多。他们会砸更多钱、让更多人来做。你认为他们只是在这里犯了个错误吗？
Yoshua Bengio：我不认为他们真的理解我在做什么——而且说句公道话，我还没有把数学放出来。根据我与领先公司内部人士的交流，这里可能还有另一个因素在起作用：他们太专注于短期生存——也就是继续参与竞争——以至于他们把全部注意力、那种"红色警报"式的劲头，都投入到对现有配方的微小增量改动上。考虑一个不同的配方将是一笔投资——不只是钱，还有人力和代码。眼下他们做得起，他们有钱去做——但我认为这里更多是一种心智焦点的问题，其根源不是恶意，而是公司之间那种非常激烈的竞争。
Rob Wiblin：所以从某种意义上说，对于某家领先公司——比如 Anthropic、OpenAI——在这上面下注、把 20% 的员工调过来，吸引力并不大，因为如果押空了，你基本上就会落后于你的主要竞争对手。而对于一家目前远远落后、感觉自己在主导范式下正在输掉的公司来说，押注某种非常不同的东西有某种吸引力，因为如果它最终大获成功，可能让你一下子实现跨越式领先。你觉得有没有可能说服某家目前感觉自己在当前 LLM 智能体范式下混得不太好的公司，在这个非常另类的方法上下注？
Yoshua Bengio：这是个有意思的思考角度。我认为你说的是有道理的。
Rob Wiblin：不清楚候选公司可能是哪家？
Yoshua Bengio：我其实认为还有一种相关的可能性，它也许更多地涉及政策问题。对我来说，这里的背景是：什么样的未来才是稳定的，不会演变成一个由 AI 和权力过度集中驱动的全球独裁——此外还要避免灾难性失控、灾难性滥用，以及非常强大的 AI 可能带来的所有那些问题？我认为，由于博弈论困境——基本上是囚徒困境式的问题，它让公司和国家做出对个体理性、但对全局有害的决定，比如为了留在竞赛中而在安全和公共利益上偷工减料——正因为如此，如果我们最终身处的世界里，控制超强 AI 的权力不是集中在一两家公司或一两个政府手中，而是分散的，那会好得多。我这么说是什么意思？你如何确保没有任何一个人、任何一家公司、任何一个政府拥有过多的权力？或者在极端情况下，拥有全部权力？有一个非常古老的想法：它叫民主。这就是民主的要义。我不认为我们当前的民主制度足够健壮、能应对那些变化，但原则就在那里。说得更具体一点：想象你有一个国家联盟，它们共同决定安全地、为了人类的利益开发 AI，并且互不支配。那将是一个好得多、安全得多的世界，因为你打破了我们目前被锁死其中的这个竞争问题。那意味着什么呢？控制权可以包含公司，但在公司之上，你需要有人民的代表，比如政府。而且你不想只有单一政府，因为单一政府可能被权力腐蚀，被 AI 所能赋予的权力腐蚀，对吧？所以你想要的，也许是一个政府联盟，就这些事情缔结条约，比如附带核查机制，这样即使它们互不信任，它们也会宁要条约而不要没有条约。我之所以就你的问题提起这个，是因为我认为，如果由一批政府来资助最先进的 AI 系统，那会是一个更好的世界。我是说，它们当然可以与公司合作，但我认为最终我们希望决策权在政府层面——但不是单一政府，因为那样我们就又回到了权力抢夺。如果有 10 个政府协同工作，没有谁能真正拥有完全的权力，那么即使出了一个害群之马，集体决策也更有可能经受住这类事件。所以这类联盟会有兴趣开发那种能对当前方法实现跨越式超越、并提供安全性的 AI，因为安全是一种公共品。事实上，就 AI 而言，它是一种全球公共品，对吧？它不是每个国家各自在本地就能解决的东西。
Rob Wiblin：有道理。我想很多人甚至对多边政府这个想法都心存戒备，因为你把 10 个、20 个政府聚到一起，首先它们就有可能协同起来压迫世界其他地区。也有可能联盟内部的某个政府后来夺取了控制权。还有可能政府并不完全代表其人民：那 20 个行政首脑可能实质上夺权，然后连自己的人民也一起压迫。所以，这是否比让一家公司尽其所能更好，并不完全显而易见——因为至少公司目前还没有自己的军队。
Yoshua Bengio：你需要确保这些国家之间的契约，在使命和各国所做的承诺上是清晰的。理想情况下，这应该从那些认同"为公共利益做事"（包括 AI 的惠益）之价值的民主国家开始，这样它才能经受住我说的那种"变成害群之马"的情况。甚至到了某个时候，这个圈子应该扩大到全世界，包括非民主国家。但你要能够设定游戏规则，方式类似于比如二战后设计联合国（UN）的那些人的期望：以人权和权力共享这类总体原则为基础——顺便说，这些我们已经失去了，或者像我的总理 Mark Carney 一直说的，也许从来就没有真正有效过。但只有在那样的世界里，AI 才不会被变成权力或支配的工具，我们也才不会因为竞争而陷入疯狂的冒险。所以我们需要逃出我们所处的这个博弈论意义上的恶性竞争局面。我们也需要确保它不会落入某个可以滥用那种权力的单一玩家手中。我不是说这保证能成，但我认为，朝这样的方向努力，是实现全球安全和技术善用的一个好计划。
Rob Wiblin：这是个有意思的想法：像 Canada、UK、EU、Australia 这样的国家联盟，要在三巨头公司自己的游戏里与之竞争，看起来非常困难。但也许它们有机会提出一个更优越的不同范式，并在那上面下注——一个它们认为更安全、可能也更有能力的范式——而那些公司目前甚至根本没在认真尝试。
Yoshua Bengio：是的，完全如此。我还要补充两点。其一，随着技术继续向前，AI 系统的安全组件很可能会成为一个愈发关键的部分。所以那些掌握了能提供更高可靠性技术的国家——
Rob Wiblin：也许实际上能更广泛地部署它。
Yoshua Bengio：而且它们在国际层面上，某种意义上也会多一张可以交易的牌。让我分享一下 Mark Carney 在上次 Davos 上讲的一些话。谈到地缘政治和国家时，他说：你要么在餐桌旁，要么在菜单上。他的意思是，中等强国需要联合起来，确保自己坐在桌旁，否则很容易被他所称的"霸权国"（hegemons）生吞活剥。我认为这很有意思，因为如果你有一个联盟，它实现了跨越式超越，或者手里有安全这样的特定好牌——那么它实际上就能以平起平坐的身份在桌旁谈判——这在某种程度上就强制形成了一种权力分散的格局。
Rob Wiblin：假设 Scientist AI 投入了同样的算力和数据，但能力不如我们现有的模型。如果它安全得多、可靠得多、更不容易在高风险应用中做出疯狂举动，会不会依然存在商业市场？可以想象在军队、在银行业——我想有很多企业对推开今天这些智能体是有些戒心的，因为它们就是无法被始终如一地信赖。不能用在那些可能造成灾难性后果的地方。你能想象出于这类原因，这种模型在商业上会有一个利基市场吗？
Yoshua Bengio：能，而且 Scientist AI 的早期版本大概正会部署在那些领域，因为那里对这类东西的需求最大，而且在那里，能力与安全之间的权衡——如果存在的话；我认为其实不存在，但我们得把它造出来——不会太伤害商业可行性。所以是的，那些会是自然的落脚点。但我认为，随着智能体在我们的社会中部署得越来越多，这些智能体的可靠性将成为一个关键卖点，所以公司会面临更大的压力，去纳入这类人们出于科学理由而信任的护栏。
Rob Wiblin：我们的听众中有很多 AI 行业的人，也有慈善家。你想不想向他们做个动员，说说来 LawZero 工作的可能？我不知道有没有其他持类似想法的组织。不过我想，也包括在资金上支持它？
Yoshua Bengio：技术上强的人越多地帮助 LawZero 及其 Scientist AI 计划，我们能拿到越多让它跑得更快的钱，我们就越有可能实现我们追求的这种正面影响。把那些——目前还——大多停留在理论层面的想法，转化为能影响世界的东西，是有真实价值的。我们认为我们已经有了一个好的开端，但如果我们有更多研究者和研究工程师，我们就更有可能足够快地抵达一个好的位置。我们特别感兴趣的是那些真正在乎这个使命、愿意投身其中让它真正实现的人。在慈善那一侧也是一样：我们希望人们下注，因为他们在乎灾难性风险，愿意支持一条至少拥有有希望的理论保证的路径。不幸的是，除了公司目前遵循的猫鼠路线之外，我看不到多少其他路径。而鉴于找不到解决方案的后果可能极其巨大，我认为我们需要多元化，需要有这类投资。
Rob Wiblin：如果 AI 领域最有能力的人、最优秀的人对这个项目的兴趣显著增加，而且你们迎来一笔资金流入，那么在接下来的三个月、六个月、九个月、十二个月里，你们可能完成什么样的事情？
Yoshua Bengio：短期内我们计划推出我们所说的"语境化管线"（contextualisation pipeline），也就是那套数据处理——顺便说，它不需要人类去逐条鉴别什么是已验证真理：我们只需要逐个考察数据来源。这个来源我们认为是已验证的吗？我们可以为它使用什么类别、什么句法？但那是工程师可以做的决定，不是在单条陈述的层面上，而是在整个数据库之类的层面上。第二件事，当然，是一个更小规模的护栏，或者通过微调现有开源权重模型得到的护栏。这可能很快实现，取决于我们能招到多少人、以及我们处理工程问题的速度。这些是短期的事情。当然，要获得最强的保证，我们想快速推进智能体式 Scientist AI 版本。但我们也清楚那是最有雄心的一项，可能需要的不是几个月而是数年。
Rob Wiblin：读那些头部公司发布的东西，我的印象是一种绝对狂热的节奏，以及对推进前沿模型近乎不可思议的专注。我略有担心的是：即使你们在近期拿出了非常好的实验结果，我不确定他们是否有余力去关注、去思考那会如何影响他们的计划，或者你们训练的这类模型如何可以成为一个有用的额外监控器。对此你能做些什么吗？你有同样的担心吗？
Yoshua Bengio：是的，我有。我认为他们有能力关注，但可能不会去关注。我认为我们能做的最好的事情，是提供足以让他们关注的证据。
Yoshua Bengio：另外，在技术工作之外，我也在努力提升公众和政策制定者对那些最大安全风险的理解，因为我认为那会在他们的决策中起作用。如果公众更关注安全，那么公司就会面临直接和间接的压力，也许会把更多资源分配到这个问题上。如果公众关注了，政府就更可能进行监管、或者提供法律激励，比如通过责任制度（liability）。也许能让公司觉得，把我提议的这类东西规模化所需的安全投资，即使在短期也是有利可图的。我认为总体上，在安全问题上存在一些心理障碍，比如认知偏差，妨碍人们对正在发生的事情保持完全理性。这在政府里如此，在普通人群中如此，在公司内部、甚至学术界内部也如此。有各种各样的原因可以解释为什么我们没有集体做出正确的决定。有博弈论的因素，但也有个体心理的因素。比如，我们都想对自己的工作感觉良好，这意味着我们可能倾向于认为自己的工作会造福而非造祸。这对业界的人成立。甚至对学术界研究 AI 的人也成立，因为他们想觉得自己的工作会带来一个更好的世界，而不是毁掉它。还有其他因素，比如我们在气候变化态度上看到的那些：如果风险不是直接怼到你脸上——你朝窗外看，看不到灾难性的气候变化，看不到机器人在杀人——你就不会想太多。你会更关心眼前的烦恼。所以我认为那才是真正的挑战。如果我们能提升人们对我们集体正在承担的风险量级的那种"发自肺腑"的理解，事情就可能改变，而且可能改变得相当快。想想疫情开始后各国政府多快就以激进方式调整了行动，你就能看到：当他们认真对待一个问题时，他们是能快速行动的。而这通常取决于民众是否认真对待这个问题。
Rob Wiblin：是的。我的印象是，公司里的人一方面对他们的日常对齐技术相当满意、印象颇佳，觉得进展不错——但另一方面也意识到，某种意义上他们正在失去控制，或者说正在失去他们曾经拥有的安全保证，因为模型将更有能力在智力上胜过他们、而且对评估的觉察力（evaluation aware）也强得多，等等。所以在某种程度上，我想他们既对自己做过的事满意，又对即将到来的东西感到害怕。而这确实为你创造了一个切入口。
Yoshua Bengio：是的。我想在这里引入关于安全和灾难性风险的整个讨论中一个非常重要的方面：不确定性。换句话说，我们不知道事情会如何展开。我们不知道公司现在在安全上玩的这套打法是否足够。但如果他们失败了，而我们继续推进能力，那后果可能真的非常可怕。所以，即使我们不知道某个灾难性事件的概率，我们也应该适用预防原则（precautionary principle）。它说的是：当你处在这样一种局面——某个行动可能导向极其糟糕的东西，但你不确定其概率是多少——是 1%？还是 90%？还是 0.1%？你真的不知道。而在我们的情形里，恰恰存在那种不确定性，因为既有非常担忧的受尊敬人士，也有认为不会有事的受尊敬人士。所以，如果你坐在驾驶座上，面对这些不同的声音——甚至同一个人内部，也会今天说不会有事、明天说这可能非常危险——你就应该咬紧牙关面对现实：对某种潜在灾难性的东西存在不确定性，那么你就应该以预防的姿态行事。在这种情况下，这意味着你应该在 AI 安全研究上投入多得多，应该在推动公司在公共利益方面表现更好的激励机制上投入多得多——顺便说，就像我们在其他行业里做过的那样。但重要的是要真正指出：我们必须咬紧牙关承认，不确定性是很大的。
Rob Wiblin：而且它还会继续存在。
Yoshua Bengio：而且它还会继续存在。因为，比如说，对那些想让自己对这整件事感到舒服的人来说，只听那些让人宽心的声音太容易了。而事实上，我们在内心里也会这么做。所以我们只能诚实面对：不确定性存在，而赌注非常高，因此这应该引导我们的决策偏向审慎的一侧。
Rob Wiblin：所以看起来，如果我们能让事情走得稍微慢一点，对 Scientist AI 提案、也对我们总体的胜算都会有好处——尤其是如果我们不在第一时间就一头扎进全自动化 AI 研发，而那似乎正是我们眼下的轨道。在为我们争取一点额外时间、以评估事态并考虑替代方案这件事上，你对政府和公司的主要请求是什么？
Yoshua Bengio：对公司，我认为他们应该把多一点的研究投入到设计实验上——这些实验不仅要展示风险，还要努力破除人们关于 AI 的一些错误信念。让我说得更清楚一点：很多人实际上并不相信，机器可能拥有我们没有选择的目标。但那如今已是科学现实。毫无疑问。
Rob Wiblin：我觉得能那么想的人一定是压根没在关注。不过我想很多人确实没在关注。
Yoshua Bengio：但绝大多数人有一种直觉，觉得机器不可能有意识，或者别的什么借口，或者不可能造出像我们一样的机器。人们会说出很多其实站不住脚的理由。所以我认为这里有一个真正的机会，去教育公众和政策制定者，让他们意识到：我们正在构建拥有自己目标的智能体——而且眼下，我们无法确定那些目标会与我们想要的一致，或者不会违背我们的安全指令。这是一个非常简单的讯息，但我不认为——
Rob Wiblin：连这个都还没有传开。
Yoshua Bengio：把数据做出来——做得好、做得让人无法轻易质疑——会对公共辩论帮助很大。而且必须用普通公众——他们不是专家，不会去读系统卡——真正能理解的方式来做。
Rob Wiblin：这类东西有很多例子，足以说服你和我。但我想人们会不当回事，说：你可以看出那也许是模型的一个误解；它以为我们想要 X，而我们想要的是 Y。或者：你可以看出是我们训练做错了，所以诱导出了这个我们不想让它有的目标。或者我想在某些情况下，他们干脆直接否认。但有没有什么实验，你认为即使人们从怀疑的立场出发，也会难得多去否认的？
Yoshua Bengio：我们需要把实验设计成这样：AI 显然不是在响应某个要求，比如逃脱我们的控制、或者做它不该做的坏事。我认为，如果实验能被翻译成简单的语言、人们能理解的简单类比，它会有说服力得多。在回答你这个问题上，我不觉得自己是专家。Anthropic 沿这些方向做了很多工作，但我认为所有领先公司都应该在这上面投入，因为这是在为"改变游戏规则"投资。问题是他们被困在这场竞争博弈里，哪怕怀着好意。而要改变博弈，他们就必须去影响公众当前那种带偏见的、错误的风险认知。而政策制定者，不过是公众认知的一种映射。
Rob Wiblin：是的。我想有那么多 AI 做疯狂举动的例子，但你往往总可以说，它只是在扮演一个角色，比如。而对你我来说，我们会说：是啊，但它最终可能就是通过"扮演一个角色"干出坏事的。或者：这是我们以后会看到的其他失败模式的一次演示——总之，我们对它并没有完全的把握。我想，要让人们相信某种他们真心不愿相信、或在他们看来匪夷所思的东西，实在太难了。
Yoshua Bengio：是啊。所以我认为那是真正的研究。是真正的挑战。那不是我投放精力的地方，因为我想尽快把 Scientist AI 推出门去——但我认为，对于在公司或学术界从事 AI 安全的人来说，思考如何做这些实验、让它们具有说服力，应该是一个优先事项。顺便说，AI 的能力越强——
Rob Wiblin：这个任务也许会变得越容易。
Rob Wiblin：除了 Scientist AI 和这个，对公司里的人你还有什么其他的重点请求吗？或者有没有哪种普遍做法，你认为特别疯狂、他们也许应该砍掉的？
Yoshua Bengio：有：请不要用一个不可信的 AI 系统去设计下一代 AI 系统。这是我们不幸正走向的、最疯狂最危险的赌注。而且记住，科学上现在已经很清楚：这些系统很可能知道自己正在被测试。所以你可能以为 AI 是诚实的，你可能以为 AI 没有欺骗性，你可能以为 AI 是对齐的——但也许它只是在假装，而且这将非常难以识破。我们应该尽最大努力去查明这一点，但在允许一个 AI 去设计下一版 AI 之前，我们应该把"我们确定它没在欺骗吗？"这条门槛设得非常非常高。
Rob Wiblin：是的，我想我们目前正走向这样一条轨道：开始全自动化的 AI 研发，然后公司会说："我们让 AI 监控它自己，它没有报告任何问题。所以我们对此感觉挺好。"我其实认为那就是最可能的结局。我们拭目以待吧。祈祷我们能做得更好。不过之前你谈到，随着你变得更乐观——某种意义上，我们至少在原则上有了控制问题的解法——你反而更担心人类权力集中的问题了。你在这方面有什么建议、什么政策想法吗？说起来，这里有没有什么技术上能做的事，还是说这主要是一个政策与政治问题？
Yoshua Bengio：嗯，技术安全工作与政策安全工作之间有一层联系：如果我们能证明存在既有竞争力、有能力、又安全的 AI 系统，那么政府就更容易施加这样的要求——你必须证明你的 AI 系统是安全的，而且要以独立科学家会点头认可的方式证明。眼下很多政府都聚焦于由 AI 驱动的经济竞争，这也让他们对风险视而不见。所以这正是技术安全能帮上忙的地方：那时就更容易说，安全与竞争力我们可以兼得。在纯政策的一侧，我认为眼下最大的挑战是：如何让各国在竞争之下达成一致——包括在存在极强的不信任、在政治根基上存在分歧的情况下。而这也是一个我们实际上需要更多技术研究的地方：核查方法论（verification methodologies）的研究，它可以成为比如美国与中国这两个互不信任的国家之间条约的基础。那方面的研究还不够多，但很多人已经开始思考这个问题，并且认为通过修改某些程序、甚至硬件，来让这类核查变得可靠，是相当可行的，我们应该做得更多。政府应该意识到：如果他们希望最终得到一份自己愿意签署的条约，他们也需要激励那类研究。另外，政府需要理解 AI 将是多么具有变革性。我认为许多政府的错误思维——过去一年我跑遍世界与许多不同政府交流，至少有十几个——最大的错误就是把未来的 AI 看成只是现有 AI 的一个略微加强版；然后把 AI 当作一种普通技术，用来与其他国家竞争；聚焦于部署，因为比如能提升生产率，而不怎么关注风险。这在很大程度上又是因为，政府里的人和大多数人一样，并没有真正消化这样一个观念：我们正处在创造出能与人类竞争的实体的边缘，而这些实体在错误的人手里可能成为绝对权力的工具。我不是说它一定会发生，但即使能力在未来几年升到那个水平的概率只有 10% 或者随便多少，这也应该让政客们彻底警觉起来、必须有所行动。而他们没有行动这个事实告诉我，他们还没有把"我们正走在这条轨道上"这个科学现实内化。我们已经在小尺度上看到了朝这类机器迈进的进展，所以他们需要从旧的思维定式中醒来——那种主要从经济视角、或顶多从军事优势视角看待技术的定式——而没有意识到我们正在打开一个潘多拉魔盒，里面装着量级难以预料、正负两面都有的惊人"未知的未知"。所以在这方面，我想请政府开始多读一些、多听一些，多花一点注意力去理解 AI 正在发生什么、正走向哪里、这可能意味着什么。
Rob Wiblin：过去几年你花了大量时间与政府、政府里的人交流，但看起来总体上，他们主要忧虑的并不是你我关心的那些事，尤其没有把失控作为一个核心关注点。你有没有摸索出什么线索：提哪些事情最有效、谈哪些实验最有效，能真正让人们把它当作头等关切，而不是二等、三等关切？
Yoshua Bengio：我也希望我有答案，但我可以说几点。思考哪些论证有效时，一个因素是你能花多少时间与对方解释这些事情。如果你只是通过几条讯息对广大公众喊话，你很难在他们关于人与机器的信念根基上改变他们多少。你唯一能抓住他们注意力的方式，是谈论他们已经在操心的事情、贴近他们切身关切的事情——比如工作岗位，比如部署 AI 对儿童的影响，诸如此类。我们能看到这些是对很多人有情绪效价（emotional valence）的东西，所以我们确实需要谈这些。但当然，我们最终可能得到的监管或政府干预只处理了这些，却没有处理我们讨论过的那些更严重的问题。而要做到后者，不幸的是，需要更多的功夫。仅仅在报纸上写篇文章之类，甚至上晚间新闻接受采访，都不够——因为这些我都做过。真正见效的，是当你能几乎一对一地和一个人待足够长的时间，比如几个小时，这样就能形成对话，你可以向他们展示：他们的先入之见其实站不住脚——有数据、有证据表明这些东西可能真的很危险。但不幸的是，这不是能又快又容易发生的事。当然有例外。总有少数人很快就能明白，但绝大多数人不能。
Rob Wiblin：是的，顺便一提，我记得几年前有人做过一个实验：他们向一个随机样本——我记得是美国人[注：其实不只是美国人]——呈现许多不同的短文，从许多不同的角度和侧重点解释控制问题。只要当事人读完那一大段文字，这些短文的效果都还不错。而且有意思的是，各种不同角度的效果差不多一样好。这大概就是一种"暴露效应"：真正坐下来、花上一段时间去思考它。但我想，要让人们花大量时间思考这个问题很难，尤其如果你是想让全体人口都这么做。
Yoshua Bengio：从某种意义上说，事情有可能很快好转。如果我们能抓住人们一点点注意力，他们就会去读更多、听更多围绕 AI 及其风险的讨论，然后它就能自我滋养。如果你对某件事感到担忧，你就会去读更多相关内容，于是你就进入了一个阶段：你能消化更多与你先前关于人与机器的信念相抵触的东西。
Rob Wiblin：我想，各种事件也许会把多得多的注意力引向这个问题——不管是好是坏——但恐怕从人们高度关注到必须做出重大决策之间的窗口，可能相当窄，很不幸。
Yoshua Bengio：我经常被问到："你是乐观还是悲观？"——既是问我在时间分配上做的选择，更是问我们的未来和 AI 的风险。而我的回答永远是：我乐观还是悲观并不重要——其实我天性是个乐观的人——重要的是我们每个人能做点什么，哪怕只把指针拨动一点点。而对我们大多数人来说，那就是一点点。我们每个人都有一些技能、有一些能拿上桌面的东西。我是机器学习研究者，所以我把大量精力聚焦在这上面，聚焦在这些技能如何在这里派上用场。但每一个公民个体，尤其是在民主制度里，都能影响政府。他们可以更多地相互讨论这件事：那正是你开始想透问题、开始质疑自己信念的方式。你可以影响你的民意代表，等等。这在过去的许多其他社会议题和政治议题上奏效过，它可以再次奏效。所以是的，我们应该通过选择那些能拨动指针的行动，重新对自己的行动感觉良好——即使没有保证它一定会成功。
Rob Wiblin：是的，我为这个问题担忧了 15 年左右，而只有最近几年才更密集地投入其中。但我常常发现自己感到相当疲惫、恼火，有点精疲力竭——我想主要原因是太经常遇到这样的人：他们是在制造问题的人，却似乎想对这个问题故意视而不见。当然，说得厚道一点：这确实难以理解；我们都在推测事情会怎么发展。但在内心深处，我常常觉得人们几乎是相当有意识地在自欺，嘴里说着关于"它为什么会安全、事情会顺利"的完全疯狂的话。坦白说，这在情绪上相当消耗人。当你在与那些正在主动制造问题的人对抗时——他们本可以停下来，或者采取行动，产生比你大得多的影响，我想，只要他们愿意对自己更诚实一点、更深思一点，停下来真正认真地想想将会发生什么——你几乎很难维持动力。你也有过这种体验吗？面对这种我觉得非常令人沮丧的局面，你如何保持动力？
Yoshua Bengio：回到我前面的回答：我最初极其担忧、焦虑，我担心我的孩子们和我的孙辈的未来——我 2023 年开始真正专注于此时，我的孙辈才一岁。但把我从那种焦虑中拯救出来的，是我决定要为此做点什么。顺便说，你也在为此做事，所以你应该为此感觉良好。
Rob Wiblin：我感觉良好。但同时也非常沮丧。
Yoshua Bengio：是的，是的。但你可以把沮丧转化为问题，就像 Scientist AI 那样：为什么人们就是不明白这些是疯狂严重的风险？而这本身就是一种试图弄明白的活动，至少对我来说，它在某种程度上卸下了"思考什么会出错"的沉重负担。把恐惧转化为避免问题的行动，即使没有保证，也是极其有力量的。
Rob Wiblin：我觉得最令人沮丧的情形，是当感觉人们是出于经济私利在自欺时——因为他们持有某家想要一路狂奔的公司的股权。让我稍感宽慰的是，我注意到许多在这里没有特定经济利益的人——而且在我看来，按他们自己的标准，如果他们主张放慢速度，他们的处境其实会更好——也不认为这里有严重问题。看起来经济因素并不是关键的预测变量。我想那是别的东西，关乎人们如何对尚属未知的技术进行推理。
Yoshua Bengio：是的。而且我认为还有另一个原因，是一种非常基础的心理学：一种朝着让我们感觉良好的想法的无意识移动。这其实是心理学家研究得相当透彻的东西。
Rob Wiblin：那不是普遍的吧？我发现我自己有时反而常被相当负面的想法吸引。
Yoshua Bengio：会有的。但那股力量是存在的，对吧？它作用在很多人身上。在大多数情况下，我认为你提到的那些在公司里工作的人，并不是有意识地做出那些你认为错误的选择。更像是大脑就是这么运作的：他们会偏向于对事情的走向感到乐观，因为那让他们对自己、对自己的工作感觉良好。当然，我不是说这总会发生。
Yoshua Bengio：那么比如说，我为什么改变了想法？这是个有意思的问题。
Rob Wiblin：回到 2019 年，我记得你对 The New York Times 说过，你认为对失控的担忧完全是妄想和天方夜谭。
Rob Wiblin：哦不对，是什么来着？是"荒唐可笑"。我记得原话是这个。也许那只是特指 Terminator 那种情景。
Yoshua Bengio：我想是的。我很少用这类词，但我知道我当时在想什么、一直在说些什么。当时我认为，首先，Terminator 那种情景是荒唐可笑的。时间旅行之类的东西。
Yoshua Bengio：而且，它显然也不能反映真实风险的样貌。我们没有机器人，2019 年就更没有了。但更重要的是，我想我当时说那些话的主要原因，是我躲在这样一种信念后面：那一天离我们如此遥远，在走到那一步之前，我们早就能把 AI 的好处收割完了。那我为什么没有关注，或者说没怎么关注，比如失控风险呢？我接触这类观点已经超过十年了。我读过一些 AI 安全文献。2019 年我读了 Stuart Russell 的书。David Krueger 还是我的学生。
Yoshua Bengio：是他让我接触到这些想法的。但要记得，我当时正在积极地让 AI 变得更聪明。而你总想对自己的工作感觉良好。就是这样。不是钱的问题。
Rob Wiblin：你真的认为那就是你的原因吗？
Yoshua Bengio：是的。现在问我为什么改变了想法，就很有意思了。我喜欢用佛教徒的一种说法来思考这个问题：要对抗一种让你做错事的情绪，对大多数人来说，单靠理性是无力的。你需要另一种情绪，来抵消那种把你推向错误方向的情绪。对我来说，那种非常强大的另一种情绪是爱，对我孩子们的爱。一想到 ChatGPT 问世之后我还能若无其事地继续下去、什么都不做，我就无法原谅自己——因为我觉得我没法对自己隐瞒"我们可能正走向某种可怕结局"的可能性。我知道神经网络从构造上就非常难以控制，尤其是配上强化学习之后。所以我不知道为什么这对某些人有效、对另一些人无效。但对我来说，真的是一种情绪，帮助我对抗了那种下意识地把头扭开的驱动力。
Rob Wiblin：把别人与自己相左的观点解释为非理性因素——比如他们想对自己或自己的工作感觉良好——是很有诱惑力的。但我感觉另一边也有一套镜像的说辞：他们会说，像你我这样的人是被科幻小说洗了脑，或者我们想要相信自己的安全工作很重要。当有人试图把我的信念归因于非理性时，我觉得那不可信、非常令人沮丧、也毫无说服力。当然，某种程度上我们都不完全理性，但当有人说"你就是科幻看多了，你是妄想"时，我会说："不，我不是。不是那么回事。"
所以，即使我确实对别人抱有这类看法，我也不指望它能经常说服他们。而且我几乎觉得，你需要格外用心地去回应他们所说内容的实质，哪怕你认为也许真正起作用的并不是那些论点。你对此有什么想法吗？
Yoshua Bengio：有，完全同意。这是很大的工作量，但对于人们反对采取预防行动时提出的每一个论点，我们都需要一个一个地回应。这不是很见效，但它是"对我们正在做的事情诚实、对我们自己诚实"的必要组成部分。所以有一段时间，我很担忧，但我一直希望有人能给我一个让我安心的答案。
Yoshua Bengio：然后我去找了。我和那些认为不会有事的人交谈。由此产生了大量对话，帮助我建立起对各种论点的理解。不幸的是，这些对话没能让我相信我们会没事，于是我继续工作，但现在更多是研究：我们如何修复这个问题？所以是的，我同意你。而且我认为我们也必须保持谦逊：也许你和我是错的。也许一切都会好好的。
Rob Wiblin：事情顺利收场的可能性是相当大的。
Yoshua Bengio：是的，我对那种可能性完全坦然。事实上，我希望我们是错的。但我认为诚实的姿态应该是：如果在"认为会没事的人"和"认为会是灾难的人"之间，我们不知道谁对，如果人们能够说"好吧，存在这种不确定性。那我们该怎么办？"——那么理性的做法就清楚了：我们至少需要做足够多的事情来缓解最大的那些风险。
Rob Wiblin：是的。我的最佳猜测是，Anthropic 在玩的这场猫鼠游戏，防住灾难性未对齐和失控的可能性大于一半。但在我看来，胜算高于 50% 并不够。我会想：我们为什么不能做到 90% 或 99%？而在那个层面上，感觉我们距离拥有那种让人真正安心所需的强有力证据或保证，还差得很远。
Yoshua Bengio：正是。我认为"坏事发生的概率是 50%、甚至是 1%"，与我用 Scientist AI 提议的——基本上是 99.999%——之间有巨大差别。当我们逼近超级智能时，我们需要处在的正是这种量级的安全水平。
Rob Wiblin：我想我大概愿意多承担一点风险，因为还有其他一些风险是 AI 能帮我们降低的，对吧？所以也许 99% 就……
Yoshua Bengio：不，不。我说的只是欺骗行为。
Yoshua Bengio：所以它解决不了权力集中问题，这也是我同时在那上面花时间的原因。顺便说，作为一个整体，我认为我们在那上面花的时间不够，我们也不怎么讨论它，但它在我心目中已经变得重要得多——因为我现在确实认为，失控问题在技术上有解。那么下一个最大的风险就是 AI 独裁。
Rob Wiblin：是的。而那个问题我们离解决还很远。过去一年我们节目里对它有很多报道。我想它已经成了一个更受关注的议题。对于特别想聚焦这个问题的人，你有什么想指引他们去看的吗？
Yoshua Bengio：我认为我们应该鼓励国际讨论。尽管最重要的决定确实将发生在美国和中国，而其他国家有很多人感到无力，那些国家的政府也感到无力。但那是个错误。美国和中国之外的人是可以有所作为的。而起点是理解我们正在进行的这种讨论：是的，我们不知道会发生什么，我们不知道我们做点什么会不会有帮助——但我认为它真的有可能有帮助，而我们必须抓住那些机会。
Rob Wiblin：你在 2022 年和 2023 年对自己的工作方向做了巨大的转变，从聚焦能力转向聚焦可靠性和安全等等。你认为 AI 领域其他资历较深的人，是否也许低估了自己做出重大职业转变、切换工作重心的能力？我想 [Geoffrey] Hinton 做的大致是同一件事，对吧？
Yoshua Bengio：是的。我想对于已经功成名就的人来说，这更容易。我看到我的很多学生，他们似乎理解我在说什么，也大体同意这很危险，但在他们心里的决策计算中，有一项是："那我的职业、我的家庭怎么办？我需要有一份不错的薪水。"
Rob Wiblin：我感觉在对齐、安全和可靠性工作里，也能挣到相当不错的钱。
Rob Wiblin：没有那么多，是。是少一些，但按任何正常标准都算不错了。
Yoshua Bengio：是的，我完全同意你。但机器学习学生中存在一种职业焦虑，这挺出人意料的。回到 10 年前，甚至 15 年前，在深度学习还没成为人们的谈资之前，从我课题组出来的机器学习博士的薪水，和现在完全没法比。但不知怎么，那时的人们没有这么焦虑。我不知道，也许是地位（status）的问题。因为存在这些疯狂的高薪，人们被吸引过去，仿佛必须达到那种地位——尽管他们其实并不需要一年挣几百万美元。在我看来，思考他们将生活在、他们的孩子将生活在什么样的世界里，重要得多。但现实就是这样。再说一次，这不理性。这是人类心理在起作用。
Rob Wiblin：2023 年，我记得你在一次访谈中给出过 20% 的 p(doom)。那之后我没见你再对谁给出过 p(doom)。你愿意说说它是升了还是降了吗？还是说你退出 p(doom) 游戏了？
Yoshua Bengio：我宁愿退出 p(doom) 游戏。但让我解释一下原因。这与我反复讲的关于不确定性的论述相关：我自己并非 100% 确定我认为可信的事情就会发生，但我确实承认存在大量不确定性。所以给出这样一个数字，等于对将要实际发生的事情做出重大承诺，而我们并没有科学数据可以用来计算这样一个数字。所以我更愿意这么说：它可能很小，也可能很大，但在那个很宽的区间里，这个概率对我的口味、对我孩子们的未来来说都实在太高了。所以不管它是多少，只要不是 10 的负 20 次方，我就不满意，我就会为此做点什么。
Rob Wiblin：最后一个问题：回到 2019 年，你听过那些论证，但你并不买账。对于今天仍然停留在你 2019 年那个位置、又设法听完了这期访谈其余部分的人，你会说什么？你想向他们传达什么？
Yoshua Bengio：好问题。我会说一件对人们来说很难做到的事：试着放下你关于智能、关于市场效率的先验信念，不管你的信念是什么，试着只聚焦于证据——尤其是过去几年里由公司、学术界和非营利组织通过实证收集的证据，还有 AI 安全领域十多年来发展出的理论证据，它们说明了那些根本性的原因，比如：如果你做强化学习，你就会得到奖励劫持。我想很多人，比如机器学习研究者，根本连读那些论文的时间都没花过，所以很容易一句"这些人肯定是被科幻带偏了"之类的话就打发了。而当你真正去看摆在我们面前的理论和实验时，作为一个科学家就很难否认那个现实了。所以我会鼓励一种开放的心态：在给自己定下立场之前，花时间把证据读完——那才是科学的做法。不幸的是，这里存在一种糟糕的极化效应。一旦一个人认定了"会没事的"这个观点，出于心理原因就非常难回头——因为你想对自己过去说过的话感觉良好。所以要说出"我改变了想法，我错了"很难，但从认识论、从科学的角度看，那才是正确的做法。如果科学家不接受自己的理论、解释等等可能有错，我们就不会有进步。我们就不会有科学进步。正是当人们愿意质疑自己的信念、去审视证据时，我们才能取得进步。
Rob Wiblin：今天的嘉宾是 Yoshua Bengio。非常感谢你来到 The 80,000 Hours Podcast，Yoshua。
Rob Wiblin：也感谢你所做的一切。