Dwarkesh Podcast 订阅 登录 Dwarkesh Podcast
Demis Hassabis —— Scaling、superhuman AIs、AlphaZero atop LLMs、AlphaFold
“scaling 是一门艺术”
Dwarkesh Patel 2024年2月28日
在 LLM 之上增加搜索、规划与 AlphaZero 式训练确保流氓国家无法窃取 weights
对齐 superhuman AI 并实现智能爆炸的正确方式在 YouTube 上观看。在 Apple Podcasts、Spotify 或任何其他播客平台收听。在此阅读完整文字记录。
(0:24:13) — 时间线与智能爆炸 (0:40:42) — 安全、开源与 weights 的安全 (0:47:00) — 多模态与进一步进展
智能的本质
Teddy Kim 编辑，附有大量有用的链接今天非常荣幸能与 Demis Hassabis 对话，他是 DeepMind 的 CEO。Demis，欢迎来做客。第一个问题，鉴于你的神经科学背景，你如何看待智能？具体而言，你认为它是一个高层次的通用推理回路，还是数千个独立的子技能和启发式方法？这很有意思，因为智能的范围非常广，而我们将其用于各种通用场景。我认为这表明，大脑处理周围世界的方式背后，一定存在一些高层次的通用算法主题。当然，大脑中有专门负责特定功能的区域，但我认为这一切背后可能有一些底层原则在支撑。你如何理解这样一个现象：在这些 LLM 中，当你给它们某个特定领域的大量数据时，它们往往会在该领域不成比例地变强。难道我们不应该期待它在所有不同领域都获得普遍提升吗？首先，我认为当你在特定领域取得进步时，有时确实会在其他领域获得出人意料的提升。例如，当这些大模型在编程方面进步时，实际上也能提升它们的通用推理能力。因此，确实存在一些 transfer 的证据，尽管我们希望能有更多证据。但人类大脑的学习方式也是如此。如果我们大量体验和练习国际象棋、创意写作或其他任何东西，我们也往往会变得更加专门化，并在那件特定的事情上变得更擅长，尽管我们使用的是通用的学习技巧和通用的学习系统来在该领域达到精通。对你来说，这类 transfer 最令你惊讶的例子是什么？你看到的是语言和代码之间，还是图像和文本之间？我希望我们会看到更多这类 transfer，但我认为比如在编程和数学上变得更擅长，然后整体上提升推理能力，就是这种情况。我们人类学习者就是这样运作的。不过，在这些人造系统中看到这一点也很有意思。那么在语言和代码的例子中，你是否能以某种机制性的方式，找到神经网络中同时因语言和代码而变强的那部分？还是说这已经太细节了？我认为我们的分析技术还不够先进，不足以精准定位到这一点。我认为这实际上是一个需要大量后续研究的领域，也就是对这些系统构建出的表征进行机制性分析。我有时喜欢称之为“虚拟大脑分析”。在某种程度上，这有点像对真实大脑做 fMRI 或单细胞记录。对于这些人工心智，有什么类似的分析技术？这方面已经有很多出色的研究正在进行。像 Chris Olah 等人，我很喜欢他的工作。我认为许多计算神经科学的技术可以被用来分析我们正在构建的当前系统。事实上，我也试着鼓励我的许多计算神经科学领域的朋友开始朝这个方向思考，把他们的专业知识应用到大型模型上。鉴于你的神经科学背景，关于人类智能，有哪些其他 AI 研究者不太理解、而你有所洞见的东西？如果你回顾过去这 10 到 20 年我们所做的工作，我认为神经科学已经贡献了很多。我自己思考这个问题已经超过 30 年了。在 AI 新一波浪潮的早期，神经科学提供了很多有趣的方向性线索，比如强化学习，以及将其与深度学习结合。我们在这方面的开创性工作包括经验回放（experience replay），甚至 attention 的概念，而后者已经变得极其重要。许多最初的灵感都来自对大脑运作方式的一定理解，当然并非精确的一一对应。一个是工程系统，另一个是自然系统。关键不在于特定算法的一一映射，而更多是一种方向性的启发。可能是架构上的想法、算法上的想法，或者表征上的想法。大脑本身就是一个存在性证明，证明了通用智能至少是可能的。我认为人类探索的历史一贯如此：一旦你知道某件事是可能的，就更容易朝着那个方向大力推进，因为你知道这只是努力的问题，是时间问题，而非是否可能的问题。这让你能更快地取得进展。所以我认为，神经科学至少在一种较为柔和的意义上，启发了很多推动我们走到今天这一步的思维方式。至于未来，我认为在规划方面仍有很多有趣的问题有待解决。大脑是如何构建正确的 world model 的？我研究过大脑如何进行想象，你也可以将其视为心智模拟。我们如何才能创造出非常丰富、具有视觉空间感的世界模拟，以便让我们更好地做规划？实际上，我很好奇你认为这将如何与 LLM 结合。显然，DeepMind 多年来一直处于前沿，像 AlphaZero 等系统就是这样，拥有能够逐步思考以达成最终结果的智能体。LLM 有没有可能在其之上实现这种树搜索？你如何看待这个问题？我认为这是一个非常有前景的方向。我们必须持续改进大型模型。我们必须持续让它们成为越来越准确的世界预测器，让它们成为越来越可靠的 world model。这显然是一个 AGI 系统的必要组成部分，但可能还不够充分。在此基础上，我们正在研究类似于 AlphaZero 的规划机制，利用该模型来制定具体的计划，以实现现实世界中的某些目标。也许是将思维、推理链条连接起来，并利用搜索来探索巨大的可能性空间。我认为这正是我们当前大型模型所缺失的东西。你如何解决这些方法通常所需的巨大计算量？即便是 AlphaGo 系统也相当昂贵，因为你基本上要在树的每个节点上都运行一个 LLM。你预计怎样才能让它变得更高效？有一点是，摩尔定律往往能带来帮助，每年的算力都在增加。但我们非常关注 sample-efficient 的方法，以及复用现有数据的方式，比如 experience replay，同时也致力于寻找更高效的途径。你的 world model 越好，搜索的效率就越高。我经常会举 AlphaZero 的例子，这是我们用来下围棋、象棋和各类游戏的系统。它在所有这些游戏中都强于人类世界冠军水平，而且相比 Deep Blue 这类暴力搜索的方法，它所需的搜索量少得多。传统的 Stockfish 或 Deep Blue 系统在每一步决策时可能要考察数百万种可能的走法。AlphaZero 和 AlphaGo 可能只查看大约数万个可能的局面，就能决定下一步怎么走。而人类特级大师或世界冠军可能只考虑几百种走法，即便是顶尖棋手也是如此，就能做出非常高水平的决策。这说明暴力搜索系统除了对游戏的启发式规则外，并没有真正的模型。AlphaGo 拥有相当不错的模型，但顶尖人类棋手对围棋或象棋的模型要丰富得多、准确得多。这让他们只需极少的搜索就能做出世界级决策。所以我认为这里存在一种权衡。如果你改进了模型，搜索就能更高效，从而让你的搜索走得更远。基于这点我有两个问题。在 AlphaGo 中，你有一个非常明确的胜利条件：说到底，我有没有赢下这盘围棋？你可以据此进行强化。而当你想到一个 LLM 输出思考过程时，你认为最终是否会有能力判别这段思考值不值得奖励？当然，这正是我们开创的，也是 DeepMind 颇负盛名的一点——把游戏作为试验场。部分原因是在该领域做研究效率很高。另一个原因显然在于，指定 reward function 非常容易。赢得比赛或提高分数之类的事情在大多数游戏中都是内置的。所以这是现实系统面临的挑战之一。如何定义正确的 objective function、正确的 reward function 和正确的目标？如何用通用的方式去描述它们，又足够具体，从而真正引导系统走向正确方向？对于现实问题，这要困难得多。但实际上，即便在科学问题中，通常也有办法去明确你追求的目标。当你思考人类智能时，你刚才提到人类思考这些想法时具有极高的 sample efficiency。比如爱因斯坦提出相对论，对吧？方程有成千上万种可能的排列组合。你认为这也是依靠某种不同的启发式策略，比如“我要尝试这种方法而不是那种”？还是说，这与 AlphaGo 规划下一步走法的方式完全不同，是一种截然不同的提出解决方案的途径？我认为这是不同的，因为我们的大脑并非为执行 Monte Carlo tree search 而生。我们的有机大脑就不是这样运作的。我认为像爱因斯坦这样的人，为了弥补这一点，运用了他们的直觉——也许我们可以谈谈直觉是什么——以及他们的知识和经验。就爱因斯坦而言，他构建了极其精确的物理模型，其中包含心智模拟。如果你读关于爱因斯坦的资料，了解他是如何提出那些理论的，他会进行可视化，并真正去感知这些物理系统应该是什么样的，而不只是数学层面。他对它们在现实中的样子有一种非常直觉化的感受。这让他能够思考那些在当时非常离奇的想法。所以我认为这涉及到我们所构建的 world model 的复杂程度。想象你的 world model 能把你带到搜索树中的某个节点，然后你只在该叶节点周围做少量搜索，就能抵达那些前所未有的领域。显然，如果你的模型以及你对该模型的判断非常、非常好，你就能更准确地挑选应该用搜索去扩展哪些叶节点。因此总体上，你做的搜索就少得多。我的意思是，任何人都不可能在任何有意义的规模上进行那种暴力搜索。目前一个重大的开放问题是，RL 是否能让这些模型利用 self-play 生成的 synthetic data 来突破数据瓶颈。听起来你对此很乐观？我对此非常乐观。首先，仍然有大量数据可以被利用，特别是如果你考虑到 multimodal、视频这类东西。显然，社会一直在向互联网等地方添加更多数据。我认为创造 synthetic data 有很大的空间。我们正在以不同方式研究这一点，部分是通过仿真，例如利用非常逼真的游戏环境来生成逼真的数据，但也包括 self-play。也就是让系统彼此互动或对话。这在 AlphaGo 和 AlphaZero 上对我们来说效果非常好，我们让系统相互对弈，实际上从彼此的错误中学习，并以这种方式积累知识库。我认为这有很好的类比。但要构建一种通用的世界数据，会稍微复杂一些。你如何让这些模型达到这样一种状态：它们在 self-play 中输出的 synthetic data 不仅仅是数据集中已有内容的重复，而是它们从未见过的东西？从而真正提升能力。我认为这背后需要一整套科学体系。我们在这方面仍处于起步阶段，包括数据策展、数据分析，以及真正分析数据分布中存在的漏洞。这对公平性、偏见等问题也很重要。要将这些从系统中消除，就必须确保你的数据集能够代表你试图学习的分布。有很多技巧可以使用，比如对数据的某些部分进行 overweighting 或 replaying。或者，如果你发现了数据集中的某些缺口，你可以想象这正是你该让 synthetic generation 能力发挥作用的地方。如今，人们开始关注 DeepMind 多年前做的那些 RL 工作。有哪些早期的研究方向，或者很久以前做过的东西，你认为将来会非常重要，但人们却一直没注意？曾经有一段时间，人们也没有关注 scaling。现在有什么东西是完全被低估的？我认为过去这几十年的历史，就是各种事物不断时兴时衰，对吧？一段时间以前，大概是五年多前，我们在 AlphaGo 以及更早的 DQN 上做了开创性工作。那是第一个在 Atari 上运行的系统，我们真正意义上第一个大型系统距今已有十多年了，它放大了 Q-learning 和 RL 技术，并将其与深度学习结合，创造了 deep reinforcement learning。我们利用它来掌握一些相当复杂的任务，比如仅从像素画面玩 Atari 游戏。我确实认为很多那些想法需要重新回归，而且正如我们之前谈到的，要把它们与大型模型和大型 multimodal model 的新进展结合起来，这些新进展显然也非常令人兴奋。所以我认为把某些旧想法与新想法结合起来，有很大的潜力。
AGI 最终有没有可能来自纯粹的 RL 方法？按照我们现在的讨论方式，听起来似乎是 LLM 先形成合适的先验，然后这种树搜索会叠加在上面。还是说，存在一种可能性，它完全是从未知方向出现的？理论上，我认为没有理由不能走一条完全类似 AlphaZero 的路线。Google DeepMind 内部以及 RL 社区里有一些人在做这方面的研究，完全假设没有 prior、没有数据，一切知识都从零开始构建。我认为这很有价值，因为这些想法和算法在你也拥有一些知识的情况下同样应该有效。话虽如此，我认为通往 AGI 最快、也最可行的路径，无疑是利用当下世界上已有的全部知识，比如我们通过网络收集到的那些。我们拥有像 transformer 这样可扩展的算法，能够吸收所有这些信息。所以，我觉得没理由不以一个模型作为某种 prior，或者在此基础上进行构建，做出预测来帮助 bootstrap 你的学习过程。我认为不加以利用是说不过去的。因此我推测，最终的 AGI 系统会将这些大型 multimodal models 作为整体方案的一部分，但它们可能单凭自身还不够。你还需要在上面叠加额外的 planning search。这听起来就像是我接下来要问的问题的答案。作为在这个领域深耕多年、见证过各种潮流来去的人，你认为 scaling hypothesis 的强版本哪些说对了、哪些说错了？也就是说，只要向足够广泛的数据分布投入足够的 compute，就能得到智能。我的看法是，这在目前某种程度上是一个经验性问题。我认为，包括最早研究 scaling hypothesis 的人在内，几乎所有人都对它的进展之深远感到惊讶。从某种角度说，我看今天的大型模型，觉得它们就其本质而言几乎有效得不可思议。它们涌现出的某些特性相当令人惊讶。在我看来，它们显然已经具备了某种形式的 concepts 和 abstractions 之类的东西。如果放在五年以前，我可能会对你说，也许我们需要额外的算法突破才能做到这一点，也许更像大脑的工作方式。如果我们想要显式的抽象概念、清晰的 concepts，我认为这仍然成立，但这些系统似乎可以隐式地学到这些。另一件非常有趣且出乎意料的事情是，这些系统具有某种 grounding，尽管它们并非以多模态的方式体验世界——至少直到最近我们有了 multimodal models 之前是这样。仅凭语言就能构建起的信息量和模型数量是惊人的。关于为什么会这样，我有一些假设。我认为我们通过 RLHF 反馈系统获得了某种 grounding，因为显然，人类标注者本身 by definition 就是 grounded 的人。我们扎根于现实，所以我们的反馈也是 grounded 的。也许有一部分 grounding 是通过这个渠道进来的。另外，如果你能够消化所有信息，也许语言所包含的 grounding 比语言学家以前认为的更多。因此，这其实提出了一些非常有趣的哲学问题，而人们甚至还没有真正触及皮毛。回望已经取得的进展，思考它下一步将走向何方是相当有意思的。关于你提到的大型模型问题，我认为我们必须尽全力推进 scaling，这也是我们在这里正在做的。这是否会碰到 asymptote 或 brick wall，这是一个经验性问题，对此不同的人有不同的争论。我认为我们应该直接去验证它。没人知道答案。与此同时，我们也应该加倍投入创新与发明。在过去十年里，Google Research、DeepMind 和 Google Brain 在这方面开创了许多许多东西。这是我们的老本行。你可以认为我们一半的努力用于 scaling，另一半则用于发明下一代 architectures 和下一代 algorithms，因为我们知道规模越来越大的模型正在路上。所以，我目前的推测——不过只是一种粗略的推测——是你两者都需要。我认为你必须尽全力推进双方，而我们很幸运处于能够这么做的位置。我想进一步问问 grounding 的问题。你可以设想有两种变化可能会让 grounding 变得更加困难。一是随着这些模型变得越来越聪明，它们将能够在一些我们无法生成足够人类标注的领域运作，仅仅因为我们不够聪明。如果它提交了一个百万行的 pull request，我们怎么告诉它，比如，这符合我们的道德约束和最终目标、而那不符合？另一个问题与你刚才提到的 compute 有关。到目前为止，我们一直在做 next token prediction，这在某种意义上是一种 guardrail，因为你必须像人类那样说话、像人类那样思考。而现在，额外的 compute 可能将以 reinforcement learning 的形式出现，它只管达成目标，我们却无法真正追溯它是如何到达那里的。当这两者结合起来，你有多担心 grounding 会丧失？我认为，如果没有得到适当的 grounding，系统就无法妥善实现那些目标。从某种意义上说，一个系统若要在现实世界中真正达成目标，就必须具备某种 grounding。我确实认为，这些系统，以及像 Gemini 这样的产品，正变得越来越 multimodal。当我们开始摄入视频、视听数据以及文本数据时，系统就会开始将这些事物关联起来。我认为这是一种 proper grounding 的形式。所以我确实认为，我们的系统将开始更好地理解现实世界的物理规律。然后你可以想象一种主动的版本，即在一个非常逼真的模拟或游戏环境中，你开始学习自己的行动在世界中会产生什么效果，以及这如何影响世界本身。世界保持其自身，但它也会影响你接下来获得的学习样本。所以我们一直研究并开创的那些 RL agents，比如 AlphaZero 和 AlphaGo，实际上就是主动学习者。它们下一步决定做什么，会影响它们接下来将获得的数据片段或经验。因此存在一种非常有趣的反馈循环。当然，如果我们想在机器人学等领域做到出色，我们就必须理解如何在现实世界中行动。所以 grounding 一方面关系到能力能否继续推进，它们是否足够贴近现实以去做我们想要的事。另一方面，grounding 还有另一层含义：我们很幸运，由于它们是在人类思维上训练的，它们也许会像人类一样思考。当训练中的更多 compute 仅仅来自“你是否得到了正确的结果”，而不再受到“你是否像人类一样进行 next token”的约束时，这一点在多大程度上仍然成立？也许我要向你提出的更宏观的问题是——这也是我问过 Shane 的——对齐一个比人类更聪明的系统需要什么？也许它以 alien concepts 思考，而你无法真正审查那个百万行的 pull request，因为你根本无法理解整件事，也无法给出标注。这件事——Shane 和我，以及这里的许多其他人，早在创办 DeepMind 之前就一直牢记在心，因为我们为成功做了长远打算。2010 年，没人在思考 AI，更不用说 AGI 了。但我们当时已经知道，如果能在这些系统和这些想法上取得进展，由此创造的技术将带来难以置信的变革。所以早在 20 年前，我们就在思考这会带来什么后果，无论是正面的还是负面的。当然，正面方向是惊人的科学，比如 AlphaFold，在健康与科学领域以及数学和科学发现上的惊人突破。但我们也必须确保这些系统在某种程度上是可理解且可控的。这本身会是一场完整的讨论，但人们有很多很多想法，比如更严格的 eval 系统。我认为我们在评估和基准测试方面做得还不够好，比如系统是否能欺骗你。它能否外泄自己的代码，或者做出其他不良行为？还有人提出使用 AI——不是通用学习型的 AI，而是可能专门针对某个领域的 narrow AI——来帮助我们人类科学家分析和总结更通用的系统在做什么。所以有 narrow AI 工具。我认为，创建加固的 sandbox 或模拟环境非常有前景，这些环境通过网络安全措施进行加固，既把 AI 关在里面，也把黑客挡在外面。在那个 sandbox 域内，你可以更自由地进行实验。还有很多其他想法，包括我们之前讨论过的分析类工作，即我们可以分析并理解这个系统正在构建的概念是什么，它的表征是什么。这样一来，它们对我们来说也许就没那么陌生了，我们也能真正跟踪它正在构建的知识类型。稍微退一步，我很好奇你的时间线是怎样的。Shane 说他的 modal 结果是 2028 年，我想那大概是他的中位数预测。你的呢？我没有给它预设具体的数字，因为我认为存在太多未知和不确定性。人类的智慧和努力总是会带来惊喜。所以这可能会显著改变时间线。我要说的是，2010 年我们创办 DeepMind 时，我们把它看作一个 20 年的项目。而我认为我们实际上正按计划推进，这对于 20 年周期的项目来说有点不可思议，因为它们通常永远“还要 20 年”。不管是量子计算、AI 还是别的什么，大家都这么开玩笑。但我认为我们正按计划推进。所以，如果我们在未来十年内拥有类似 AGI 的系统，我不会感到惊讶。你认同这样一种模型吗：一旦你拥有了 AGI，你就拥有了一个能从根本上加速后续 AI 研究的系统？也许不是一夜之间，但在数月和数年的时间里，你会取得比原本快得多的进展？我认为这是有可能的。我觉得这在某种程度上取决于我们整个社会决定如何使用最初新生的 AGI 系统或 proto-AGI 系统。即使是当前的 LLM 似乎也相当擅长编程，我们还有像 AlphaCode 这样的系统。我们也有定理证明系统。因此，可以想象把这些想法结合起来，让它们变得更好。我能想象这些系统在设计和帮助我们构建它们自身的未来版本方面会相当出色，但当然，我们也必须考虑这样做的安全影响。我很好奇你对此怎么看。我不是说这会在今年发生，但最终你会开发出一个模型，你认为它一旦完全成熟，就有可能具备某种智能爆炸式的动态。到了那个节点，这个模型必须满足什么条件，你才会放心地继续开发这个系统？比如，“我已经看到了这些特定的 eval，我已经充分理解了它的内部思维和未来思维。”
在我能自信地向你解释我们需要勾选哪些条件之前，我们对这些系统的理解必须比今天深入得多。我认为，在未来几年里，在那些系统到来之前，我们必须提出正确的评估和指标。最理想的是形式化证明，但对这类系统来说会很难，所以至少要建立关于这些系统能做什么的经验性边界。这就是为什么我认为像欺骗这样的特质是你绝对不想要的根节点特质。如果你确信你的系统暴露的是它的真实想法，那就开辟了利用系统本身向你解释其自身某些方面的可能性。我是这样想的：如果我要和 Garry Kasparov 下棋——我以前和他下过——或者 Magnus Carlsen，或者史上那些了不起的棋手，我想不出他们能走出的棋步。但他们可以向我解释为什么他们走了那一步，而事后我也能理解，对吧？这就是可以想象的事情之一。我们可以利用这些系统的能力之一，就是让它们向我们解释，甚至也许能得到它们某种思考背后的证明，尤其是在数学问题上。明白了。那反过来呢？你有没有想过，如果明天早上出现了什么情况，你会说“天哪，我没预料到这一点”？你看到了某个具体的观察结果，让你说出“我们必须停止 Gemini 2 的训练”？我能想象那种情况。这就是为什么 sandbox 模拟之类的东西很重要。我希望当非常意外的事情发生时，我们是在一个安全、受控的环境中做实验。出现了一种意想不到的新能力，或者某种我们不希望发生的事情。我们明确告诉系统我们不希望它这么做，但它还是做了，并且对此撒了谎。这类事情会让人想要仔细深究。在我看来，当今的系统并不危险，但几年后它们可能会有潜在危险。那时，理想的做法是暂停，真正查清它为什么会做那些事，然后再继续。回到 Gemini，我很好奇开发过程中的瓶颈是什么。如果 scaling 有效，为什么不立刻把它做大一个数量级？首先，存在实际的限制。一个数据中心究竟能塞下多少算力？你还会遇到一些非常有趣的分布式计算挑战。幸运的是，我们有世界上一些最优秀的人才在解决这些挑战，以及跨数据中心训练等诸如此类的问题。还有非常有趣的硬件挑战，我们有自己的 TPU，一直在持续设计和建造，同时也使用 GPU。所以方方面面都是问题。Scaling law 也不是靠魔法生效的。你仍然需要扩展超参数，而且在每一次新的规模提升时，各种创新都在不断加入。这不是在每个新规模上重复同样的配方。你必须调整配方，这有点像一门艺术。你得获取新的数据点。如果你试图把预测外推几个数量级，有时候它们就不再成立了。在新能力方面可能会出现阶跃函数，有些东西成立，有些则不成立。通常你确实需要那些中间数据点来修正一些超参数优化和其他东西，这样 scaling law 才能继续成立。所以这里面有各种实际的限制。每个时代之间，一个数量级大概是你想做的最大幅度。这太有意思了。在 GPT-4 的技术报告中，他们提到，仅用算力比 GPT-4 小数万倍的模型，就能预测 training loss。他们能看到那条曲线。但你的观点是，loss 所对应的 actual capabilities 未必如此。是的，downstream capabilities 有时并不会随之出现。你通常可以预测 training loss 这类核心指标，但它实际上并不会直接转化为 MMLU、数学或其他你关心的 actual capability。它们并不总是线性的。其中存在非线性效应。在 Gemini 的开发过程中，就这类情况而言，最大的惊喜是什么？我不觉得有某个特别大的惊喜。尝试训练这种规模的模型并从组织层面学习各种事情，这本身非常有趣，比如如何看护这样的系统并进行追踪。另外还包括更好地理解你正在优化的指标与最终想要的能力之间的关系。我想说，这种映射关系目前仍未被完全理解，但它很有意思，而且我们正在越来越擅长把握它。有一种看法认为，与其他实验室相比，DeepMind 在 Gemini 上的 compute efficiency 可能没那么高。不知道你如何看待这种看法。我不这么认为。实际上，Gemini 1 使用的算力与传闻中 GPT-4 所用的大致相当，可能还略多一点。我不清楚具体用了多少，但我认为是在同一个数量级。我认为我们的算力使用效率很高，而且我们将算力用于很多方面。一方面不只是 scaling，回到之前说的，还有更多的创新和想法。一项新的创新、新的发明，只有在能够 scale 的情况下才有用。所以你需要相当多的算力来进行新发明，因为你必须测试很多东西，至少要在一定合理的规模上测试，并确保它们在那个规模下有效。此外，有些新想法在 toy scale 上可能行不通，但在更大规模上却有效。事实上，这些才是更有价值的。所以如果你想想这个探索过程，你需要相当多的算力才能做到这一点。好消息是，我们在 Google 相当幸运。我认为今年我们将拥有远超任何研究实验室的算力。我们希望能在 scaling、系统能力以及新发明这几方面都非常高效、充分地利用这些算力。如果回到 2010 年你刚创办 DeepMind 的时候，就 AI 发展的面貌而言，最大的惊喜是什么？你当时是否预料到，从某种宏大的意义上讲，这会演变成向这些模型投入数十亿美元？还是说你当时有不同的预期？我们当时确实是这么想的，而且我知道你也采访过我的同事 Shane。他一直从 compute curves 的角度思考，并将其与大脑进行粗略比较，比如有多少神经元和突触。有趣的是，我们现在实际上就处于那种 regime，算力和大脑突触的数量大致处于同一个数量级。但我认为更根本的是，我们始终押注于 generality 和 learning。这两点始终是我们所用任何技术的核心。正因如此，我们锁定了 reinforcement learning、search 和 deep learning 这三类算法，因为它们能够 scale、非常 general，而且不需要大量 handcrafted 的人类 priors。我们认为，这正是 90 年代 MIT 等地构建 AI 努力的 failure mode——那些非常基于逻辑的 system、expert system，以及大量 hand-coded、handcrafted 的人类信息被输入其中，结果证明是错的或过于僵化的。所以我们想摆脱那种方式，而且我认为我们很早就看出了这一趋势。显然，我们以游戏作为 proving ground，并且取得了很好的成绩。我认为这一切都非常成功，也许还启发了其他人。我觉得 AlphaGo 是一个重要时刻，激励了很多人去想：“哦，其实这些系统已经准备好 scale 了。”当然，后来随着 transformer 的出现——由我们在 Google Research 和 Brain 的同事发明——这是一种能够让我们摄入海量信息的 deep learning。它真正 turbocharged 了我们今天的处境。所以我认为这都是同一脉络的一部分。我们无法预测其中的每一个曲折转折，但我认为我们前进的大方向是正确的。如果你去读你或 Shane 早年的论文，会发现很有意思。Shane 在 2009 年的论文里说：“好吧，我们检验 AI 的方式是，你能压缩 Wikipedia 吗？”而这 literally 就是 LLM 的 loss function。或者你自己在 2016 年 transformer 出现之前的一篇论文里比较了神经科学和 AI，并说 attention 才是所需要的。没错。所以我们很早就提出了这些概念，也发表过一些早期的 attention 论文，但最终它们不如 transformer 那样优雅，比如 neural Turing machine 之类。Transformer 是其中更优雅、更 general 的架构。当你把这一切向前推演，想到 superhuman intelligence 时，你眼中的图景是什么样的？它还会由一家私营公司掌控吗？具体而言，它的 governance 应该是什么样的？我认为这项技术的影响如此深远。它比任何一家公司，甚至比整个行业都要宏大得多。它必须是一场大规模协作，需要民间社会、学术界、政府等许多利益相关方共同参与。好消息是，随着近期 chatbot 系统的普及，我认为这唤醒了社会其他许多领域，让他们意识到这一切正在到来，以及与这些系统交互将是什么样的。这很好。它为非常有益的对话打开了许多扇门。一个例子就是几个月前英国主办的安全峰会，我认为它在推动这种国际对话方面取得了巨大成功。我认为全社会都需要参与决定，我们希望将这些模型部署于何种用途？我们希望如何使用它们，又不希望将它们用于什么？我认为我们必须努力就此达成某种国际共识，同时也要确保这些系统惠及每个人，造福整个社会。正因如此，我才如此大力地推动 AI for science 之类的事情。我希望通过像我们的分拆公司 Isomorphic 这样的项目，我们将开始用 AI 治愈可怕的疾病，加速药物发现，应对气候变化，并做出其他惊人的事情。人类面临着重大挑战，巨大的挑战。我实际上持乐观态度，相信我们能够解决它们，因为我们手头上正迎来 AI 这一极其强大的工具，可以加以应用来帮助我们解决许多这类问题。理想情况下，如果可能的话，我们应该在联合国层面就此达成广泛共识并进行大讨论。有一件事很有意思：如果你审视这些系统并与它们对话，它们非常强大、非常聪明。但有趣的是，它们至今尚未实现经济中大部分领域的自动化。而如果五年前我给你展示 Gemini，你会说：“哇，这东西肯定要颠覆很多领域了。”那么你如何解释这一点？为什么它还没有产生更广泛的影响？我认为这恰恰表明，我们仍处在这个新时代的初期。现在确实有一些有趣的应用场景，你可以用这些聊天机器人系统来为你总结内容、做一些简单的写作，可能更多是模板化的写作。但这只是我们每天所做工作的很小一部分。我觉得，对于更通用的使用场景，我们仍然需要新的能力，比如规划与搜索，还有个性化和情景记忆（episodic memory）。这不仅仅是长上下文窗口的问题，而是真正记住我们一百轮对话之前聊过什么。我非常期待能帮我找到更优质、更有营养的内容的推荐系统，无论是书籍、电影还是音乐等等。我每天都会使用那样的系统。所以，我们只是触及了这些 AI 助手在日常生活以及工作场景中真正潜力的皮毛。我认为它们目前在可靠性上还不足以用来从事科学工作，但终有一天，一旦我们解决了事实性（factuality）、grounding 以及其他问题，它们最终会成为科学家或临床医生最得力的研究助手。我想问问关于记忆的问题。你在 2007 年发表过一篇很有意思的论文，讨论了记忆与想象力之间的联系，以及它们在某种意义上非常相似。人们经常声称这些模型只是在死记硬背。你怎么看待这种说法？从某种深层意义上说，既然记忆就是压缩，那是不是只靠记忆就够了？你对此的直觉是什么？从极限情况来看，一个人或许可以尝试记住所有东西，但它无法泛化到分布之外的数据。早期对这些系统的批评是它们只是在机械重复和死记硬背。但我认为，在 Gemini、GPT-4 这样的时代，它们显然已经能够泛化到全新的结构了。实际上，我的博士论文，尤其是那篇开创了神经科学中想象力研究领域的论文，表明记忆——至少人类的记忆——首先是一个重构过程。它不是录像带。我们会从那些看似熟悉的组件、这个整体中，把它重新拼凑出来。这正是让我觉得想象力可能也是一回事的原因。只不过在这种情况下，你使用的是同样的语义组件，但现在你以大脑认为是新颖的方式把它们组合起来，服务于某个特定目的，比如规划。我确实认为，这类理念可能仍然缺失于我们当前的系统中——即整合世界模型（world model）的不同部分，去模拟某种全新的东西，从而辅助你的规划，而这正是我所说的想象力。确实如此。现在你们拥有 Gemini 系列模型，这是世界上最优秀的模型。你们是否打算像另外两家主要 AI 实验室那样，推出某种框架？比如“一旦我们观察到这些特定能力，除非具备相应的安全保障措施，否则我们不会继续开发，也不会将产品发布出去”。是的，我们内部已经有很多制衡机制，但我们很快会开始对外发布。实际上，请拭目以待。我们正在撰写一系列博客文章和技术论文，未来几个月就会推出，内容与 responsible scaling law 等方向类似。我们在内部的各种安全委员会中已经隐性地执行着这些原则，像 Shane 等人主持的委员会等等。但我认为，是时候更公开地讨论这些了。所以我们会在今年陆续发布。很高兴听到这个消息。我好奇的另一点是，风险不仅在于已部署的模型可能被人用来做坏事，还在于流氓行为者、外国特工等可能窃取模型权重，然后对其进行微调去做一些疯狂的事。你如何看待保护模型权重安全的问题，以确保不会发生这种情况，并确保只有极少数关键人员才能访问？这很有意思。首先，这包含两个方面：一个是安全，另一个是开源，这个我们或许可以讨论。安全层面至关重要，就像常规的网络安全一样。我认为我们在 Google DeepMind 很幸运，我们处于 Google 的防火墙和云保护之后，我认为这是企业级全球最顶尖的安全防护。所以我们已经具备了这层保护。在此之上，我们在代码库内部还有 DeepMind 特有的保护措施，这算是双重保护。因此我对此感觉良好。在这方面绝不能掉以轻心，但我认为就网络防御而言，这已经是全球最好的了。我们必须持续改进，再说一次，像 hardened sandbox 这样的手段也可能是实现这一目标的方式之一。也许我们还在考虑专门的安全数据中心或硬件解决方案。我想在未来三到五年内，我们可能还会需要 air gap 以及安全界众所周知的各种其他手段。所以我认为这很关键，所有前沿实验室都应该这么做，因为否则对于流氓国家和其他危险行为者来说，窃取权重之类的东西显然会有巨大的诱惑力。当然，开源是另一个有趣的问题。我们是开源和开放科学的坚定支持者，已经发表了数千篇论文，像 AlphaFold、transformers、AlphaGo 等等。所有这些成果我们都公开发表并开源，最近的是我们的天气预测系统 GraphCast。但谈到通用基础技术时，我想向开源支持者提出的问题是：如何阻止不良行为者，无论是个人还是流氓国家，利用这些同样的开源系统并将其改作有害用途？我们必须回答这个问题。我不知道答案是什么，但我还没有从那些主张完全开源的人那里听到一个有说服力、清晰的答案。所以我认为这之间必须取得某种平衡，显然，具体如何平衡是一个复杂的问题。我觉得科技行业在为价值数千亿美元的研发提供资金方面，没有得到应有的赞誉，显然你们有 DeepMind 以及 AlphaFold 等系统。说到保护权重安全，正如我们提到的，现在这可能还不会导致世界末日之类的事情，但随着这些系统变得越来越强大，人们会担心外国特工之类的人获取到它们。据推测，目前可能有数十到数百名研究人员能够访问这些权重。有什么计划能把权重放到一个“战情室”里，使得你需要访问时必须经过极其严格的流程，而且任何个人都无法将其带走？这需要与促进协作和进步速度之间取得平衡。另一个有趣的问题是，你当然希望学术界杰出的独立研究人员，或者像英国 AI 安全研究所、美国 AI 安全研究所这样的机构，能够对这些系统进行 red team。所以你必须在一定程度上向他们开放，尽管不一定是开放权重。我们已经建立了许多流程，确保只有真正需要的人才能获得访问权限。目前，我认为这类系统面临风险的阶段还处于早期。随着这些系统变得越来越强大、越来越通用、能力越来越强，我认为就必须重新审视访问权限的问题了。其他一些实验室在安全方面各有专攻，比如 Anthropic 就在 interpretability 方面很有建树。你们是否觉得自己在某些领域可能拥有优势？既然你们现在已经拥有了前沿模型，你们将在哪些方面能产出最顶尖的安全前沿研究？我认为我们在 RLHF 等方面做了一些开创性的工作，这些技术显然可以用于提升性能，也可以用于安全。我认为很多 self-play 的思路以及类似方法，也可以用来对新系统的各种边界条件进行自动测试。部分问题在于，对于这些非常通用的系统，需要覆盖的行为面太广了。因此我认为我们将需要一些自动化测试。再说仿真和游戏，非常逼真的虚拟环境，我们在使用这类系统、利用它们来构建 AI 算法方面有着悠久的历史。我认为我们可以充分利用这段历史。而且在 Google，我们很幸运拥有一些全球顶尖的网络安全专家和硬件设计师。我认为我们也可以将这些资源用于保障安全。我们来聊聊 Gemini。现在你们拥有了世界上最好的模型。我很好奇。到目前为止，与这些系统交互的默认方式一直是聊天。现在我们有了多模态和所有这些新能力，你预计这会如何改变？你认为聊天仍将是主要形式吗？我认为我们才刚刚开始意识到，与一个完整的多模态模型系统交互可能会有多么令人兴奋。这将与我们今天习惯的聊天机器人有很大不同。我认为在未来一年到一年半内，下一代产品或许能通过相机、手机或某种眼镜对你周围的环境有一定的情境理解。我可以想象这是下一步。然后我认为我们在视频采样、使用语音等方面的理解会变得更加流畅。也许最终甚至包括触觉，如果你想到机器人技术的话，还有其他类型的传感器。所以我认为，在未来几年，当我们开始习惯真正的多模态意味着什么时，世界将变得非常令人兴奋。关于机器人技术，Ilya 上次上播客时说，OpenAI 放弃机器人技术的原因是在该领域没有足够的数据，至少在他们当时推进这个项目时是这样。你们推出了 Robo-Transformer 等不同的东西。你认为这仍是机器人技术进步的瓶颈吗？还是说我们在原子世界和比特世界都会看到进步？我们对 Gato 和 RT-2 等项目的进展感到非常兴奋。我们一直很喜欢机器人技术，并且在这方面有过出色的研究。我们现在仍在继续推进，因为我们喜欢它处于数据匮乏的状态。这促使我们走向一些非常有趣的研究方向，而我们认为这些方向无论如何都将是有用的：采样效率、整体的数据效率、迁移学习、从仿真中学习并将其迁移到现实（sim-to-real）。所有这些都是我们很想解决的非常有趣的通用挑战。还有控制问题。所以我们一直在这方面大力投入。我认为 Ilya 说得对。由于数据问题，这确实更具挑战性。但我认为，我们开始看到这些大型模型正可以被迁移到机器人领域。它们可以在通用领域、语言领域和其他方面学习，然后像 Gato 那样把 token 当作任何一种 token 来处理。这个 token 可以是一个动作，可以是一个词，可以是图像的一部分、一个像素，或者别的任何东西。我认为这才是真正的多模态。一开始，训练这样的系统比训练一个纯粹的语言系统更难。但回到我们之前关于迁移学习的讨论，你会开始看到，在一个真正的多模态系统中，其他模态会惠及另一些不同的模态。你因为稍微理解了视频，语言也变得更好了。所以我认为起步更难，但最终我们会拥有更通用、能力更强的系统。
Gato 后来怎么样了？它能玩游戏、做视频、做文本，这太迷人了。我们仍在研究这类系统，不过你可以想象，我们正试图把这些理念融入 Gemini 的未来几代模型中，使其能够完成所有这些事情。机器人技术、transformer 等等，你可以把它们视为 Gato 的后续发展。在你提到的 self-play 等方法会特别强大的领域，我们是否能看到不对称的进展？比如数学和代码。最近你们发表了相关论文。你可以用这些方法做出非常酷、非常新颖的东西。它们会成为超人类水平的程序员，但在其他方面可能仍然不如人类吗？你如何看待这个问题？我认为我们在数学、定理证明和编程等方面正在取得巨大进步。但如果从广义上的创造力和科学探索来看，情况仍然很有意思。我认为我们的系统正发展到可以帮助最优秀的人类科学家更快地实现突破，在某种程度上几乎是对搜索空间进行分流筛选。也许能像 AlphaFold 那样找到蛋白质结构的解决方案。但它们还没有达到能够自己提出假设或提出正确问题的水平。任何顶尖科学家都会告诉你，科学中最难的部分其实是提出正确的问题。是将空间浓缩到我们应该去攻克的关键问题，然后以正确的方式构建问题来展开研究。这不是我们的系统目前知道如何去做的事情，但如果能用清晰的目标函数把问题定义好，它们很适合搜索巨大的组合空间。所以对于我们今天处理的许多问题，这已经非常有用了，但还无法应对最高层次的创造性问题。
DeepMind 发表了各种有趣的成果，用于加速不同领域的科学进展。如果你认为 AGI 将在未来 10 到 20 年内实现，为什么不干脆等着 AGI 来替你完成呢？为什么要构建这些领域特定的解决方案？我认为我们并不知道 AGI 还要多久才能实现。早在创立 DeepMind 之初，我们就一直说，不必等到 AGI 就能为世界带来巨大的益处。我个人尤其对 AI 用于科学和健康充满热情。你可以从 AlphaFold 以及我们在各个不同领域和材料科学等方面发表在 Nature 上的诸多论文中看到这一点。我认为有很多令人兴奋的方向，而且通过产品也能对世界产生影响。我认为这非常令人兴奋，也是我们作为 Google 一部分所拥有的巨大独特机会。Google 拥有数十款十亿级用户的产品，我们可以立即将我们的进展部署到其中，让数十亿人得以改善、丰富和提升他们的日常生活。我认为这是在所有方面产生影响力的绝佳机会。我认为另一个原因，特别是从 AGI 的角度来看，是这能对你的想法进行实战检验。你不希望待在一个研究碉堡里，理论上在推进事物，但实际上你的内部指标开始偏离人们关心的现实世界事物，或现实世界的影响。因此，你能从这些现实世界应用中获得大量直接反馈，告诉你你的系统是否真正在规模化扩展，或者我们是否需要更高的数据效率或采样效率。因为大多数现实世界的挑战都要求这一点。所以这会让你保持诚实，并促使你不断推动和引导研究方向，确保它们走在正确的道路上。因此我认为这非常棒。当然，世界会从中受益。社会在通往 AGI 的道路上，也许在 AGI 到来之前的许多年，就会从中受益。
Gemini 的开发过程非常有趣，因为它紧随 Brain 和 DeepMind 这两个不同组织的合并之后推出。我很好奇，其中遇到了哪些挑战？又产生了哪些协同效应？从某种意义上说，你们现在已经拥有了世界上最好的模型，这算是很成功的。这段经历是什么样的？实际上，在过去这一年里，这段经历非常棒。当然，这就像任何大规模整合一样，做起来充满挑战。要知道，这是两个世界级的组织，它们都有着悠久而辉煌的历史，从深度强化学习到 transformer，发明了许多重要的东西。所以，能把所有这些整合起来，进行更紧密的合作，真的非常令人兴奋。我们过去也一直在合作，但更多是按项目逐一进行，而不是像现在这样更深入、更广泛地协作。Gemini 就是这次合作的第一个成果，就连 Gemini 这个名字也暗含“双胞胎”之意。当然，整合还让许多其他方面变得更高效，比如汇聚计算资源、整合想法和工程能力。我认为，在我们当前所处的阶段，构建前沿系统需要投入海量的世界级工程工作。我觉得加强这方面的协调是合理的。你和 Shane 当初创立 DeepMind，部分原因就是对安全问题的担忧。你们当时就认为 AGI 是一种真实的可能性。你认为那些以前属于 Brain、现在构成 Google DeepMind 另一半的人，是否也持同样的态度？在这个问题上，是否存在文化差异？这也是我们在 2014 年与 Google 联手的原因之一。我认为整个 Google 和 Alphabet，不仅仅是 Brain 和 DeepMind，都非常认真地对待这些责任问题。我们的信条是在开发这些系统时努力做到大胆且负责任。我显然是一个坚定的技术乐观主义者，但考虑到我们正在共同带入世界的技术的变革性力量，我希望我们能保持谨慎。这很重要。这将成为人类有史以来发明的最重要的技术之一。因此，我们必须全力以赴把这件事做好，对我们所知道的和不知道的、关于即将到来的系统及其周围的不确定性，保持深思熟虑和谦逊。在我看来，当你面对巨大的不确定性时，唯一明智的做法是保持谨慎乐观，运用科学方法，尽可能在事情发生之前就对未来走向及其后果拥有预见和理解。你不希望用这些影响深远的系统在世界中进行实时 A/B 测试，因为意外后果可能会非常严重。因此，我希望我们作为一个领域，摆脱某种“快速行动、打破常规”的心态——这种心态过去或许很好地服务了硅谷，并且显然带来了重要的创新。但我认为，在这种情况下，我们希望大胆推进它能带来的积极事物，确保推动医学和科学等领域的发展，同时在 mitigate 风险方面尽可能负责任和审慎。因此，负责任的扩展政策（responsible scaling policies）似乎是一种非常有效的经验性方式，能让人预先承诺遵守这类原则。当你在进行这些评估时，比如说结果发现你的下一个模型可能帮助一个普通人制造出大流行级别的生物武器之类的东西，首先你会如何考虑确保这些 weights 的安全，防止它们泄露？其次，必须满足什么条件，你才会放心部署那个系统？你会如何确保这种 latent capability 不被暴露？模型安全这部分，我认为我们已经通过网络安全覆盖了，确保达到世界级水平，并对所有这些进行监控。我认为，如果这样的能力是通过 red teaming 或外部测试发现的——比如政府机构、学术界或其他独立测试者——那么我们就必须修复那个漏洞。具体取决于它是什么，可能需要一种不同的 constitution，或者不同的 guardrails，或者更多的 RLHF 来规避。或者你也可以移除一些训练数据，这取决于问题所在。我认为可以有多种缓解措施。第一部分是确保你提前检测到它。这就需要正确的评估、正确的 benchmarking 和正确的测试。然后问题是如何在部署之前修复它。但我认为，如果那是一个暴露面，那么无论如何，必须在广泛部署之前将其修复。最后一个问题。早在 2010 年其他人还觉得这是天方夜谭的时候，你就已经在以 AGI 为终极目标思考问题了。现在我们正见证着这种缓慢的起飞，真正看到了泛化能力和智能的出现，从心理上说，目睹这一切是什么感受？这段经历是什么样的？是因为这早已被你纳入了对世界的预期，所以对你来说不算新鲜事？还是说当你亲眼看到它活生生地发生，你会感叹“哇，真的有什么东西变了”？那是一种什么样的感觉？对我来说，是的，至少从技术层面看，事情会如何发展早已被我纳入了对世界的预期。但显然，我们未必预料到普通公众会在这个阶段就如此感兴趣。如果 ChatGPT 和聊天机器人没有获得它们最终得到的关注——我认为这让所有人都相当惊讶，人们居然愿意使用这些东西，尽管它们在某些方面还有所欠缺，虽然它们已经很令人印象深刻了——那么我们本会在主技术路线之上开发出更多专用系统，比如 AlphaFold 和 AlphaGo 这类科学领域的工作。我想那样的话，普通公众或许要到几年后，当我们拥有更有用的通用助手型系统时，才会真正关注。所以这很有意思。这也造就了我们整个行业现在所处的不同类型的环境。它变得更混乱一些了，因为有太多事情在发生，有太多风险投资涌入，每个人都几乎为此疯狂。我唯一担心的是，我希望确保我们整个行业都能以负责任、深思熟虑和科学的态度来对待这件事，用科学方法以乐观但谨慎的方式推进。我一直认为这才是对待 AI 这类事物的正确方式，我只希望这一切不会在如此巨大的热潮中迷失。好的，我认为这是一个很好的收尾。Demis，非常感谢你抽出时间，也感谢你来做客这期播客。