我想，在某种程度上，你就像是在拍桌子强调：大型语言模型并不是 AI 的唯一形态。我们需要 AI 真正自己琢磨出道理，发现人类尚不知道的新东西。那么，如果你去掉人类反馈这一环，最终得到的模型还能与现实接轨吗？我几乎想争辩相反的观点。哦，这有时被称为 AI 的 bitter lesson。我们真心愿意相信，人类积累的全部知识真的非常重要。对我来说，AlphaGo 不仅在技术上教给我新东西，也许还开阔了我的思维，我改变了想法。欢迎回到 Google DeepMind 播客。今天的嘉宾是无人不知的 David Silver，一位元老级 DeepMinder，AlphaGo 非凡成功的核心人物之一。AlphaGo 是首个掌握世界上最复杂棋类游戏并达到超人类水平的程序。在今天的播客结尾，我们还为你们准备了一点额外福利：David 与 Fan Hui 的对话，Fan Hui 是首位与 AI 对弈的职业围棋选手。而现在，在目睹了多模态模型当前的所有热潮、兴奋与成就之后，David 对 AI 下一步的发展方向有了一个大胆的想法。他为通往超人类智能的道路制定了一个计划，一个他称之为 era of experience 的新阶段。这是一个深刻的想法，而且并非没有风险。David，欢迎做客播客。嗨，很高兴来到这里。非常荣幸。谢谢。好的。我周末非常愉快地读完了你的立场论文。你在其中谈到了 era of experience。给我们总结一下，你指的是什么？我的意思是，如果你回顾 AI 在过去几年的发展，它一直处在我所称的 era of human data。所有这些 AI 方法都基于一个共同理念：我们提取人类拥有的每一条知识，然后将其输入机器。这是一种极其强大的做事方式。还有另一种方式，它将引领我们进入 era of experience，也就是机器真正与世界本身互动，生成它自己的经验。它在世界中尝试各种事情，逐步积累自己的经验。如果你把这些数据视为驱动机器的燃料，那么它将引领下一代 AI，我们可以称之为 era of experience。我想，这在某种程度上就像你在拍桌子强调：大型语言模型并不是 AI 的唯一形态，对吧？还有别的路可走，有不同的方法可以应对。我认为，在 AI 领域，我们通过构建大型语言模型已经收获颇丰——利用海量的人类数据，尤其是自然语言数据，将其全部整合进一台机器，让它知晓人类曾经写下的一切。但到了某个阶段，我们需要超越这一点。我们想要更进一步。我们想要超越人类已知的范畴。要做到这一点，我们就需要一种不同类型的方法。这种方法要求我们的 AI 真正自己琢磨出道理，发现人类不知道的新东西。我认为这将是 AI 的一个全新时代，对社会来说将极其激动人心且意义深远。那么好吧，我们来聊聊其他一些著名的 AI、著名的算法，它们采用了不同的方法，最值得一提的就是 AlphaGo 和 AlphaZero，当然，它们在大约十年前击败了世界上最顶尖的围棋选手。跟我们讲讲当时使用的技术，以及它们与当今的大型语言模型有何不同。
AlphaZero 尤其不同于我们近来一直使用的人类数据方法，因为它字面意义上不使用任何人类数据。AlphaZero 中的“zero”就是这个意思。系统中字面意义上预编程了零人类知识。那么替代方案是什么？如果你不去模仿人类，又事先不知道正确的下法，那该如何学习围棋知识呢？方法是采用一种试错学习，AlphaZero 基本上自己与自己对弈数百万盘围棋，或者国际象棋，或者任何它想玩的游戏。它逐渐弄明白：如果我在这种情况下走这种棋，我就会赢更多棋局。这是一段经验，用来驱动它变得更强，然后它会更多地下这种棋。下一次它又会发现新东西，比如某种新模式——当使用这种特定模式时，我会赢更多棋或输更多棋——而这又滋养下一代，如此循环往复。这种从经验中学习，从智能体自我生成的经验中学习，已经足够了。在 AlphaZero 中，这就足以推动它从最初的完全随机行为，一路成长为世界上最强大的国际象棋和围棋程序。它们一开始并不是像随机空盒子那样，对吧？并不是从零开始自己找到了下围棋的方法。我的意思是，最初当你设计围棋算法时，你已经想出了一种编码围棋对局的方式，然后将其作为数据库输入，对吗？是的，没错。最初的 AlphaGo 版本，也就是 2016 年 famously 击败 Lee Sedol 的那个版本，确实使用了一些人类数据作为起点。我们基本上给它输入了一个职业棋手对局数据库，它学习并吸收了这些人类棋步，这给了它一个起点，然后从那里开始，它通过经验自主学习。然而，一年后我们发现，人类数据并非必要。你完全可以把人类棋步全部扔掉。而且我们证明，由此产生的程序不仅能够恢复到这一水平，实际上它的表现更好，学习速度也比最初的 AlphaGo 更快，从而达到了高得多的水平。这真是个奇怪的想法。你扔掉人类数据，结果发现它不仅不是必需的，反而实际上在限制性能。对 AI 从业者来说，一个惨痛的教训——这有时被称为 AI 的 bitter lesson——就是我们真心愿意相信，人类积累的所有知识都非常重要。我们真心愿意相信这一点，所以我们把它输入系统，构建进算法。结果是，这让我们以一种可能只适合人类数据的方式来设计算法，而这反而不利于它真正自主学习。而如果你扔掉人类数据，你实际上会花更多精力去研究如何让系统自主学习。而这部分能力才能让系统永远学习下去。从某种意义上说，bitter lesson 似乎是在告诉我们：要接受机器有可能比人类下得更好，并在某种意义上打破那层上限。没错，人类数据确实能帮你起步，但人类所做的一切都存在上限。比如在围棋中，人类曾经达到过的最高水平就是上限，我们需要突破这些上限。在 AlphaZero 中，我们通过构建一个依靠自我对弈自主学习的系统，让它不断提升，最终突破了这个上限，并远远超越了它。我认为“经验时代”的理念就是，我们要找到能够在各个领域突破这种上限的方法。我们构建的 AI 系统会在人类看似卓越的所有能力上变得超人类，但我们要找到超越人类的方法。让我先暂时集中在围棋上。好的。在我们讨论其他摆脱人类数据、从而超越人类能力的方法之前——是的，因为当你说要抛开人类下过的所有围棋棋局、从零开始时，这听起来有点像变魔术。请给我简单介绍一下，你们实际使用的技术是什么，才能让机器像你说的那样，将成千上万个不同的想法串联起来，从而精通围棋。其核心思路是一种我们称为强化学习的方法。强化学习的理念是，你基本上给对局结果赋予一个数值，比如我们规定，赢了就加一分，输了就减一分，一分。没错，没错。然后在强化学习中，我们在系统每次做对时给予奖励，并训练系统去强化——也就是说，更多地去做那些能获得更高奖励的事情。例如，如果你有一个神经网络，就像我们在 AlphaGo 中用来选招的那样，你要做的就是稍微调整神经网络的权重，朝着能获得更多奖励的方向调整。这就是强化学习的核心思想。一局围棋很长。你如何确保开局下出正确的棋，从而在最后获得正确的结果？也就是说，你如何把那一分奖励分配到整盘棋中？你怎么判断棋局中哪些部分是关键？我想这确实是一个非常重要的问题。它被称为信用分配问题。其关键在于，你说得很对，一盘棋可能有100步、200步甚至300步不同的落子，但最后你只得到一条信息：赢了还是输了。然后你必须设法弄清楚，棋局中哪些着法对胜利起了作用，哪些着法对失败负有责任。解决这个问题有很多方法。最简单的方法就是假设你所走的每一步都对最终结果有一点点贡献，最终自然会见分晓。
AlphaGo 故事中最重大的时刻之一，就是大家津津乐道的第37手。能给我讲讲吗？第37手出现在 AlphaGo 与 Lee Sedol 的第二局比赛中。AlphaGo 下出了一步出乎所有人意料的棋。围棋的传统观念是，落子通常在三线或四线，因为三线取地，四线取势，人类绝不会低于三线或高于四线去下。这在人类看来根本讲不通。但 AlphaGo 却下在了五线，它却以某种方式下出了让全局豁然开朗的一手。这一手在五线，仿佛把整盘棋都联系在了一起。这手棋对人类来说太过陌生，我们估计人类想到下这手棋的概率只有万分之一。人类对此感到震惊。然而，这手棋帮助它赢得了比赛。所以在那一刻，人类意识到：“看，这里发生了一件具有创造性的事情。机器想出了某种东西，它不同于人类传统的思维方式，实际上这是一个巨大的进步，让我们超越了人类知识的局限。”我想，如果我们真的想要推进 AI 的发展，我们确实需要像你所说的那些“异类”想法。你认为在大语言模型身上，看到过堪比第37手的时刻吗？第37手之所以特殊，某种程度上是因为它是第一个这样的时刻。这是人们第一次看到如此重大的突破。第二点要说的是，因为我们一直身处人类数据的时代，我们把大量精力放在了复现人类能力上，却很少关注如何超越它们。除非我们真正重视让系统自主学习以超越人类数据，否则我们不会看到巨大的突破。现实世界中的第37手——因为当你被人类数据锚定时，你所能得到的只会是类似人类的回应。没错。而且我认为，确实有一些方法可以让你在中间地带有所作为。所以，如果你非要我说什么最像第37手的时刻，我可能会举出 MIT 科学家们的一项研究，他们发现了一种人类从不知晓的新型抗生素。我认为这是一项对人类具有巨大重要性的、极其了不起的发现。从这个意义上说，它远远超越了第37手。但我喜欢第37手的地方在于，它不仅仅是一个单一发现，而是无穷发现系列中的一个，系统可以不断学习、学习、再学习。第37手对我很重要，因为它只是那个无穷发现序列中的一个点，一旦你拥有了这种从经验中学习、而非仅仅依赖实际结果本身的方法，这类发现就会发生。是的，没错。给我简单介绍一下 AlphaZero 是怎么工作的。AlphaZero 惊人地简单。我的意思是，世界上有很多非常复杂的算法，但从这个角度来看，它真的非常简单。你所做的全部就是：从一个策略——即一种选招方式——以及一个价值函数开始，价值函数用来评估棋局和判断招法的好坏。你从这些开始，运行一次搜索，然后你根据搜索结果选择最佳招法，并训练你的策略去做更多这样的事情——也就是更多搜索得出的好招；同时，你根据使用这种搜索实际下棋的结果来训练你的价值函数。就这些。你只需把这一过程迭代数百万次，就会涌现出一个超人类水平的棋手。这基本上就像魔法一样。确实有时候会感觉像魔法。我记得第一次让我真正有魔法般感觉的时刻，是我们刚完成 AlphaZero 在象棋上的训练后。有人提议把它试在一个不同的游戏上。于是，我们把它接入了一个我们没有人会玩的游戏——将棋（Shogi），也就是日本象棋。我们完全不知道怎么玩这个游戏，但还是把它接入了。好吧，你们甚至不知道规则。系统知道规则。我们教给了智能体规则。所以，我们虽然知道游戏规则，但对战略或战术毫无头绪。如果让我们来下这盘棋，肯定是一步一步地犯错。而我们只是把它接进去，那确确实实是我们第一次在将棋上运行 AlphaZero。我们完全不知道它下得好不好，我们也无从评估。我们把它发给了 Demis，他本人其实就是一名相当不错的棋手，当然，他说：“嗯，这看起来很不错。我把它发给世界冠军看看。”而世界冠军说：“嗯，我认为这已经超越人类水平了。”所以这简直就像魔法一样，因为你看，我们只是按下了这个系统的启动键，完全不知道它经历了怎样的过程，又是如何达到这个水平的，但不知怎的，突然就出现了一个超越人类水平的将棋选手。
AI 能设计自己的 reinforcement learning 算法吗？说来有趣，我们其实在这个领域做过一些工作。这项工作实际上是几年前完成的，但现在才发表。我们所做的是构建一个系统，让它通过试错、通过 reinforcement learning 自身，来弄清楚什么样的算法最适合做 reinforcement learning。它字面意义上地往上走了一层 meta，学会了如何构建自己的 reinforcement learning 系统，而且令人难以置信的是，它的表现实际上超越了我们人类在过去许多年里提出的所有 reinforcement learning 算法。我是说，这其实是同一个故事反复上演。你在某件事里加入越多的人类成分，它的表现就越差。把人类因素拿掉，表现反而更好。如果说 AlphaGo 和 AlphaZero 是 reinforcement learning 被发挥到极致的杰出范例，那么在我们目前拥有的大语言模型中，你也依然能找到 reinforcement learning 的身影。对。请谈谈它们是如何被整合进这些系统的。所以，几乎在所有大语言模型系统中都会用到 reinforcement learning，而它的主要使用方式是将其与人类数据相结合。与 AlphaZero 的方法不同，这意味着 reinforcement learning 实际上是基于人类偏好来训练的。系统基本上被要求生成输出，然后人类会说这个比那个好，于是系统就会变得更像人类偏好的那个版本。这被称为 reinforcement learning from human feedback（RLHF），它对 LLM 来说极其重要，帮助它们从只会盲目模仿互联网上各种数据的系统，转变为能够真正有效地回答人们真正想要看到的问题的系统。所以你知道，这是一项巨大的进步。然而，我觉得我们把孩子和洗澡水一起倒掉了。这些 reinforcement learning from human feedback 系统，或者说 RLHF，它们非常强大，但不具备超越人类知识的能力。比如说，如果人类标注者没有认识到某个新想法，也低估了某一系列行动实际上会比另一系列行动好得多，那么系统就永远不可能学会找到那个序列，因为标注者可能根本不理解那种更优的行为。不过，这种人类反馈的要素，看起来确实给这些模型带来了某种 grounding 的感觉。我知道上次我们谈话时，grounding 是一个非常重要的话题，就是说你想让这些算法对我们所生活的世界几乎有一种概念层面的理解。那么，如果你去掉或移除那个人类反馈的环节，你最终还能得到具有 grounding 的模型吗？我几乎想争辩相反的观点。哦，我想说的是，当我们用人类反馈来训练一个系统时，它其实是不 grounded 的。原因是，RHF 系统的常规运作方式基本上是这样的：系统先展示它对某个问题的回答，然后标注者在系统真正基于这些信息采取任何行动之前，就说这个回答好或不好。所以这就好比人类在预先评判系统的输出。比如说，如果你向一个 LLM 要一份蛋糕食谱，人类标注者会查看系统输出的食谱，然后判断它好或不好，而此时根本还没有人真正去做这个蛋糕、去吃它。嗯，从这个意义上说，这是不 grounded 的。一个真正 grounded 的结果应该是有人真的吃了蛋糕，然后发现它要么美味要么难吃。这样你才能获得 grounded feedback，比如说，你知道，这个蛋糕确实好吃，或者这个蛋糕很难吃。正是这种 grounded feedback 让系统能够迭代并发现新事物，因为它可以尝试新的食谱，那些可能连专业厨师都预设会很难吃的食谱，结果实际上却很美味。对。就像那种……对。Monster Munch 松饼之类的。对。表面上看起来是有史以来最美味的食物。好吧。但这很有意思，因为我听过——我是说，就连和 Demis 的谈话中也提到过 grounding 是如何进入这些模型的，它们是如何建立起对事物的概念理解的。而这听起来几乎就像你说的，它们所拥有的 grounding 可能只是一种表层的 grounding？我认为人类数据是 grounded 在人类经验之中的，所以 LLM 某种程度上继承了所有这些信息——人类或许是通过自己的实验才弄清楚的那些信息。比如说在科学领域，你知道，人类可能尝试过在水上行走，结果发现自己沉下去了，然后他们可能造了一艘船，发现船能浮起来。嗯，所有这些信息 LLM 多少都能继承下来。但如果我们想要一个真正能做出发现的系统，发现某种全新的水上推进方式，或者你知道，某种全新的数学思想，或者某种全新的提出假设的方法——对。新药物和对生物学的新方法。这些数据根本不存在，系统需要通过它自己的实验、自己的试错以及自己的 grounded feedback，来判断那究竟是好主意还是坏主意。我曾和 Oral Oral Vignales 聊过。他说我们面临一个现实问题，就是人类数据快用完了。我想他描述的解决方案是，你可以通过使用大语言模型来生成更多人类风格的对话，从而创造 synthetic data。我是说，这和那个想法是相关的，对吧？只不过你不是在用 LLM 创造更多的人类对话数据，而是用一种不同的方式来解决这个问题。没错。Synthetic data 可以指很多东西，但你知道，通常它意味着你有某种流程，拿你现有的 LLM 来生成一组数据。我猜这里的论点类似于人类数据给我们带来的天花板：无论这种 synthetic data 有多好，总会有一个点，过了那个点，这种 synthetic data 对系统变得更强就不再有用武之地了。所以一个自我学习系统的美妙之处在于——这种系统的燃料实际上是经验——当系统开始变得更强时，它会开始遇到完全适合它当前水平的问题。因此它总能生成经验，帮它解决接下来遇到的新问题。于是它就能无限地越来越强。没有上限。而我认为，这正是这种利用自我生成经验的方法，与其他形式的 synthetic data 之间的区别所在。不过回到你的蛋糕例子，我是说，如果你把这个逻辑贯彻到底，有人吃了蛋糕然后说：“对，这很好吃。”那你终究还是在流程末端使用了人类反馈。我们说的是这种情况，还是说我们谈论的是那种完全脱离人类、以某种方式 embodied 或在物理世界中的系统，让它们能以那种方式获得反馈？理想情况是，就像 AlphaZero 一样，我们拥有能够生成海量自我生成数据经验的系统，而且它们可以自己验证这些经验。在很多领域这是可行的，但在很多领域并不可行。在那些不可行的领域，我们必须承认，人类是我们所处环境的重要组成部分；我们必须承认，他们是我们希望智能体生存于其中的世界的一部分。因此，将人类视为该环境的一部分，并将其行为方式视为智能体接收到的观测的一部分，似乎是合理的。我认为我所反驳并认为缺乏依据的，并不是这一点；而是智能体学习所依据的奖励来自人类对某一系列动作好坏的判断，而系统并非基于这些动作在真实世界中的后果自行做出评判。我们不应将人类数据作为智能体体验中享有特权的一部分——它只是对世界的一种观测，我们应该能够像对待其他任何数据一样从中学习。如果我们回到之前 AlphaGo 的例子，关于在终局赋予的那一分奖励，这是否有点像我们目前处理 AI 的方式：算法下了前十步或十五步棋，然后我们引入一个人类，他说“是的，前十步走得好”，从而没有让整个流程完全执行完毕，你就输入了那一点点反馈？完全正确。想象一下，如果我们训练 AlphaGo 时，在每一步之后都让我们最顶尖的围棋选手进来评价：“哦，那步棋太妙了。”或者：“不，不，那步棋完全错了。”然后我们获取这种反馈并输入系统，系统就学会选择人类偏好的那步棋。这样一来，它最终就不会发现 move 37，因为它只会按照人类认为好的方式去下棋，永远发现不了那些人类自己都不知道的围棋新下法。你说的在那种环境下非常有道理。在其他一些环境中，我认为这也同样适用。我想到的是数学，这一人类思维的巅峰。跟我说说那个领域最近有什么进展。正如你所说，这是一项不可思议的人类事业，凝聚了数千年的人类努力，因此在很多方面，它确实代表了人类心智成就的极限。于是很自然，我们转向数学来检验 AI 是否能达到人类历经数千年努力所达到的水平。我们最近开发了一项我认为非常激动人心的工作，叫做 AlphaProof。这是一个通过经验学习如何正确证明数学问题的系统。如果你给它一个定理，而不告诉它如何实际证明这个定理，它会自行离开并找出一个完美的证明，我们实际上可以验证并保证这个证明是正确的。有趣的是，这与 LLM 通常的工作方式完全相反。如果你现在让 LLM 证明一道数学题，它们通常会输出一些非正式的数学推导，然后说“相信我这是对的”——它可能是对的，但也可能不对，因为我们知道 LLM 经常产生幻觉，会编造内容。而 AlphaProof 的好处在于，它能保证产出真实的正确结果。让我们想一个例子来帮助大家理解。质数是指除了自身和 1 之外不能被其他任何数整除的数，而且质数有无穷多个。好了，去证明吧。AlphaProof 的工作方式是，它用数百万个不同的定理实例来训练，而不是仅仅一个。它开始训练时，绝大多数定理都解不出来——99.999% 的定理它都无法完成。而这些是人类已经证明过的定理。你们输入了什么？我们向系统输入了大约一百万个人类自己提出的定理，但我们不提供人类的证明。我们只给问题，不给答案。所以你们给它的是你们知道为真的事实，只是不告诉它如何证明。而且有时候我们甚至不知道它是否为真，因为我们实际做的是把人类的定理、人类的问题转换成形式化语言。这不是语言模型所使用的那种语言，而是一种类似数学语言的形式化语言。没错。事实上我们确实使用了一个小型的大语言模型，这使我们能够输出编程语言，特别是我们使用一种叫做 Lean 的编程语言，它允许表达所有数学内容。因此这是数学家们提出的一个惊人想法：你可以将那些我们通常用英语或任何其他语言讨论的东西形式化，转换成一种完全清晰、可验证的数学语言，它既能表达所有数学思想，也能表达所有数学证明的思想。比如你可以说，如果 A 蕴含 B，B 蕴含 C，那么就可以从这两者推导出 A 蕴含 C——这正是你可以在这种数学编程语言中做的事。你本质上是在编写一个程序，带你从一端到达另一端，这样你就得到了这个命题的证明。所以我们拿这一百万个人类问题，从中生成一亿个形式化问题。其中有些可能根本无法证明，或者表述有误，或者干脆就是错误的，但这都没关系，因为我们所做的只是学习如何证明这些东西。对于那些证不出来的，我们就不断尝试、不断尝试。已经证明了的，好了，完成了，搁到一边。如果证伪了，那也行，也搁到一边。最后留下的是真正有趣的问题，也就是那些极难证明的。然后我们逐步提升，从只能解决一两个，到能解决十个、二十个，最终能解决一百万个。那么这是否是等价的呢？那个证明正确或不正确的时刻，是否相当于 AlphaGo 里你赢了或没赢这盘棋？完全等价。我们利用 Lean 的反馈——“做得好，你证明了这个”——作为奖励。如果系统解出来了，我们就给它加一分；如果没解对，就减一分。这样我们就能通过强化学习来训练系统，让它在证明数学命题上越来越出色。事实上，我们直接使用了和训练 AlphaGo、国际象棋以及所有其他游戏时完全相同的 AlphaZero 代码。代码完全一样，只不过它运行的是数学这门“游戏”，如果你愿意这么称呼的话。你怎么敢贬低我的学科？好吧。那它表现如何？它还不是超人类数学家，尽管这是我们希望有朝一日达到的目标。但 AlphaProof 确实达成了一项成就：国际数学奥林匹克（International Mathematics Olympiad）是最著名、最具挑战性的数学竞赛，每年举办一次，面向全世界最杰出、最了不起的年轻数学家。这些题目至少可以说是极其困难的。它们很“辣”。非常“辣”。作为数学教授，我有时觉得它们真的很“辣”。所以你们听到了 Hannah 的说法。这些都是难题，而 AlphaProof 惊人地在这项竞赛中达到了银牌水平的成绩。因此，这种表现水平，全球大概只有10%的参赛者能够达到。我是说，放眼全世界，这相当于年轻数学家中的佼佼者，比如每个国家最顶尖的六人。不仅如此，还有一道题，所有参赛者中只有不到1%能够解出，而 Alpha Proof 为这道题给出了完美的证明。看到这一点非常令人欣喜。这些证明是什么样的？我是说，如果没有输入任何人类数据，它们会遵循人类风格的论证方式吗？我得说，对我而言，这些证明我完全看不懂。但 Tim Gowers，我是说那位菲尔兹奖得主、曾经的 IMO 选手，他是金牌得主吗，还是多次 IMO 金牌得主？超级大脑，对吧？非凡的天才数学家。但我的意思是，他能看懂这些证明，对吧？Tim Gowers 实际上担任了我们团队的评审，以确保这些解法是有效的，并且我们没有违规。他能理解这些解法，并认为它们相较于此前人工智能在数学领域所能做到的一切，是一次巨大的飞跃。所以，这是一次飞跃，但从某种意义上说仍然只是开始，因为我们真正希望的是超越人类数学家，而这也是我们接下来想要前进的方向。因为目前来说，基本上，你相当于拥有了一位非常非常非常厉害的17岁数学家，大概就是这样。对吧。没错。而且应该指出的是，参加 IMO 的这个系统所花费的时间，比人类参赛者被允许使用的时限要长。所以，我们只是假定，随着机器速度的提升，这方面会逐步改善。我是说，IMO 就像是一个完美的试验场，因为有正确答案，可以被评判，你可以将其与人类表现进行比较，诸如此类。但如果你输入的是猜想，也就是我们甚至不知道是否为真的事物，你知道，我想到的是比如 ABC 猜想，或者 Riemann 假设，或者数学中任何那些重大的未解难题。如果 Alpha Proof 输出某个结果并说：“不不不，我们已经检查过这个证明了，它是成立的。”你能相信它吗？甚至更进一步，如果我们无法理解它，那它还有价值吗？我认为关于 Lean 的好消息是，比我更优秀的数学家们总能够拿过一个 Lean 证明，并将其转译回人类能够理解的形式。事实上，我们甚至已经构建了一个能做到这一点的 AI 系统，它能接受任何形式化证明，并将其进行我们所谓的“非形式化”（informalize），也就是说，它会将其转回成人类非常容易理解的内容。而如果我们真的解决了 Riemann 假设——顺便说一句，我们离做到这一点还有很长的路要走——但一旦实现，将会有数百万数学家非常兴奋地想要理解从中产生的新数学，并将其解码回人类能够理解的形式。好的。但这是我的问题。2000 年，Clay Maths Institute 为七道不同的数学难题各提供了一百万美元的奖金。人类数学家已经花了四分之一个世纪去尝试解决它们，而只有一道题被攻克。你认为下一道题有可能由 AI 拿下吗？是的，我认为有可能。事实上，我觉得这可能需要时间。我认为我们目前尚未达到那个水平。在 AI 系统能够做到这一点之前，还有很长的路要走。AI 正在沿着正确的轨道前进，像 Alpha Proof 这样的系统将会变得越来越强大。你知道，我们在 IMO 上看到的只是开始，而且一旦拥有了能够扩展、能够不断学习学习再学习的系统，真的是前途无量。所以，这些系统在2年、5年或20年后会是什么样子？如果 AI 数学家不能改变整个数学领域，我个人会感到惊讶。我认为这即将到来。数学是少数几个原则上所有事情都可以完全由机器以数字化方式自行交互并持续运转的领域之一。因此，对于一个由经验驱动的 AI 系统来说，掌握数学确实不存在根本性的障碍。好的。顺便说一句，我非常认同你关于 Alpha Proof 的说法，对 Alpha Zero 也是一样。我是说，我认为它们都是强化学习能走多远的有力例证。但它们同时也是成功标准非常明确的例子：你赢了围棋比赛，或者没有；你的证明正确，或者不正确。这些理念如何应用到那些混乱得多、实际上可能根本不存在如此明确标准的系统中呢？首先，我想承认，这个问题很可能就是为什么强化学习方法，或者我所说的这类基于经验的方法，尚未渗透到我们在每一个 AI 系统中所做的一切主流领域的原因。所以这个问题必须被攻克。如果经验时代真的要到来，那么我们必须对此给出答案。但我认为答案可能就在我们眼前，因为实际上，当你去观察时，现实世界包含着无数的信号。世界的运作方式中存在着大量的信号。你知道，比如如果我们看看在互联网上做的一切事情，有各种各样的信号，比如点赞或点踩、盈利或亏损、你可能获得的快乐或痛苦信号、收益率，或者材料属性。所有这些不同的数字代表着经验的不同方面。所以我们真正需要的是一种构建系统的方法，让它能够适应，并能够判断：在这种情况下，哪一个才是真正重要的优化目标。所以另一种表达方式是：如果我们能拥有这样的系统，岂不是很棒——人类或许可以指定他们想要什么，但这会被转译成一组不同的数字，然后系统可以完全自主地对这些数字进行优化。那么好吧，举个例子，假设我说：好吧，我今年想更健康一点，这有点模糊、有点笼统，但你的意思是，这可以被转译成一系列指标，比如静息心率、BMI 或者其他什么，然后这些指标的组合可以被用作强化学习的奖励。我这么理解对吗？完全正确。不过我们说的是单一指标，还是组合指标呢？大致思路是，人类有一个目标，比如优化我的健康状况，然后系统可以自己学习哪些奖励机制有助于你变得更健康，所以这可以是一组随时间调整的数字组合。它可能一开始会说：好吧，你知道，目前真正重要的是你的静息心率；但之后，它可能会收到反馈：等等，你知道，我不只关心那个，我关心的是我的焦虑水平之类的；然后它就会把这一点纳入组合中，并且基于反馈进行实际调整。所以，有一种说法是，极少量的数据就能让系统为自己生成目标，从而实现大量的经验学习，因为这就是 alignment 真正的问题所在，对吧？我是说，比如如果你说：让我们做一个强化学习算法，目标只是最小化我的静息心率，我是说，零很快就会成为一个不错的最小化策略，它能达成目标，只是方式可能和你想要的不太一样。显然，你真的想避免那种情况。那么，你如何确信自己所选择的指标不会制造额外的问题？一种可行的方法是借鉴迄今为止在 AI 其他领域行之有效的同一答案，也就是说，在某种程度上你可以利用一些人类反馈。如果我们在优化的是人类目标，那么在某种程度上我们可能需要去衡量，并且可以说，人类会给出反馈：实际上，我开始感到不适了。事实上，虽然我不想声称我们已经有了答案，而且我认为还需要大量研究才能把这做对比确保安全，但这在某些方面实际上可能对这类安全性和适应性有所帮助。有一个著名的例子：当一个系统被要求制造尽可能多的回形针时，它会把整个世界都铺满回形针。如果你有一个系统，其真正的总体目标是支持人类福祉，并且它能从人类那里获得反馈，理解他们的痛苦信号、快乐信号等等。那么当它开始制造太多回形针，开始给人们带来痛苦时，它就会调整那种组合，选择另一种组合，并开始优化某种不会把世界铺满回形针的东西。我们还没有做到这一点，但我认为这类方案的某些版本最终可能不仅能解决以往面向目标的系统所面临的一些对齐问题，甚至可能比我们今天拥有的系统更具适应性，因此也更安全。不过在 AI 领域之外，使用量化指标作为衡量成功的标准本身是否存在问题？我在想的是考试成绩，或者 GDP，或者当你过于关注指标而最终陷入指标暴政时可能带来的无数问题。我会第一个承认，当你在人类世界中盲目追求某个指标时，往往会带来不良后果。与此同时，整个人类奋斗的世界都是围绕着我们优化某些事物而组织的。如果我们没有任何可以优化的东西，我们就永远无法取得进步。我们有各种各样的信号、指标等等来推动进步，然后人们会说：“哦，也许这不是正确的指标。”接着他们就会调整它。那么，部分问题是否在于，目前你与 AI 的互动实际上被限制在特定时间之内？不存在这种长期的学习过程，也不存在对目标的调整。就像一旦你决定追求 GDP，那就永远是 GDP，不会再有变化。我认为这完全正确。我们今天拥有的 AI 并没有真正意义上的“生命”，它不像动物或人类那样拥有持续数年乃至数十年的经验流，能够不断随时间适应——而这正是需要改变的。需要改变的原因之一是，这样我们才能拥有能够不断学习、不断适应的系统，并理解如何更好地实现我们真正想要的结果。让算法——我是说那些可能拥有相当强大能力的算法——脱离人类数据，这是否存在相当大的风险？确实有风险，也确实有好处。我认为我们必须非常认真地对待这件事，在迈向“经验时代”的下一步旅程中，必须格外谨慎。而且我要说，我写这篇立场论文的原因之一是，我觉得人们没有意识到这种转变即将到来，它将带来后果，需要我们仔细思考诸多决策。事实上，仍有那么多人只考虑人类数据的方法，这意味着没有足够多的人认真对待这类问题。上次我在这档播客里和你交谈时，我们讨论了你刚写的另一篇立场论文——Reward is Enough。那篇文章本质上是在说，强化学习就是通往 AGI 所需的全部。你现在仍然这么认为吗？我想我会这样回答：人类数据可能给了我们一个先发优势。借用一种比喻，它就像我们曾在地下发现的化石燃料。所有这些人类数据恰好就在那里，我们在 LLMs 中开采并“燃烧”它们，这让模型免费获得了某种水平的性能。但在这个类比中，一旦化石燃料耗尽，我们需要某种可持续的燃料来维持世界运转。我认为强化学习就是这种可持续燃料。这种经验可以不断生成、使用、从中学习，再生成更多、继续学习——这才是真正推动 AI 进步的过程。我不想以任何方式贬低人类数据已经取得的成就。我认为它很棒。我们现在拥有的 AI 令人惊叹、令人震撼。我热爱它们，喜欢与它们合作，自己也对它们进行研究。但这只是开始。
Dave，非常感谢。太精彩了。谢谢。谢谢。总是非常、非常愉快。当然，目前确实取得了巨大的进步，但仔细想想，AI 领域的思想多样性实际上正在收窄。我的意思是，多模态模型的成功来得如此之快、如此之深远，远远超出了大多数人的预期，以至于它们几乎吸走了更广泛讨论中的所有氧气。而且值得注意的是，我们现在不断听到这样的低语：可用的人类数据已经达到极限。好吧，当然，让 AI 脱离人类数据这种方法存在风险，有各种各样的领域需要仔细思考和关注。但我不得不说，David 刚才那番话相当有说服力。如果我们真的想要超人类智能，也许现在是时候摆脱人类的束缚了。您正在收听的是 Google DeepMind 播客，我是主持人 Hannah Fry 教授。在结束之前，我们今天为您准备了一份特别惊喜——AlphaGo 背后的缔造者 David Silva 与首位对阵它的职业围棋选手 Fanhi 之间的对话。十年前，在著名的 4-1 战胜 Lisa Dah 之前不久，Fane 成为了首位测试自己技艺能否对抗你的算法的职业围棋选手。非常感谢你加入我们，Fanh。哦，谢谢。谢谢。对我来说，这是一次非常特别的经历。你们有多久没说话了？已经有好几年了。是的。很高兴见到 Fan Hay。是啊……能联系上一位在 AlphaGo 发展过程中扮演过如此重要角色的人，真是太好了。所以，这真是一件令人由衷高兴的事。好吧，我想问问你们多年前的那场比赛，因为我想现在回顾整个历史，它几乎看起来像是注定的结局。但在当时，我是说，David，你一定很紧张吧。那你当时感觉如何，Fenway？我记得第一次看到 Demis 发来的邮件，告诉我这个令人兴奋的围棋项目时。我还记得第一次和 AlphaGo 下棋，第一局我输了，我感觉有些奇怪。我还记得输掉第二局的时候，我感到恐惧，因为我觉得自己也许永远赢不了这个程序或 AI。当我输掉最后一局，也就是五局中的最后一局时，我觉得我的围棋世界破碎了。但也许这也是一个美好的时刻，我的新围棋世界开启了。所以我认为，围棋对我来说，不仅仅是在技术上教会我一些新东西，不只是技巧，也许它是在告诉我，这个世界开阔了我的思维。在那之后我改变了想法，即使到今天，我也从不问自己“我能”或“我不能”这样的问题，我的问题总是“我想”或“我不想”。所以我认为，这是 AI 或 AlphaGo 教给我的道理。我想问问你，在那场比赛之前，你对自己的算法表现有多大信心？我们确实没什么信心。很难判断我们到底处于什么水平，因为我们知道我们已经超越了 DeepMind 内部的所有棋手，也知道我们已经超越了之前所有编写的程序，但与 Fanway 这样的职业棋手之间还有巨大的鸿沟。我们完全不知道，我们是在这个鸿沟中的某个位置，还是已经跨越了它。我们真的完全不知道。所以，这是我们第一次有机会校准我们的表现水平。我觉得，即使我们五局全输，我们中的任何人也不会感到惊讶。因此，五局全胜是一个非常惊喜的结果。是的，我真心觉得，那一刻世界本可能走向两个不同的方向，而直到比赛发生之前，我们都无从知晓。但当然，这个算法后来进步了，实际上也有你的功劳。在你的比赛之后，你加入了团队，协助我们进一步开发它。但那个早期版本，跟它下棋是什么感觉？和与人类对手对弈有根本的不同吗？你知道，我以前和别的程序下过棋。所以当我和其他程序下棋时，我能感觉到这是程序，因为它们下起来不像人类。但和 AlphaGo 对弈时，我感觉非常奇怪。有时候我觉得它真的很像人类。那么 AlphaGo 和 AlphaZero 对围棋界产生了什么影响？是否经历了一个接受的过程，还是从一开始就是积极的？首先，当我输给 AlphaGo 时，整个围棋界都没有人真的相信这是真的，因为我只是欧洲冠军，不是世界冠军。但当 AlphaGo 赢了之后，整个围棋界看到了不一样的东西，因为 AlphaGo 下得确实非常好。我记得在第二局里，第 37 手棋非常美，真的很美，太有创造力了。作为人类，我们永远不会下出这一手。从那手棋之后，围棋世界里一切都变了，因为对我们来说，今天一切皆有可能。即使是学生，即使是围棋初学者，也在用 AI 学习。所以是的，我认为这对我们的围棋界真的非常好。我认为这不只是对围棋界，也是对整个世界，对一切事物都是如此。完全同意。Van way，非常感谢你加入我们。这真是一种享受，尤其是重大周年纪念即将到来之际。很高兴再次见到你，感谢你的到来，也感谢你在 AlphaGo 项目上所做的一切。如果没有你，一切都不会是现在的样子。我觉得如果没有你的建议帮助我们一路走来，我们可能会犯下严重的错误。所以，谢谢你。谢谢你，Dave。