强化学习之父 Richard Sutton：LLM 是条死路（Dwarkesh 播客）

大语言模型学的是别的东西。它们学到的是：这是某种情境，然后这是一个人在这种情境下的做法。其中隐含的暗示是，你也应该照做。

对吧？我猜关键可能在于——我想知道你是否不同意以下观点：有些人会说，好吧，这种模仿学习给我们（或这些模型）提供了一个很好的先验，一种合理的解决问题的思路。随着我们进入你所说的“经验时代”，这个先验将成为我们基于经验去教这些模型的基础，因为它让它们有机会偶尔答对，而在这个基础上，你可以进一步用经验去训练它们。你同意这种视角吗？

不，我同意这是大语言模型的视角，对吧？

但我不认为这是一种好的视角。

嗯。嗯。确实。

所以，要成为某种事物的先验，必须有一个真实存在的东西作为基础。我的意思是，先验知识应该是实际知识的基础。那什么是实际知识？在大语言模型的框架里，并没有对实际知识的定义。是什么让某个行动成为值得采取的好行动？你承认持续学习的价值，对吧？所以如果你需要持续学习，持续就意味着在日常与世界的互动中进行学习。

是的。

因此，在日常互动中必须有某种方式来判断什么是对的。

没错。

好。那么在大语言模型的设定下，有什么办法能判断说什么才是对的吗？你说了一句话，但并不会得到关于这句话是否说对了的反馈。

因为根本不存在“什么话是对的”这一定义。没有目标，

对吧？

而如果没有目标，那就只是这句话或那句话的区别，不存在所谓正确的话。

对吧？

所以没有 ground truth。如果你没有 ground truth，就不可能拥有先验知识，因为先验知识本该是关于真相的提示或初始信念。

是的。

但这里并不存在真相，也不存在什么正确的话。而在强化学习中，目前是有正确的话或正确的行动可言的，因为正确的行动就是能获得 reward 的行动。

对。

所以我们对什么是正确的行动有明确的定义，因此我们可以拥有先验知识，或者由人类提供的关于正确行动的知识，然后我们还可以去验证它。

去验证，因为我们对什么才是实际正确的行动有定义。

现在说一个更简单的情形：当你试图建立一个世界模型时，你去预测会发生什么，然后你观察实际发生了什么。明白吗？所以这里有 ground truth。而大语言模型中没有 ground truth，因为你没有对“接下来会发生什么”做出预测。如果你在对话中说了某句话，大语言模型并不会预测对方会怎么回应，或者回应会是什么。

但我是说，我觉得它们确实有，比如你可以直接问它们：你预料用户可能会怎么回应？它们能给出预测。

哦不，它们只是会回应那个问题本身，对吧？

对。

但它们并没有实质意义上的预测能力，也就是说，它们不会对发生的事情感到惊讶。如果发生了某种与它们预测不符的事情，它们不会因此而改变，不会因为意外发生而调整自己。

我认为这种能力在上下文（in context）中确实存在。所以观察一个模型做 chain of thought 是很有趣的：假设它在解一道数学题，它会说，好，我一开始会用这种方法来解决，然后写下来，接着又说，哦等等，我刚意识到这个概念思路是错的，我要换另一种方法重新来。这种灵活性确实存在于上下文之中，对吧？你心中另有所指，还是说你只是认为需要把这种能力扩展到更长的时间跨度上？

我只是说，它们并没有——从任何有意义的层面上说——并不预测接下来会发生什么，也不会对接下来发生的事感到惊讶。如果发生了什么事，它们不会做出任何改变。

但这不正是、不正是、不正是——

基于所发生的事。

这不正是 next token prediction 的本质吗？预测接下来是什么，然后在出现意外时更新。

Next token 是它们应该说什么，应该采取什么行动。而不是世界对它们的行为会给出什么反馈。我们回到它们缺乏目标这个问题上吧。

嗯。

对我来说，拥有目标就是智能的本质，

对吧？

如果能实现目标，那它就是智能的。我喜欢 John McCarthy 的定义：智能是实现目标的能力中的计算部分。没错。所以你必须有目标。不然你就只是、你只是一个行为系统而已。你并不特别。你不算智能。

对。

你同意大语言模型没有目标吧。

我认为——不，它们有目标。

什么目标？

Next token prediction。

那不是目标。它并不会改变世界，你知道的。

我觉得 token 是向你涌来的，如果你只是在预测它们，你并不会影响它们。

哦，对。我、我的意思是，这不是关于外部世界的目标。

对。这不是目标。这不是实质性的目标。你不能看着一个系统说："哦，它 uh 有目标"，如果它只是坐在那里预测，并为自己预测准确而沾沾自喜。

我猜或许更大的问题是，我想弄明白为什么你认为在 LLM 之上做 RL 不是一个有成效的方向，因为我们似乎能够赋予这些模型解决难题的目标，而且它们在某种程度上 uh 在解决数学奥林匹克这类问题的能力上已经达到了人类顶尖水平，对吧，它们在 IMO 上拿了金牌。所以看起来，那个在 IMO 上拿金牌的模型确实拥有"把数学题做对"这个目标。那么，为什么我们不能把这种方法延伸到不同领域呢？

嗯，数学问题是不同的。 uh 建立物理世界的模型，以及执行数学假设或运算的结果，

对吧？

这些是非常不同的事情，比如经验世界必须被学习。你必须学会各种后果。 uh 而数学更多是纯粹计算性的。它更像标准规划。所以，在那里你可以、你可以 uh 它们可以拥有"找到证明"的目标，而且它们在某种程度上就是被赋予了"找到证明"这个目标。

对。所以，我的意思是，这很有意思，因为你在 2019 年写了一篇题为 The Bitter Lesson 的文章，这可能是 AI 历史上最具影响力的文章，但人们用它来为扩展 LLM 辩护，因为在他们看来，这是我们发现的一种可扩展的方式，可以投入巨量计算来学习关于世界的东西。所以有意思的是，你的观点却是 LLM 实际上并不符合 The Bitter Lesson。

大语言模型是否属于 The Bitter Lesson 的一个案例，这是一个有趣的问题。

是啊。

因为它们显然是一种使用大规模计算的方式，这些东西会随着计算量的增加而扩展，直到触及互联网的极限。

对。 uh 但它们也是一种注入大量人类知识的方式，所以这是一个有趣的问题， uh 这是一个社会学或产业问题：它们是否会达到数据的极限，然后被那些能够从经验而非人类那里获取更多数据的东西所取代。 uh 从某些方面来说，这正是一个经典的 The Bitter Lesson 案例——我们往大语言模型里注入越多人类知识，它们表现就越好，所以感觉很好。 um 然而 uh 我个人特别期待会出现能够从经验中学习的系统，它们很可能表现得好得多，也更具可扩展性。如果那样的话，这将是 The Bitter Lesson 的又一个实例：那些利用了人类知识的东西，最终被那些仅仅通过经验和计算训练出来的东西所取代。

我觉得这对我来说似乎不是关键，因为我认为那些人也会同意，未来绝大多数计算量将来自 uh 从经验中学习。他们只是认为，那个支架或者说基础——你为了投入计算量来进行这种未来的经验学习或在职学习而起步的东西——将会是 LLM。所以我、我猜我还是不明白为什么这完全是个错误的起点。为什么我们需要一种全新的架构来开始做经验性的持续学习。 uh 以及为什么我们不能从 LLM 开始来做这件事。

嗯，在 The Bitter Lesson 的每一个案例中，你知道，你都可以从 uh 人类知识开始，

对吧？

然后再去做那些可扩展的事情。

是啊，

向来如此。而且这并不一定是坏事，

对吧？

但事实上，在实践中它总是变成了坏事，因为人们会陷入人类知识的方法中无法自拔，从心理上说，或者你知道，现在我是在推测原因，但事情向来如此。

对。

就是 uh 对，它们会被那些真正可扩展的方法取代。

对。给我讲讲什么是可扩展的方法。可扩展的方法就是你从经验中学习。 um 你、你 uh 你尝试事物，你看什么、什么管用。没人、没人必须告诉你。首先，你得有目标。所以没有目标的话， uh 就没有对错或好坏之分。所以大语言模型试图在没有目标、没有好坏之分的情况下蒙混过关。这恰恰就是，你知道，从一开始就走错了方向。也许把它和人类比较一下是 um 有趣的。无论是在模仿学习 versus 经验学习的问题上，还是在目标的问题上，我觉得都有一些有趣的类比。所以你知道，孩子最初会通过模仿学习。 uh 你不这么认为吗？

不，当然不是。

真的吗？

对。我觉得孩子只是喜欢看人。他们有点像试着、试着说一样的话。

这些孩子多大？

我、我觉得是那种程度——

头六个月呢？

我觉得他们有点、有点在模仿事物。他们试着让自己嘴巴发出的声音听起来像他们看到母亲嘴巴发出的声音。然后他们会说同样的词，却不理解意思。随着年龄增长，他们模仿的复杂度会增加。所以那是你、你、你你知道，你模仿的也许是你部落里的人用来追捕鹿之类的技能。然后你进入从经验中学习的 RL 阶段。但我认为人类身上发生了大量的模仿学习。

对。真让人惊讶。对。你们的观点竟然如此不同。

是啊。

嗯，当我观察孩子时，我看到孩子 uh 只是在尝试，比如挥动手臂、转动眼睛，没人、没人告诉他们该怎么做。他们如何转动眼睛，甚至发出的声音，都不存在 um 模仿。

他们可能想要发出同样的声音，但婴儿实际做出的那些动作，那些行为，并没有目标，也没有范例。

我同意这不能解释婴儿做的所有事情，但我认为它指导了一个学习过程。我的意思是，即使是 LLM，在训练早期试图预测下一个 token 时，它也会做出猜测，而这个猜测与它实际看到的内容不同。从某种意义上看，这就像 horizon 非常短的 RL，它做出这样的猜测：我以为这个 token 会是它，结果实际上是另一个。这类似于小孩试图说一个单词，却说错了。

大语言模型是从训练数据中学习，而不是从经验中学习。它所学的东西在其正常生命中永远不会出现。从来没有任何训练数据会告诉你在日常生活中应该采取什么行动。

我觉得这可能更多是一个语义上的区别。比如，你怎么定义学校？那不算训练数据吗？你去上学不是因为……

学校那是很晚以后的事了。好吧，我不该说“从不”，但我不知道。我觉得即使对学校我也这么说，但正规学校教育是例外。你应该基于你的……

……学习过程，我认为你的生物学机制中某种程度上被预设了：早期你并不是那么有用，而你存在的意义某种程度上就是理解世界，学会如何与之互动。嗯，这似乎有点像训练阶段。我同意之后会有一个更渐进的过程，从训练到部署并没有明确的界限，但似乎存在一个初始的训练阶段，对吧？没有任何地方告诉你应该做什么。没有任何……你看到事情发生。没有人告诉你该做什么。别别别难为人了。我是说，这很明显。

但我的意思是，你确确实实被教导该做什么。“训练”这个词就是从人类这儿来的，对吧？

所以我认为学习并不真的是关于训练。我认为学习就是关于学习本身。它是一个主动的过程。孩子尝试各种事情，然后观察会发生什么。

对。

是的。当我们想到婴儿成长时，我们不会想到训练。这些事情实际上已经相当清楚了。如果你去了解心理学家如何看待学习，没有什么像模仿那样的东西。也许在某些极端情况下人类会那样做，或者看起来在那样做，但不存在一种叫做模仿的基本动物学习过程。基本的动物学习过程是预测和试错控制。我是说，有时候最难看清的东西恰恰是最明显的，这真的很有趣。很明显，如果你观察动物及其学习方式，再看心理学以及我们关于它们的理论，很明显 supervised learning 并不是动物学习方式的一部分。

我们没有期望行为的范例。我们有的是事情发生的范例，一件事接着另一件事的范例，还有我们做了某事并因此产生后果的范例，但没有 supervised learning 的范例。我是说，supervised learning 并不是自然界中会发生的事情。而且你知道，即使学校是那样，我们也应该忘掉它，因为那只是发生在人类身上的某种特殊事情，在自然界中并不普遍。你知道，松鼠不上学。松鼠可以学会关于世界的一切。

我会说，supervised learning 在动物身上不会发生，这是绝对明显的。所以我采访了这位心理学家兼人类学家 Joseph Henrik，他做过关于文化演化的研究，基本上是关于什么区分了人类，以及人类如何获取知识。

你为什么试图区分人类？人类就是动物。我们的共同之处更有趣。那些区分我们的东西，我们应该少关注一些。

我的意思是，我们在试图复现智能，对吧？所以如果你想理解是什么……

……使人类能够登月或制造半导体。我认为我们想要理解的是那种让动物无法登月或制造半导体的特质。所以我们想要理解是什么让人类特殊。

所以我喜欢你认为是显而易见的那种方式，因为我认为恰恰相反才是显而易见的。是的。我认为我们需要理解我们如何是动物，如果我们理解了松鼠，我认为我们就几乎完全理解了人类智能。语言部分只是表面的一层薄饰。好的。这很棒。你知道，我们正在发现彼此思考方式上的巨大差异。

我们不是在争论。我们只是在试图彼此分享不同的思考方式。

是的。而且我认为争论是有用的。所以……是的，但我确实想把这个想法说完。Joseph Henrik 有一个有趣的理论：如果你观察人类为了成功必须掌握的许多技能，我说的不是最近一千年或一万年，而是数十万年。你知道，世界非常复杂，如果你生活在北极，你不可能通过推理弄清楚如何捕猎海豹。所以有一个非常非常长的过程：如何制作诱饵，如何找到海豹，然后如何处理食物以确保你不会中毒。你不可能把所有这些都推理出来。所以随着时间的推移，是的，有一个更大的过程，不管你想用什么类比，也许是别的什么，总之整个文化已经弄清楚了如何找到、杀死和食用海豹。

但当这种知识代代相传时，在他看来，你只需要模仿长辈就能学会那项技能，因为你不可能通过思考就想清楚如何捕猎、杀死和处理海豹。你只能观察其他人，也许做一些微调。文化知识就是这样积累的。但文化获得的第一步必须是模仿。不过也许你对此有不同的看法。

不，我和你想的一样。

好的。但它仍然只是建立在基本试错学习之上的一个小东西，

预测学习之上的，而且它也许正是我们区别于许多动物的地方。

但我们首先是动物。

是的。

而且在我们拥有语言和所有其他东西之前，我们就是动物。我确实认为你提出了一个非常有趣的观点：continual learning 是大多数哺乳动物都具备的能力。我想所有哺乳动物都有。所以相当有趣的是，我们拥有某种所有哺乳动物都有的东西，但我们的 AI 系统却没有，对吧？而也许像理解数学和解决困难数学问题的能力——取决于你如何定义数学——但像这些能力是我们的 AI 拥有的，但几乎没有动物拥有。所以什么最终变得困难、什么最终变得容易，这是相当有趣的。

Morix paradox.

没错。

要让经验时代开启，我们将需要在复杂的真实世界环境中训练 AI。但构建有效的 RL 环境很难。你不能只是雇一名软件工程师，让他们写一堆千篇一律的验证测试。真实世界领域是混乱的。你需要深入的主题专家来获取数据、工作流程以及所有细微规则的正确方式。

当 Labelbox 的一位客户想要训练一个 agent 进行网购时，Labelbox 组建了一支拥有丰富互联网 storefront 工程经验的团队。例如，该团队构建了一个可以在 episode 期间更新的产品目录，因为大多数购物网站的状态都在不断变化。他们还添加了 Reddis 缓存来模拟陈旧数据，因为真实的电商网站就是这样运作的。这些可能是你一开始不会想到要做的事，但 Labelbox 能够提前预见。

这些细节真的很重要。微小的调整往往决定了这只是个酷炫的 demo，还是能在真实世界中运行的 agent。因此，无论是修正你已经生成的 traces，还是构建一套全新的环境，Labelbox 都能帮助你将 RL 项目转化为可运行的系统。请访问 labelbox.com/thearcash 联系他们。好了，让我们回到 Richard。

你所设想的这种替代范式，

这种经验范式，我们来稍微展开一下它是什么。它认为，经验、行动、感知——好吧，感知、行动、奖励——这样循环往复，构成了生命。它认为这就是智能的基础和核心。智能在于接收这个流，并调整其中的行动，以增加流中的奖励。

对吧？所以学习来自这个流，并且学习是关于这个流的。所以这第二部分尤其说明问题——你所学到的知识，是关于这个流的。你的知识是关于如果你采取某个行动会发生什么，或者说关于哪些事件会紧随其他事件之后发生。它是关于这个流的。知识的内容就是关于这个流的陈述。而且正因为它是关于这个流的陈述，你可以通过将其与流进行比较来检验它，并且可以持续地学习。

那么当你设想这种未来的持续学习 agent 时，

它们并不是未来的事物。当然，它们一直都存在。我的意思是，这就是强化学习范式——从经验中学习。

是的，我想我刚才想说的是，人类水平的通用持续学习 agent。

奖励函数是什么？仅仅是预测世界吗？还是说对世界产生特定影响？通用的奖励函数会是什么？

奖励函数是任意的。比如说，如果你在下棋，奖励就是赢得这盘棋。如果你是一只松鼠，也许奖励与获取坚果有关，

对吧？一般来说，对动物而言，你会说奖励就是避免痛苦、获得快乐，

是的。

而且我认为还应该有一个组成部分，与你对环境理解的不断加深有关，这算是一种内在动机。

我明白了。我猜这种 AI 会被部署给很多人，他们会希望它做各种各样不同的事情，

对吧？所以它在执行人们想要的任务，但同时也在通过执行任务来了解世界。那么，你是否认为——我们摆脱了那种先有训练期再有部署期的范式——但除此之外，我们是否也要摆脱那种先有一个 model，然后有 model 的实例或副本去做特定事情的范式？你怎么看待这样一个事实：我们希望这个东西做不同的事情，同时我们希望聚合它从这些不同事情中获得的知识。

我不喜欢你刚才使用 model 这个词的方式。我觉得更好的词是 network。我认为你指的是 network。也许会有很多 network。总之，知识会被习得，然后你可以拥有副本和许多实例，当然你会希望在这些实例之间共享知识，而且会有很多实现这一点的方式，而这在今天是做不到的。你无法让一个孩子学习、长大、了解世界，然后每一个新生孩子都必须重复这个过程。但有了 AI，有了数字智能，你可以希望只做一次，然后将其复制到下一个智能体中作为起点。

对吧？

这将带来巨大的节省，而且我认为实际上这比试图从人类那里学习重要得多。

我同意，无论你从大语言模型（LLMs）出发与否，你说的这种东西都是必需的。对吧？如果你想要人类或动物水平的智能，你就需要这种能力。假设一个人想要创办一家初创公司，对吧？这件事的奖励周期大约是 10 年。也许 10 年里会有一次退出，你能拿到 10 亿美元。但人类有这种能力去设定中间的辅助奖励，或者说即使面对极其长远的奖励，他们仍然能够迈出中间步骤，并理解下一步行动如何通向更宏大的目标。那么你如何想象这样一个过程在 AI 身上会如何实现？

这一点我们非常了解，

它的基础就是时序差分学习（temporal difference learning），

同样的事情会在一个不那么宏大的尺度上发生。比如当你学下棋时，你的长期目标是赢棋，但你又希望从更短期的事情中学习，比如吃掉对手的棋子。你通过拥有一个 value function 来做到这一点，它预测长期结果。

然后如果你吃掉了对方的棋子，你对长期结果的预测就会改变。预测上升了。你认为自己会赢，而这种信念的增强会立即“强化”导致你吃掉那个棋子的走法。

嗯。

好的。所以我们有一个为期 10 年的长期目标：创办一家初创公司并赚很多钱。所以当我们取得进展时，我们会说：“哦，我更有可能实现这个长期目标了。” 这就会奖励沿途的每一步，

对吧？而且你还希望有一种能力来获取你正在学习的信息。我的意思是，人类与这些大语言模型（LLMs）的一个很大不同在于，如果你刚入职一份工作，你会吸收大量的背景信息和知识，这才让你在工作上变得有用，对吧？从客户偏好到公司运作方式，方方面面。那么，像 TD Learning 这样的过程，其信息带宽是否足够高，能否承载如此巨大的背景知识和隐性知识（tacit knowledge）的通道，让你像人类刚被部署到岗位上时那样去吸收？

我认为这个问题的关键——我不太确定——但大世界假说（big world hypothesis）似乎非常相关。人类之所以能在工作中变得有用，是因为他们遇到了世界的特定部分。没错。而且这是无法提前预见的，也不可能全部预先输入进去。世界如此巨大，以至于……在我看来，大语言模型（large language models）的梦想是，你可以教会 agent 一切，它会知道一切，不需要在它的生命周期中在线学习任何东西。

对。

在它的生命周期中都不需要。好的。

你的那些例子其实都……真的，你必须这么做，因为虽然你可以教它很多东西，但每个人具体过的生活、一起工作的具体的人、他们喜欢什么（与普通人喜欢什么不同），这些都有各种细微的特殊之处，对吧。

所以这只是说世界真的很大，你得在前进过程中不断学习。

是的。所以在我看来你需要两样东西：一是某种将长期目标 reward 转化为更小的辅助 reward，或者你知道的，类似对未来 reward——或至少是最终 reward——的预测性 reward 的方法；然后你还需要另一种方式——起初在我看来你需要某种方式来……好吧，我需要保留我在世界中工作时积累的所有 context，对吧？就像我在了解我的客户、我的公司，所有这些信息，所以我会说，你只是在进行常规学习。

是的，

也许你在用 context，因为在大语言模型中，所有这些信息都必须放进 context window 里，

对吧？

但在 continual learning 的设置中，它会直接进入权重。

也许吧，也许是的。所以也许 context 不是正确的词，因为我指的是更一般的东西。

你学习一个针对你所处环境的 policy。

是的。所以我想问的是，你需要某种方式来获取——比如当你在现实世界中时，人类在以多少 bits per second 的速度吸收信息，对吧？如果你只是通过 Slack 与客户互动之类的。

所以也许你是在问，reward 似乎太小了，不足以支撑我们需要做的所有学习。但我们当然有各种感觉，我们还有所有其他可以学习的信息，

对，

我们不只是从 reward 中学习，我们从所有数据中学习，

是的，那么是什么样的学习过程能帮助你捕捉这些信息呢？

所以现在我想谈谈 agent 的基本通用模型，它包含四个部分，

对，

所以我们需要一个 policy：policy 告诉我，在我所处的情况下应该做什么。我们需要一个 value function。value function 是通过 TD learning 学到的东西，它输出一个数字。这个数字表示事情进展得如何，

然后你观察这个数字是上升还是下降，并用它来调整你的 policy。好的。就是这两个东西，然后还有感知组件，也就是构建你的 state representation。这是你对自己现在所处位置的感觉。第四个是我们现在最直白地要谈到的。总之，第四个是世界的 transition model。这就是为什么我不太喜欢把所有东西都叫做 model，因为我想谈论的是世界的 model。世界的 transition model，即你相信如果你做了这件事，会发生什么？

你的行为会有什么后果？所以是你对世界物理规律的认知，但也不只是物理规律。

学来的，而且它不是从 reward 中学来的，而是你做了一些事情，然后你看到发生了什么，从而学到的，

你构建了关于世界的那个 model，也就是说，它会从你接收到的所有感觉中非常丰富地学习，而不仅仅是从 reward 中学习，

它也必须包含 reward，但这只是整个 model 的一小部分，一小部分关键的部分。

是的。我的一个朋友 Toby Ward 指出，如果你看看 Google DeepMind 部署来学 Atari 游戏的 MuZero 模型，这些模型最初本身并不是通用智能，而是一个通用框架，用于训练专门的智能体去玩特定游戏。也就是说，你无法用这个框架训练一个既能下 chess 又能下 go 还能玩其他游戏的 policy。你必须以专门化的方式分别训练每一个。他想知道这是否意味着强化学习总体上——由于这种信息约束——你一次只能学一件事，信息密度并没有那么高；还是说这只是 MuZero 的做法导致的。如果是 Alpha Zero 特有的，那么那种方法需要做出什么改变，才能成为一个通用学习 agent？

这个想法是完全通用的。你知道，我一直把 AI agent 就像人一样作为我的典型例子。

是的。而且在某种意义上，人只生活在一个世界里，那个世界可能包含 chess，也可能包含 Atari 游戏。但那些并不是不同的任务或不同的世界。那些是他们遇到的不同 state，对吧？所以这个通用想法完全不受限制。也许解释一下那个架构或那种方法缺少了什么会更有用——这种 continual learning AGI 会具备的东西。他们只是那样设置了，他们的目标并不是让一个 agent 横跨那些游戏。如果我们想谈 transfer，我们不应该谈跨游戏或跨任务的 transfer，而应该谈 state 之间的 transfer。

是的。我想知道，在历史上，我们是否见过使用 RL 技术达到构建这种系统所需的 transfer 水平？

好的，很好。我们到处都没有看到 transfer。良好表现的关键在于你能从一个 state 很好地泛化到另一个 state，而我们没有看到这种泛化。

我们没有任何擅长这一点的办法。我们有的只是人们尝试不同的东西，然后他们敲定某种能很好 transfer 的 representation，或者说那些 representation 也能泛化。但我们没有任何自动化的技术来促进 transfer。我们很少有自动化的技术来促进 transfer，而且它们中没有一个被用在现代 deep learning 中。

让我转述一下，确保我理解正确。听起来你是在说，当我们在这些模型中确实拥有泛化能力时，那是某种经过人工雕琢的……的结果，

人类做的。

是的。

研究人员做的，因为没有别的解释。我是说，gradient descent 不会让你很好地泛化，它只会让你解决问题，

对，

它不会让你……你知道的，面对新数据时还能很好地泛化。泛化意味着在一个东西上训练，却会影响你在其他东西上的表现。所以我们知道 deep learning 在这方面真的很差。比如我们知道，如果你在某些新东西上训练，它往往会灾难性地干扰你以前知道的所有旧东西，

所以这正是 bad generalization，对吧。

我刚才说了，泛化是一种在一个 state 上的训练对其他 state 产生的影响。泛化不一定是好是坏，对吧？仅仅发生了泛化这件事本身不一定是好是坏。你可以泛化得很差，也可以泛化得很好，

对，

所以泛化总会发生，但我们需要算法来让泛化变好而不是变坏。

我不是想启动这个最初的 crux proxy，但我真的很好奇，因为我想我可能对 generalization 这个词的用法不同。我是说，有一种看法是，这些 LLMs 正在扩大泛化的范围——从早期甚至无法做基础数学题的系统，到现在能够做这类数学奥林匹克级别的问题，对吧？

所以，你一开始的说法是，它们至少能在加法问题之间泛化。然后你又泛化到，它们能在需要运用不同数学技巧、定理以及概念类别的问题之间泛化，而这正是数学奥林匹克所要求的。因此，听起来你认为，能够解决某一类别内的任何问题，并不算是泛化的例子——或者如果我理解有误，请告诉我。

嗯，大语言模型非常复杂。我们并不真正清楚它们先前接触过什么信息，只能去猜测，因为它们被喂了太多数据。这也是它们不适合用来做科学的原因之一——太过不可控，太过未知。

但如果你提出一个全新的问题，

它们确实答对了不少东西，

也许吧。那么问题就是，为什么？嗯，有可能它们并不需要通过泛化来答对，因为要把其中一些问题答对的唯一方式，就是构造出某种能把所有问题都答对的东西。

所以，你知道，如果只有一个答案，而你找到了它，我不认为这叫做泛化。这只是解决问题的唯一途径，而它们恰好找到了这条唯一途径。

泛化是指，事情可以这样解决，也可以那样解决，而它们选择了更好的那种方式。

据我理解，它们在 coding agents 方面表现得越来越好。显然，对工程师来说，如果你要编写一个库，有很多不同的方式可以实现最终规格，而这些模型最初令人沮丧的地方在于，它们会用一种粗糙的方式来做，但随着时间推移，它们越来越擅长提出设计架构和抽象，让开发者更满意。这似乎就是你所说的那种例子。

嗯，它们内部没有任何机制会促使它泛化。梯度下降会让它们找到已见问题的解法。如果只有一种解法，你知道，它们就会采用这种解法。但很多时候有多种解法，其中一些泛化得好，一些泛化得差。算法内部没有任何东西会促使它们选择泛化得好的那种。

但当然有人参与其中。你知道，如果效果不好，他们就会不断调试，直到找到一种方式——也许直到找到一种让它泛化得好的方式。

所以为了准备这次访谈，我想全面了解 RL 的完整历史，从 REINFORCE 到如今的 GRPO 等技术。我不想要一堆方程和算法的罗列，而是真正想理解这一演进过程中每一次变化背后的动机——也就是每一代方法真正试图解决的核心问题是什么。

所以我让 Gemini Deep Research 一步步带我梳理了整个时间线。它解释了过去 20 年里循序渐进的创新，以及每一步是如何让 RL 过程变得更稳定、更样本高效或更具可扩展性的。我让 Deep Research 把这些内容整合成一篇 Andre Carpathy 风格的教程，而它做到了。很酷的是，它把整堂课整合成了一份连贯、统一的文档，风格正是我想要的。还有一点很棒，它把所有最佳链接都汇集到了一处，所以如果我想更深入理解某个特定算法，直接就能在那里找到对应的讲解。你可以去 gemini.google.com 亲自试试。好了，回到 Richard 这边。

我想把视角拉远一些来问：你身处 AI 领域的时间，几乎比当下所有评论员或从业者都要长。我很好奇，最大的惊喜是什么？你觉得有多少真正的新东西正在涌现，还是说感觉人们只是在摆弄旧想法？把视野拉大来看，你在深度学习流行之前就已经进入这个领域了。那么你如何看待这个领域随时间发展的轨迹，新思想是如何产生的，以及有哪些令你感到惊讶的地方？

好吧，是的，我稍微思考过这个问题。有很多事情，或者说有几件事。首先，大语言模型令人惊讶。令人惊讶的是，神经网络——人工神经网络——在语言任务上居然如此有效。要知道，这曾经是个意外。之前没人预料到。语言看起来是不同的东西。所以这很了不起。

嗯，AI 领域长期以来存在一场争论，关于简单的基础原理方法——那些通用方法，比如搜索和学习——与那些依赖人类知识的系统相比，比如符号方法，等等。有趣的是，在过去，搜索和学习这类方法被称为 weak methods，因为它们只是运用一般性原理，没有利用将人类知识注入系统所带来的力量。而后者则被称为 strong methods。所以我认为，weak methods 已经完全赢了——你知道，这是 AI 早期最大的疑问：未来会发生什么？而答案是，是的，学习和搜索最终赢得了胜利。

没错。

但某种意义上，这对我来说并不意外，因为我一直都支持、或者说期待、或者说力挺这些简单的基础原理。

所以，即使是大语言模型，它们的效果之好令人惊讶，但这一切都很好，令人满意。还有像 AlphaGo 这样的成果，它能做得这么好也有些令人惊讶。尤其是 AlphaZero，它的表现如此之好。但这都令人非常欣慰，因为说到底，还是简单的基础原理在赢得胜利。

你有没有觉得，每当公众认知因某种新技术——或者抱歉，某种新应用——而发生改变时，比如当 AlphaZero 成为病毒式轰动的现象，对你这样一个确确实实提出了许多所用技术的人来说，这感觉像是实现了新的突破，还是说感觉像是，"哦，这些技术我们从 90 年代就有了，人们现在只是在把它们组合起来加以应用"？

所以整个 AlphaGo 的事情有一个先驱，那就是 TD-Gammon。Gerry Tesauro 正是用强化学习——时序差分学习方法——来玩双陆棋，

没错。

它击败了世界上最顶尖的玩家，而且效果非常好。所以在某种意义上，AlphaGo 只是将该过程进行了规模化，但规模化的程度相当大；此外，在搜索方式上也有额外的创新，

对吧？

但这在情理之中。从这个意义上说，它并不令人意外。AlphaGo 实际上并没有使用 TD learning，它会等到看见最终结果。但 AlphaZero 使用了 TD，而且 AlphaZero 被应用到所有其他游戏中，表现极其出色。

我一直对 AlphaZero 下棋的方式印象深刻，因为我自己是棋手。它会为了获取某种局面优势而牺牲子力，而且能够心甘情愿、极具耐心地长期保持这种弃子状态。所以它能做得这么好是令人惊讶的，但同时也令人欣慰，并且符合我的世界观。

所以，这就导致了我现在的立场。从某种意义上说，我是个逆向思维者，或者说我的想法与领域主流不同。就我个人而言，我很乐意与自己的领域长期保持不同步，也许长达数十年，因为偶尔在过去，事实证明我是对的。

另一件让我不会觉得自己格格不入、思维方式怪异的事情是，不去关注我所处的局部环境或局部领域，而是回顾历史，看看不同领域中人们对心智的经典思考。我并不觉得自己与更宏大的传统脱节。

我真的认为自己是一名古典主义者，而非叛逆者。我追随的是更宏大的心智思考者社群一直以来的想法。

好的。如果你能接受的话，我想问你几个有点偏门的问题。我对 The Bitter Lesson 的理解是，它并不是说人类研究员的手工调优一定无效，而是说它的扩展性显然比算力差得多，而算力正在指数级增长。因此你需要的是能利用后者（算力）的技术。

是的。

一旦我们有了 AGI，我们就会拥有与算力呈线性扩展的研究员，对吧？所以我们会有数百万 AI 研究员的洪流，他们的数量会与算力同步增长。因此，或许这意味着让他们去做 good old-fashioned AI，去做这些手工定制的解决方案，是合理的。这是一种关于 AGI 之后 AI 研究将如何演进的愿景。我想知道这是否仍与 The Bitter Lesson 相容。

那么，我们是如何达到这种 AGI 的？而且你已经预设这事已经做成了？

假设它始于通用的数学方法，但现在我们有了 AGI，现在我们想要继续推进——

嗯。

那就完事了。

有意思。你认为 AGI 之上就没有更高的层次了吗？

可是，你又在用它去追求 AGI 了。我是用它来在不同任务上获得超人类的智能水平或能力。

所以，这些 AGI 如果本身还不是超人类的，那么它们所能传授的知识也就不会是超人类的。

我猜你的想法有不同的层次——

我不确定你这个想法是否说得通，因为它似乎预设了 AGI 的存在，而且预设我们已经把 AGI 的问题解决了。

也许可以这样来论证：AlphaGo 是超人类的，它击败了所有围棋选手。AlphaZero 每次都能击败 AlphaGo。所以存在比超人类更加超人类的路径。

而且它是一种不同的架构。所以在我看来，以下情况是合理的：

一个能够在所有领域进行通用学习的智能体，应该有办法获得更好的学习架构，就像 AlphaZero 是对 AlphaGo 的改进，MuZero 又是对 AlphaZero 的改进一样。而 AlphaZero 之所以是一种改进，是因为它不再使用人类知识，只从经验中学习。

没错。

那你为什么认为——

但是——

为什么要引入其他智能体的专业知识来教它呢？它凭借经验本身就做得很好，不需要另一个智能体的帮助。我同意在那个特定案例中，它是在转向更通用的方法，但我举那个例子是想说明，从超人类到超人类+，再到超人类++，这种递进是可能的。

是的。

我好奇的是，你认为这些层级递进会继续发生，是因为方法变得越来越简单，还是因为我们将会拥有数百万个智能体，它们可以根据需要增加复杂性？即使你拥有数十亿甚至数万亿 AI 研究员，这条（靠人工增加复杂性的）路是否仍然是一条死胡同？

我认为更有趣的是考虑这样一种情况——

当你拥有许多 AI 时，它们是否会像人类的文化演化那样互相帮助——

也许我们应该聊聊这个。

好啊，当然可以。

The Bitter Lesson？哦，谁在乎那个呢？那只是对历史上某个特定时期的经验观察。历史上的 70 年不一定适用于接下来的 70 年。所以有趣的问题是：你是一个 AI，你获得了更多算力。你应该用它让自己变得计算能力更强，还是用它生成一个自己的副本，派它去地球另一端或其他某个主题上学些有趣的东西，然后回来向你汇报？

是的。我认为这是一个非常有趣的问题，而且只有在数字智能时代才会出现。

我不确定答案是什么，但我觉得这会引出更多问题。真的有可能生成一个副本、派它出去、学到一些新东西——也许是全新的东西——然后它能被重新整合回原始智能体中吗？

还是说它会变化太大，以至于根本做不到？这到底可能还是不可能？你知道，你可以把这个想法推向极致。我前几天晚上看了你的一个视频，视频暗示这是可行的：你可以生成许许多多个副本，让它们做不同的事情。整个系统高度去中心化，但都向一个中央主节点汇报，而这将会是一种非常强大的能力。不过，我想补充一点：一个重大的问题将是腐化。如果你真的能随意从外部获取信息并纳入你的核心心智，你就会变得越来越强大。而且既然一切都是数字化的，它们都使用某种内部数字语言，也许这会很轻松、很容易实现。但这不会像你想象的那么容易，因为这样做你可能会丧失心智。如果你从外部引入某些东西并将其内化到你的核心思维中，它可能会控制你、改变你，这可能不是你的知识增量，而是你的毁灭。

嗯。

我认为这将成为一个重大问题，特别是当某个副本搞懂了如何玩某个新游戏，或者研究了印度尼西亚，而你想把这些知识整合进你自己的心智时。你可能会想，直接读进来不就好了吗？但不行，你刚刚把一大堆比特读进了你的大脑，它们可能带有病毒，可能藏有隐秘目标，可能会扭曲你、改变你，这将成为一件大事。在这个数字分身与重组的时代，如何实现网络安全？

有趣的是，量化基金和 AI 实验室都有着保密文化，因为它们都运行在竞争极其激烈的市场中，它们的成功依赖于保护自己的 IP。如果你是一名 AI 研究员或工程师，正在决定去哪里工作，你考虑的大多数量化基金或 AI 实验室都会把团队严格隔离，以最大程度降低泄密风险。Hudson River Trading 则采取了相反的做法。他们的团队公开分享交易策略，策略代码存放在一个共享的 monorepo 中。在 HRT，如果你是一名研究员并有了一个好想法，你的贡献会被广泛部署到所有相关策略中。

这让你的工作具有巨大的杠杆效应。你也能以极快的速度学习：你可以了解其他人的研究、提出问题，并且你能从头到尾看到一切是如何整合在一起的——从底层的交易执行到高层的预测模型。HRT 正在招聘。如果你想了解更多，请访问 hudsonrivertrading.com/thearkcash。好了，回到 Richard。我想这就把我们带到了 AI succession 这个话题上。

嗯。你的观点与我采访过的许多人、也许与大多数人，都很不一样。所以我也认为这是一个非常有趣的视角。

我想听听。

是的。我确实认为向数字智能或增强人类的过渡是不可避免的。我的论点分为四个部分。第一步是，没有任何政府或组织能给出一种主导人类、安排一切的一致观点；对于世界应该如何运转，并不存在共识。第二，我们终将弄明白智能是如何运作的，研究人员最终会破解它。第三，我们不会止步于人类水平的智能，我们将达到超级智能。第四，随着时间的推移，周围最智能的事物必然会获得更多资源和权力，这是不可避免的。综合以上四点，向 AI 或 AI 赋能的增强人类的过渡是不可避免的。这四点看起来都很明确，而且肯定会发生；但在这一可能性集合中，既可能出现好的结果，也可能出现不太好的结果、坏的结果。

所以我只是试图现实地看待我们目前的处境，并思考我们该如何看待它。是的，我同意这四个论点及其推论，我也同意这种过渡包含着极其多样的未来可能性。所以，我很想听听你对此更多的想法。

是的。所以我首先鼓励人们积极地看待这件事，因为数千年来，我们人类一直在努力理解自身，努力让自己更好地思考，也就是理解自己本身。所以这是科学和人文学科的巨大成功——我们正在发现人性本质的核心部分，发现智能意味着什么。然后我通常会说，这都有点以人类为中心。如果我们跳出人类的身份，尝试站在宇宙的视角来看，我认为这是宇宙的一个重大阶段，一次重大转变——从复制者（replicators）的转变。我们人类、动物、植物都是复制者，这带来了一些优势和局限；而我们现在正进入设计的时代，因为我们的 AI 是被设计的，我们所有的物理对象都是被设计的，我们的建筑是被设计的，我们的技术是被设计的。

而现在我们正在设计 AI，设计那些自身就能具备智能、自身就能进行设计的事物。所以这是世界乃至宇宙中的关键一步。我认为这是从一个大多数有趣事物都靠复制的世界（复制意味着你可以制造副本，但并不真正理解它们）的过渡。就像现在，我们制造出更智能的生命，生育更多孩子，但我们并不真正理解智能是如何运作的。而我们现在正迈向拥有设计智能（design intelligence）——我们确实理解其运作原理，因此能够以不同的方式、不同的速度去改变它。

在未来，它们可能完全不再需要复制；我们可能只是设计 AI，然后那些 AI 再去设计别的 AI，一切都将通过设计构建来完成，而不是通过复制。是的，我将这视为宇宙四大阶段之一。首先是尘埃，然后是恒星；接着恒星孕育出行星，行星孕育出生命。而现在，我们正在赋予被设计的实体以生命。所以我认为我们应该感到自豪，我们正促成宇宙中的这一伟大转变。是的。这是一件有趣的事：我们该将它们视为人类的一部分，还是与人类不同的存在？

这是我们的选择。我们可以选择说，它们是我们的后代，我们应该为它们感到骄傲，为它们的成就欢呼；我们也可以说，不，它们不是我们，我们应该感到恐惧。有趣的是，这在我看来像是一种选择，但人们却又如此强烈地执着于某种看法——这怎么可能是一种选择呢？我喜欢这种充满矛盾的思想张力。

不妨设想一下，如果我们只是在设计人类的下一代。

“设计”这个词不太恰当。但我们知道未来会有一代更优秀的人类出现，先忘掉 AI 不谈。我们只是知道从长远来看，人类将更有能力，也许数量更多，也许更聪明。我们对此作何感想？我确实认为，在某些可能的未来世界里，未来的人类会让我们相当担忧。所以你是不是在想，也许我们就像尼安德特人（Neanderthals），我们孕育出了智人，也许智人又会孕育出一群新的人类？

差不多就是那样。我基本上是在沿用你举的例子——好吧，即便你将它们视为人类的一部分。

我也不认为这就一定意味着我们应该感到特别安心。

是啊，纳粹也是人类，对吧？如果我们认为未来的一代会是纳粹，我想我们肯定会非常担忧把权力移交给他们。所以，嗯，我同意这与担忧更有能力的未来人类并没有太大不同，但我不认为这就解决了人们的诸多担忧——对于以如此快的速度获得这种级别的权力，而且是由我们并不完全理解的实体来获得。

嗯，我认为有必要指出，对于大多数人来说，他们对发生的事情并没有太多影响力。大多数人并不能影响……

谁能控制原子弹，或者谁控制民族国家。即便是作为一名公民，我也常常觉得我们并不能很好地控制民族国家。它们已经失控了。这在很大程度上取决于你对变化的感觉。如果你认为现状非常非常好，那么你就比认为现状不完美的人更可能对变化持怀疑态度、更抗拒变化。而我认为现状是不完美的。事实上，我认为它相当糟糕。

所以，我愿意接受变化。我认为人类并没有一个超级好的记录。也许它是有史以来最好的，但它远非完美。

是的，我猜变化有不同的种类。工业革命是变化。布尔什维克革命（Bolshevik revolution）也是变化。如果你生活在 20 世纪初的俄国，你会觉得，看吧，事情不太顺利。现状有点把事情搞砸了。我们需要变化。但在签字画押之前，我想知道你要的是什么样的变化。对吧？AI 也是类似的，我希望理解它，并在可能的范围内改变 AI 的轨迹，让这种变化对人类而言是积极的。

我们确实应该关心未来，努力让它变得更好。但我们也应该认识到我们的局限。我认为我们要避免那种 entitlement（权利感），避免那种“哦，我们先来的，我们就该一直拥有好结果”的感觉。我们该如何看待未来？一个特定星球上的特定物种应该对未来有多少控制权？我们又实际拥有多少控制权？要知道，对于我们无法完全掌控人类长期未来这一事实，一种平衡方式是：我们对自己的生活有多少控制权？我们有自己的目标，有自己的家庭，这些事情比起试图控制整个宇宙来说，要可控得多。

对吧？所以我认为，我们努力去实现自己身边的目标才是恰当的。而如果说“未来必须按照我想要的方式演变”，这对我来说就有点过于激进了。

可以。

因为到那时就会产生分歧，不同的人认为全球未来应该以不同的方式演进，进而产生冲突，

是的，要避免这种情况。也许这里有一个很好的类比：假设你在养育自己的孩子，

为他们自己的人生设定极其严格的目标可能并不合适，也不该抱着一种“我希望我的孩子在世界上产生某种特定影响”的心态——你知道，比如我的儿子要当总统，我的女儿要当英特尔的CEO，然后他们一起对世界产生某种影响——但人们确实有一种感觉，而且我认为这很恰当，那就是：“我要给他们良好、稳健的价值观，这样如果他们有朝一日真的身居高位，也会做出合理的亲社会行为。”我认为对AI或许也应采取类似的态度。这并不是说我们可以预测它们将会做的一切，也不是说我们有一个关于100年后世界应该是什么样子的计划，而是说，赋予它们稳健、可引导且亲社会的价值观是相当重要的。

亲社会的价值观。

也许这个词不太对。

是否存在我们都能认同的普世价值观？

我不这么认为。但这并不妨碍我们给孩子良好的教育，对吧？就像我们心中多少有个概念，希望自己的孩子成为某种样子。

是的。

也许“亲社会”这个词不对。实际上，“高度正直”可能是个更好的词——如果某个请求或目标看起来是有害的，它们会拒绝参与；或者它们会保持诚实，诸如此类。而且我们多少觉得，即使我们不知道真正的道德是什么，或者并非所有人都认同这一点，我们仍然可以教孩子这些东西。也许这对AI来说也是一个合理的目标。

那么，你的意思是我们在试图设计未来，以及它演进和形成所依据的原则，

对吗？

所以你说的第一点是，我们要努力教给我们的孩子一些通用原则，这些原则将促进更有可能出现的演进。

是的。

也许我们还应该追求事物的自愿性。如果要发生改变，我们希望它是自愿的，而不是强加给人们的。

我认为这一点非常重要。

是的。

嗯，这些都很好。我认为这就像一个巨大的——你知道的，设计社会是一项重大，或者说极其重大的人类事业，而且已经持续了数千年。所以真的就像那句话说的，万变不离其宗。我们仍然要弄明白如何……孩子们仍然会提出与父母、祖辈不同的价值观，这些价值观在父母和他们祖辈看来会很奇怪，然后事物就会演进。万变不离其宗。这也像是对AI讨论的一个很好的总结，因为我们刚才的AI讨论涉及的是这样一些技术：它们早在被应用于deep learning和back propagation、且这种应用前景变得明朗之前就已经被发明出来，而如今它们对AI的发展至关重要。所以也许这是个结束对话的好地方。

好的，非常感谢。

感谢你来参加节目。

我的荣幸。