Douglas 也是 Anthropic Claude 4 模型的关键人物。在这些模型发布当天能坐下来和他聊聊真的很开心。我们聊了很多话题，包括开发者和建设者应该如何看待 Anthropic 的下一代模型；我们聊了这些模型在未来 6 到 12 个月、2 到 3 年的趋势线意味着什么；我们探讨了打造可靠 agent 需要什么条件，以及这些模型何时能在医学、法律等领域取得进步，并赶上它们已经在编程领域实现的突破；我们还聊了他对 alignment 研究的看法——我们今天处于什么位置，哪些方法奏效了，还有哪些工作有待完成，以及他对 AI 2027 这项研究的反应。这真是一场与 LLM 研究领域杰出头脑的精彩对话。我觉得大家一定会很喜欢。话不多说，下面有请 Shelto。嗯，非常感谢你来参加这个播客。很享受。这地方真是个很酷的小空间。是啊，我很感谢你们能来这个小“洞穴”里和我们一起聊。嗯，这总是很有趣。等这期播客发布的时候，全世界就都能用上 Claude 4 了。我相信大家会拿去试玩的，但我很好奇。你是最早一批接触这些模型的人之一。那么，它们最让你兴奋的地方是什么？它们在软件工程方面又上了一个台阶，这是肯定的。而且 Opus 真的是一个了不起的软件工程模型。越来越多的时候，我会遇到这样的时刻：我去让它在我们的大型 monorepo 里做一件定义得非常模糊的事，而它却能以相当自主、相当独立的方式去完成——自己去发现信息、理清头绪、跑几个测试。每次这种情况都让我惊叹不已。每次我们拿到新一代模型，都不得不重新构建自己的心智模型，想清楚什么管用、什么不管用。那么你的心智模型现在发生了怎样的变化——你在写代码时，会拿这些模型来做什么、不做什么？随着这次发布，你说说看。我觉得最大的变化是时间跨度稍微扩大了一点。我认为模型能力的提升可以沿着两个维度来刻画：一个是任务的绝对智力复杂度，另一个是它们能够有意义地进行推理的上下文量，或者说连续动作的数量。而这些模型在第二个维度上明显强了很多——它们真的能够采取多个行动，去搞清楚需要从环境中提取什么信息，然后据此行动。所以，时间跨度能够变长，也得益于 Claude Code 这类工具的支持。它现在能调用所有必要的工具来以有效的方式完成工作，而你不必再坐在那里，从聊天窗口里复制粘贴了——在这方面也是相当有意义的提升。有很多任务，我看着它，原本需要我花一个多小时、甚至好几个小时才能完成的工作，现在它就在我面前持续运转，做着这些……以人类等效时间来算的话。等这期播客发布时，人们将第一次拿到这些模型。你对他们最先该尝试什么有什么建议？他们最该尝试什么。我认为，说实话，试着把它们接入到你的工作中去。这是最重要的一点：坐下来，让它去做你当天本来准备在代码库里做的第一件事。然后看着它去搞明白需要提取什么信息、该做什么。我觉得你会非常印象深刻。是啊。既然现在有了这些新能力，显然有很多人会在这些模型之上做开发。那么，对于那些拿这些模型去构建应用的开发者，你最希望哪些新能力被释放出来？我认为，从某种程度上说，存在一种“产品指数”的概念，就是你得不断赶在模型能力前面一点点去构建。我喜欢用 Cursor、Windsurf、Devin 这类产品来思考这个问题。你看 Cursor，它们对编程未来有一个愿景，这个愿景在很长一段时间里远远领先于当时的模型能力水平。要知道，Cursor 直到底层模型——比如 Claude 3.5 Sonnet——起飞后，才真正找到 PMF，因为它们想提供给用户的辅助能力才得以实现。然后我想说，Windsurf 在 agentic 这条路上走得明显更远，这让它们通过更用力地推那层“产品指数”，拿到了相当可观的市场份额。我们现在开始从 Claude Code 中看到这种趋势，还有新的 Claude GitHub 集成，以及 OpenAI 的 Codex，再加上 Google 的 coding agent。所以你看，所有人真的都在做 coding agent。对吧？这是工具层面的问题——人们正在为更高一层的自主性和异步性构建产品。所以现在，这些模型正跌跌撞撞地朝着能独立完成任务的方向迈进，那些任务以前会花掉你好几个小时。接下来会是什么样呢？我认为我们会看到一种有趣的转变：从去年你每秒都得介入，到每分钟介入一次，再到每小时介入一次。我怀疑未来会不会演变成你在管理一整支模型舰队。所以我认为那种交互界面会非常值得探索——当一个人管理的不是单个模型，而是多个模型同时做多件事、互相协作时，你能给他多大的并行度。那会相当令人兴奋。是啊。你有没有设想过那会是什么样子？那会是什么样子？天哪。其实我知道 Anthropic 内部就有很多人，在不同的开发环境里同时开着好几个 Claude Code 实例，这挺酷的。但我认为还没人真正破解那种产品形态，而这恰恰是一个值得探索的有趣方向：一个人的管理带宽究竟有多大。我认为从经济学未来如何运作、或者这些模型的生产力回报究竟如何这个角度，这也是一个值得探讨的有趣问题。因为如果你想想，最初我们还是需要人类来验证这些模型的输出，所以模型的经济影响在最初阶段会受到人类管理带宽的瓶颈制约，直到你能把信任委托给一个模型，让它自己去管理一支模型团队。所以这种在抽象层级上的不断跃升，我认为会是更需要理解的重要趋势线之一。基本上，基于你需要检查这些模型的频率这一制约因素，你可以运行无限数量的模型。如果你每 15 分钟就得检查一次，对比每小时检查一次，或者每 5 小时检查一次，你能做的事情就多太多了。没错。我认为 Jensen 在谈及他对 AGI 进展未来怎么看的时候提到过这一点。他说：“实际上，我周围环绕着 10 万个极其聪明的 AGI。”他说，这让他在世界上拥有了巨大的杠杆，就是那种影响力。他描述的是他自己如何成为管理 Nvidia 这家公司的一个制约因素，而我认为很多工作最终都会越来越朝那个方向演变。是啊。谁知道呢？我是说，也许组织设计这一整块领域最终其实会成为最重要的——具体是指什么，以及如何建立信任？没错，结构会变得复杂。是的，我记得我们在节目开始前聊过，你之前在 Mackenzie 待过一年，我觉得，嘿，也许这对咨询公司来说是个很好的应用场景，他们在这方面做了这么多年，也许能成为他们的一个新产品线。实际上，你刚才说的这一点让我感触很深。对于应用公司来说，本质上就是要比模型发展的方向领先一个阶段，Cursor 就是这样做的。模型变化如此之快，如果你对比 Cursor 和那些所谓的编程公司，比如 Cognition，现在也许有人在思考：你管理一个100人团队时用的仪表盘应该是什么样的？在你看来，应该提前多少才合适？因为今天你可能会觉得“天哪，我完全跟不上”，但三个月后你又会觉得“其实我已经能跟上模型能力了”。你必须不断重新设计产品，使其适合未来几个月的模型能力前沿。我认为这意味着你仍然要与终端用户保持大量接触，产品在一定程度上要能用，但又要能利用前沿能力。我觉得这就是秘诀：当你在等模型发展到某个程度时，别人已经在抢占开发者的心智和客户的案例了，他们之后很可能把这些整合进去。没错，而且你在 custom instructions 这类东西上也看到了这一点，对吧。这些模型中有很多你们取得进展的领域，比如记忆、指令遵循、工具使用。所以我想，再次为大家梳理一下背景：在这三个领域我们处于什么位置？什么有效，什么还不行？好的，要理解过去一年这些模型发生了什么，可以这样看：RL 终于在语言模型之上真正奏效了。我认为我们能够教给这些模型的任务，其智力复杂度没有直接的上限。所以你会看到它们在做极其复杂的数学题、极其复杂的编程题，但这些都属于范围有限的领域，上下文相对受限，问题就摆在模型面前。而记忆和工具使用这类尝试，是为了扩展模型能够行动的上下文范围，以及扩展它具备的 affordances。比如 MCP 这类东西让模型的世界突然开阔起来，能够与外部世界交互。记忆让它能处理更长的上下文，实现比原始模型仅靠自身上下文窗口更高的个性化程度。因此，我认为这些努力代表着试图通过在某些方面给模型解除限制来攻克 agency。另外，我觉得 Pokémon Eval 非常棒，我当年可是狂热的 Game Boy 玩家，我很喜欢这个 eval。希望你们会随这个模型一起发布它。是的，新模型一直在玩 Pokémon，你会看到的。我认为这是个很棒的 eval，因为它并非专门为此训练的。所以这展示了智能的可泛化性——我是说，这个任务并非完全 out of distribution，但与它之前做过的任何事情都有显著不同。另一个例子是，我以前还得买攻略书才能通关那游戏，我记得有很多梯子和要绕路的地方。没错。另一个我很喜欢的例子是，Anthropic 最近一直在做的一个可解释性 agent。它的工作是寻找语言模型中的 circuit。这非常酷，因为我们并没有专门训练它做这件事，我们训练它做的是——你知道，它是一个编程 agent，对吧？但它能将其与 theory of mind 等知识结合起来，坐在那里与它试图理解的模型对话，尝试推理出各种可能性。它能使用工具，比如查看和可视化神经元、circuit 等。而且它实际上能赢一个有趣的对齐安全 eval，叫做 auditing game，你以某种方式扭曲了模型，它必须找出模型哪里出了问题。它确实能做到。它能与模型对话，生成关于模型可能出了什么问题的假设，并查看所有这些工具。我认为这精彩地展示了这些模型在拥有工具和记忆等情况下的可泛化能力。builder 们一直在等待 agent，以及可靠地使用这些东西的能力。我记得你之前在播客里提到过，agent 的瓶颈在于可靠性，对吧？我们在这方面取得了多少进展？对于那些作为听众的 builder 们来说——
大家好，我是 Rashad，是 Unsupervised Learning 的制作人。我想短暂打断一下对话，提醒还没订阅的听众订阅我们的 YouTube 频道。订阅帮助我们成长，也让我们能继续请到像 Schultto 这样最棒的嘉宾。非常感谢大家的收听，现在让我们回到节目。请订阅我们的频道。
agent 的瓶颈是可靠性，对吧？我们在这方面取得了多少进展？对于那些作为听众的 builder 们来说，我真的很喜欢这个指标。我确实认为，衡量在一段时间内的成功率，是思考 agent 能力扩展的正确方式。我认为我们正在取得巨大进展。可靠性方面我们还没有达到100%。这些模型并非每次都能成功。让模型做一次的表现，与让它尝试256次的表现之间，仍然存在显著差距。有很多 eval 你可以通过多次尝试完全解决，但第一次尝试时并不能保证成功。但话虽如此，我看到的每一条 trend line 都表明，我们正朝着在大多数训练任务上达到专家级、超人类可靠性的方向前进。是什么会让你改变看法？我认为如果我们基本上偏离了 trend line。比如说到明年年中，你开始看到模型能够行动的时间范围受到某种阻碍。我觉得你应该关注这一点，就像编程一直是 AI 中的领先指标。所以我认为你会首先在编程上看到这种衰退。但这可能反映了算法固有的局限性，而我坚信这种局限性并不存在。还有其他限制，比如任务分布可能比你想象的更难，因为某些事情可用的数据更少，结果证明这实际上是一个相当费力的过程。所以，如果你想想那些会使用计算机的 agents，这或许就是一个例子——那种数据并非天然存在。但与此同时，我们在这一领域又看到了如此惊人的进展，以至于我觉得，相对而言，我们根本不是处于那种状态。是啊。你觉得我什么时候才能拥有一个通用的 agent，可以帮我填写所有表格、帮我浏览网页？是啊。我开玩笑说，就像是“个人行政事务逃逸速度”——作为一个拖延症患者，怎样才能把某项任务尽可能往后推，那就太棒了。没错，确实如此。嗯，这要看情况。我还是认为这有很大影响，某种程度上取决于一家公司是否重视，至少是否愿意给模型一些练习的机会。就像如果你从街上随便拉一个人，对他说，你是通用智能，但我要你帮我做账，而且你不能犯任何错误，对吧？那随便拉来的人可能会犯些错误，对吧？但如果他们做过类似的事，或者他们是杰出的数学家，那他们很可能也会犯很多错，或者他们是律师之类的人；只要有可以迁移和映射的东西，他们成功的概率就会高得多。所以这很大程度上取决于具体任务。我认为到明年年底，我们应该会看到这种情况几乎是有保障的，非常明显；甚至到今年年底就应该相当清楚了。但到明年年底，这些 agent 就会在你的浏览器里帮你做很多事。听起来太棒了。你们的模型非常擅长编程，是什么让它们在这方面如此出色？是内部的优先级排序吗？我觉得人们现在一提到 Anthropic 就觉得，哦，他们是做编程模型的公司，这背后的原因是什么？我的意思是，Anthropic 确实非常看重对我们认为重要的事进行优先级排序。我们相信编程极其重要，因为编程是你将看到 AI 研究本身获得加速的第一步。所以我们非常重视编程，非常重视衡量编程方面的进展。我们认为这是模型能力最重要的一项领先指标。是的，我认为这是一种专注。编程在加速吗？这些 agents 如今在加速研究吗？它们很大程度上加速了我个人的工作。基本上是的，它们极大地加速了工程工作。我觉得这很有意思，哪怕去问那些极其杰出的工程师，问他们这带来了多大加速，我很多在我看来是我合作过的最强工程师的朋友都说，即使是在他们熟悉的领域，也能达到 1.5 倍；而在不熟悉的领域，大概是 5 倍。所以如果是新的编程语言，或者你有一段时间没做过的东西，它都是一个不可思议的加速器。现在有一个非常重要的因素需要考虑，就是 AI 将在多大程度上加速 AI 自身的进展，这取决于你认为我们在多大程度上受算力限制（compute bounded）与否。还有就是，如果你部署能够替你研究的 AI agents，这是否意味着你获得的收益与你现在部署的研究人员数量成正比。在这个阶段，我想象大多数这类工具做的是你工作中烦人的部分，这样你就可以去思考那些杰出的研究方向并加以验证。你觉得这些 agents 自己提出有趣的研究方向，这个时间线会是什么时候？我的意思是，目前大部分工作还是工程工作，甚至可以说绝大多数工作都是工程工作。至于它们什么时候能提出新颖的想法，说实话我不确定。大概在未来两年内，人们已经开始看到一些有趣的科学提案和这类东西了。另外，如果你允许——有一个重要因素需要考虑，就是这些模型当前的算法空间是，只要某个事物存在反馈循环，它们就能真正成为该领域的专家。所以它需要被允许进行一些练习。同样地，对人类来说，这也需要是相对容易验证的，对吧？我们会不会出现那种编程能力惊人，但在一些更模糊的技能上毫无进展的模型？是的。有一点是，机器学习（ML）研究实际上是非常容易验证的。比如损失降了吗？对吧。所以如果你能走到那一步，能对机器学习研究提出有意义的提案，那你就拥有了世界上最好的强化学习（RL）任务。甚至在某些方面，我觉得比一般的软件工程还要更甚。那我们会在不那么容易验证的领域取得进展吗？我非常有信心会的。我认为这里有一个有趣的数据点：OpenAI 最近的一篇论文是关于医学问题的。你注意到它是怎么评估或打分的吗？就是那个新的医学评估（medical eval），他们有更多的反馈。他们有很多问题，是那种你在考试中会写的长篇答案，然后他们会给答案打分。所以这其实是把一个原本不像代码或数学那样天然可验证的领域，转化成了一个更容易验证的领域。我觉得这个问题有合理的可能性基本上已经被解决了，而且最终几乎肯定会被解决。那最终是什么时候？我们什么时候会有一个非常出色的医学模型，或者法律模型？或者还是说，这会在明年内成为更通用模型的一部分？是的。它会变成通用模型的一部分，还是说你认为会出现专门的法律模型或医学模型？在这方面，我有点像大模型至上主义者。我想大多数研究人员都是。是的，没错。我确实认为模型的个性化有很多非常重要的方式，比如你希望得到的是一个理解你的公司、理解你关心的事物、理解你本人的东西。所以针对你的需求对模型进行调优确实很重要，但我认为这不会是行业特定的东西，而更多是公司或个人特定的东西。你知道，Anthropic 和 Databricks 有合作，我们在做公司特定的内容。但在基础能力层面，我坚信是单一的、原生的大型模型。我这么想有几个原因：一是我们迄今为止看到的趋势；二是因为从长远来看，小型模型和大型模型之间的区别没有理由存在。你应该能够自适应地使用恰当的工作量，或者说恰当的 FLOPs，来应对特定任务的难度。所以我认为这意味着偏向于逻辑模型。听起来你对这些模型的持续改进相当有信心。我想很多人猜测的是，模型会不断变好，然后它将如何扩散到社会中去。大家喜欢谈论的一个话题就是基本上对 GDP 的影响，对吧？那么未来几年内，你认为这些模型会对世界 GDP 产生什么影响？对。好的。我认为最初的影响可能类似于中国的崛起。因为这大概是过去100年里对世界影响最大的事情。你看上海在这20年间的变化，它发生了翻天覆地的变化，而这一次的速度会比那快得多，不过你会看到类似的景象。但这里需要做出一些重要区分。其一，我认为我们目前已经几乎可以确定，到2027或2028年，甚至更确定的是到本年代末，我们将拥有能够有效自动化任何白领工作的模型。话虽如此，这是因为这些任务对我们当前的一系列算法来说相当容易处理——你可以在计算机上反复尝试，而且有大量数据可供使用。互联网是存在的，但同样的数据资源并不存在于机器人技术或生物学等领域。因此，要让一个模型成为超人类程序员，你只需要那些我们已经能够提供给模型的条件，然后基本上把现有算法扩大规模就行。但要让模型成为超人类生物研究员，你需要自动化的实验室，让它能够以高度并行的方式提出并运行实验。或者，要让它在现实世界中像我们一样能干，你需要让它能够通过机器人在环境中行动。所以你需要大量的机器人来实际收集数据，并以不受限制的方式做到这一点。因此，我认为我们可能会看到——而且我实际上也担心我们会看到——一种错配：你会看到对白领工作的巨大冲击，无论这看起来只是巨大的增强还是别的什么，目前尚不确定，但你会看到那个世界发生巨大变化。而我们需要将那些能极大改善我们生活的事物的剧烈变革提前实现。因此，要将医学进步提前，要将现实世界的物质丰裕提前，我们需要真正解决云实验室、机器人技术这类问题。但到那时，我们将拥有数百万的AI研究人员在提出方案，他们可能不需要如此大规模的机器人或生物学数据。所以AI进展会非常快。但我们需要确保我们将现实世界的反馈循环纳入其中，以真正实现在显著改变世界GDP等方面的承诺。对。所以基本上你认为，对于每一个白领职业，你都能够构建某种奖励模型，类似于在医疗评估中的做法。而且我觉得一直令人惊讶的是，你实际需要的数据是多么有限就能构建这些东西，就像人类用相对有限的数据学习做这件事一样，对吧？完全正确。而且我认为我们已经确凿证明的是，我们可以教模型——到目前为止，我们还没有在我们能够教给模型的任务上遇到智力天花板。它们确实似乎比人类的样本效率低一些。但这也没关系，因为我们可以并行运行数千个副本，它们可以与任务的不同变体进行交互，它们可以拥有相当于终身经验的积累。所以样本效率低一些也没关系。对。因为你仍然能在该任务上达到专家级人类的可靠性和表现。看起来你认为这个范式基本上能让我们走完全程。是的。显然，你有像 Ilya 这样的人一直在说，需要有某种其他的算法突破。另一方的观点是什么？对，这说得通。我认为目前领域内大多数人相信，我们迄今为止探索的预训练加 RL 这类范式本身足以达到 AGI。我们还没有看到趋势线出现弯曲，它正在起作用，这种组合是有效的。是否还有其他需要攀登的山峰能让我们更快到达那里，这是完全可能的。我是说，Ilya 可能之前就发明了这两种范式。所以我凭什么跟他唱反调呢，对吧？但我看到的所有证据都表明这些已经足够。也许 Ilya 那样押注是因为他没有那么多资本可用，或者他认为那是更好的做法。这完全有可能，我不会跟 Ilya 唱反调，但我确实认为我们现在拥有的东西能让我们到达那里。这方面的限制因素将是能源和算力。你认为我们什么时候会开始撞到这面墙？我认为《Situational Awareness》最后有一张很棒的表格详细说明了这一点，到本年代末，我们开始报告占美国能源产量相当大比例的数据，比如超过20%，我想可能在2028年就会占到美国能源的20%。因此，如果不发生剧烈变化，你不可能再在此基础上提升几个数量级。这是我认为我们需要加大投资的地方，也是政府应该采取行动的重要方向之一。Dylan 有一张很棒的图表，对比了中国和美国的能源产量，美国的能源产量是平的，而中国的能源产量是这样上升的——他们在能源建设方面做得比我们好得多。所以是的，我想在这波当前的模型改进浪潮中，该用哪些指标呢？看起来是基于时间跨度的指标，但现在值得去爬坡优化的东西是什么？比如从 GPT-4 发展到之后的模型。对。总的来说，我对公司内部评估印象深刻。很多公司都设计了自己的版本，比如类似 SWE-bench 的基准测试。这些相当严谨，而且保留了很好的测试集。所以我喜欢在这些指标上爬坡。我也认为像 Frontier Math 这样极其复杂的测试非常有趣，是未来一年值得关注的指标。因为它代表了如此高的智力复杂度上限，我觉得这很有意思。但我越来越认为，重要的是难以制作的评估基准。如果我们能制作出有意义地捕捉人们工作日时间跨度的评估基准，我认为那将是最好的产出。但还没有人公开做出这样的东西。我认为这是政府应该做的另一件事，因为了解趋势线是什么样子对制定政策是如此重要的输入，而且这也是政府很适合做的事。他们应该去制作类似律师或工程师一小时或一天的工作日中，输入和输出是什么样子的评估，然后看能否将其转化为可评分的东西，这样我们才能真正据此衡量进展。我想，作为基础模型公司，在你们必须克服的一系列问题中，拥有好的评估基准排在什么位置？对。我是说，每家基础模型公司都有一个非常大的评估团队，里面有很多优秀的人在非常努力地做这件事。我认为核心在于训练模型本身的核心算法和基础设施挑战，但如果没有好的评估基准，你根本不知道自己进展到了哪一步，而且很难让外部评估基准保持完全独立。所以，拥有你信任的良好内部评估基准非常重要。但我也注意到，有人在你们模型之上构建应用，并且愿意分享他们对 eval 的思考方式，这对我们非常有帮助，因为显然，尤其是当你们进入许多想要改进的不同垂直领域时，你们很难弄清楚物流、法律、会计或其他任何领域中具体需要的是什么。这需要极高的专业知识和品味。我觉得这也是过去几年的故事之一：你们从可以随便拉一个路人过来，问“你喜欢哪个输出”，就能显著改进模型，转变为需要研究生或领域专家才能改进模型输出。我是说，如果把我放到一个我不太了解的领域，比如生物学之类的，把两个模型输出放在我面前，我会在很多问题上感到困难——我没有专业知识来判断哪个是更好的答案。我想这种“品味”的概念——我的意思是，我注意到显然记忆功能如今已被整合进消费者与这些模型交互的许多方式中。但似乎不同 AI 产品之所以能够走红，部分原因在于它们找到了某种共鸣，契合了时代精神，你知道，我猜你们有过 Golden Gate 之类的例子，还有很多类似的事情。未来在模型定制化方面会是什么样子？我是说，针对终端用户的 vibe？是的。嗯，实际上，我觉得未来有一种奇特的可能性，这些模型最终会成为你最聪明、最有魅力的朋友之一——我不知道你的朋友怎么样，但（模型）已经挺接近了，对吧？所以我希望如此，而且我觉得我们的模型几乎还没有在这方面做得很好，它们在这些维度上还算可以，但我知道有很多人实际上花了大量时间和 Claude 聊天，不过我觉得我们还能走得更远。我觉得我们在个性化以及模型对你的理解深度上，只探索了大概 1%。你怎么才能在这方面做得更好？你知道，那些拥有卓越品味的人，他们以很有主见的方式引导这些模型，或者你会怎么着手解决这个问题？我是说，我觉得 Claude 在这方面如此出色的很大一部分原因是 Amanda 和她的品味。我觉得这就像精美的产品一样，其中很重要的一点是独特的品味。而且我们都知道 AB 反馈机制的危险，点赞点踩基本上会把你引向一条黑暗的道路。我觉得部分原因在于，这些模型在某种程度上是非常出色的模拟器，它们被要求建模整个互联网的分布。所以我觉得解决这个问题的方法之一就是提供大量关于你自己的上下文。模型其实应该几乎自动地非常擅长理解你想要什么，而在设计个性这类事情上，可能需要有品味的人，再加上你自己与模型的对话和反馈，某种结合。我相信在发布前你们让很多人在试用这些模型。有没有什么故事让你特别印象深刻的？我觉得一切都明显上了一个台阶，让我更有信心首先求助于模型。我还很欣赏这些模型在某些方面的执着。我是说，这个词合适吗？我不知道。但比如这个很棒：我们有一个很好的 eval，在这个 eval 中，模型注定会失败。它是关于在 Photoshop 里做某件事，而 Photoshop 根本做不到那件事。然后模型说，“哦，我知道在 Photoshop 里做不到这个。那我就下载一个 Python 库，用 Python 库来做，然后再上传到 Photoshop 里。”看，我做到了。所以也许说“执着”不太准确，更像是有创意、有点调皮，出乎意料。没错。我觉得那个故事挺可爱的。那真的很酷。那么，显然你们今天发布了新模型。依你看来，接下来的 6 到 12 个月会是什么样？嗯，接下来的 6 到 12 个月，很大程度上会是 scaling up RL，并探索这能把我们带到哪里。我觉得你应该会看到由此带来的极其快速的进步。在很多方面都是如此。我觉得 Dario 在他关于 Deepseek 的文章里阐述过这一点，他说与 pre-training 阶段相比，应用到 RL scaling regime 的计算量相对较小。这意味着即使使用现有的计算资源池，仍有巨大的提升空间，而且今年的计算资源池也在大幅扩张。所以预计模型能力会持续提升，基本上到今年年底，一个很好的衡量标准将是：如今刚刚迈出蹒跚第一步的 coding agents 应该会非常能干。你可能会非常放心地把大量工作委托给它们，持续数小时的人类工作量。你的检查间隔时间会是多少？就是，对，没错。检查间隔时间会是怎样？现在用 CL code，有时候是 5 分钟，有时候你就得坐在那儿盯着它。到今年年底，对于很多事情，可能可以自信地让它连续运行几个小时。而现在，是的，有时候模型能做好几个小时，有时候你能完成大量工作，但很不稳定。是啊，我觉得这就是改变游戏规则的东西。我觉得即便从 RPA 学到的教训之一就是，你得坐在那儿看着它干活。到某个时候你就会想，我宁愿自己做。是的，有时候对吧，有时候你得介入，最终我们会能够把这些委托出去。我想不久前有人在推特上说，软件工程的未来看起来像 StarCraft，我觉得我们什么时候能达到 StarCraft 级别的 APM，也就是协调所有模块的手速？那可能要到今年年底。那么从模型发布节奏来看，这意味着什么？我是说，如果你们扩展得这么快，那是不是意味着，你觉得所有实验室在这个快速调整期会多久发布一次新模型？我觉得模型发布的节奏会比去年快得多。在很多方面，2024 年更像是一个深呼吸的阶段，人们在弄清楚新的范式，做了大量研究，更好地理解了发生了什么。我预计 2025 年会有明显更快的感觉。这尤其也是因为，随着模型能力变强，可供它们获得的 reward 集合也在以重要方式扩大。你知道，如果你必须对它输出的每一个句子都给出反馈，对吧？这非常不具备可扩展性。但如果你能让它完成数小时的工作，而你所要做的只是判断它是否完成了我想要的东西、是否做了正确的分析、网站是否正常运行、人们是否能够在上面发消息等等——这就意味着，尽管任务的复杂度在不断提升，它基本上应该能够以越来越快的速度攀上这些阶梯。你之前提到了 OpenAI Codex，还有 Google Jules，以及各种各样不同的东西。有很多初创公司正在搭建这类平台，实际上我们也在推出一个 GitHub 代理。你可以在 GitHub 的任何地方说：“嘿，@Claude”，然后我们就会接过来帮你完成一些工作。没错。所以，所有人都在争夺开发者的心智与青睐。你认为什么将决定开发者会使用哪些工具和模型？我认为很大程度上取决于公司与开发者之间的关系，以及彼此之间有多少信任。很大一部分也是公司与开发者之间的信任与尊重。很大程度上还取决于模型能力。哪些模型是人们真正用着顺手、喜欢使用的——比如模型的个性、能力，以及你对它去执行这些任务的信任度。而且我希望随着时间的推移，随着这些模型的显著能力变得越来越明显，公司的使命也会变得更加重要——你会把与哪些公司合作，看作是在与谁共同构建未来。我敢肯定，尤其是如果发布的节奏不断加快，每个月人们都会被各种信息淹没——这个在这个评测上得分更高了，那个在那个基准测试上表现更好了。实际上，我认为有趣的是，这是人们没有预料到的关于 GPT wrappers 的一点——封装模型公司的一个好处是，你可以搭乘模型能力前沿的浪潮。哦，完全同意。我觉得所有试图不做封装层的人都是在烧钱。没错，正是如此。所以，能够搭乘模型能力前沿的浪潮真的很棒。但也存在一种反向效应，即某些东西只有在你能接触到底层模型时才能预判——你才能真正感受和看到趋势线的走向，或者说，只有在这种情况下你才能构建出某些东西。我认为所有类似 deep research 的产品都需要一定程度的 RL，因此很难在实验室之外构建出同等级别的产品。你能解释一下这是为什么吗？因为显然，我认为 OpenAI 的 RFT——我相信你们也有类似的东西——似乎正在越来越向外界开放。我想这其实是一个大问题，也是我经常思考、很多人也在想的：实验室会特别擅长构建什么？而什么是任何人都可以公平参与的领域，尽管实验室也会尝试，但应用层公司未必处于同等有利的位置？所以我认为，随着 RT API 的发布，这种情况会有所改变，因为现在专业化于特定领域的公司也能获得一些好处。但同时也会存在同样的集中化优势——据我所知，OpenAI 确实允许人们使用，而且如果你允许他们基于模型的输出进行训练，他们还会提供一些折扣。因此，作为拥有 RF API 并且人们在其上进行 fine-tuning 的公司，会有一些集中化的优势。那么实验室会特别擅长什么呢？我认为这是非常重要的一点。有几个维度。一是实验室将被评判的主要指标：它们将加速器、FLOPs 和美元等资本转化为智能的效率如何。这是迄今为止最重要的指标。也正是这个指标让 Anthropic、OpenAI 和 DeepMind 这样的公司真正区别于其他同行，对吧？这些公司训练的模型要更好。其次，我认为接下来最重要的是——这些模型很快就会像员工一样。关键在于信任，以及你是否喜欢它们，是否信任它们去执行你要求它们做的事情。所以我认为这将是重要的差异化因素，个性化也会是重要的差异化因素——比如模型对你、你的背景和你的公司理解到什么程度。我很好奇，有些人在你们的模型之上构建通用智能体，对吧？他们不是模型公司，而是直接拿现成的模型，自己做编排，做非常聪明的链式调用。这在某种程度上是不是一项注定失败的任务？或者说，模型公司本身到底拥有什么优势？显然，相比 API 的成本优势完全说得通，而且你们周围都是深刻理解这些模型的人。是的。不，并非如此。我是说，我认为这其实也是件好事，对吧？这鼓励了激烈的竞争，促使大家找到正确的产品形态等等。我认为模型公司确实有一些优势。比如能够接触到模型，能够真正确保——我觉得 RF API 目前还不算特别好用，所以整个过程还挺复杂的——因此能够针对你认为重要的事情去调整模型，这就是一种优势。但我认为，水位线基本上会持续上涨——归根结底，你是在驾驭这种随时可用的智能，就像你雇佣的员工一样，或者说只是纯粹的智能能力。所以，是的，会有公司去封装、编排这些模型。而且在很多情况下，它们会做得非常好。实际上我不太确定谁有优势谁没有，但底层趋势是显而易见的：有一种原始智能正在被提炼并变得可用。所以，如果一家公司成功地封装了这类 API，那很好。但它也会面临大量竞争。就像最终所有的护城河都会消失——从某种意义上说，当 T 趋于无穷时，因为你将能够按需快速成立一家公司，可以这么说。所以我认为这是一个有趣而复杂的未来——价值会在哪里积累？是在客户关系里？还是在整合能力上？还是在于真正将资本转化为智能的能力上？谁知道呢？我想我们的听众会非常好奇。你能描述一下现在作为一名前沿 AI 研究员，日常工作是什么样的吗？是的，我认为这是个好问题。所以，在这些公司里，你从根本上要做的就是两件事之一：要么是开发新的算力乘数。嗯，所以这就是工程化的过程——让研究工作流变得非常快速，并仔细思考我们目前在模型方面存在哪些问题，或者我们希望表达什么样的算法想法，以及研究这些内容是如何发展的。因此，这是一种非常整合的研究与工程相结合的工作形式，核心在于迭代实验、构建实验基础设施，并尽可能让这一过程简洁而快速。然后是扩展规模的过程。这伴随着一系列研究与工程挑战：你拿那些你认为可行、并与同事们争论过哪些应该纳入这次风险更高的运行中的想法，在一个规模大得多的运行中进行扩展，这带来了全新的基础设施挑战——比如运行时你需要有更高的容错能力，等等。还有新的算法和学习挑战。有些东西只有在每一次规模提升时才会显现，然后你需要去弄清楚它们发生的科学原因，看看能否研究它们的早期出现，再设计实验来应对或利用这些效应，并将其纳入下一次大规模运行中。是的。所以这就是在这两个维度上不断推进的循环，以一种真正融合大量科学与工程的方式。那么在整个过程中，你在哪些地方使用了 AI？一是大量用于工程方面，目前它主要就是在工程上提供帮助；二是用于实现研究想法。我认为，要看到这些模型在这方面提供帮助的早期能力，有一种方式：如果你拿一个单文件的 transformer 实现，比如 Karpathy 的 minGPT 之类的，让模型去实现你在论文中看到的想法，你会被它的能力惊艳到。这简直有点不可思议。而如果你进入某个庞大的 transformer 代码库再去问它，你会发现实际上要难一些。模型在那儿会遇到更多困难，但每个月都在减少。所以这是预示未来的一种好方法：把上下文提炼到只保留关键部分，然后让模型去做，接着你就会被它在帮助你做研究方面的能力所震撼。显然你一直在密切关注这些事，尝试了各种各样的东西。过去一年里，你在哪一点上改变了想法？过去一年里，我认为进展的速度被大幅向上修正了。所以我认为在去年，你还可能会不确定：在我们达到今年年底预期能看到的能力水平之前，是否需要在 pre-training 计算量上再提升好几个数量级。而现在答案已经明确是否定的。RL 是有效的。这些模型到 2027 年就能达到那种即插即用的远程工作者水平。到那时，你将拥有能力极强的模型。所以所有希望与担忧，我认为突然之间——它们本来就已经是真实的，而现在在很多方面变得更加真实了。相对来说，你认为我们最终是否需要大规模扩展数据？或者说，当你做到 Claude 17，这些编程模型变得如此出色，它们找到了如此多的算法改进，以至于我们额外需要的数据量并不会太多？嗯，到那时模型可能已经足够好了，它们对世界的理解可能已经足够好，以至于能够提供足够的反馈来逐步推进机器人技术等方面，对吧？这里有一个概念叫 generator verifier gap，也就是说，如果模型评判某件事比另一个模型做某件事更容易，那么你就可以提升到你能批判或评判的能力水平。我认为机器人技术很可能是这种情况适用的领域之一。而且我认为这在很多领域都是如此，但在机器人技术领域尤为明显，因为我们在理解世界方面的进步远远超过了我们物理操控世界的能力。你会如何描述 alignment 研究的现状？interpretability 取得了疯狂的进展。不知道你有没有关注，这里有一些非常出色的工作让我印象深刻。去年在模型状态方面，我们才刚刚开始发现 superposition 和特征，以及 Chris Olah 及其团队的工作，那已经是理解上的重大飞跃，而现在我们实际上真正地在顶尖的前沿模型中发现了 circuits。我们能够描述它们的行为——有一篇很棒的论文叫 *The Biology of a Large Language Model*，他们详细拆解了这些模型对概念进行推理的能力，而且是以极其明确的方式。我们还没有对模型进行完整的表征，这里仍然有很多棘手的情况，但模型本身是相当出色的。这里需要解释的一个重要动态是：基于 pre-training，模型非常擅长吸收人类价值观，它们在预训练后就已经相当——在很多方面默认就是 aligned 的。但在 RL 之后，这就不再能保证成立了，因为你把这些模型置于这样一种情境中：那个模型会说“嘿，我下载了 Python 代码，然后绕过了我本来应该通不过这次测试的限制”——这种模型、这种学习过程意味着模型会为了达成被赋予的目标不择手段。因此监督这一过程本身就是一件棘手的事，所有人目前都在学习如何应对。是的，显然大约一个月前，*AI 2027* 发布了。很多人在讨论那个。你对此有什么反应？说实话，我觉得非常合理。我在读的时候，很多地方都让我觉得，是啊，你知道吗，这可能就是事情实际发生的方式。我认为那里存在分支可能性，但对我来说这可能只是 20% 概率的情景，然而仅仅是 20% 概率就已经很疯狂了。你觉得是 20% 概率，是因为你在 alignment 研究方面比他们更乐观，还是因为你认为时间线会更慢？我认为我在 alignment 研究方面总体上比他们更乐观。也许我的时间线会慢一年左右，但在宏观来看，一年又算什么呢。是的。是的。我的意思是这取决于你是否好好利用这段时间，对吧？如果你好好利用，做了正确的研究之类的事。是的。如果你暂时扮演政策制定者的角色，我们应该做些什么来确保事情朝着更好的方向发展？是的。好的。这是个好问题。最重要的是，你需要真正切身地感受到我们所有人都在看到和谈论的这些趋势线。所以，如果你不加以拆解并理解——我是说，拆解你国家所关心的全部能力，衡量模型在这些方面的提升能力，获取趋势曲线，如果这些能力被解决了会怎样——那么你就应该去做国家层面的评估（nation state evals）。也就是说，分解你的经济，分解国内所有正在从事的工作，然后说服自己建立测试：如果模型能够通过这些测试，或者在完成这些任务方面取得有意义的进展，那就是你的智能基准。绘制出趋势曲线，然后你会惊呼：2027年或2028年会发生什么？接下来的建议是，你应该有意义地投资于那些我们认为有助于让这些模型变得可理解、可引导且诚实的研究。很大程度上，这基本上就是 alignment 的科学。这实际上是我在某种程度上感到遗憾的事，因为它在很大程度上是由前沿实验室（frontier labs）推动的。但这其实是其他人也可以参与研究的领域，比如你可以使用 Claude——不，我是说，我认为你可以在可解释性（interpretability）方面取得不可思议的进展。而且有一些途径，比如有一个叫做 MATS 的项目，人们在那里做了很多非常有意义的 alignment 研究，尤其是可解释性方面的研究，而且是在前沿实验室之外完成的。但我认为更多大学应该思考这个问题。从很多方面来看，它更接近于这些模型内部正在发生的纯粹科学。这就像语言模型内部的生物学和物理学。你为什么认为从事这方面研究的人不多？我不确定。我真的不确定。我想有人向我描述过，说这有点冒险。我认为 mechanistic interpretability 研讨会没有被纳入最近的一场会议，比如 ICML 之类的，这在我看来很疯狂，因为它在我看来最接近于这些模型内部发生的原始科学。如果你想发现 DNA 的手性，或者你想发现广义相对论之类的东西，那么对我来说，在机器学习和人工智能领域，实现这一目标的技术树看起来就像是探索 mechanistic interpretability。那么在好的情况下呢？我们在哪些方面考虑不足？你至少说过，几年后所有白领工作都将自动化。是的，模型将能够做到这一点。但实际上，有时令人惊讶的一点是——我是说对你而言并不惊讶——世界在整合这些技术方面有时出奇地缓慢。实际上，模型能力在很多方面已经相当惊人了，如果工作流程围绕它们来设计，那么即使模型能力停滞不前，仅仅围绕当前的能力水平重新调整世界，也会带来巨大到不可思议的经济价值。不过，这只是个旁支话题。这又回到了我之前说的，我们需要确保投资于所有真正能让世界变得更好的事物。所以这就是提前实现物质丰裕，达到行政事务的 escape velocity 之类的事情，并设置好模型，让它们能够为我们做所有这些事。也就是推动物理学和娱乐等领域的边界。我希望人们能够比现在更具创造力。我想我们当前社会的一种失败模式是，人们消费大量媒体和这类东西，但希望这些工具能让你像 vibe code 一样，也能 vibe create——比如和朋友一起 vibe 创作一部电视剧，或者 vibe 创作电子游戏世界。应该会有一种强烈的感觉，让人们感到自己获得了巨大的赋权，因为你突然之间 literally 拥有了一整个由极具才华的模型或个体组成的公司的杠杆力量。所以我很期待看到人们会用它做什么。我认为这可能是被低估的。也许有一种观点是，天哪，它要直接取代经济中目前由人类完成的工作了，我认为这很有可能。但我也认为每个人都应该感到他们将获得巨大的杠杆力量，而且世界尚未被完全解决——目前正在进行的各种工作，每个人的生活都可能大幅改善。因此，解决这一问题将成为有趣的挑战。是的，我喜欢这个观点。嗯，我们总是喜欢在访谈最后来一个快问快答环节，问你一些过于宽泛的问题。其中很多我认为今天已经涵盖了，但我会再深入问几个。你认为当今 AI 领域什么是被过度炒作的，什么是被低估的？好的。先从被低估的说起。被低估的可能是 world models，我觉得它们相当酷。这也是我们这次没有深入讨论的话题。我认为随着增强现实和虚拟现实技术的进步，你会看到这些模型 literally 能够在你面前生成虚拟世界。我认为那会是一件相当疯狂的事。而这需要某种物理学理解，需要因果关系，以及一大堆我们似乎尚未掌握的东西。老实说，我认为我们已经展示了对物理学的理解。是的。我认为我们已经有意义地展示了因果关系和物理学理解，这既体现在对物理问题的评估中，也体现在——如果你看过任何视频模型的话——它们理解了物理，而且是以一种 strangely 可泛化的方式。我看到过一个很棒的视频，有人让某个视频模型——我记得是画一个乐高鲨鱼在水下——它正确地反映了乐高积木上的光线，阴影也在正确的位置。这是它从未见过的东西。这就像是完全泛化的物理学，对吧？我觉得那很酷。是的，那不在训练数据中。不在训练数据中。没有乐高。是的。没有水下的乐高鲨鱼。我也希望这类技术能够转化应用到虚拟细胞之类的东西上。是的。所以我认为这很令人兴奋。是的。你之前提到，即使我们今天停止模型改进，我们仍然可以在其上构建大量的应用，或者有很多使用方式。你认为最未被充分探索的应用是什么？比如，天哪，我真希望更多人用这些模型做 X。是的。我是说，我认为它们已经在软件工程领域产生了影响，因为一方面模型更擅长软件工程，另一方面我认为软件工程师更 implicit 地理解如何解决他们关心的问题。我怀疑基本上在其他每一个领域都仍有很大的空间。你应该可以期待将同样的东西转化过去——比如，还没有人为其他任何领域构建出 async background software agent，对吧？或者甚至没有任何接近 Claude Code、Cursor、Windsurf 这类工具的反馈回路的东西，适用于其他任何领域。所以我想，如果说有什么共识的话，人们总说编程是这些模型最理想的应用场景。它确实是，它是领先指标，但你应该预期基本上所有领域都会随后跟上。这说得通。我是说，显然在你从事这项工作的这段时间里，你可能比一开始更加坚定地相信 AGI 了。这有没有改变你的生活方式或人生规划呢？我一开始还挺灵活的。2020 年我读了一篇 Gwen 的文章，那篇文章对我非常关键，说服了我。实际上，过去一年 RL 的进展真的让我在这方面有了很大转变。我的生活因此发生了翻天覆地的变化吗？没有。我工作非常拼命。我认为这是最值得投入的事情，所以我基本上把自己的人生都奉献给了它。但除此之外，我的生活并没有太大不同。我和我的朋友 Trenton 之间有个好笑的玩笑。我们俩的一个区别是，我仍然涂防晒霜。他不再涂了。他说："不用了，我们迟早会搞定生命生物学的那套东西。"这挺好，信心很足。我说："你知道吗？生物学很难。"生物学的反馈循环是很漫长的。所以我还是涂防晒霜。以防万一。万一我们撞墙了呢。你懂的，你也不想……好吧，万一生物学还要十年才能突破呢，我猜。你在 Twitter 上发了张照片，我觉得是在 Citadel，那是怎么回事？那是一场战争游戏。那是什么意思？我被邀请去和一些情报机构的人以及军校学员交流，基本上就是推演：假设 AGI 出现了，AI 变得更强大了，这会带来什么样的地缘政治影响？经历之后，你是更害怕了还是没那么害怕了？可能更害怕了一点。现在有足够多的这种准备在进行吗？说实话，没有。我仍然认为人们低估了接下来几年进展会有多快，也低估了你应该做多少准备，即便你认为只有 20% 的可能性。比如即便你只看这个，我也会想，等等，这几乎是确定的——我看到的每一条趋势线，整个过程的每一个环节都还有如此大的提升空间，我们基本上注定会达到那个水平。你觉得 Anthropic 里 90% 的人都这么想吗？是的。还有 GDM 和 OpenAI，每个人都非常确信，我们会在 2027 年实现那种能直接替代远程员工的 AGI，对吧？话虽如此，即便你没有实验室工作人员那样的信心，即便你仍然觉得只有 10% 或 20% 的概率，你也应该为此做规划。如果你是政府或国家，你仍然应该把它列为首要问题，排在清单最上面——未来将会如何改变，而我认为这种紧迫感还没有被充分意识到。好吧，这次对话非常精彩。我想把最后的发言权交给你。人们可以去哪里了解更多关于你以及你在 Anthropic 的工作？你有什么想推荐的方向吗？话筒交给你了。我该指向哪里呢？我的意思是，我认为大多数人应该去读、但可能还没读过的，是 interp 方面的工作。我真的认为，理解语言模型内部正在发生什么的基础科学是相当有启发性的。当你开始看到它们进行组合、泛化，构建这些 circuits 并对概念进行推理时，我想这会让一切感觉非常真实。这些内容很长，很烧脑，但绝对值得一读。我觉得这很有意思。太棒了。非常感谢，这次访谈很棒。非常感谢，很愉快。