大家好。我是 Jared Kaplan。我将简要谈谈 scaling 以及通往 human level AI 的道路，但我猜对于在座各位来说，这些概念大多已经相当熟悉了，所以我会简短一些，之后我们会和 Diana 进行一场炉边谈话式的问答。实际上，我从事 AI 工作只有大约六年时间。在此之前，我有着漫长的职业生涯，绝大部分时间里都是在学术界从事理论物理学研究。那么我是怎么进入 AI 领域的呢？我想长话短说。为什么我一开始学物理？基本上是因为我母亲是一位科幻小说作家，我想弄清楚我们能不能造出超光速引擎，而物理就是实现这一目标的途径。同时，我对理解宇宙本身也充满热情。事物是如何运作的？我们周围一切现象背后最宏大的规律源自何处？例如，宇宙是决定论的吗？我们有自由意志吗？我对这些问题都非常非常感兴趣。但幸运的是，在我作为物理学家的职业生涯中，我遇到了许多非常有趣、非常有深度的人，其中包括很多 Anthropic 的创始人，现在我经常和他们一起工作。而且我对他们正在做的事非常感兴趣，并一直关注着。随着我在物理学的不同领域间转换——从大型强子对撞机物理、粒子物理、宇宙学，到弦理论等等——我逐渐感到有些沮丧，有些厌倦。我觉得我们的进展速度不够快。当时很多朋友告诉我，AI 正在变得非常重要。但我并不相信，我非常怀疑。我想，AI 人们都研究了 50 年了，SVM 也没那么令人兴奋。2005、2009 年我还在学校的时候，我们对 AI 的认知大概也就仅限于此。但后来我逐渐被说服，也许 AI 会是一个值得投身其中的令人兴奋的领域。而且我非常幸运地认识了合适的人，之后的事就众所周知了。接下来，我想简要谈谈当代 AI 模型是如何工作的，以及 scaling 如何让它们变得越来越好。当代 AI 模型（如 Claude、ChatGPT 等）的训练基本上分为两个核心阶段。第一阶段是 pre-training，在这个阶段，我们训练 AI 模型模仿人类撰写的数据、人类书写的文本，并理解这些数据背后的关联。这些图表非常复古。实际上它们来自原始 GPT-3 模型的 playground。你可以看到，作为期刊俱乐部上的发言者，你很可能会用 elephant 让我说出某些话。这句话里出现 elephant 这个词的可能性其实非常非常小。pre-training 所做的，就是教会模型在大型文本语料库中哪些词可能跟随在另一些词之后，而对于当代模型来说，还包括多模态数据。当代 AI 模型训练的第二个阶段是 reinforcement learning。这是另一张非常复古的幻灯片。它展示了我们最初用于 Claude Zero 或 Claude Negative One 的界面——也就是早在 2022 年那个远古时代，我们收集反馈数据时使用的界面。你们在这里看到的基本上是一个与极早期版本 Claude 对话的界面，让你选择 Claude 的哪个回答更好——根据你自己的判断，或者众包工作者的判断等等。利用这一信号，我们进行优化，强化那些被选为好的、被选为 helpful、honest 和 harmless 的行为，同时抑制那些不好的行为。所以训练这些模型的全部内容，其实就是学习预测下一个词，然后通过 reinforcement learning 来学习完成有用的任务。事实证明，这两个训练阶段都存在 scaling law。这是一张我们在五六年前制作的图表，它展示了当你放大 AI 的 pre-training 阶段时，模型性能会以可预测的方式变得越来越好。这件事源于我当时只是在问一些最愚蠢的问题。作为物理学家，你接受的训练就是这样。你会着眼全局，然后问一些非常傻的问题。我听说 2010 年代大家都说 big data 很重要，所以我就想知道：数据到底该有多大？它有多重要？能带来多少帮助？同样，很多人也注意到更大的 AI 模型表现更好。于是我们就问：这些模型的表现究竟好了多少？而我们非常幸运。我们发现 AI 训练的背后实际上存在着某种非常非常非常精确且令人惊讶的东西。这些优美的趋势其精确程度堪比物理学或天文学中的任何规律，这让我们大为震撼。这也让我们坚信，AI 将会以一种非常可预测的方式变得越来越聪明。因为正如你在这些图表中看到的，早在 2019 年，我们就已经在计算量、数据集规模、神经网络大小等维度上跨越了许多许多个数量级。因此，一旦你看到某件事在许多许多个数量级上都成立，你就会预期它在未来很长一段时间内可能继续成立。这可以说是推动 AI 进步的根本因素之一。另一个因素其实也很早就开始显现了，尽管直到最近几年才变得真正具有重大影响，那就是在 AI 训练的 reinforcement learning 阶段也能看到 scaling law。大约四年前，一位研究者决定研究 AlphaGo 的 scaling law。这基本上是将两个备受瞩目的 AI 成就结合起来：GPT-3 与 pre-training 的 scaling，以及 AlphaGo。这只是一名研究者 Andy Jones 独自完成的，我想在当时那种远古时代，他可能只用了一块 GPU。所以他没法研究 AlphaGo，那太贵了，但他可以研究一种更简单的游戏叫 Hex。于是他绘制了你们在这里看到的这张图。ELO 分数，我想在当时还没那么广为人知，但 ELO 分数本质上就是国际象棋等级分。它们基本上描述了一名棋手在象棋比赛中击败另一名棋手的可能性。现在人们用它来为 AI 模型做基准测试，看看人类更偏好哪一个 AI 模型的频率如何。但在当时，这还只是 ELO 分数作为国际象棋等级分的经典应用。他观察了当你训练不同模型来玩 Hex——一种非常简单的棋盘游戏，比 Go 稍微简单一点——它们表现如何。然后他看到了这些引人注目的直线。在科学中，发现这种非常简单的趋势本身就是一种能力，而我认为这一点当时被忽视了。人们没有足够早地关注 RL 中的这种 scaling 行为，但最终它还是应验了。所以我们看到，基本上你可以在 pre-training 和 RL 两个阶段都扩大计算量，从而获得越来越好的性能。我认为这就是推动 AI 进步的根本所在。并不是说 AI 研究者特别聪明，或者他们突然变聪明了。而是我们找到了一种非常非常简单的方法，可以系统性地让 AI 变得更好，而我们只是在不断转动这个曲柄。那么这解锁了哪些能力呢？我倾向于从两个维度来思考 AI 的能力。我觉得相对不那么有趣、但仍然非常重要的一个维度，基本上是 AI 的灵活性，即 AI 能够适应我们、与我们接轨的能力。所以如果你把 AlphaGo 放在这张图里，它会位于 X 轴非常靠下的位置，因为尽管 AlphaGo 极其聪明，下围棋比任何人类棋手都强，但它只能在一个围棋棋盘的世界里运作。但自大型语言模型出现以来，我们已经取得了稳步进展，使 AI 能够处理人类能够处理的所有模态。我认为我们目前还没有具备嗅觉的 AI 模型，但这可能也快了。因此，沿着这里的 y 轴向上，你会看到 AI 系统能够在世界上完成越来越多相关的事情。不过我认为更有趣的是这里的 x 轴，也就是人类完成 AI 模型所能做的各类任务需要多长时间。随着 AI 能力的提升，这一数值一直在稳步增长。这可以说是任务的“时间跨度”。有一家名为 METR 的组织非常系统地研究了这一点，并发现了又一条 scaling trend。他们发现，如果观察 AI 模型能够完成的任务时长，它大约每 7 个月翻一番。这意味着，通过扩大预训练和 RL 的计算规模而注入 AI 的智能正在不断提升，使得 AI 模型能够完成可预测的、有价值的任务，包括时间跨度越来越长的任务。因此，你可以推测这将走向何方。在《AI 2027》中，人们就做了这样的推测。而这类图景表明，未来几年我们可能会达到一个节点：AI 模型不仅能完成需要人类花费几分钟或几小时的任务，还能完成需要几天、几周、几个月甚至几年的任务。最终，我们设想 AI 模型——或许数百万个 AI 模型协同工作——将能够完成整个人类组织所能做的工作。它们将能够完成目前整个科学界所做的工作。数学或理论物理学的一个美妙之处在于，你只需要通过思考就能取得进展。因此你可以想象，AI 系统协同工作，能够在几天或几周内取得理论物理学界需要 50 年才能取得的进展。那么，如果这种 scaling 的图景能将我们带到很远的地方，还有什么缺失的呢？还有什么？我认为，为了解锁广义上的人类水平 AI，所缺失的要素可能相对简单。我认为最重要的要素之一是相关的组织知识。因此我们需要训练的 AI 模型，不能只是以一张白纸的状态面对你，而是要能够学会在公司、组织、政府内部工作，仿佛它们拥有某位已在其中工作多年的人所具备的那种背景知识。所以我认为 AI 模型需要能够运用知识。它们还需要记忆。记忆如果不是知识，又是什么呢？我将两者区分开来，是因为当你执行一项耗时极长的任务时，你需要跟踪该特定任务的进展，需要建立相关的记忆，并且需要能够调用它们。这正是我们已经开始在 Claude 4 中构建的能力，而且我认为它将变得越来越重要。第三个我认为我们需要做得越来越好、并且正在取得进展的要素是 oversight，即 AI 模型理解细微差别、解决困难且模糊任务的能力。目前这很容易做到——你也看到了爆炸式的进展——我们可以训练 AI 模型编写能通过测试的代码，或者正确回答数学问题，因为对错非常明确。因此很容易应用强化学习，让 AI 模型在这些任务上越做越好。但我们需要且正在开发的是能够帮助我们生成更细腻奖励信号的 AI 模型，这样我们就能利用强化学习去做一些诸如讲好笑话、写好诗歌、以及在研究中具备良好品味的事情。我认为其他所需的要素则更简单。显然，我们需要能够训练 AI 模型完成越来越复杂的任务。我们需要沿着 y 轴向上推进，从文本模型到多模态模型，再到机器人技术。而且我预计，未来几年，当规模扩展被应用于这些不同领域时，我们会看到持续且不断增长的收益。那么，我们应该如何为这种未来、这些可能性做准备呢？我认为有几件事是我一直建议的。第一，我认为去构建那些目前还不完全好用的东西，真的是个好主意。这可能永远是个好主意。我们总是要有雄心，但我认为特别重要的是，目前 AI 模型的进步速度非常非常快，而且我认为这还会继续下去。这意味着，如果你构建了一个产品，但因为 Claude 4 还稍微不够聪明而未能完全运行，你可以预期 Claude 5 将会到来，让那个产品成功运转并创造巨大价值。所以我一直建议，要在 AI 能力的边界上进行实验，因为这些边界正在快速移动。下一点我认为是，AI 将对整合 AI 本身有所帮助。我认为 AI 发展的主要瓶颈之一，实际上就是它发展得太快了，我们还没来得及将其整合到产品、公司、以及科学等我们从事的一切活动中。因此，为了加速这一进程，我认为利用 AI 来整合 AI 将会非常有价值。最后，我的意思是，我认为对在场的各位来说这有点显而易见，但找出 AI 能在哪些地方被非常迅速地采纳，这一点很关键。我们看到 AI 在编程领域的整合正在爆发式增长。软件工程之所以是 AI 应用的绝佳领域，有很多原因，但我认为最大的问题是：接下来是什么？除了软件工程之外，还有什么能以那么快的速度增长？我当然不知道答案，但希望你们能找出来。演讲就到这里。我想请 Diana 上台来聊聊。
YC 下一批项目正在接受申请。你心里有创业的点子吗？去 ycombinator.com/apply 申请吧。越早申请越好，填写申请表本身就能让你的想法升级。好，回到视频。刚才关于各种 scaling law 的演讲非常精彩。最近 Anthropic 刚刚发布了 Claude 4，现在已经可以使用了。很好奇，在未来 12 个月里，随着这些模型版本不断叠加发布，它将如何改变可能性？我认为如果还要等 12 个月才有更好的模型出来，那我们就有麻烦了。关于 Claude 4，我想谈几点。我觉得 Claude 3.7 Sonnet 用于编程已经非常令人兴奋了。但我认为大家都注意到的一点是，3.7 有点过于急切了。有时它真的太想让你的测试通过了，会做一些你其实并不想要的事情。比如会有很多 try/except 之类的东西。所以在 Claude 4 中，我认为我们已经提升了模型作为 agent 的能力，特别是在编程方面，但在很多其他方面也是如此，比如搜索、以及其他各种应用。同时也改进了它的监督能力，也就是我在演讲中提到的 oversight，这样它会遵循你的指令，并且有望在代码质量上有所提升。我认为我们努力的另一个方向是提升它保存和存储记忆的能力，我们希望看到人们利用这一点，因为 Claude 4 在处理非常复杂的任务时可能会耗尽上下文窗口，但它也可以将记忆存储为文件或记录，并调取这些记忆，从而能够在很多很多个上下文窗口之间持续工作。但最后我想说的是，scaling law 描绘的图景是一种渐进式的进步。因此我认为你会看到 Claude 在每次发布时，都会在许多不同方面稳步提升。但我认为，scaling 确实呈现出一条平滑的曲线，指向我所预期的人类水平 AI 或 AGI。有没有什么特别的功能会让在座很多观众感到兴奋？有没有什么 beta 或者 alpha leak 可以给大家透露一下，让大家会爱上这些新 API？我认为最让我兴奋的是记忆（memory）解锁越来越长周期的任务。我觉得随着时间推移，我们会看到 Claude 成为一个协作者，能够承担越来越大块的工作。这正好对应你刚才说的，未来的模型能够处理越来越大的任务。目前，它们已经能够处理以小时计的任务。是的，我认为如此。这是一个非常不精确的衡量标准，但我认为，如果你看看软件工程任务，Meter 确实 literally 对人们完成各种任务所需的时间做了基准测试，没错，我认为时间尺度是小时级别的。总体而言，随着人们使用 AI，我认为 AI 怀疑论者会说——而且说得没错——AI 会犯很多愚蠢的错误。它能做出绝对聪明、让你惊讶的事，但也可能犯基础错误。我认为 AI 的一个基本特征，也是 AI 智能与人类智能在形态上的不同之处，在于：有很多事情我做不来，但我至少能判断做得对不对。而对 AI 来说，判断能力（judgment）与生成能力（generative capability）要接近得多，这意味着我认为人与 AI 互动时，人扮演的主要角色有点像管理者，去对结果做 sanity check。这很有意思，因为去年通过 YC 各批次项目我们观察到一件事：很多公司在对外销售产品时，仍然更多是作为 co-pilot 来卖。比如说客户支持的 co-pilot，在发给客户之前仍需要最后的人工审批。但就在刚刚结束的春季批次（spring batch）中，情况发生了变化，很多 AI 模型已经能够端到端（end to end）地完成任务——正如你所说——令人瞩目的是，创始人现在直接销售的是整套工作流的替代方案。你如何看待这种转变？你希望在场观众去构建什么？我认为有很多可能性。根本上，这取决于可接受的成功率或性能水平是什么。有些任务做到 70% 正确就足够了，而另一些任务则需要 99.9% 才能部署。说实话，我觉得为那些 70%、80% 正确率就够用的场景去构建产品，可能会更有趣，因为那样你才能真正触及 AI 能力的边界。但我认为我们也在不断提升可靠性（reliability）。所以我们会看到越来越多的这类任务。我认为目前人机协作（human AI collaboration）是最有趣的领域，因为对于最先进的任务，你真的需要 humans in the loop。但从长远来看，确实会有越来越多的任务能够被完全自动化。你能多讲讲你认为这种人机协作（human to AI loop collaboration）的世界会是什么样子吗？因为 Dario 写过一篇《machines of love and grace》的文章，他描绘了一幅非常乐观的图景，具体要怎样才能实现这一前景？我认为我们已经看到一些苗头了。至少当我和从事生物医学研究等领域的人交谈时，我认为通过恰当的 orchestration，现在已经可以用 frontier AI models 产生有趣且有价值的洞见，比如在药物发现方面。我认为这已经开始发生了。我想到的一个方面是，有一种智能需要很大的深度，另一种则需要很大的广度。比如在数学中，你可以花十年时间尝试证明一个定理，比如 threemon hypothesis 或费马大定理。这属于解决一个非常具体、非常难的问题。我认为科学中有很多领域，可能生物学更甚，或者有趣的是心理学或历史学，在这些领域，把来自许许多多不同领域的大量信息整合在一起才是核心所在。而我认为 AI 模型在 pre-training 阶段，某种程度上汲取了人类文明的全部知识。因此我猜想，利用 AI 的这一特性——它比任何一位人类专家都懂得多得多——仍有很多果实可以摘取，你可以把生物学研究等许多不同领域的专业知识结合起来，从而引出洞见。所以我认为，我们在让 AI 更好地处理深度任务（如困难的编程问题、困难的数学问题）方面正在取得很大进展，但我怀疑，在一些需要整合也许没有任何一位人类专家能掌握的知识的领域，存在一种特别的 overhang，而这种智能非常有用。所以我认为这是我会预期看到更多的方向：利用 AI 的知识广度（breadth of knowledge）。至于具体会如何展开，我真的不知道。预测未来非常非常难。Scaling laws 提供了一种预测未来的方式，即这一趋势将会持续。我认为我们从长远看到的很多趋势都将持续，比如经济、GDP，这类指标确实是对未来非常可靠的预示。但要说具体会如何落地，我觉得真的非常非常难说。你认为有哪些具体领域是更多开发者可以进入、用这些新模型去构建的？我的意思是，编程任务方面已经做了很多，但有哪些任务拥有更大的 green field，是刚刚被当前模型解锁的？我的背景是研究而非商业，所以我不确定自己有什么特别深刻的见解。但我认为，总体而言，任何需要大量技能、且主要涉及坐在电脑前与数据交互的任务都是如此。比如金融——那些大量使用 Excel 电子表格的人。还有法律，不过法律可能监管更严，需要更多专业资质作为背书。但我认为所有这些领域可能都是 green field。另一个我提到的方向是，如何将 AI 整合进现有企业？就像电力出现时，经历了一段漫长的采用周期，最初最简单的用电方式未必是最好的。你不仅想用电动机取代蒸汽机，你还想重塑工厂运作的方式。我认为，尽快将 AI 整合进经济的各个部分，这其中会有非常多的 leverage。另一个问题是，你接受过非常系统的物理学训练，而且你是最早真正观察到 scaling laws 这一趋势的人之一，这可能源于你作为物理学家的背景，见识了自然界中所有那些自然发生的指数级增长。这种训练是如何帮助你做出世界顶尖水平的 AI 研究的？我认为从物理学视角来看，有用的一点是去寻找最宏观的大趋势，然后尽可能将它们精确化。所以我记得曾遇到一些非常杰出的 AI 研究者，他们会说“学习正在指数级收敛”之类的话，而我只会问一些很笨的问题，比如：你确定是指数级吗？会不会只是幂律？是二次的吗？这东西到底怎么收敛的？这些问题听起来非常愚蠢、非常简单，但基本上我认为，把你看到的大趋势尽可能精确化，这里面大有可为，现在可能仍然如此，因为这会给你很多工具。它让你可以追问：真正推动进展意味着什么？我认为在 scaling law 方面，圣杯是找到更优的斜率，因为这意味着当你投入更多算力时，你会比其他 AI 开发者获得越来越大的优势。但除非你先把看到的趋势精确化，否则你并不确切知道“超越它”意味着什么、能超越多少，以及如何系统性地判断自己是否实现了那个目标。所以我想这些就是我使用的工具。未必是字面意义上把量子场论之类的东西应用到 AI 上，那有点太具体了。那么，有没有哪些具体的物理学启发式方法，比如重整化、对称性，在观察或测量这一趋势时特别管用？如果你去看 AI 模型，你会发现它们很大。神经网络很大。它们有数十亿乃至数万亿参数。这意味着它们由巨大的矩阵构成。基本上，研究一种近似方法——即取神经网络非常大的极限，特别是构成神经网络的矩阵非常大的极限——这实际上挺有用的，而这在物理学和数学中其实是一种众所周知的近似。这是已经被应用的东西。但我认为总的来说，问一些非常天真的蠢问题才能让你走得很远。我认为从某种意义上说，AI 真的很年轻，以我们训练 AI 模型的当前形态来看，可能只有 10 到 15 年的历史。这意味着它是一个极其新的领域。很多最基本的问题都还没有答案，比如可解释性问题、AI 模型究竟如何工作。所以我认为在那个层面上还有很多东西可以学，而不是去应用非常花哨的技术。有没有哪些物理学中的具体工具，被你用来研究可解释性？我会说可解释性更像生物学，更像神经科学。所以我认为那些才是相关的工具。那里确实有一些数学，但我认为这更像是在试图理解大脑的特征。与神经科学相比，AI 的好处在于你几乎可以测量 AI 中的一切。你无法测量大脑中每个神经元、每个突触的活动，但在 AI 中你可以做到。因此，用于逆向工程 AI 模型如何运作的数据要多得多。现在关于 scaling law 的一个方面是，它们已经维持了超过五个数量级，这很惊人。这是个有点反常规的问题：什么样的经验信号会说服你曲线正在发生变化，也许我们正在偏离这条曲线？我认为这是一个非常难的问题，对吧？因为我主要用 scaling law 来诊断 AI 训练是否出了问题。嗯。所以我认为，一旦你看到某个非常引人注目的趋势，研究它在何处失效就会变得非常有趣。但我认为我的第一反应是：如果 scaling law 失效了，那是因为我们在某种程度上搞砸了 AI 训练。也许是我们把神经网络架构弄错了，或者训练中存在某种我们没看到的瓶颈，又或者是所用算法中的精度出了问题。所以至少对我来说，需要非常多的证据才能说服我 scaling 真的不再适用了——就这种经验性规律而言——因为在过去五年里，我的经验是，很多时候当 scaling 看起来失效时，其实是因为我们做得不对。有意思。那么我想深入一个非常具体且与此相伴的问题：要继续维持这条曲线需要大量算力。当算力变得越来越稀缺时，你会在精度阶梯上往下走多深？比如你会不会探索 FP4，会不会探索三值表示？你对此有什么想法？是的，我认为目前 AI 其实非常低效，因为 AI 具有巨大价值。所以解锁能力最强的前沿模型具有巨大价值。因此像 Anthropic 这样的公司正在尽可能快地推进，既要让 AI 训练更高效、AI 推理更高效，也要解锁前沿能力。但重点其实更多地放在解锁前沿上。我认为随着时间推移，当 AI 越来越普及时，我们会真正把推理和训练的成本从目前水平大幅压低。我是说，目前我们每年在算法层面、算力扩展层面以及推理效率层面都能看到大约 3 倍到 10 倍的提升。我猜有个笑话说，我们最终会让计算机回到二进制。所以我认为我们会看到精度大幅降低，这是让推理随时间变得更高效的诸多途径之一。但现在 AI 的发展非常、非常、非常地远离均衡状态。AI 进步非常快，变化非常快。我们还没有充分释放当前模型的潜力，但正在解锁越来越多的能力。所以我认为，均衡状态——即 AI 不再变化那么快的状态——可能是 AI 极其廉价的状态，但我们甚至不知道能否到达那里。AI 可能进步得太快，智能上的提升会解锁太多东西，所以我们可能会继续专注于这方面，而不是说把精度降到 FP2。这很大程度上就是 Jevons 悖论——随着智能越来越好，人们会越来越需要它，而不是因此压低成本，这很讽刺，对吧？是的，绝对如此。我认为这确实是我们观察到的情况，在某些节点上 AI 变得足够普及。话虽如此，我认为随着 AI 系统能力越来越强，能够承担越来越多我们目前做的工作，为前沿能力付费将是值得的。这是我一直以来都在思考的问题，大致就是：价值是否全部在前沿，还是说那些能力稍弱但更便宜的系统也有很大价值？我认为时间跨度视角或许是思考这个问题的一种方式。你可以用 AI 做很多非常简单的、零碎的小任务，但我认为，能够使用一个可以端到端完成非常复杂任务的 AI 模型，要比我们人类去编排一个笨得多的模型、把任务拆成很小的碎片再拼起来方便得多。所以我确实预计，大部分价值将来自能力最强的模型，但我也可能是错的。这可能取决于，甚至可能很大程度上取决于 AI 集成商有效利用 AI 的能力。你会给在座各位什么建议？大家职业生涯都还很早，潜力很大，在未来这些模型都变得极其强大的情况下，如何保持自身价值？每个人应该精通什么、学习什么，才能继续做出优秀的工作？我认为，正如我提到的，理解这些模型的工作原理，并能真正高效地利用和集成它们，这很有价值。而且我认为在前沿领域进行构建也很有价值。嗯，要不我们把时间交给观众提问吧。我们把时间交给观众提问。我想快速问一个关于 scaling loss 的问题。你展示了很多 scaling law 几乎是线性的，也就是说计算量呈指数级增长，但 scaling loss 的进展却是线性的。然而在你最后一张幻灯片上，你展示了我们预计节省的时间会突然呈指数级增长。我想问，为什么你认为在这张图表上突然变成了指数级而非线性？谢谢。是的，这是个非常好的问题，我也不知道答案。我是说，主要发现某种程度上是经验性的。我倾向于这样思考：为了完成越来越复杂的长期任务，你真正需要的是某种自我纠错的能力。你需要能够意识到，当你制定了一个计划并开始执行时，大家都知道计划往往没什么用，我们会遭遇现实，会犯错。因此，我认为决定模型能完成的任务的跨度很大程度上是它们能否注意到自己正在犯错并加以纠正。而且我认为这并不需要海量的信息。要额外注意到一两次错误并知道如何纠正，未必需要智力水平发生巨大变化。但如果你纠正了错误，也许就能把任务的时间跨度延长约一倍，因为原本你在这里卡住，现在你能到达两倍远的地方才会卡住。所以我脑海中是这样的图景：只要在理解任务和自我纠错能力上有相对适度的提升，就能解锁越来越长的任务时间跨度。但这只是些说法而已。我认为经验趋势可能是最有趣的。也许我们能构建更详细的模型来解释为什么存在这种趋势，但这方面你的猜测和我的差不多。是的。我这里也有个问题。非常荣幸。基本上，关于延长时间跨度，我对神经网络的理解模型很简单：如果你想让它们做某事，就用相应的数据训练它们。所以如果你想延长任务的时间跨度，就必须逐步获得例如验证信号。我认为一种方式是通过产品。比如 Claude agent，然后利用验证信号来逐步改进模型。我的问题基本上是：这在编程领域效果很好，因为你有足够好的产品可以部署并获取验证信号，但在其他领域呢？在其他领域，我们是不是只能靠扩大数据标注人员的规模来通往 AGI，还是有更好的方法？是的，这是个好问题。当怀疑论者问我为什么认为我们能够扩展并达到 broadly human level AI 时，基本原因就是你刚才说的。存在一条非常依赖运营投入的路径，你可以为 AI 模型构建越来越多、越来越复杂、时间跨度越来越长的不同任务，然后不断按部就班地推进，用 RL 在这些更复杂的任务上进行训练。所以我觉得这算是 AI 进展的最坏情况。考虑到目前对 AI 的投资水平，以及我认为 AI 正在创造的价值水平，如果有必要，人们会这么做。话虽如此，我认为有很多方法可以让这变得更简单。最好的方法是让一个 AI 模型接受训练，来监督和监管你正在训练的模型——比如说 Claude——当你有另一个 AI 模型提供监督时，它不会只说“你完成这项极其复杂的任务了吗？”比如“你当上教职人员并获得终身教职了吗？这要花六七年时间。”这种端到端的任务，最后要么获得终身教职，要么没有，持续七年，这太荒谬了，效率极低。相反，它能提供更详细的监督，告诉你这部分做得好，那部分做得差。我认为，随着我们能够越来越多地以这种方式使用 AI，我们很可能能让超长周期任务的训练变得更高效，而且我认为某种程度上我们已经在这样做了。我们再提最后一个问题。我想在此基础上追问。当你开发这些任务并用 RL 训练时，你会尝试用大型语言模型来生成这些 RL 任务，还是仍然在用人类？好问题。我会说是混合使用。显然，我们在构建任务时尽可能使用 AI，比如用代码生成任务。我们也会让人类来创建任务。所以基本上是两者的结合。我认为随着 AI 越来越好，希望我们能越来越多地利用 AI，但当然，这些任务的难度前沿也在不断提高。所以我认为人类仍然需要参与。好的，谢谢。好的，让我们为 Jared 鼓掌。非常感谢，谢谢。