谁才有资格参与 AGI 的竞赛？十年后再回望这一刻，就像我们回望移动互联网诞生的时刻一样，我们会意识到，正是那一刻奠定了格局。你绝不会想在回望那一刻时，发现自己没有全力以赴，因为这是一场竞赛。最新一轮 5 亿美元的融资意味着我们有资格成为这场竞赛的参赛者。在能力竞赛中，我们没有踉跄行进的奢侈，也不能等到一切就绪再进入市场。
天啊，我太激动了。这也是我们第一次真正线下见面。你本人简直帅太多了。非常感谢你今天来录这期节目。嗯，谢谢你 Harry，很荣幸来到这里，也很高兴我们终于见面了。我们认识彼此已经有一段时间了。好，我想直接切入正题。我想很多人都在新闻里看到 Poolside，看到新一轮融资，心里在想：Poolside 到底是什么？你能先提供一些背景吗？Poolside 是什么？你们做什么？我们就从这里开始吧。
Poolside 参与了通往 AGI 的竞赛。我们认为，未来的趋势是机器智能与人类水平能力之间的差距将持续缩小。而在我们看来，实现这一点的路径是专注于为软件开发打造能力最强的 AI。这一切源于我们所持有的一些基础信念，我认为这些信念与这个领域里的其他公司有所不同，涉及研究的方向以及能力演进的方向。
AGI 这个词很有争议。我喜欢采用一种我认为最普遍的定义：在未来某个时刻，在我们人类拥有的所有能力维度上，机器智能都将和我们一样能干，甚至更强，并超越我们。不过我们的观点是，那个世界距离现在还有相当一段路程。实际上，在抵达那个世界之前，我们会先进入这样一个阶段：在那些具有巨大经济价值、能够为全人类创造丰裕的领域，我们会看到人类水平的能力，但这种分布不会平均，不会覆盖所有领域。我这样说是什么意思呢？如果你想想今天的基础模型，我对它们有一个简单的心理模型：我们将大规模的网络数据压缩进一个神经网络，迫使它进行泛化与学习。这带来了这些模型惊人的语言理解能力，但同时也导致了一些现象——我们会说，这些模型挺笨的，为什么它们做不到 X、Y 或 Z 呢？我们的观点是，它们做不到的原因与它们的学习方式有关。我认为我刚才所说的最重要的一点，就是数据的规模。当我们拥有网络规模的数据时，我们可以获得语言理解；但当我们进入数据极其稀缺的领域时，模型就很难真正学会更强的能力——我指的是推理能力的提升、规划能力的提升，以及对事物深度理解的提升。虽然作为人类，我们不需要那么多数据，但看待模型的方式是：它们需要数量级更多的数据才能学会同一件事。我们之所以专注于软件开发与编程，有一个非常具体的原因：这个世界已经生成了极其庞大的代码数据集。对了，稍微给点背景，所谓可用于训练的代码，我们称之为大约 3 trillion tokens。而如果你看看互联网上可用于训练的英文语言数据，大概在 10 到 15 trillion tokens 之间。这个世界已经开发了海量的代码，仅互联网上就有超过 4 亿个公开代码库。那为什么我们还没有一个已经能做所有编程任务的超强 AI 呢？因为编程不仅仅是工作的产出，对吧？我们网上的代码代表的是最终产物，但它并不代表我们为抵达最终产物所进行的所有思考与行动。这就是缺失的数据集。要让模型从今天的水平发展到能比肩人类构建软件的水平，世界上缺失的数据集是：当你接到一个任务时，你所有的中间推理与思考、你采取的步骤、你写下的代码并尝试运行、然后失败了并从中学习——这些交互过程，一直到最终产出的整个中间数据集。而 Poolside 的存在，正是为了创建这样的中间数据集。我立刻就会想到——你可能会有点反感——我立刻想到了电影《社交网络》，他们会在窗户上写代数方程，你在早期场景里能看到。你怎么去捕捉那个过程、那种迭代思考，而在以前，这些数据根本不存在，也从未被记录？这是个好问题。我认为，这一切其实是由伦敦 DeepMind 在 2016 年解锁的，当时 DeepMind 创造了 AlphaGo。这项击败世界顶尖人类围棋选手的惊人成就，他们是这样做的——我为了简洁而过度简化——他们首先用一个神经网络，基于所有能找到的在线对弈棋局进行训练，而这样训练出来的模型只能算平庸。接下来他们做了什么呢？他们说，围棋是确定性的，有输和赢的结果。虽然可能的步数接近无限——也就是极其庞大的数字，这也是为什么我们无法用计算暴力破解——但我们有明确的结果：赢或输。它是确定性的。于是他们给了模型围棋引擎，通过强化学习让它探索招法、自我对弈，模型从输赢中学习在不同回合选择什么招法，最终创造了 AlphaGo。要知道，后来的版本完全在模拟环境中运行，再也不需要人类对弈棋局来启动了。DeepMind 这么做的原因是，他们看到了一个缺乏超大规模数据的地方——并没有那么多覆盖所有复杂度层级的围棋对局可供模型学习。所以他们就说：我们处于一个可模拟的领域，因此可以模拟数据。这通常就是我们所说的 synthetic data。这是通过强化学习实现的，但说到底，都是数据。我先说这些作为你问题的序曲，因为我对世界的看法是：有些问题我们无法模拟，真实世界不可能被完美模拟，它是混乱的、多变量的。当我们试图在 AI 上缩小与人类能力的差距时，如何处理真实世界？我们必须收集数据。最好的例子就是 Elon 和特斯拉。Elon 让数百万辆车上路，这些车实际上在捕捉 Autopilot 每一次接管与脱离，以及每一个场景，并把数据回传给特斯拉，以训练能力越来越强的 AI。如果你看看过去几年 Full Self-Driving 是如何变强的，它直接与从数据中学习、而非基于规则，以及路上越来越多的车相关。所以在我看来，Elon 已经赢得了 Full Self-Driving，我认为最强大的 Full Self-Driving inevitably 会来自特斯拉，因为他们一直在收集并构建这个数据集。他需要收集数据，因为这是不可模拟的。现在，这就是 Poolside 背后的关键所在。如果你认为围棋是确定性的，另一端的真实世界是非确定性的，那代码处于什么位置？代码更接近确定性，它遵循一套规则，每次运行结果都完全一致。所以我们称之为 execution feedback。我们真正为人所知的工作，正是 reinforcement learning from code execution feedback。我们的做法是：先从头训练一个模型，把它放进一个环境里——这个环境包含 13 万个真实世界的代码库，比世界上其他环境大几个数量级——然后让模型去探索不同任务的多种解法，从它是否真的通过测试中汲取教训。背后还有很多细节，但核心思路是：如果你能模拟它，你就能构建一个极其庞大的数据集。而我们 synthetically 生成的内容中，不仅仅是最终输出的代码，还包括得到这段代码过程中的中间思考与推理。因为今天的模型——你自己上网和任何模型聊聊就能发现——其实是可以产出它们的思考过程的，只是目前还不太擅长。那当你的思考能力还不够强时，你该怎么办？你需要反馈。在我们的案例里，就是确定性的反馈：code execution feedback。很多人将其拆解为 compute、data，然后是模型本身。嗯，其实应该是 compute、data，然后是算法。如果我们把这三点拆开来看，你认为当今模型进步最大的 bottleneck 是什么？是我们刚才提到的数据，还是另外两者之一？特别是在 ChatGPT 问世之后，我们这个领域在算法上取得了惊人进展，让内部学习变得更高效。我常对团队说一句话——他们可能都听烦了，因为我每天都在说：我们在基础模型上的所有工作，一方面是在提升训练或运行它们的 compute efficiency，另一方面是在改进数据。算法与 compute efficiency 的提升，其实是 table stakes。OpenAI、Anthropic、Google 等等，我们都在做这件事，并且一直在不断改进，这是工程与研究的结合。但两个模型之间真正的差异化在于数据。不过 compute 对数据来说也极其重要，因为如果你想想 Poolside，我们谈到如何获取这些数据，我说到了 synthetic 这个词，意味着我们要生成它，意味着我们用模型来生成数据，然后再用模型来评估它、运行它。所以 compute 通常体现在数据生成这一侧。但一旦我们拥有了所有这些数据——我们一开始谈到神经网络本质上是对数据的压缩，它迫使并泛化了学习——当我们使用小模型时，我们把海量数据塞进一个非常小的空间，迫使学习在其中发生泛化。这就是为什么我们会看到能力上的差异。大模型要容易得多，因为我们没有把如此多的数据硬塞进那么小的压缩空间里。所以我个人的心理模型是：模型的规模——这一点已经被 Google、OpenAI 反复证明了，我们要深表感谢——他们验证了 scaling laws，本质上告诉我们：随着我们提供更多的数据、更多的参数、更多的规模，因而需要更多的 compute，模型就会变得越来越强。但这大概率是有极限的。如果你把它类比为压缩：你有一张高分辨率的图片，被压缩到低分辨率，小模型就是那个低分辨率，我们有泛化，但你会丢失信息。而在无限极端的情况下，一个无限大的模型将不需要做任何压缩。所以模型规模在某一点上肯定存在极限。但支撑着这一切的，直接回答你的问题，就是 compute，compute 真的至关重要。而你在应用研究上的专有优势——帮助你获取优质数据或收集数据——也同样重要。但如果你没有 compute，你就不在这场比赛里。我想逐一拆解一下。我之前提到了算法、数据、compute。你提到算法能提升模型效率，那模型效率的提升有没有极限？会不会到了某个点就 plateau 了？今天我们学习的效率低得可怕。如果你想想是什么驱动了学习效率，是算法，也是硬件本身。我们可能还有几十年，甚至上百年的改进空间，而且会以不同形式出现。如果非常务实地看未来几年，我们会在硬件上看到越来越大的优势，在算法上也是如此。但我希望大家明白，这是 table stakes。要进入这个领域，你必须做到这些，而且必须做得极其出色。这不是你的差异化所在，而是让你跟上其他人的基础。说到 synthetic data，很多人把它当成一种 cop-out：哦，我们有数据短缺问题，但别担心，synthetic data 会来救我们。所有 synthetic data 的价值都一视同仁吗？还是在某些行业比其他行业更有价值？我认为人们对 synthetic data 最大的认知失调在于：模型生成数据，然后让自己变得更聪明——感觉就像蛇吞自己的尾巴，这里面总有些说不通的地方。你需要看到的是，这个循环里其实还有另一步。要有某种东西能从模型生成的所有数据中做出判断。比如说，在我的领域——软件开发中，我有一个代码库里的任务，模型生成了 100 种不同的解决方案。如果我只是把这 100 种方案回灌给模型训练，模型不会变得更聪明，那才是蛇吞尾巴。但如果你有一个能判定真理的东西，一个能告诉你这个更好、那个更差，或者这个对、那个错的 oracle，那你才能真正利用 synthetic data。在我们的案例里，就是执行代码：它真的跑通了吗？通过测试了吗？这让我得以验证推理过程和输出是否正确。所以本质上只要有客观标准，有明确的对错就行。没错，而且甚至不一定非得是明确的对错，而是更好还是更差。这正是 human feedback 在 AI 中如此有价值的原因。各家公司一直在收集海量的人类反馈。因为当你不像 Poolside 这样拥有完美可模拟的领域时，你就必须去找专家。专家是谁？是人类，是我们，对吧？我们在构建智能，让它代表我们所做的事，替我们完成已经在做的事，所以我们需要收集这些反馈。因此人类也在训练 AI，而且往往是在 synthetic data 上进行：说这个答案更好，那个更差；或者标注：你差点就对了，但这里犯了错。人类实际上在给出正确的部分。所以我们结合了确定性反馈，结合了人类反馈，既针对输出，也针对模型得出这些输出之前的推理和思考过程。所以 collectively，无论是通过 compute 还是人类，我们都在训练 AI 变得更好。我非常高兴 Poolside 所处的位置，因为我们的观点是：第一个具备重大经济可行性的、能够缩小人类智能与机器智能之间差距的能力，就是软件开发。为什么？因为我能模拟其中很大一部分，我能用 compute 去规模化它；而 human feedback 要麻烦得多，规模化难度也大得多，而且它通常不像软件开发那样具有确定性。在软件开发中，我们知道某件事是否按我们的意图运作；但你要是去问五个医生某个意见，或者问他们偏好哪个答案，那就很难说了。我想继续谈缩小差距，但在此之前我想先讨论 scaling laws。你之前提到了，对此众说纷纭。很多人现在得出结论，认为我们甚至还没触及 surface，scaling laws 还有巨大的发挥空间；也有人持非常负面的看法。你怎么看我们目前在 scaling laws 上的位置，还有多少空间可以跑？我认为我们开始理解了，scaling——最初版本的 scaling laws 讲的是训练时提供的数据量和模型的大小，对吧？更多数据、更长的训练时间、更大的模型规模，都需要更多 compute。所以我们常说 scaling laws 就是投入更多 compute，而这实际上比我们最初意识到的还要更准确。因为 synthetic data 对模型进步的重要性，其实是另一种形式的 compute 使用，只不过我们用在了 inference 阶段——运行这些模型来生成 100 个、1000 个或 50 个解法。我认为我们在模型规模化上仍然有很大的空间，可以通过扩大数据量来实现，也可以通过扩大模型规模来实现。在这一点上，我认为我们与这个领域其他主要 AI 公司并没有太大不同：参数数量和模型规模仍然有很大的提升空间。但行业里有件事我们谈得不多：训练极其庞大的模型。顺便说一句，直到最近我们都还没有能力这么做，因为我们没有 compute 和资本。这也是为什么我们的融资对我们如此重要，这样我们才有资本去规模化。但每个人在做的是：先训练一个极其庞大的模型，你能清楚看到模型里有更多能力，然后我们再把它蒸馏到一个更小的模型上。从数据中学习对模型来说效率很低，但结合从一个更聪明的大模型中学习，效率其实相当高。所以我们的做法是：先造出非常庞大的东西，让它变得非常聪明，然后教小模型尽可能匹配这些智能，再以经济可行的方式推向市场、产生收入。未来 12 到 24 个月，模型成本会如何变化？我认为我们应该把模型的价格和成本分开。如果你看看通用 LLM 领域——那些什么都做的 LLM——正在发生一场极其激烈的价格战。这场战争发生在大型 hyperscaler 之间，也发生在我称之为具备 escape velocity 的 AI 公司之间，比如 Anthropic 和 OpenAI。再加上那些推出开源模型的厂商，比如 Meta。我常想，成本结构里到底包含什么？成本结构里有服务器、机柜、周围的网络、数据中心、芯片——GPU 等等——以及为此投入的能源。在这之后的所有东西，本质上都是边际成本或可变成本，也就是运行模型的成本。所以我们必须想想，谁在这个领域拥有最低的成本结构？谁拥有运行这些模型最便宜的 first principles capex？那就是那些尽可能垂直整合、且已经拥有大量在线基础设施的人。这其实就是 hyperscaler：第一是 Amazon，第二是 Microsoft，哦对不起，第二是 Microsoft，第三是 Google。但有趣的是，这三家公司都在不同的时间点意识到，它们不能依赖 Nvidia 或 AMD 等外部厂商制造的硬件，于是它们也打造了自己的芯片。Google 是最早的，它们的 TPU 已经到了第五代，很早就开始并一直在迭代。Amazon 则在 Trainium 和 Inferentia 芯片以及 Neuron core 上耕耘已久。顺便说一句，Amazon 在芯片制造方面有着惊人的背景，我认为大家对此没有足够的认识，因为虽然 Google 需要与 Broadcom 合作才能把 TPU 推向世界，但 Amazon 是直接与晶圆厂合作，它们拥有极强的能力——它们在云领域就做得非常出色。Microsoft 在自己的芯片征程上则还处于较早期。我知道这又成了你问题的序曲，很抱歉我总是扯这些，但我认为这很重要。因为当你购买 Nvidia 硬件，把它放进数据中心，无论你跟 Oracle 合作，还是跟这个领域里的谁合作，或者哪怕是跟 Google、Amazon、Microsoft 合作，你都在承担那块芯片的利润——H100、H200，以及即将到来的 Blackwell 这一代——这必须计入你的成本。我的想法是，在极端情况下，Amazon、Google 以及 Microsoft，当它们推出自研芯片时，拥有更大的利润空间可以操作。然后这就变成了商业决策。而现在，因为这是一场战争，一场全面展开的、疯狂的竞赛——我常把它形容为我们行业正在发生的一场 drunken bar fight——所有这些公司都被极大地激励着，要尽快降低模型的成本。它们通过两种方式做到：一是把利润率一降再降，逼近硬件的真实成本。这时你就能看到 Amazon、Google、Microsoft 与 OpenAI、Anthropic 之间的巨大差异。二是在智能层做文章。我们之前谈到，把强大的大模型蒸馏成小模型。如果你拥有最聪明的最大模型，你就可以把它蒸馏成更小的模型，并在这层也获得优势。所以这不是单变量的问题。不过我的观点是，在极端情况下，compute 的利润率，也就是硬件的利润率，真的非常重要。随着价格越来越低……这一点我们在云计算领域也已经见识过了。你认为五年后，我们是否还需要把大模型蒸馏成小模型，以降低成本惠及消费者？还是说成本效率会高到我们可以直接应用一个模型？我认为我们要回到我对世界演进的个人看法。人们很容易只关注当下的战术和此刻重要的事情，而这些问题确实就是现在最重要的。但我们正在朝着一个方向前进：缩小人类智能与机器智能之间的差距。我认为这世界上将会有无数问题、挑战和场景需要应用这种智能。如果让我对现代历史发表一点看法——这有点离题——如果你从印刷术出现之后看，我们所做的就是把越来越多的人围绕智能连接起来。从电话到个人电脑，再到互联网、手机，从根本上说，我们能够做到的是：把世界上那些艰巨的挑战——无论是癌症研究，还是构建一家 SaaS 企业，任何事情——把越来越多的人连接起来，把资源引导到这些事上。我们本质上是在 bundling intelligence，对吧？越来越多的人被连接在一起，我认为这才是支撑技术呈指数曲线发展的真正底层因素。如果你回顾 100 年前或 50 年前，你能真切地看到这是一条指数曲线。我认为没有人想活在其他时代。我提到这一点是为了回答你的问题：我认为我们将从一个人类智能、以及人类数量成为唯一瓶颈的世界，转变为一个拥有机器智能的世界。于是我们可以把能源、芯片和 compute 的投资与人类结合，让这条指数曲线在我们想引导的所有领域剧烈爆发。我认为会有海量场景能从中获益。compute efficiency 的问题我们会在路上解决，硬件会变得更高效，因为这就是资本主义——机会越大，我们就会越投入地让它更高效。说到价值所在，你提到了缩小差距，特别是代码方面，我们之前也聊过。如果换成其他行业，比如我们聊过的语音识别，你怎么看缩小差距这件事，以及它与价值所在、或者价值不在之处的关系？我这样看：世界上有些东西今天被认为具有经济价值。如果我们拿经济价值来说，接下来我们要问自己：今天的模型与人类水平能力之间的差距有多大？在某些情况下，这个差距其实已经不再那么大了。比如我们之前谈到语音识别，在我看来今天的模型已经基本到位了，也许还差一点点，但这个差距已经被极大地缩小了。在其他领域，这个差距曾经感觉不可能缩小，但我们正在取得很大进展。再想想 Full Self-Driving，如果你体验过最近特斯拉 FSD 的更新，那个差距正在被越来越快地缩小。但还有一些领域，差距仍然非常大。比如软件开发——我们的领域——我们认为差距依然很大。今天模型能做的，是非常有用的助手，并因此创造了巨大的经济价值。但一个模型与开发者协作之间，仍然存在巨大的鸿沟。我们想抵达的世界是：开发者可以与和他们一样能干、甚至某一天可能更干得的模型一起工作。我提到这一点，是因为我们已经有了人类能力的基准，以及目前的差距。这个领域有多高的经济价值？接下来你还要问：缩小这个差距有多容易？这就归结为数据，对吧？就是我们在哪里能找到大规模的网络级数据来缩小差距，尤其是在智能差距很大的领域。因为今天智能差距越大——我知道这是个宽泛的词——我们需要的数据就越多。所以如果你把数据的可获取性、与人类和机器智能之间差距的大小、以及它在现实世界中的经济价值这三者结合起来看，我认为这个交集就是我们这样的公司得以存在的地方。我立刻想到了 GitHub。GitHub 不是做这件事的最佳地点吗？
GitHub 今天拥有惊人的数据集，几乎是世界上所有的代码。GitLab 也是一个玩家，但主要在私有侧。开发者账户背后的东西，GitHub 在公开代码上体量巨大，在私有代码上体量也很大。但私有代码不允许任何人用来训练——不是我们，也不是 OpenAI。所以我们所有人能获取的都是同样的公开数据，而且都是最终产出的数据。因此从能力竞赛的角度来看，这并没有固有的优势。我们公司里反复灌输的一点是：世界上存在一场 capabilities race。回到你之前说的三点，我同意，但我要加一项：compute、data、proprietary applied research、algorithms，还有 talent。talent 在这个行业绝对关键。而在 go-to-market 的竞赛中，首先是 talent，但也包括产品和 distribution。在 distribution 上，Microsoft 显然拥有全球不可思议的地位。我能问问 compute 这个我们还没深入聊的要素吗？当我们想到 compute 支撑着这一切，以及我们提到的许多数据挑战时——我是英国人，所以我们不太擅长直接问——6 亿美元够吗？不，我们至今总共筹集了 6 亿美元，而最新一轮 5 亿美元意味着我们能够成为这场竞赛的参赛者。这意味着今年夏天我们刚上线的 1 万块 GPU——正是来自这笔资本——让我们能够在模型能力上取得惊人进展，因为我们能够利用 reinforcement learning from code execution feedback 生成海量数据，并用它训练非常大的模型。对于当下这一刻来说，它是够的，但随着时间推移，它不会够。你觉得你们还需要多少？这是个很好的问题。我认为这背后存在真实的物理与现实世界约束。所以我们看到这个行业里有人抛出疯狂的数字，比如计算集群的规模，但世界实际上仍需要时间才能具备真正实现这些的能力。今天，互联超过 3.2 万块 GPU 已经极其困难；我们刚开始有可能互联 10 万块。但现在，一个百万 GPU 的集群、一千万 GPU 的集群，用于训练模型，既有我们必须克服的真正算法难题，也有现实世界中的物理限制。所以我们并非生活在一个有钱就能无限购买优势的世界。这就是为什么我们能够存在——靠着 1 万块 GPU。现金与 compute 是直接挂钩的吗？我的意思是，如果你有现金，你能直接去商店说我要这么多 compute 吗？还是说这更复杂？这是个好问题。我认为这取决于你有多少现金，以及你需要多少 compute。大约一年半前，当我们刚创立公司时，世界上存在真实的供需失衡。即便作为一家前沿 AI 公司——每个人都希望你赢，Nvidia 有动力帮助超大规模扩张，实际上每个人都 incentivized 让早期公司在 compute 上取得成功——对早期 AI 公司或前沿 AI 公司来说，获取 compute 比企业客户要容易得多，因为他们明白未来正朝这个方向前进。但即便如此，供需之间仍存在严重错配，我们不得不做了大量工作去了解市场、建立关系，并制定从 A 到 Z 的计划来获得算力。在过去六个月里，我认为世界仍然面临巨大的供应短缺，我们能看到这一点。但如果你是早期初创公司，路有很多；如果你是前沿 AI 公司，你需要决定与谁合作、和谁共事、有多少自己来做。我今天做的决策会影响 12 或 18 个月后的 compute。对于早期公司来说，很少需要你现在就做影响一年后物理基础设施的决策。这种供需失衡改变了吗？我不认为我坐在能完全回答这个问题的最佳位置上。最清楚答案的人应该是 hyperscaler 的人。在 Nvidia、Amazon、Google、Microsoft 的财报电话会上，你能得到大部分观点。但就我目前所见，世界对 GPU 以及类 GPU compute 的需求，仍然远远超过可用供应。考虑到一些惊人的支出，Larry Ellison 最近在台上说，进入这场竞赛需要 1000 亿美元，这是入场费。那一刻对我冲击很大，我当时想，天哪，我不知道未来会怎样。你同意这是入场费吗？如果你想成为一家 hyperscaler，能够在全世界建立装满 GPU 的数据中心，向所有人提供模型服务——如果你是一家基础设施玩家——那可能就是了，而且可能只是起点。如果我们看看所有云公司巨大的资本支出投入，把它们放在几年时间跨度里看，远超千亿美元。在通往越来越强大的 AI、缩小人类智能与机器智能差距的竞赛中，我认为我们都在把前沿越推越远，我们也正通过扩大模型和数据规模看到差距如何缩小。但我不认为有人能明确回答从这里到那里到底需要多少钱。如果我们知道，我们就知道结果了，而我们都在当下可能性的前沿。你很贴切地把它形容为一场 drunken bar fight。我一个管理某家 hyperscaler 的朋友前几天说，这像曼哈顿计划，每个人都其实想退出，但没人能退得了，为时已晚，筹码已经摆在桌上，我们必须继续走下去。你认为我们现在进行到哪一步了？这只是冰山一角，还有巨额支出等着这些巨头吗？我认为我们需要把支出与打造世界上最强大的 AI——通过缩小差距、通往 AGI、缩小人类智能与机器智能的差距——区分开来。它们不是一回事。因为如果你把这些模型视为投资，目的是从另一端产出智能，那它最终需要对终端用户具有经济价值，中间还有大量层和应用。创造模型是 capex，运行它们是 inference，是 Opex。但运行它们的 Opex 需要世界上极其庞大的物理 footprint。很简单，如果我们花 100 美元造一个模型，而它只能给世界带来两三美元的价值，那就毫无意义，对吧？世界会惩罚它，它不会存在。要让 AI 成为能解决世界上所有问题、并融入我们从软件到日常生活的一切的事物，需要在全世界进行巨大的 scale out。它需要大规模的 inference，这意味着需要在全世界靠近终端用户的地方建立数据中心——延迟很重要。这需要进行大规模建设，我认为这是我们过去几十年来在 cloud 领域见过的最大规模物理基础设施建设之一。说到这种物理基础设施的建设，David Khah——我在努力准确引用他的话，因为我不想糟蹋别人的名言——但他说的是，本质上你永远不会在同一个数据中心训练两次前沿模型，意思是模型演化的速度已经超过了数据中心的建设速度。你同意他这个说法吗？当今世界，能够容纳、供电并拥有足够能源来支撑数量级越来越大的集群的数据中心，数量非常稀少。所以我认为他在这个意义上完全正确。两年前的数据中心与接下来两年我们在规模和电力需求上将看到的数据中心，看起来截然不同。不仅仅是因为要互联的服务器和节点数量在增长。这里还有 inference 与训练的区别：对于 inference，我们不需要所有机器彼此互联或在同一个地方；但对于训练，我们需要它们全部在同一个房间、同一个地方彼此互联。这极大地改变了数据中心的形态。抱歉，我觉得这个节目成功是因为我会问一些大家觉得“你为什么问这个”的问题。为什么训练需要这样，而 inference 不需要？当我们扩大这些模型的规模，用越来越多的数据训练它们，并为此投入越来越多的 compute 时，在学习的每一步，我们向模型展示的每一批数据样本，它们都需要彼此通信，分享它们在优化 landscape 中学到的东西。这意味着，如果我有两个相距甚远的数据中心，它们需要彼此分享的信息量——在所有不同的服务器之间，我们说的是成千上万、很快就是数万的服务器——会让速度慢到经济上不可行，无法用来训练这些模型。而一旦我在运行模型，我使用的服务器就少多了。所以你可以这样理解：训练时，在大量机器上有无数模型的副本，每次它们看到数据要学习时，都需要彼此通信，以持续提升学习效果。我能问问你，当我们看到这种建设、所需芯片和 compute 时，Nvidia 的垄断会持续多久？竞争环境会更公平吗？当今世界的格局是 Nvidia 建立了这一切。我认为我们都欠 Nvidia 一份感谢。2016 年当我进入这个领域，打造 Source——据我所知是世界上第一家 AI 代码公司时——我们在办公室里把 1080 Ti 芯片堆叠进服务器机架。而 Nvidia 在那时候就已经明白 AI 将改变世界，除了也许 Google 之外，没有其他公司有如此深刻的认识。但 Nvidia 对此抱有巨大信念，并持续加倍投入，推出了越来越惊人的硬件。紧随其后的是 Google，这就是为什么 TPU 已经第五代了。再之后是 Amazon。我特别提到这三者，是因为它们都在构建极其大量的芯片，并持续迭代出越来越快的训练和 inference 芯片。对我来说，从它们在晶圆厂的产量和实际交付给终端用户的体量来看，它们是这场竞赛中的三大核心玩家。现在我们这个领域还有其他公司，AMD，Nvidia 的竞争对手，它没有自己的云，完全依赖于与 Nvidia 在价格上的竞争，所以它的增长完全取决于世界对其芯片的需求。而对 Google 和 Amazon 这样拥有自研芯片的公司来说，需求不是对芯片的需求，而是对 AI 的需求。我的看法是，未来这个世界将由那三家主导，也可能有新进入者，或者 AMD 也许能追赶上来，但我认为真正主导行业的还是那三家，再加上有一天拥有自研芯片的 Microsoft。创新在多大程度上被所有人等待 Nvidia Blackwell 所拖慢了？我必须说，Blackwell 推迟了我还挺高兴的，因为我正在用 H20 训练。所以我在八月底上线的这 1 万块 H20，意味着下一代芯片延迟得越久，对我在世界竞争格局中的帮助越大。另外，下一代芯片有很多营销宣传，我们再次需要区分训练和 inference。Nvidia 每一代训练芯片，大约每两年带来的性能提升基本在 1.5 到 2 倍左右。训练大约每两年翻一倍。但在 inference 上，我认为大家对 Blackwell 抱有很大希望，因为看起来 Blackwell 可能在 inference 上解锁大得多的提升。
Blackwell 发布时，鉴于竞争格局，你是否被迫必须购买 Blackwell，投入数亿美元从 H200 升级？我们的看法是，这些芯片问世后效率提升两倍，但我们在上面进行的运算仍然是一样的：矩阵乘法、加法等等，都是数学。所以 Blackwell 这一代对我们从训练角度来看并不会解锁任何新东西，它只是意味着我们能用一定数量的芯片做更多事。我的 H200 在世界上的价值会下降，但这并不一定意味着我必须升级到下一代。我们提到了 Blackwell 及其将解锁的东西。我想很多人等 GPT-5 已经等了很久。你认为 GPT-5 需要交付什么才能带来 step function 的改变？你觉得它会吗？我认为 GPT-5 交付或不交付什么，并不是我们十年后回望时会问的问题。十年后回望这一刻，就像我们回望计算机早期、互联网早期、Google 早期一样，我们会意识到，我们当时还没有完全内化世界将释放出多大的价值和丰裕。我们在融资公告出来时写了一篇博客，说我认为本世纪人类要攀登三座大山：AGI 是其中之一，另外两座是能源和太空。所以我认为随着我们不断前进，我们会不断望向下一座山，而当我们站在山顶回望时，会发现之前的山呈指数级地更小。我们提到了 6 亿美元对你来说够不够。我有点不公平，但我不明白 60 亿美元对 OpenAI 怎么够。你把它们和 hyperscaler 并列，但当你看到 Zach 说他会花多少，Google 说他们会花多少，Larry Page 说他愿意在竞赛中倾家荡产，还有 Larry Ellison……我不明白 60 亿美元怎么够。如果我们回到能力竞赛的要素：compute、talent、data、proprietary applied research。我们会发现，对于 compute，美元有直接的一比一效果；但当我们看 data、proprietary applied research 和 talent 时，事情就没那么简单了：砸钱进去，魔法般地就能成功。科技史上已经有很多例子，我们看到过那些看似不可战胜的巨人——比如个人电脑早期的 IBM。所以如果我们生活在一个能把美元完美转化为成功结果的世界，那数字上谁砸得多谁就能赢。我认为在通往 AGI 的竞赛中，美元对 compute 至关重要。而且别忘了还有时间约束——训练用的计算集群能造多大，存在真实的物理约束。正是芯片能力、网络吞吐能力的时间与物理约束，让我们这样的公司有时间在 data、talent 和 proprietary applied research 上建立巨大优势。考虑到人员在公司之间跳槽的性质，知识跟着人走，这个市场里还存在 proprietary knowledge 吗？我认为你说得公平，很多知识确实在流动。你怎么看大型企业资助这些公司的做法？Poolside 有企业投资者吗？如果你看看我们最近的 5 亿美元融资，你会发现没有大型的 hyperscaler——Google、Microsoft、Amazon——参与这一轮。这是你们有意为之的吗？这是我们有意的决定。为什么？因为我们看到了前方的未来，而目前我们看到了一条可以作为独立公司通往那条未来的路径。我们必须承认，我们都在同一场竞赛中。所以在我看来，你可以一路上做战略决策，决定以某种方式合作——比如你提到的股权关系。但这不是我们现阶段必须做的事，而且坦白说，这是我们非常刻意选择现在不做的。确实有一家 corporate 参与了我们的融资，而且是非常刻意的，那就是 Nvidia，并非以任何外部入股的方式。这是因为我们与他们在下一代芯片、软件等方面合作非常紧密，而且我们非常感激，也希望他们参与这一轮。大型科技公司选择投资前沿 AI 公司，本质上是它们的博弈论最优策略。你认为我们会继续看到 smaller players 被整合吗？比如 Inflection、Adept、Character，继续被大型 incumbents 收购？我认为剩下的可收购对象已经非常少了，老实说。谁还留着？
Cohere，还有 Reka，哇，虽然团队很小，但从外部看非常有能力。他们在哪里？我相信他们在欧洲。哇，我从来没听说过他们。不错。Mistral，嗯……而且我很难想到更多公司了。我的意思是，xAI 非常不可能被收购，但它们是这个行业里非常有能力的玩家。当我们——我关注的当然是大语言模型和通往 AGI 的工作——我认为如今已经走得足够远、仍然独立存在的公司已经很少了。
[ __ ]，我已经问了很多不公平的问题了，但我继续。你可以以 1560 亿的估值买入 OpenAI，你可以买入——实际上你的很多投资者也说这是个好问题，我同意——所以你可以以 1560 亿买入 OpenAI，以 400 亿买入 Anthropic，这是他们建议的新一轮估值，或者 x……
如果你 24 岁，会买哪一家，为什么？我很想分别与这几家公司当前的领导团队共度一天，然后再做决定。它们各自都有固有的优势。
xAI 明白算力至关重要，团队也非常出色，做到了几乎没人能以那样的速度做到的事——短短几个月内，他们就在田纳西州建成了由 10 万块 GPU 组成、32k 互联的集群。而且 xAI 带着 Elon 的优势登场，那就是在世界上以极快的速度建设物理基础设施的能力。那与 Anthropic 更快速的那些能力相比如何？你得去问他们自己。我认为 OpenAI 创造了 ChatGPT 那个不可思议的高光时刻，并围绕 ChatGPT 以及其 API 的使用构建了出色的业务。而且显然，正如公开信息所说，它的收入领先于其他公司。而我认为 Anthropic 拥有非常杰出、深思熟虑的研究人员，做事非常严谨——在推动技术进步方面有着非常严谨的科学方法。所以我能看到这三家公司各有优势。真的要分别和各家的领导团队待上一天，我才能决定把自己的钱投在哪里。太棒了。幸运的是这不是你自己的钱，你是做风险投资的，所以你会选哪家？我不是那种孤注一掷（YOLO）的风险投资人。如果你是今天的 Sam，你刚筹集了 60 亿美元，你会怎么做？听着，我认为 Sam 和 OpenAI 已经理解了算力的重要性，也理解了数据的重要性。而我想象那 60 亿……