各位听众好，欢迎回到 No Priors。距我们上次与 Nvidia 创始人兼 CEO Jensen Huang 对话已过去一年，今天我们再次把他请到了节目里。如今 Nvidia 的市值已超过 3 万亿美元，它 literally 掌握着 AI 革命的所有筹码。我们很高兴来到 Nvidia 总部，聊聊前沿模型、数据中心级计算，以及 Nvidia 未来十年的赌注。欢迎回来，Jensen。你在 Nvidia 已经 30 年了，如果展望 10 年后，你认为还有哪些大赌注要下？从现在起是否就是一路规模化扩张？我们在现有架构上挖掘更多算力和内存空间时，是否会遇到瓶颈？你现在的重点是什么？如果我们退后一步，想想我们已经做了什么：我们从编程时代进入了机器学习时代，从编写软件工具到创造 AI，而这一切过去都运行在专为人类编程设计的 CPU 上，现在却运行在专为 AI 编程——也就是机器学习——设计的 GPU 上。世界已经变了，我们进行计算的方式变了，整个技术栈都变了。因此，我们能够解决的问题规模也发生了巨大变化，因为如果你能在单张 GPU 上将软件并行化，你就为跨整个集群、甚至跨多个集群或多个数据中心并行化奠定了基础。我认为，我们已经让自己具备了这样的能力：能够以前所未有的规模扩展计算，并以前所未有的规模开发软件。我们才刚刚开始。在未来 10 年，我们希望在系统层面——而非单芯片层面——每年将性能提升两到三倍，从而每年把成本降低两到三倍，把能耗也降低两到三倍。如果你每年都这样做，每年翻倍或翻三倍，短短几年内就会累积起来，呈现出非常激进的复合增长。所以，如果人们过去理解的 Moore's Law（摩尔定律）是每两年翻一倍，那我们将进入某种超摩尔定律（hyper Moore's Law）曲线，我衷心希望我们能继续保持这一势头。你觉得是什么让这一切比摩尔定律发生得更快？因为我知道摩尔定律在某种程度上是自我实现的，对吧？先是 Moore 提出了这个说法，然后人们为了让它成真而去执行。是的，过去有两大根本技术支柱：一个是 Dennard Scaling（登纳德缩放），另一个是 Carver Mead 的 VLSI Scaling。这两种技术都是非常严谨的技术，但现在已经基本走到尽头了。所以我们需要一种新的扩展方式。显然，新的扩展方式与 codesign（协同设计）息息相关。除非你能在算法层面针对系统架构进行修改和调整，然后反过来又让系统架构去适配新软件的需求，如此反复迭代；除非你同时掌控两边，否则毫无希望。但如果你两边都能掌控，你就可以从 FP64 转到 FP32，再到 BF16、FP8，再到 FP4，乃至未来更低的精度。所以我认为 codesign 是非常关键的一部分。第二部分，我们称之为 full stack（全栈）；第二部分是数据中心级规模。除非你能够把网络当作 compute fabric（计算结构）来对待，把大量工作推到网络里，推到 fabric 里，从而能够在超大规模下进行压缩等操作。这就是我们收购 Mellanox，并且如此激进地把 InfiniBand 和 NVLink 融合起来的原因。现在看看 NVLink 的发展方向吧——计算结构正在扩展，过去看起来像是一个强大处理器的 GPU，现在我们要让数百个 GPU 协同工作。我们现在面临的大多数计算挑战中，最令人兴奋的当然就是 inference time scaling（推理时 scaling），它本质上要求以极低的延迟生成 token，因为模型要自我反思，就像你刚才提到的。你要做 tree search（树搜索），要做 Chain of Thought（思维链），可能还要在“脑中”做一定程度的模拟，你要反思自己的答案，你要自我提示，在内部静默地生成文本，同时仍希望在一秒内给出回应。要做到这一点，唯一的方法就是你的延迟极低，极低。与此同时，数据中心仍然需要高吞吐量的 token，因为你仍想控制成本，想保持高吞吐，想获得回报。所以低延迟和高吞吐量这两个核心需求是相互矛盾的。为了打造出在这两方面都极为出色的系统，我们必须去发明新东西，而 NVLink 正是我们的解决方案。现在你拥有了一个虚拟 GPU，具备惊人的 FLOPS，因为你需要上下文，需要巨大的内存——工作内存——同时还需要极高的带宽来生成 token，这一切要同时进行。我想，所有做模型的人其实也在大幅优化，比如我们团队的 David 拉了最近 18 个月的数据，输入 GPT-4 级别模型的百万 token 成本基本下降了 240 倍。所以那边也发生了大量的优化和压缩。就在我们这一层，就在我们工作的这一层。你知道，我们非常看重的一件事当然是我们技术栈的生态系统，以及软件产品的活跃度。人们忘了，正因为有 CUDA 作为坚实基础，上面的一切都可以改变。如果地基一直在动，你很难在上面盖楼，很难在上面做出任何有意思的东西。所以 CUDA 让我们得以在过去一年里如此快速地迭代。我们回头做了基准测试，LLaMA 刚发布时，我们在算法上层完全没变的情况下，把 Hopper 的性能提升了五倍。在一年内提升五倍，用传统计算方式是不可能的，但借助 accelerated computing（加速计算）和这种 codesign 的方式，我们能够发明出各种新东西。你最大的客户们在多大程度上会考虑他们基础设施在大型训练和大规模推理之间的可互换性？要知道，如今基础设施都是解耦的。Sam 刚跟我说，他们最近才退役了 Volta，他们还有 Pascal、Ampere，各种不同配置的 Blackwell 也在路上，有些针对风冷优化，有些针对液冷优化。你的服务必须能充分利用这一切。Nvidia 的优势当然在于，你今天为训练搭建的基础设施，明天用于推理也会非常出色。我相信大部分 ChatGPT 的推理，就是在最近用来训练的同一类系统上完成的。所以只要你能训练，就能推理。你会留下一连串对推理极其友好的基础设施，而且你完全有信心把这笔投资回报投入到新的基础设施中去，继续扩展规模。你会留下有用的东西，而且你知道 Nvidia 和整个生态系统会不断优化算法，让你在短短一年内把现有基础设施的性能再提升五倍。这种模式永远不会改变。所以人们对基础设施的看法会是：即使我今天为训练而搭建，它必须擅长训练，我们也知道它将来会擅长推理。推理会是多规模的。首先，为了蒸馏出更小的模型，最好有一个仍然可用的大模型。所以你仍然会打造这些惊人的 Frontier models（前沿模型），它们会被用来做开创性的工作，你会用它生成合成数据，你会用大模型去教小模型、蒸馏成小模型。你可以做很多不同的事情。但最终，你会有从巨型模型到极小型模型的各种尺寸。极小的模型会非常有效，虽然通用性没那么强，但在特定任务上极其出色。我们会看到在某个极小的细分领域，一个超小的模型——也许不该叫 SLM（small language model），而应该叫 TLM（tiny language model）之类的——表现出超人的能力。是的，所以我认为我们会看到各种尺寸的模型，我们希望它就像今天的软件一样，对吧？我认为在很多方面，人工智能让我们在开创新应用的道路上打破了新的局面，让创造新应用变得更容易。但计算的其他方方面面基本上还是老样子。比如，维护软件的成本极高，一旦开发出来，你就希望它能在尽可能多的装机量上运行，你不想重复写同样的软件。我的意思是，很多人仍然这么想：你希望你投入的开发工程能延续下去。所以，只要架构允许你一方面今天开发的软件明天在新硬件上跑得更好，这很好；或者你明天开发的软件、明天创造的 AI 能跑在庞大的现有装机量上，你也觉得很好。这种软件思维是不会改变的。
Nvidia 为客户提供的支撑单元越来越大，从单芯片到服务器，再到机架 NV72。你怎么看这种演进？接下来是什么？Nvidia 应该做整个数据中心吗？事实上，我们确实会搭建完整的数据中心。我们做所有事的方式都是这样。如果你在开发软件，你需要计算机的完整形态。我们不会只做 PPT 然后卖芯片，我们搭建整个数据中心。在把整个数据中心搭起来之前，你怎么知道软件能跑？在把整个数据中心搭起来之前，你怎么知道你的 fabric 能工作？你怎么知道效率能达到预期？你怎么知道它真的能规模化运行？这就是为什么，实际情况中，某人的真实性能远低于 PPT 上标称的峰值性能，这并不罕见。计算已经不再是过去的样子了。我说，新的计算单元就是数据中心，至少对我们来说是这样。这就是你必须交付的东西，也是我们现在构建的东西。我们搭出整套系统，然后为每一种组合都这么做——风冷 x86、液冷 Grace、以太网、InfiniBand、NVLink、没有 NVLink，你懂我意思。我们构建每一种配置。我们公司今天有五台超级计算机，明年我们轻松再建五台。如果你认真对待软件，你就会自己造计算机；如果你认真对待软件，你就会造出整台计算机。我们在 Goodale 建造这一切。真正有意思的是，我们是规模化地建造，而且是垂直整合地建造，我们做全栈优化，然后再把所有东西解耦，拆开来卖。这正是我们所做之事中完全令人难以置信的地方。其中的复杂度高得离谱。原因是，我们希望能够把我们的基础设施嫁接到 GCP、AWS、Azure、OCI 之中，它们的控制平面、安全平面全都不一样，它们对集群规模的思考方式也全都不一样。然而，我们让它们都能适配 Nvidia 架构，从而让 CUDA 无处不在。这最终就是我们唯一的核心理念：我们希望开发者能使用一个计算平台，它大体上是一致的，虽然这里或那里有大约 10% 的差异，因为每个人的基础设施优化方向略有不同，会有 10% 左右的偏差，但他们开发的一切都能到处运行。这是软件的基本原则之一，永远不应该放弃，而我们非常珍视这一点。这让我们的软件工程师能够一次开发，到处运行。这是因为我们认识到，软件投入才是最昂贵的投入。这很容易验证——看看整个硬件行业的规模，再看看世界各行业的规模，在这个万亿美元产业之上，还有一个万亿美元产业，这很能说明问题。你开发的软件，基本上要维护一辈子。我们从未放弃过任何一款软件。C 语言之所以还在用，是因为我跟所有人说过：我们会维护它，只要我们还活着。我们是认真的。我们至今仍在维护。前几天我刚看到一篇评测，Nvidia Shield，我们的 Android TV，它是全世界最好的 Android TV。我们七年前发布的，它至今仍是人们心目中——所有喜欢看电视的人心目中——排名第一的 Android TV。就在上周，我们还更新了软件，又有新的报道出来。GeForce 在全球有 3 亿玩家，我们从未抛弃过任何一个人。所以，我们的架构能够跨所有这些不同领域保持兼容，这才让我们做得到。如果没有这种架构兼容性，我们的软件团队规模可能会是今天公司的 100 倍。我们对此非常认真，而这最终也转化成了开发者的利益。最近一个令人印象深刻的佐证就是，我们多快地为 xAI 拉起了一个集群。如果你想聊聊那件事，它的规模和速度都令人震惊，这很大程度上要归功于 Elon。首先，他决定要做这件事，选定地点，引入冷却和电力，然后决定建造这个 10 万 GPU 的 super cluster，这是同类中最大的单一单元。我们倒推时间表，一起规划他让一切就绪的日期，而这个日期在好几个月前就确定了。因此，所有组件、所有 OEM、所有系统、我们与他们团队做的所有软件集成、所有网络模拟——我们模拟了所有网络配置——我们把一切作为 digital twin 进行了预演，我们提前筹备了他的整条供应链，我们预铺设了所有网络布线，我们甚至搭建了一个小版本，也就是它的第一个实例，一个 ground truth，或者说 reference zero、system zero，在其他所有设备到货之前就位。因此，当所有设备到场时，一切都已准备就绪，所有演练都已完成，所有模拟都已做完。然后，大规模的集成工作——即便到了那时，大规模的集成也是一项浩大工程，庞大的人群夜以继日地挤在一起布线。短短几周内，clusters 就上线了。这确实证明了他的意志力，以及他思考机械、电气问题并克服明显非凡障碍的能力。在那里完成的事情是有史以来第一次以这种速度建成如此大规模的计算机，这有赖于我们的两个团队协同工作：网络团队、计算机团队、软件团队、训练团队、基础设施团队，从电气工程师到软件工程师，所有人一起工作。这真的很了不起。从工程角度看，有没有哪个挑战最可能成为瓶颈？就是海量电子设备必须整合到一起。可能值得称一下重量，那是成吨成吨的设备，太不寻常了。通常，像这样的超级计算机系统，你会规划好几年。从首批系统交付到正式投入严肃工作，花上一年也不奇怪，这很正常。但我们不能等那么久。所以几年前，我们公司内部有一个 initiative，叫做 Data Center as a product。我们不把它作为产品销售，但必须像对待产品一样对待它：从规划、搭建、优化、调参到持续运营，目标是，它应该就像打开你崭新的 iPhone，开箱后一切就能正常工作。当然，这是技术的奇迹，但我们现在已经具备了这样的能力。所以如果你对数据中心有需求，只需要给我空间、电力和冷却，我们大概能在 30 天内帮你搭建好。这非常了不起。太疯狂了。如果展望未来的 20 万、50 万、100 万 GPU 的 super cluster，或者到那时 whatever you call it，你认为最大的瓶颈是什么？资金、能源、供应链？某一个方面？还是一切？你刚才说的那些规模，没有什么是常规的。但没有不可能的事，没有物理定律的限制。但一切都会很难。当然，是否值得？你无法想象，要造出一台我们能认可的计算机，它能如此轻松、如此有能力地执行我们的指令，具备某种通用智能——甚至我们可以争论它是否真的是通用智能——仅仅是接近它都将是一个奇迹。我们知道这一点。我认为有五六个 endeavor 正试图达到那里。当然包括 OpenAI、Anthropic、xAI，当然还有 Google、Meta 和 Microsoft。接下来攀登那座山峰的几步至关重要。谁不想第一个站上那座山顶？我认为，重新发明智能的回报太大了，不可能不去尝试。因此，没有物理定律的限制，一切都会很难。一年前我们聊天时，我们问你对 NVIDIA 接下来在 AI 和其他领域服务哪些应用最感兴趣，你说你会让那些最激进的客户带领你找到方向。你还谈到了一些科学应用。过去一年，这对你来说似乎变得主流多了。科学和 AI 在科学中的应用仍然最让你兴奋吗？我喜欢这样一个事实：在 NVIDIA，我们有 AI chip designers。我喜欢我们有 AI software engineers。AI chip designers 今天有多有效？非常出色。没有它们我们造不出 Hopper。原因是它们能探索比人类大得多的空间，因为它们有无限的时间，它们运行在 supercomputer 上。人类工程师的时间太少，所以我们没有探索到应有的空间，也无法进行组合式探索。我无法在探索我的空间的同时纳入你的探索和你的探索。我们的芯片非常大，不像设计一艘船，而像设计一千艘船，我们必须近乎孤立地优化其中每一个。你真正想的是把很多模块一起优化，进行跨模块的协同设计，在更大的空间里优化。显然，我们能够发现隐藏在局部极小值背后的局部最大值。没有 AI engineers 你根本做不到，我们就是时间不够。自我们上次交谈以来，另一个变化是 NVIDIA 的市值。我查了一下，当时大约 5000 亿美元，现在超过 3 万亿美元。过去 18 个月你增加了 2.5 万亿美元以上的市值，实际上相当于每月增加 10 亿以上，或者两个半 Snowflake，或者一个 Stripe 多一点，或者你可以把它想成一两个国家的体量。显然，很多事情保持一致，比如对建设方向的专注等等。今天早些时候在这里走动时，我感受到了那种活力，就像 15 年前我在 Google 一样，你能感受到公司的能量和兴奋的氛围。这期间有什么变化吗？无论是 NVIDIA 的运作方式、你对世界的看法、你能下的赌注规模，还是其他方面？我们的公司不可能像股价那样快速变化，这一点要明确。所以在很多方面，我们没有太大变化。我认为，应该退一步问自己：我们在做什么？我认为这是公司和国家真正的大观察、大认知、大觉醒：到底在发生什么？从我们行业的角度来看，我们重新发明了计算。计算已经 60 年没有被重新发明了，这就是这件事的重大意义所在。过去 10 年，我们把计算的边际成本降低了大约 100 万倍，以至于我们会说：让计算机去穷尽地编写软件吧。这就是重大的认知转变。这在很多方面就像我们在芯片设计上说的：我们希望计算机去发现关于我们芯片的一些我们自己做不到的东西，以我们自己做不到的方式探索和优化我们的芯片。就像我们期望数字生物学或任何其他科学领域一样。我认为人们开始意识到，第一，我们重新发明了计算，但这到底意味着什么？我们突然创造了这个叫做智能的东西，而计算发生了什么变化？我们从数据中心说起。数据中心是多租户的档案存储库。而我们正在建造的这些新设施不是数据中心，它们不是多租户的，通常是单租户的；它们不存储我们的文件，它们在生产东西，生产 token。这些 token 被重新组合成看似智能的东西，不是吗？而且是各种智能，可以是机器人运动的表达，可以是氨基酸序列，可以是化学链，可以是各种有趣的东西。所以我们实际上在做什么？我们创造了一种新工具、新机器，它在很大程度上是"generative AI"这个形容词的名词形式。不再是 generative AI，而是 AI Factory。这是一座生成 AI 的工厂，而且我们正以极大的规模在做这件事。人们开始意识到，也许这是一个新行业，它生成 token，生成数字，但这些数字以相当有价值的方式构成。那么哪些行业会从中受益？你再退一步问自己：NVIDIA 在做什么？一方面，我们重新发明了计算，有价值万亿美元的基础设施需要现代化，这是其中一层。更大的一层是，我们正在建造的这台机器不仅用于我们正在现代化的数据中心，你还在用它生产某种新商品。这个新商品行业能有多大？很难说，但可能价值数万亿美元。我认为，这就是如果你退一步看的格局。我们不再建造计算机，我们建造工厂。每个国家都需要它，每个公司都需要它。你能给我举一个公司或行业的例子，说"我们不需要生产智能，我们已经够多了"吗？这就是大想法。这是一种抽象的工业视角。有一天人们会意识到，半导体行业不仅仅是制造芯片，而是构建社会的基础结构。然后所有人都会恍然大悟：哦，我明白了，这很重要，不只是芯片。你现在如何看待具身智能？我非常兴奋的是，在很多方面，我们离 artificial general intelligence 很近了，也离 artificial general robotics 很近了。Token 就是 token。问题是，你能把它 tokenize 吗？当然，tokenize 东西并不容易，这你们也知道。但如果你能 tokenize 事物，把它与 large language models 和其他模态对齐，如果我能生成一段视频，里面有 Jensen 伸手拿起咖啡杯，为什么我 prompt 一个机器人，让它生成拿起它的 token？直观上，你会认为对计算机和机器人来说，问题陈述是相当相似的。所以我认为我们离那很近了，这太令人兴奋了。两个 Brownfield 的机器人系统——Brownfield 意思是你不必为它们改变环境——是自动驾驶汽车和具身机器人，也就是介于汽车和类人机器人之间的数字司机/具身机器人。我们确实可以在不改变世界的情况下将机器人技术带入世界，因为世界本来就是为这两种事物建造的。Elon 专注这两种机器人形式可能不是巧合，因为它们可能具有最大的潜在规模。我认为这很令人兴奋，但数字版本也同样令人兴奋。我们在谈论数字员工或 AI 员工。毫无疑问，我们将拥有各种 AI 员工。我们未来的劳动力将一部分是生物人，一部分是人工智能，我们都用同样的方式 prompt 它们，不是吗？大多数时候我 prompt 我的员工：提供背景，要求他们执行任务，他们去招募其他团队成员，然后回来，我们来回沟通。这和数字化 AI 员工会有什么不同呢？所以我们将有 AI marketing 人员、AI chip designers、AI supply chain 人员、AI 各种人员。我希望有一天 NVIDIA 在生物规模上更大，同时在人工智能规模上也大得多。那是我们未来的公司。如果一年后再来和你聊，你认为公司的哪个部门会最智能化？我希望是芯片设计。这是最重要的部分。没错，因为我应该从最能带来质变的地方开始，也是我们能产生最大影响的地方。这是一个极其困难的问题。我与 Synopsys 的 Sassine 和 Cadence 的 Anirudh 合作。我完全能想象，他们拥有我可以租用的 Synopsys chip designers，它们了解某个特定模块、它们的工具，他们训练了一个 AI，让它极其擅长此事。每当我们需要，处于芯片设计的某个阶段时，我们就雇佣一大批它们。我可能会租 100 万个 Synopsys 工程师来帮忙，然后再去租 100 万个 Cadence 工程师来帮忙。对他们来说，这是多么令人兴奋的未来：他们拥有所有这些 agent，坐在他们的工具平台之上，使用工具平台，与其他平台协作。而且不只是芯片设计，Christian 会在 SAP 这么做，Bill 会在 ServiceNow 这么做。人们说这些 SaaS 平台会被颠覆，我反而认为相反，它们坐拥金矿。它们将迎来 agent 的繁荣，这些 agent 将专精于 Salesforce，专精于……嗯，Salesforce 我想他们叫 Lightning，SAP 有 ABAP，每个人都有自己的语言，对吧？我们有 CUDA，我们有 Omniverse 的 OpenUSD。谁会创造一个精通 OpenUSD 的 AI agent？我们会，因为没有人比我们更在乎它。所以在很多方面，这些平台将因 agent 而繁荣，我们会把它们介绍给彼此，让它们协作解决问题。你在 AI 的每个领域都看到很多人在工作。你认为什么被忽视了，或者你希望更多创业者、工程师或商务人士去投身什么？首先，我认为被误解、被低估的，是 groundbreaking science——从计算机科学到科学与工程——被 AI 和 machine learning 影响的潜流活动。我认为，今天你走进任何一个科学系、任何一个理论数学系，AI 和 machine learning 以及我们今天谈论的工作方式都将改变它们的明天。如果你把全世界所有工程师、所有科学家拿出来看，说他们今天的工作方式就是对未来的早期预示，因为显然如此，那么你就会看到 AI 的海啸、machine learning 的海啸改变我们在短期内所做的一切。记得吗，我看到了计算机视觉的早期迹象，以及 Alex、Ilya 和 Hinton 在多伦多大学的工作，Yann LeCun，当然还有斯坦福的 Andrew Ng。我看到了早期迹象。我们很幸运，从观察到的——检测猫——推演到计算机科学和计算的整体深刻变革。这种推演对我们来说是幸运的。当然，我们对此如此兴奋、如此受启发，以至于我们改变了做事的一切方式。但那花了多长时间？从观察 AlexNet 那个"玩具"——以今天的标准看它就是玩具——到物体识别能力达到超人类水平，只花了几年时间。而现在正在发生什么？在所有科学领域——不是一个领域，我要非常明确——从量子计算到量子化学，每个科学领域都在参与我们今天谈论的方法。如果我们给自己两三年时间，世界将会改变。未来不会有一篇论文、不会有一项科学突破或工程突破，其基础不是 generative AI。我对此相当确信。所以我偶尔会听到这是不是一时风潮的问题。你只要回到第一性原理，观察实际在发生什么。计算的栈、我们做计算的方式已经改变了。你编写软件的方式已经改变了。这非常核心。软件是人类编码知识的方式，是我们编码算法的方式。现在我们用完全不同的方式编码，这将影响一切。其他一切都将不同。我想我在对已经认同的人说这些，我们都看到了同样的东西。你们合作的所有初创公司、我合作的科学家和工程师，没有一个会被落下。我们要带所有人一起走。我认为，来自计算机科学界并看待所有其他科学领域，最令人兴奋的事情之一是：我现在可以去参加机器人学会议、材料科学会议、生物技术会议，我会说"哦，我懂这个"。不是懂科学的每个层面，而是懂驱动发现的方式——都是通用的算法，有一些普适的、统一的概念。绝对是的。我非常兴奋的是，我自己每天都在用它。我不知道你们怎么样，但它现在是我的导师。我学习任何东西都会先去找 AI。为什么要用笨办法学呢？直接去找 AI，直接去找 ChatGPT，或者有时用 Perplexity，取决于我问题的具体形式，然后我从那里开始学习。如果你愿意，你总是可以分叉出去，深入挖掘。但天哪，这太不可思议了。几乎我知道的每件事，我都会去复核，即使我知道那是事实，即使我认为它是 ground truth，即使我是专家，我还是会去找 AI 复核、再检查。这太棒了。我几乎做的每件事都涉及它。我觉得这是个很好的结束点。非常感谢你今天抽时间。真的很享受。很高兴见到你们。谢谢 Jensen。在 Twitter 上关注我们 @nopriorpod，如果你想看到我们的脸，订阅我们的 YouTube 频道。在 Apple Podcasts、Spotify 或任何你收听播客的地方关注本节目，这样你每周都能收到新节目。注册邮件或查找每一集的文字稿，请访问 no-pri...