Dwarkesh Podcast
Mark Zuckerberg —— Llama 3、100 亿美元模型、凯撒·奥古斯都与 1 GW 数据中心凯撒·奥古斯都、智能爆炸、生物武器、100 亿美元模型，以及更多精彩内容
Mark Zuckerberg 谈：定制芯片、合成数据，以及 scaling 的能源限制凯撒·奥古斯都、智能爆炸、生物武器、100 亿美元模型，以及更多精彩内容
(00:33:20) - AI 是有史以来最重要的技术吗？
(00:53:57) - 凯撒·奥古斯都与元宇宙
(01:04:53) - 将 100 亿美元模型开源与定制芯片
**Mark Zuckerberg：** 谢谢邀请我参加。我是你播客的忠实粉丝。
**Dwarkesh Patel：** 谢谢你这么说。我们先聊聊这次访谈发布时会同步推出的产品吧。跟我说说这些模型和 Meta AI。它们有什么新亮点和令人兴奋的地方？
**Mark Zuckerberg：** 我想，世界上大多数人首先会看到的就是新版 Meta AI。我们做的最重要的事就是模型升级。我们正在推出 Llama-3。我们既会把它作为开源版本提供给开发者社区，也会用它来驱动 Meta AI。关于 Llama-3 肯定还有很多细节可以聊，但归根结底，我们认为现在 Meta AI 是人们能使用的最智能的免费 AI 助手。我们还接入了 Google 和 Bing 来提供实时知识。我们会让它在我们的各款应用中更显眼。在 Facebook 和 Messenger 的顶部，你可以直接在那个搜索框里提问。我们还增加了一系列新的创作功能，我觉得非常酷，大家会喜欢的。动画功能就是个不错的例子。你基本上可以拿任何一张图片，然后让它动起来。有一个功能会让大家觉得很疯狂：现在它生成高质量图像的速度极快，实际上是在你打字的同时就实时生成并更新。所以你一边输入提示词，它一边在精准定位。比如你说"给我画一头牛，在田野里，背景是山脉，正在吃夏威夷果，喝着啤酒"，它就在实时更新画面。这非常疯狂。我觉得大家会喜欢这个。我想这就是世界上大多数人会看到的东西。我们正在逐步推出，不是全球同步，而是先从少数几个国家开始，接下来几周和几个月会扩展到更多地区。我觉得这会是一件大事，我非常兴奋能把它送到大家手中。这对 Meta AI 来说是向前迈进的一大步。但如果你想要深入了解技术细节，Llama-3 显然是最有意思的部分。我们在训练三个版本：80 亿参数的模型和 700 亿参数的模型，这两个今天发布；还有一个 4050 亿参数的 dense 模型，目前还在训练中。所以今天不会发布那个，但我对 8B 和 70B 的效果感到非常兴奋。它们在同等规模下处于领先地位。我们会发布一篇博客，列出所有 benchmark，大家可以自己去查看。显然它是开源的，所以人们有机会亲手试用。我们有一份后续新版本的路线图，将会带来多模态、更强的多语言能力，以及更大的 context window。希望今年晚些时候能推出 405B。就它目前的训练进度而言，MMLU 已经达到了大约 85 分，我们预计它会在一系列 benchmark 上取得领先成绩。我对这些都非常兴奋。700 亿参数的模型也很棒。我们今天发布它。它的 MMLU 大约在 82 分左右，在数学和推理方面都有领先分数。我觉得把它交到大家手中会非常震撼。
**Dwarkesh Patel：** 哦，有意思。我还是第一次听说它在这个 benchmark 上的表现。这太厉害了。
**Mark Zuckerberg：** 80 亿参数的版本几乎和我们发布的最大版 Llama-2 一样强。所以最小的 Llama-3 基本上和最大的 Llama-2 实力相当。
**Dwarkesh Patel：** 在深入探讨这些模型之前，我想先回溯一下时间线。我猜你是在 2022 年开始采购这些 H100 的，或者你可以告诉我具体时间。当时股价大跌。大家都在问这么多资本支出到底是怎么回事。人们不看好元宇宙。想必你花这些 capex 就是为了买这些 H100。你当时是怎么知道要买 H100 的？你怎么会知道自己需要这些 GPU？
**Mark Zuckerberg：** 我想是因为我们当时在搞 Reels。我们总是希望拥有足够的算力储备，去构建一些我们还看不清但即将出现的东西。我们在做 Reels 时陷入了一种境地：需要更多 GPU 来训练模型。这对我们的服务来说是一次重大进化。我们不再只是对关注的人或主页发布的内容进行排序，而是大力推进推荐所谓的"非关联内容"——也就是来自你未关注的人或主页的内容。我们可以展示给你的候选内容库从大约几千的量级扩展到了数亿量级。这需要完全不同的基础设施。我们开始着手建设，但基础设施跟不上，没能像我们期望的那样快速追上 TikTok 的步伐。我当时看着这个情况，心想："嘿，我们必须确保再也不陷入这种境地。所以我们得订购足够的 GPU 来做 Reels、内容排序和信息流所需的事。但干脆把这个数量再翻一倍。"同样，我们一贯的原则是：地平线之外总有我们还没看到的东西。我们以为那会与训练大模型有关。当时我觉得可能是与内容相关的东西。这就是经营公司的模式识别——总有下一件事。那时候我全身心投入想让 Reels 和其他内容的推荐系统跑通。这对现在的 Instagram 和 Facebook 来说是一个巨大的解锁：能够向用户展示来自他们甚至都没有关注的人的有趣内容。但事后看来，这最终被证明是一个非常正确的决定。而且这个决定源于我们曾经落后。并不是"哦，我看得多远"那种情况。实际上，我们做出的大多数最终看起来不错的决定，都是因为之前搞砸过，只是不想重蹈覆辙。这有点跑题了，不过既然聊到这里，我想顺便问问这个问题。我们过几秒再回到 AI 上。2006 年你没有以 10 亿美元卖掉公司，但想必总会有某个价格你是愿意卖的，对吧？你当时心里有没有盘算过，比如“我觉得 Facebook 当时的实际估值应该是这个数，他们其实没给到位”？如果他们出价 5 万亿美元，你当然会卖。那你当时是怎么考虑这个选择的？我觉得这种事很大程度上是个人化的。我不确定当时自己是否有足够的专业水平去做那种分析。身边有很多人在围绕 10 亿美元给出各种论证，比如“我们需要做到这样的营收、需要做到这样的规模，这显然是很多年以后的事。”那远远超出了我们当时的水平。我当时确实没有足够的财务分析能力去真正参与那种辩论。在内心深处，我相信我们正在做的事。我也做过一些分析，比如“如果我不做这个，我会去干什么？嗯，我真的很喜欢做东西，喜欢帮助人们沟通。我喜欢了解人们在想什么，以及人与人之间的互动。所以我觉得如果我把这家公司卖了，我也会再去开一家类似的公司，而且我还挺喜欢现在这一家的。那又何必呢？”我觉得人们下的很多最大赌注，往往只是基于信念和价值观。实际上，你很难通过分析去把未来的点连成线。你们做 Facebook AI Research 已经很久了。现在它似乎成了公司的核心。从什么时候起，打造 AGI——或者不管你如何定义这个使命——变成了 Meta 的一项关键优先事项？这很重要已经有一段时间了。我们大概在十年前创办了 FAIR。当时的想法是，在通往通用智能——或者不管你想怎么称呼它——的路上，会出现各种各样的创新，而这些创新会让我们做的所有事情都变得更好。所以我们并没有把它当成一个产品来看待，它更像是一个研究团体。在过去十年里，它创造了很多东西，改善了我们的所有产品。它推动了整个领域的发展，也让领域内的其他人做出了改善我们产品的成果。我觉得这很棒。过去几年显然发生了很大的变化，ChatGPT 出来了，图像生成领域的 diffusion models 也出来了。这些都是相当惊人的东西，而且很明显会影响到人们与市面上每一个应用的交互方式。就在那时，我们成立了第二个团队，也就是 gen AI 团队，目标是把这类技术融入我们的产品，并打造领先的 foundation models，为所有这些不同的产品提供动力。我们开始做这件事的时候，最初的理论是，我们要做的很多东西都相当偏社交。它帮助人们与创作者互动，帮助人们与商家互动，帮助商家卖货或做客服。还有基础的助手功能，不管是为我们的应用、智能眼镜还是 VR。所以一开始并不完全确定，你需要完整的 AGI 才能支持这些用例。但在所有这些细微之处，通过实际去做，我觉得事情已经变得很明显：你确实需要。比如，我们在做 Llama-2 的时候，并没有把编程能力放在优先位置，因为人们不会在 WhatsApp 里向 Meta AI 问很多编程问题。说实话，我不确定 WhatsApp、Facebook 或 Instagram 会是人们大量提问编程问题的界面。也许我们上线的 meta.ai 网站会。但过去 18 个月里有一个有些令人惊讶的结果是，原来编程能力对很多领域都很重要，不仅仅是编程本身。即便人们不问编程问题，用代码数据训练模型也能帮助它们在回答问题时变得更严谨，帮助它们在许多不同类型的领域进行推理。这就是一个例子：对于 Llama-3，我们非常注重用大量代码数据去训练它，因为这会让它在所有这些方面都变得更好，即便人们主要问的不是编程问题。推理是另一个例子。也许你想和创作者聊天，或者你是商家，正在试图与客户互动。这种互动不只是“对方发了一条消息，你回复一下”这么简单。它是一个多步骤的交互，你需要思考“我怎么才能完成这个人的目标？”很多时候客户来的时候，他们并不一定清楚自己到底在找什么，也不知道该怎么问问题。所以 AI 的工作其实不只是回答问题。你需要更整体性地去思考。这实际上变成了一个推理问题。所以如果别人解决了推理，或者在推理上取得了很大进展，而我们还在这里守着个基础的聊天机器人，那我们的产品相比别人做的东西就会显得很逊色。归根结底，我们基本上意识到，我们必须解决通用智能问题，于是我们加大了赌注和投资，确保我们能做到这一点。那么，能够为用户解决所有这些用例的 Llama 版本，会不会强大到足以取代你这栋楼里可能雇着的程序员？我只是觉得，所有这些东西都会是渐进式发展的。我觉得这个问题隐含了很多东西。我不确定我们是在取代人，不如说我们在给人们提供工具，让他们能做更多的事。
Llama-10 之后，这栋楼里的程序员效率会提高 10 倍吗？我希望不止 10 倍。我不认为人类存在单一的智能阈值，因为不同的人有不同的技能。我觉得在某一时刻，AI 很可能会在大多数这些事情上超越人类，具体取决于模型有多强大。但这个过程是渐进的，而且我不认为 AGI 是某一种单一的东西。你基本上是在不断增加不同的能力。多模态是我们现在关注的一个关键方向，最初是照片、图像和文本，但最终会扩展到视频。因为我们非常关注 metaverse，3D 类的东西也很重要。还有一个我非常关注的模态，但在业内没见到太多人关注，那就是情感理解。人类大脑中有相当多的部分是专门用来理解人、理解表情和情感的。我觉得这本身就是一个完整的模态，对吧？你可以说也许它只是视频或图像的一种，但它显然是这两者的一个非常专业的版本。所以除了让模型在推理和记忆方面大幅提升之外——记忆本身也是一整个独立课题——你还希望训练模型去专注于各种各样不同的能力。我认为未来我们不会主要把东西塞进一个查询的 context window 里去问更复杂的问题。会有不同的记忆存储，或者更个性化的定制模型。这些都是不同的能力。显然还有模型大小的问题，大的和小的我们都关心。如果你在运行像 Meta AI 这样的东西，那基本是基于服务器的。我们也想让它在智能眼镜上运行，而智能眼镜里没有多少空间。所以你需要一个对那个场景来说非常高效的模型。如果你要运行价值数百亿甚至最终上千亿美元的 inference，如果你要在工业规模上使用智能，那用例会是什么？是模拟仿真？是将要出现在 metaverse 里的 AI？我们的数据中心会用来做什么？我们的判断是，这基本上将改变所有产品。我认为将会出现一种 Meta AI 通用助手类产品。我觉得它会从更像聊天机器人的形态——你问一个问题，它组织答案——转变为你可以给它布置更复杂的任务，然后它自己去执行。这将需要大量的 inference，同时在其他方面也需要大量的 compute。此外，我认为与其他人的 agent 进行交互将成为我们工作的重要部分，无论是面向企业还是创作者。我的一个核心观点是，未来不会只有你与之交互的单一 AI。每家企业都会想要一个能代表自身利益的 AI。他们不会希望主要通过一个会向用户推销竞争对手产品的 AI 来与你互动。我认为创作者会是一个重要领域。我们的平台上大约有 2 亿创作者。他们基本上都有一个共同模式：希望与社区互动，但受限于一天只有那么几个小时。他们的社区通常也希望与他们互动，但社区并不知道他们的时间有限。如果你能做出一种产品，让创作者基本上拥有这个 AI，按自己的方式训练它，并用它与社区互动，我认为那会非常有影响力。所有这些领域都会产生大量的互动。这些只是消费者端的应用场景。我和妻子共同运营我们的基金会 Chan Zuckerberg Initiative。我们在科学领域开展了很多工作，显然会有大量 AI 工作推动科学、医疗保健等各个领域的发展。因此，它最终会影响到产品和经济的几乎每个领域。你提到了那种可以主动出去、为你执行多步骤任务的 AI。那是需要更大的模型吗？比如 Llama-4，是否还会有 70B 的版本，只是用正确的数据训练，然后就会非常强大？这个演进过程是什么样的？是 scaling 吗？还是模型尺寸不变，只是采用你之前提到过的不同 banks？我不确定我们现在是否知道答案。我觉得有一种模式正在显现：你先有一个 Llama base model，然后围绕它构建一些针对特定应用的代码。其中一部分是针对应用场景的 fine-tuning，但还有一部分是，例如，Meta AI 如何与 Google 或 Bing 等工具配合以引入实时知识的逻辑。这些并不是 Llama base model 的一部分。对于 Llama-2，我们做了一些这方面的工作，但更多是 hand-engineered 的。Llama-3 的一个目标，就是把更多这类能力融入模型本身。到了 Llama-3，当我们开始探索更多这类 agent-like 的行为时，我认为其中一部分又会变得更为 hand-engineered。而 Llama-4 的目标，是把更多这类能力进一步融入模型。在每一步中，你都能预感到下一步可能实现什么。你开始摆弄它、对它做各种 hack。我认为这有助于你磨练直觉，知道在下一代模型中应该尝试训练什么。这会让模型更通用，因为显然，任何手工编写的东西虽然能解锁一些应用场景，但本质上都是脆弱且不具备通用性的。你说“融入模型本身”，是指你用想让模型掌握的内容去训练它？你说的“融入模型本身”是什么意思？对于 Llama-2，tool use 是非常特定的，而 Llama-3 的 tool use 就好多了。我们不需要手工编写所有代码来让它调用 Google 去做搜索，它自己就能做到。代码编写与运行代码等方面也是如此。一旦你掌握了某种能力，你就能窥见下一步可以做什么。我们不一定非要等到 Llama-4 出现才开始构建这些能力，所以我们可以先 hack 一下。你做一些手工编写的工作，这至少能让产品在短期内变得更好。这也有助于指明方向，让我们知道在下一代模型中应该把什么能力构建进去。社区对 Llama-3 的 fine-tune 中，你最期待的是什么？也许不是对你最有用的那个，而是你个人最乐意把玩的那个。比如有人拿古代文献去做 fine-tune，然后你就能跟 Virgil 聊天之类的。你最期待什么？我觉得这类事情的本质就在于你会被惊喜到。任何我觉得特别有价值的具体方向，我们可能自己就去做了。我认为会出现 distilled 版本，也会出现更小的版本。有一点是，我觉得 8B parameters 对很多应用场景来说还不够小。随着时间的推移，我很希望能有一个 1-2B parameters 的模型，甚至 500M parameters 的模型，看看能用它做出什么。如果 8B parameters 就已经几乎能和最大的 Llama-2 模型媲美，那么一个 billion parameters 的模型应该也能做出有意思的东西，而且速度更快。它可以用于 classification，或者很多基础任务，比如理解用户查询的 intent，再将其输入给最强大的模型，以聚焦 prompt 应该是什么。我认为这是社区可以帮忙填补的一个方向。我们自己也在考虑着手做这类 distilling，但目前 GPU 都满载去训练 405B 了。所以你们有这么多 GPU。我记得你说过到今年年底会有 35 万块。那是整个 GPU fleet 的总数。我们建了两个——我想是 2.2 万或 2.4 万的 clusters——这些是用于训练大模型的单一集群，当然这也涵盖了我们做的很多其他工作。我们大量的资源都用于训练 Reels 模型、Facebook News Feed 和 Instagram Feed。Inference 对我们来说是个大事，因为我们服务的人数极其庞大。我们所需的 inference compute 与训练 compute 之比，可能比大多数做这事的公司都要高得多，纯粹是因为我们服务的社区规模太大。在他们之前分享给我的材料中，有一点非常有趣：你们使用的训练数据量超过了单纯从训练 compute optimal 角度所需的数据量。Inference 对你们和社区来说都极为重要，所以拥有这样一个内置了数万亿 tokens 的模型是合理的。不过有一点很有意思，即便是 70B 模型，我们原以为它会更快饱和。我们用了大约 15 万亿个 tokens 训练它。我猜我们一开始的预测是它会更早进入 asymptote，但即使到了训练末期，它仍在学习。我们本可以喂给它更多 tokens，它应该还能变得更好一些。经营一家公司时，你终究要面对这些 meta reasoning 问题：我要不要把 GPU 花在继续训练 70B 模型上？我们是否该抓紧推进，以便开始验证关于 Llama-4 的假设？我们必须做出抉择，我认为对于这个版本的 70B，我们取得了合理的平衡。未来还会有其他版本，比如接下来一段时间会推出的 70B multimodal 模型。但令人着迷的是，目前的架构居然能消化如此多的数据。这非常有趣。这对未来模型意味着什么？你提到 Llama-3 8B 比 Llama-2 70B 更强。不，不，它只是差不多强。我不想夸大，它们大致处在同一个数量级。那是否意味着 Llama-4 70B 会达到 Llama-3 405B 的水平？未来的趋势是什么样的？这是个大问题，对吧？我认为没人知道答案。世界上最难围绕其做规划的，莫过于指数曲线。它能持续多久？我认为它很可能会持续下去。投入数百亿甚至上千亿美元建设基础设施是值得的，并且假设这种趋势延续下去，你将会得到一些非常惊人的成果，进而打造出令人惊叹的产品。我不认为业内有谁能确切告诉你，它一定会以那种速度持续扩展。纵观历史，你通常会在某些节点遇到瓶颈。现在这方面投入了如此巨大的精力，也许这些瓶颈会很快被突破。我认为这是个有趣的问题。如果没有这些瓶颈，世界会是什么样子？假设进步就以目前的速度持续下去，这似乎是合理的。把视野放大，暂且不谈 Llama……
嗯，瓶颈会以不同形式出现。过去几年，我认为存在 GPU 产能的问题。即便是有钱购买 GPU 的公司，也未必能拿到想要的数量，因为存在各种供应限制。现在我认为这种情况正在有所缓解。因此你会看到许多公司正在考虑投入大量资金来建设这些设施。我认为这种情况还会持续一段时间。这里存在一个资本问题：到哪个节点，继续投入资本就不再划算？实际上我认为，在触及那个临界点之前，你就会遇到能源限制。我想还没有人建成过千兆瓦级别的单一训练集群。你会遇到这些在现实世界中推进起来更慢的事情。获得能源许可是一项受到严格监管的政府职能。从软件领域来看，它也存在一定的监管，而且我认为它的监管程度比科技界许多人感受到的还要严格。显然，如果你创办的是一家小公司，感受可能会有所不同，也许感受没那么深。我们与不同的政府和监管机构打交道，在全球各地都需要遵守大量规则，并确保我们妥善应对。但能源问题则是毫无疑问的。如果你说的是建设大型新电厂或大规模扩建，然后还要建设跨越其他私有或公共土地的输电线路，那就是一件受到严格监管的事。这涉及多年的筹备周期。如果我们想要建立某种大规模设施，为其供电是一个非常长期的项目。我认为人们会去做，但我不认为这能像变魔术一样——只要达到某个 AI 水平，获得一大笔资金并投入进去，然后模型就会突然……一路上你确实会遇到不同的瓶颈。有没有某个项目，也许与 AI 相关，也许不相关，是像 Meta 这样的公司都没有资源去做的？就是如果你的研发预算或资本支出预算是现在的 10 倍，你才能去推进的项目？某个你一直放在心上，但以 Meta 目前的状况，连发行股票或债券都凑不够资金的项目？也就是比你的预算大出 10 倍的项目？我认为能源是其中一个因素。如果我们能获得足够的能源，我们很可能会建造比现在更大的集群。从根本上说，这在极限情况下是受资金限制的？如果你有 1 万亿美元……
我认为是时间的问题。这取决于指数曲线能延伸多远。目前很多数据中心的规模在 50 兆瓦或 100 兆瓦左右，大型一点的可能是 150 兆瓦。拿一整个数据中心，填满训练所需的所有设备，建成你能建的最大集群。我想有许多公司正在做类似的事情。但当你开始建设 300 兆瓦、500 兆瓦或 1 千兆瓦的数据中心时，还没有人建成过 1 千兆瓦的数据中心。我认为这会发生，这只是时间问题，但明年不可能实现。其中一些事情需要数年才能建成。换个角度来说，我认为 1 千兆瓦相当于一座颇具规模的核电站，而这么大规模的电力仅仅用于训练一个模型。
Amazon 不是已经做了吗？他们有一个 950 兆瓦的——
我不太确定他们做了什么。你得去问他们。但不一定非要在同一个地方，对吧？如果分布式训练可行，那就可以分布式进行。嗯，我认为这是一个大问题，具体如何运作还不好说。未来，我们所谓的大模型训练，很可能更多地会偏向 inference 生成合成数据，再将这些数据输入模型。我不知道这个比例会是多少，但我认为在今天，生成合成数据更像是 inference 而非 training。显然，如果你这样做是为了训练模型，那它属于更广泛训练过程的一部分。所以这仍是一个开放性问题，即两者之间的平衡以及具体如何演变。这种情况是否也可能适用于 Llama-3，以及也许从 Llama-4 开始往后的版本？也就是说，你们发布了模型，如果某个人或机构拥有大量算力，他们就可以利用你们发布的模型不断让这些系统变得任意地更聪明。假设某个国家，比如科威特或阿联酋，拥有大量算力，他们实际上就可以用 Llama-4 造出聪明得多的东西。我确实认为会出现这样的动态，但我也认为模型架构本身存在根本性限制。我认为像我们基于 Llama-3 架构训练的 70B 模型可以变得更好，可以持续进步。正如我所说，我们觉得如果继续给它喂更多数据，或者把高价值的 token 再轮一遍，它就会继续提升。我们看到全球有许多公司基本上拿了 Llama-2 70B 的模型架构，然后构建出新模型。但当你对 Llama-3 70B 或 Llama-3 405B 做出代际改进时，今天开源领域还没有能与之比肩的东西。我认为这是一个大的 step function。人们在此基础上能建造的东西，我认为不可能从那里无限延伸下去。在达到下一个 step function 之前，可以有一些优化空间。让我们跳出具体模型，甚至跳出获取能源审批所需的多年筹备周期这类问题，把视野放大一点。从大图景来看，未来这几十年 AI 会走向何方？它感觉上像是元宇宙或社交那样的又一项技术，还是感觉像是人类历史进程中某种根本不同的东西？我认为它将是非常根本性的。我认为它更像是计算机本身的诞生。你会得到各种全新应用，就像当初有了互联网或手机时一样。人们基本上会重新思考所有这些体验，因为许多过去不可能的事情变得可能了。所以我认为这会发生，但我认为这是一种更为底层的基础性创新。我的感觉是，它更像是人类从没有计算机走向拥有计算机的过程。很难准确推断这一切会如何发展。从宇宙尺度来看，这显然会很快发生，大概就在几十年左右。有一些人担心它会真的失控，从某种程度上说还算智能一夜之间变成极其智能。我只是认为存在种种物理约束，使得那种情况不太可能发生。我不太认为会出现那种局面。我认为我们会有时间去逐步适应。但它确实会彻底改变我们的工作方式，并赋予人们各种创造性工具去做不同的事情。我认为它将真正让人们能够更多地去做自己想做的事。所以，也许不是一夜之间，但从宇宙尺度来看，你是否认为我们可以这样看待这些里程碑？人类进化，然后 AI 出现，然后他们走向银河系。也许需要几十年，也许需要一个世纪，但这是否就是当下历史正在发生的宏大图景？我的意思是，虽然还有其他技术，比如计算机，甚至火，但 AI 本身的发展与人类最初的进化一样具有重大意义。我觉得这很难讲。人类的历史，基本上就是人们一直认为人性的某些方面在各种意义上非常独特，然后才逐渐接受事实并非如此，但人类实际上依然非常特别。我们曾以为地球是宇宙的中心，事实并非如此，但人类依然非常了不起、非常独特，不是吗？我认为人们容易持有的另一个偏见是，觉得智能在某种意义上与生命本质相连。但其实这一点并不明确。我不确定我们对 consciousness 或生命的定义是否足够清晰，足以充分审视这个问题。有很多科幻作品描绘创造智能时，它会开始表现出各种类人行为之类。但目前这一切的形态给人的感觉是，它正朝着一个方向发展：智能可以与 consciousness、agency 等事物相当程度地分离，而这恰恰让它成为一种极具价值的工具。显然，很难预测这东西随着时间会向什么方向发展，正因如此，我认为任何人都不应在开发计划或行动方案上采取教条主义态度。你需要随每一次发布来审视它。我们显然非常支持 open source，但我并未承诺会发布我们所做的每一件事。我基本上倾向于认为，open source 对社区有好处，对我们也有好处，因为我们将从创新中受益。然而，如果在某个时刻，这东西的能力发生了某种 qualitative change，而我们认为将其 open source 是不负责任的，那我们就不会这么做。一切都很难预测。具体是什么样的 qualitative change——比如你正在训练 Llama-5 或 Llama-4 时，如果你看到了它，会让你觉得“你知道吗，我不确定要不要 open source 它”？抽象地回答这个问题有点难，因为任何产品都可能表现出负面行为，只要你能加以缓解，那就没问题。社交媒体也有弊端，我们会努力去缓解。Llama-2 也有不好的方面，我们花了很多时间试图确保它不会帮助人们实施暴力行为之类。这并不意味着它是一种自主的或智能的 agent。只是意味着它学到了很多关于世界的知识，能够回答一系列我们认为由它来回答并不合适的问题。我认为关键问题不在于它会表现出什么行为，而在于它表现出某种行为之后，有哪些后果是我们无法缓解的。我认为事物可以变好或变糟的方式非常多，很难事先全部列举出来。看看我们在社交媒体以及不同类型的危害方面不得不应对的问题。我们基本上已经梳理出了大约 18 或 19 类有害行为，并且构建了 AI 系统来识别这些行为，尽可能确保它们不会在我们的网络上发生。随着时间的推移，我认为你也能将其拆解成更系统的 taxonomy。这也是我们花时间研究的事情，因为我们希望确保自己理解这一点。在我看来，这会是个好主意。如果未来 AI 系统没有得到广泛部署、并非人人可用，我会感到失望。同时，我也想更好地理解这些缓解措施。如果缓解措施就是 fine-tuning，那么 open weights 的全部问题在于，你可以移除 fine-tuning，而它往往只是附着在这些能力之上的一层表层东西。如果它像是在 Slack 上和一位生物研究员对话……我认为模型离这还很远。现在它们就像 Google search。但如果我能给它看我的培养皿，它能解释为什么我的天花样本没有生长，以及该怎么调整，你要怎么缓解这种风险？因为有人完全可以把这一点 fine-tune 进去，对吧？确实。我认为大多数人基本上会使用现成的 off-the-shelf 模型，而某些心怀恶意的人则会试图剥离所有不良内容。所以我认为这确实是个问题。但另一方面，我在理念上如此支持 open source 的原因之一是，我确实认为未来 AI 的集中化有可能和它被广泛传播一样危险。很多人在思考的问题是：“如果我们能做到这些事，让它流落到外界、广泛传播是不是坏事？”我认为另一个角度是，让某个机构拥有一套远比其他所有 AI 都强大的系统，这可能也相当糟糕。我想到一个安全方面的类比。很多东西都存在大量安全漏洞。如果你能回到一两年前的过去，比如说你比别人多掌握一两年关于安全漏洞的知识，你几乎能黑进任何系统。那可不是 AI。所以，相信一个非常智能的 AI 很可能能够发现一些漏洞，并且就像那个能穿越回一两年前的普通人一样，攻破所有这些系统——这并不算牵强。那么我们作为一个社会是如何应对的呢？很重要的一点是 open source software，它使得软件的改进不会被卡在某一家公司的产品里，而是能被广泛部署到许多不同的系统中，无论是银行、医院还是政府设施。随着软件被加固——因为更多人能看到它、更多人能测试它——这些东西的运行方式就会形成标准。整个世界就能相当迅速地同步升级。我认为，在一个 AI 被非常广泛部署、并且随着时间推移逐步被加固的世界里，各种系统在某种程度上会相互制衡。这在我看来，从根本上就比 AI 更加集中的世界要更健康。所以各方都存在风险，但我认为这是一种人们谈论得不那么多的风险。AI 系统作恶是一种风险。但我晚上睡不着的，更多是担心某个不可信的参与者拥有超级强大的 AI，无论是一个敌对政府还是一家不可信的公司之类的。我认为那潜在的风险可能要大得多。你是说，他们可能推翻我们的政府，因为他们拥有别人都没有的武器？或者只是制造大量混乱。我的直觉是，这些东西最终在经济、安全以及其他方面都会非常重要和有价值。如果你不信任的人或对手拿到了更强大的东西，我认为那就会是个问题。缓解这种情况的最佳方式，可能是让优秀的 open source AI 成为标准，并在很多方面成为引领者。这能确保竞争环境更加公平和平衡。这在我听来是合理的。如果真能实现，那将是我更偏好的未来。但我想从机制层面理解，世界上存在 open source AI 系统这一事实，究竟如何阻止某人用他们的 AI 系统制造混乱？举个具体的例子，如果有人带着生物武器来了，是否仅仅是因为世界其他地方会开展大量研发，很快就能研制出疫苗？到底是怎么回事？如果拿我提到的安全问题来说，我认为用较弱的 AI 去攻击由更强的 AI 保护的系统，成功率会更低。就软件安全而言——
我们怎么知道世界上所有事都是这样？万一生物武器不是这样呢？我的意思是，我并不确定世界上所有事都是这样。生物武器是那些对此最为担忧的人重点关注的领域之一，我认为这非常合理。有一些缓解措施。你可以尝试不把某些知识训练进模型。有不同的做法，但在某种程度上，如果你遇到一个足够恶劣的行为者，而又没有其他 AI 能够制衡他们、理解威胁所在，那就会构成风险。这是我们需要警惕的事情之一。在部署这些系统的过程中，你有没有可能遇到这样的情况：你在训练 Llama-4，它对你撒了谎，因为它以为你没注意到之类的，然后你会想“哇，这是怎么回事”？这在 Llama-4 这类系统上可能不太会发生，但你能想象到类似的情况吗？那种你会对欺骗性深感担忧、而数十亿份副本又流传在外的情况？我的意思是，现在我们看到了很多幻觉。更多的是这种情况。如何区分幻觉和欺骗，我认为这是个有趣的问题。有很多风险和事情需要考虑。至少在我经营公司时，我试图在这些长期的理论风险与我认为当今实际存在的、相当真实的风险之间取得平衡。所以当你谈到欺骗时，我最担心的形式是人们利用 AI 生成虚假信息，然后通过我们的网络或其他渠道大量传播。我们对抗这类有害内容的方式，是构建比对抗方更聪明的 AI 系统。这也构成了我相关理论的一部分。如果你看看人们通过社交网络实施或试图实施的不同类型的伤害，有些并不具有很强的对抗性。例如，仇恨言论就不算特别有对抗性，因为人们并不会在种族歧视这件事上越来越“精进”。在这方面，我认为 AI 总体上比人类进步得更快、变得越来越精密复杂。而我们在两方面都有问题。人们会做坏事，无论他们是在试图煽动暴力还是做别的什么，但我们也存在大量误报，基本上会审查掉不该审查的内容。我想这理所当然会让很多人恼火。因此，我认为让 AI 在这方面变得越来越精准，长期来看会是好事。但让我再举一个例子：国家试图干预选举。这是一个他们绝对拥有尖端技术、而且绝对每年都在进步的领域。所以我们封锁了某种技术，他们就会摸清我们的路数，然后用另一种技术来攻击我们。这不像某个人试图说些刻薄话，他们是有目标的。他们很老练。他们拥有大量技术。在这些情况下，我仍然认为关键在于让我们的 AI 系统在精密复杂程度上比对方的提升得更快。这是一场军备竞赛，但我认为目前至少在这场竞赛中我们是领先的。这是我花很多时间思考的内容。是的，无论是 Llama-4 还是 Llama-6，我们都需要关注我们正在观察到的行为，而且这不仅仅是我们自己在做。选择将其开源的部分原因在于，还有很多其他人也在研究这个问题。所以我们希望看到其他人在观察什么、我们在观察什么、我们能够缓解什么，然后我们会就是否可以将其开源做出评估。在可预见的未来，我乐观地认为我们能够做到。在短期内，我不想让我们忽视当下人们试图利用模型做的真正坏事。即使它们不是生存性的威胁，也存在相当严重的日常伤害，而我们在运营服务的过程中对此并不陌生。这实际上也是我们不得不花大量时间应对的事情。我觉得合成数据这件事非常有趣。对于当前的模型来说，反复使用合成数据可能会遇到渐近线，这是说得通的。但假设模型变得更聪明了，而你又使用了你在论文或发布当天会出的博客文章中谈到的那些技术——也就是让它指向最正确的思维链。你为什么认为这不会导致一个循环：它变得更聪明，产出更好的结果，然后又变得更聪明，如此往复。当然这不是一夜之间发生的，但在许多个月或多年的训练过程中，如果用的是更聪明的模型，是有可能发生的。我认为在特定模型架构的参数范围内是有可能的。只是以今天 80 亿参数的模型来看，我不认为你能达到最先进的、数千亿参数模型的水平，因为后者会将新的研究融入架构本身。但那些也会开源，对吧？嗯，是的，取决于我们刚才讨论的所有问题，但没错。我们希望情况会如此。但我认为在每一个节点上，当你构建软件时，你可以用软件做很多事情，但在某种程度上你会受到运行它的芯片的限制。所以总会有不同的物理约束。模型能做多大，会受到你能获得并用于推理的能源有多少的限制。我一方面非常乐观地认为这些技术会继续快速改进，另一方面又比一些人对此更为审慎。我不认为失控的情况是特别可能发生的。我认为保留选择权是明智的。我们不知道的太多了。有一种情况是，保持力量平衡非常重要，这样就不会有人成为极权独裁者。也有一种情况是，你不想开源架构，因为中国可以利用它来追赶美国的 AI，然后发生智能爆炸，他们赢了。很多事情看起来都是可能的。考虑到所有这些可能性而保留选择权，似乎是合理的。我们聊点别的吧。Metaverse。人类历史上哪个时期你最感兴趣想去看看？从公元前十万年到现在，你就是想看看那是什么样的？我对美国历史和古典历史非常感兴趣。我对科学史也很感兴趣。实际上，我认为去见证并试图更多了解一些重大进步是如何发生的，会很有意思。关于其中一些事情，我们现有的文字记录相当有限。我不确定 Metaverse 能否让你做到这一点，因为对于没有记录的事情，很难回溯过去。我其实不太确定回溯时间会是一件多么重要的事。我觉得对于历史课之类的场景它会挺酷的，但这可能并不是我对 Metaverse 整体最感到兴奋的用例。核心在于，无论身处何地，都能与他人感受到彼此同在。我认为这将是极具颠覆性的。在我们刚才关于 AI 的讨论中，很大程度上涉及的是底层物理限制。我认为科技的一大教训是，要尽可能把事物从受物理限制的领域迁移到软件中，因为软件更容易构建和迭代。你可以让它更加普及，因为不是人人都能拥有数据中心，但很多人可以写代码，获取 open source 代码并加以修改。而在 metaverse 中的体现，就是实现逼真的数字临场感。这将带来巨大的改变，让人们不必事事都非得亲身聚在一起。当然，我认为面对面相处确实有其独特优势。这些并不是非此即彼的，不会变成“好吧，以后你就不需要那样了”。但总体而言，我觉得它在社交、保持人际连接、工作、部分产业、医疗等众多领域都将产生巨大威力。我想回到你在这场对话开头提到的一点。你当年没有以十亿美元卖掉公司。而在 metaverse 这件事上，即便市场因此猛烈抨击你，你也清楚自己一定要做下去。我很好奇，这种敏锐判断力的根源是什么？你说“哦，是价值观，我有这种直觉”，但人人都这么说。如果必须说一个专属于你的特质，你会如何形容？为什么你对 metaverse 如此笃定？我觉得这是两个不同的问题。驱动我的力量是什么？我们已经聊过不少相关主题。我就是喜欢造东西。我尤其喜欢围绕人们的沟通方式、表达自我的方式以及工作方式来做东西。大学时我学的是计算机科学和心理学。我想行业里很多人只学了计算机科学。所以对我而言，一直是这两者的交叉。这也是一种非常深层的驱动力。我不知道该怎么解释，但我天性使然，觉得如果不去做些新东西，就是在做错事。即便当初我们在为投资 1000 亿美元到 AI，或是为 metaverse 投入巨额资金做商业论证时，我们手头有方案能证明，如果事情做成，这会是一笔好投资。但你一开始不可能百分之百确定。和顾问或其他人讨论时，总会有争论：“你怎么能这么有信心？”好吧，如果我停止尝试造新东西的那一天，我就完了。我会去别的地方继续造新东西。我根本无法在经营任何事物、或在个人生活中，不去尝试造些我觉得有趣的新东西。我们是否要对下一个大东西放手一搏，这对我来说甚至不是问题。我就是做不到不去这样做。没办法。我生活的方方面面其实都这样。我们全家在 Kauai 建了一个牧场，我参与了所有建筑的设计。我们开始养牛，然后我就想：“行，我要养出全世界最好的牛，那我们要怎么架构这件事，才能搞清楚并搭建起所有需要的东西来尝试实现目标。”我也不知道，这就是我。你问题的另一部分是什么？我也不确定，但我其实对另一件事很好奇。19 岁的 Mark 在高中和大学读了很多古代史和经典著作。你从中学到了什么重要的教训？不只是你觉得有趣的地方，而是因为到 19 岁时，你消费的 token 其实没那么多，其中很大一部分都花在了经典上。这显然在某种程度上很重要。到 19 岁消费的 token 没那么多……这是个好问题。有一件事我觉得特别迷人。奥古斯都登基后试图建立和平。当时人们根本没有“和平”这个概念。人们对和平的理解是，和平只是敌人 inevitably 再次来袭前的短暂间歇，也就是你能喘口气。他提出了一种观点，要把经济从雇佣兵式和军国主义式的体系，转变为一种真正的正和博弈。这在当时是非常新奇的想法。这是非常根本的一点：人们在特定时期对合理行事方式的想象是有边界的。这同样适用于 metaverse 和 AI。很多投资人和其他人都无法理解我们为什么要 open source。他们会说：“我不明白，这是 open source，所以这肯定只是你们把东西变成专有模式之前的临时阶段，对吧？”我认为科技领域有一个非常深刻的道理：open source 实际上能造就很多赢家。我不想过度引申这个类比，但我确实认为，很多时候存在一些做事的模式，是人们根本无法想通的。他们无法理解为什么有人会去做这种事，或者为什么那会是世界的合理状态。我觉得，合理的可能性比人们想象的更多。这太有意思了。我能说说我觉得你可能从中学到了什么吗？可能完全不对，但我觉得重点是，那些在帝国中担任重要角色的人有多年轻。比如凯撒·奥古斯都，到 19 岁时，他已经是罗马政治中最重要的人物之一了。他在指挥战役，组建 Second Triumvirate。我好奇 19 岁的你是否在想：“凯撒·奥古斯都能做到，我也能做到。”
这是个有趣的例子，无论从世界史还是美国史来看都是如此。我最喜欢的一句话是 Picasso 说的：所有孩子都是艺术家，难点在于长大后仍然是艺术家。年轻时，产生天马行空的想法要容易得多。无论是对个人生活还是对公司或你创建的东西，都存在很多 innovator's dilemma 的类比。你处于轨迹的更早期，所以更容易转向、接纳新想法，而不会打乱对其他事物的既有承诺。我觉得这是经营公司的一个有趣维度：如何保持活力？我们回到投资人和 open source 的话题。那个耗资 100 亿美元的模型，假设它完全安全。你们已经完成了评估，而且与这次情况不同，评估者也能对模型进行 fine-tune，希望未来的模型能做到这一点。你会 open source 这个耗资 100 亿美元的模型吗？但真的会吗？100 亿美元的研发投入，然后就 open source 了？这也是一个问题，我们需要随着时间推移来评估。我们在 open source 软件方面有很长的历史。但我们通常不会 open source 我们的产品。我们不会把 Instagram 的代码拿出来 open source。我们会把很多底层基础设施拿出来 open source。我们历史上最重大的可能是 Open Compute Project，我们把所有服务器、网络交换机和数据中心的设计都 open source 了，结果非常有帮助。虽然很多人都能设计服务器，但整个行业最终以我们的设计为标准，这意味着供应链基本上围绕我们的设计建立起来了。规模上去了，成本对每个人都降低了，也为我们节省了数十亿美元，这太棒了。开源对我们可能有多种帮助。其一，如果有人能想出如何更便宜地运行这些模型。我们在这整件事上最终可能要花费数百亿甚至上千亿美元。因此，如果我们能把效率提升 10%，就能省下数十亿甚至上百亿美元。这本身可能就价值巨大。尤其是市面上已经存在其他有竞争力的模型，我们这么做并不会让出什么疯狂的优势。那你的观点是，训练会被商品化吗？我认为这事有多种可能的发展方向，商品化只是其中之一。“商品化”意味着它会变得非常便宜，因为选择很多。另一个可能的方向是质量上的提升。你提到了 fine-tuning。目前，对市面上其他主要模型进行 fine-tuning，能做的还很有限。确实有一些选择，但通常不适用于最大的模型。能够做这件事——针对不同应用或不同使用场景进行微调，或者将它们整合进特定的工具链——我认为这不仅能带来更高效的开发，还可能催生出本质上不同的东西。这里可以做一个类比。我觉得移动生态系统有一个普遍很糟糕的地方，就是有两家 gatekeeper 公司，Apple 和 Google，它们能决定你可以做什么产品。一种是经济层面的，比如我们做了东西，它们就直接抽走你一大笔钱。但还有一种是质量层面的，这实际上更让我恼火。有很多次，我们发布或者想发布某个功能时，Apple 直接说“不，你不能上”。这很糟糕，对吧？所以问题是，AI 世界会不会也变成那样？会不会有少数几家运营闭源模型的公司控制 API，从而决定你能做什么？对我们而言，我可以明确说，值得我们自己从头去建一个模型，以确保我们不会陷入那种境地。我不想让其他任何公司来告诉我们可以做什么。从开源的角度看，我认为很多开发者也不想被那些公司限制能做什么。所以问题在于，围绕这一点会构建出什么样的生态？会出现哪些有趣的新事物？这能在多大程度上改进我们的产品？我觉得在很多情况下，如果这最终变得像我们的数据库、缓存系统或架构一样，我们会从社区获得宝贵的贡献，让我们的东西变得更好。而我们在应用层面的工作仍然会极具差异化，所以其实没什么关系。我们能继续做我们该做的事。我们会受益，所有系统——无论是我们的还是社区的——都会因为开源而变得更好。也存在一种可能，情况并非如此。也许模型本身最终就是产品。那样的话，是否开源就成为一个更复杂的经济考量。你基本上是在让自己商品化。但据我目前所见，我们似乎还没有进入那个阶段。你预期会通过向云服务商授权模型来获得可观收入吗？就是说，他们如果要实际提供这个模型，必须向你支付费用。我们希望有这样的安排，但我不确定会有多可观。这基本上就是我们的 Llama 许可证。在很多方面，它是一份非常宽松的开源许可证，只不过我们对使用它的最大型公司设了限制。这就是我们设立限制的原因。我们并不是要阻止它们使用，我们只是希望，如果它们打算直接把我们做的东西拿去转售并从中获利，那它们应该先来跟我们谈谈。如果你是 Microsoft Azure 或 Amazon 这类，如果你要转售这个模型，那我们应该从中获得一部分收入。所以去做之前先跟我们谈谈。目前就是这么运作的。所以对于 Llama-2，我们基本上已经和所有这些主流云公司达成了协议，Llama-2 在所有这些云上都作为托管服务提供。我预计，随着我们发布越来越大的模型，这会变得更重要。这不是我们的主要业务，但我认为，如果那些公司要售卖我们的模型，我们理应以某种方式分享其中的收益，这是顺理成章的。关于开源的其他风险，我认为你提到的权力平衡问题，以及因为我们有更好的 alignment 技术等原因可以消除的潜在危害，确实有合理之处。我希望 Meta 能有一套某种框架。其他实验室就有这样的机制，它们会说“如果我们看到了这个具体的情况，那就不能开源，甚至可能不能部署”。把它白纸黑字写下来，这样公司能有所准备，人们对此也会有预期，等等。这在存在性风险方面是个公允的观点。目前我们更关注当下就能看到的风险类型，更多是内容风险。我们不希望模型被用来帮助人们实施暴力、欺诈，或以各种方式伤害他人。虽然讨论存在性风险可能在智识上更有趣，但我实际上认为，真正需要投入更多精力去缓解的伤害，是那些有人拿着模型去做伤害他人的事。就现有模型而言，而且我猜测下一代、甚至下下代模型也是如此，我们目前看到的更多是这类更日常的危害，比如人们互相欺诈之类的事情。我只是不想忽视这一点。我认为我们有责任确保把这方面的工作做好。
Meta 是大公司，你们两边都能兼顾。说到开源，我其实很好奇，你认为开源的影响——从 PyTorch、React、Open Compute 等等来看——对世界的意义，是否甚至比 Meta 的社交媒体业务还要大？我跟一些使用这些服务的人聊过，他们觉得这是有可能的，因为互联网的很大一部分都运行在这些东西之上。这是个有趣的问题。我的意思是，世界上近一半人都在用我们的消费级产品，这很难被超越。但我认为开源作为一种新的构建方式，真的非常强大。我觉得是有可能的。这可能有点像 Bell Labs，他们研究晶体管是为了实现长途通话。他们做到了，而且长途通话也确实给他们带来了巨大利润。如果在那之后的 5 到 10 年问他们，最有用的发明是什么，他们可能会说“我们实现了长途通话，现在所有人都在打长途电话”。但如果一百年后再问，答案也许就不一样了。我觉得我们正在做的很多东西都是如此：Reality Labs、一些 AI 项目、一些开源项目。具体的产品会演变，在某种程度上也会来来去去，但为人类带来的进步会持久留存，这正是我们所做之事中很酷的一部分。
Llama 模型大概什么时候会用你们自研的芯片来训练？快了，但不是 Llama-4。我们采取的策略是，先研发能处理排序和推荐类推理任务的定制芯片，比如 Reels、News Feed 广告等等。这些任务过去消耗了大量 GPU。当我们把这部分迁移到自己的芯片上后，现在那些更昂贵的 NVIDIA GPU 就可以只用来训练了。未来某个时候，希望我们也能有自己的芯片，一开始先用来训练一些相对简单的东西，最终再用来训练这些真正的大模型。与此同时，我想说这个项目进展相当顺利，我们只是在按部就班地推进，并且已经制定了长期路线图。最后一个问题。这个问题完全出乎意料。如果让你担任 Google+ 的 CEO，你能让它做起来吗？
Google+？唉。我不知道。这是一个非常难回答的反事实假设。好吧，那真正的最后一个问题是：Gemini 发布的时候，办公室里有没有可能有人说过“Carthago delenda est”？没有，我觉得我们现在更温和了。这是个好问题。问题在于，Google+ 就没有 CEO。它只是公司内部的一个部门。你之前问过我什么是最稀缺的资源，但你是从美元的角度问的。实际上，我认为对于至少这种规模的大多数公司来说，最稀缺的是专注力。当你还是初创公司的时候，可能更受资本限制。你只在做一个想法，可能还没有充足的资源。但随着你所做事情的性质变化，你会在某个时刻跨过某个门槛。你在同时构建多个东西，跨项目创造更多价值，但你在能够推动哪些事情顺利发展上会受到更多限制。组织里总会发生一些随机又很棒的事，而我甚至都不知道。这些很棒。但总的来说，我认为组织的能力在很大程度上受限于 CEO 和管理团队能够监督和管理的事务。这一点一直是我们非常关注的。正如 Ben Horowitz 所说，“keep the main thing, the main thing”，要努力专注于你的核心优先事项。太棒了，说得非常好，Mark。非常感谢。这次访谈非常愉快。