Dwarkesh Podcast Dario Amodei——"我们正接近指数增长的尾声""这就是我发出紧迫讯息的原因" Dwarkesh Patel，2026 年 2 月 13 日
Dario Amodei 认为，我们距离"数据中心里的天才之国"只有几年之遥。在本期节目中，我们讨论了：在当前的强化学习（RL）范式下该如何看待规模化假说（scaling hypothesis）、AI 将如何在经济中扩散、考虑到 Anthropic 的时间线他们是否在算力上投入不足、前沿实验室到底要怎么赚钱、监管是否会毁掉这项技术的红利、美中竞争，以及更多话题。可在 YouTube 观看；在 Apple Podcasts 或 Spotify 收听。
Labelbox 可以为你提供所需的 RL 任务和环境。他们庞大的领域专家网络确保了各领域的真实性，他们的自研工具让他们能持续调整任务难度以优化学习效果。请通过 labelbox.com/dwarkesh 联系。
Jane Street 又给我出了一道谜题……这次，他们在 3 个不同的语言模型里训练了后门——他们要你找出触发器。Jane Street 甚至不确定这是否可能，但他们为最佳尝试和报告准备了 50,000 美元。提交截止到 4 月 1 日，网址 janestreet.com/dwarkesh。
Mercury 的个人账户让你可以轻松与伴侣、室友……或者 OpenClaw 共享财务。上周我想亲自试试 OpenClaw，于是我用 Mercury 开了一张设有小额消费限制的虚拟借记卡，然后放手让我的智能体去干。无论你的用例是什么，请在 mercury.com/personal-banking 申请。
(00:00:00) - 我们到底在规模化什么？ (00:29:42) - 持续学习是必要的吗？ (00:46:20) - 如果 AGI 迫在眉睫，为什么不买更多算力？ (00:58:49) - AI 实验室究竟要如何盈利？ (01:31:19) - 监管会毁掉 AGI 的红利吗？ (01:47:41) - 为什么中国和美国不能各自拥有一个数据中心里的天才之国？
00:00:00 - 我们到底在规模化什么？
Dwarkesh Patel：我们三年前谈过一次。在你看来，过去三年里最大的认知更新是什么？当时的感觉和现在的感觉，最大的差别在哪里？
Dario Amodei：总体来说，底层技术的指数增长走势和我预期的大致相符。这里那里会有正负一两年的出入。我不敢说我当时预测到了代码这个具体方向。但当我看这条指数曲线时，它与我的预期大致吻合：模型从聪明的高中生，到聪明的大学生，再到开始做博士和专业人士级别的工作，而在代码领域甚至超出了这个水平。前沿有一点参差不齐，但大体上是我预期的样子。最让我惊讶的，是公众对"我们离指数增长的尾声有多近"缺乏认知。对我来说，简直不可思议的是，无论圈内还是圈外，人们还在谈论那些陈旧的、老一套的热点政治议题，而我们已经接近指数增长的尾声了。
Dwarkesh Patel：我想弄清楚这条指数曲线现在是什么样子。三年前我们录节目时，我问你的第一个问题是"规模化是怎么回事，它为什么有效？"现在我有一个类似的问题，但感觉更复杂了。至少从公众的角度看，三年前存在众所周知的公开趋势，横跨许多个数量级的算力，你能看到损失函数（loss）如何改善。现在我们有了 RL 规模化，而它没有公开已知的规模化定律（scaling law）。甚至连叙事是什么都不清楚。这是在教模型技能吗？还是在教元学习（meta-learning）？现在的规模化假说到底是什么？
Dario Amodei：我其实还是抱着我早在 2017 年就有的那个假说。我记得上次谈过，我写过一份文档，叫《算力大团块假说》（The Big Blob of Compute Hypothesis）。它并不是专门讲语言模型的规模化。我写它的时候，GPT-1 才刚出来。那只是众多方向之一。那个年代还有机器人学。有人试图把推理当作独立于语言模型的东西来研究，还有 AlphaGo 和 OpenAI 的 Dota 里那种 RL 的规模化。大家还记得 DeepMind 的 StarCraft 项目，AlphaStar。那份文档写得比较泛。Rich Sutton 几年后发表了《苦涩的教训》（The Bitter Lesson）。假说基本上是一样的。它说的是：所有那些小聪明、所有技巧、所有"我们需要一种新方法来做某事"，都没那么重要。真正重要的只有少数几样东西。我记得我列了七条。第一是你有多少原始算力。第二是数据的数量。第三是数据的质量和分布。它需要是一个宽泛的分布。第四是你训练多久。第五是你需要一个能一路规模化到天上去的目标函数。预训练目标函数是其中之一。另一个是 RL 目标函数：你有一个目标，你要出发去达成它。在这里面，有像数学和编程里那种客观的奖励，也有像 RLHF 或其更高阶版本里那种更主观的奖励。第六和第七则是归一化（normalization）或条件化（conditioning）方面的东西，就是搞定数值稳定性，让这个算力大团块以层流的方式顺畅流动，而不是四处出问题。
Dario Amodei：那就是当年的假说，也是我今天仍然持有的假说。我不认为我见过多少与它不符的东西。预训练规模化定律是我们在那里看到的一个例子。它们一直在延续。现在已被广泛报道了，我们对预训练感觉不错。它在持续给我们带来收益。变化在于，我们现在在 RL 上也看到了同样的现象。我们看到一个预训练阶段，然后在其之上有一个 RL 阶段。而 RL 其实也是一样的。就连其他公司也在某些发布里公开过这样的东西："我们用数学竞赛训练模型——AIME 或别的——模型的表现与我们训练它的时长呈对数线性关系。"
我们也看到了这一点，而且不只是数学竞赛。是各种各样的 RL 任务。我们在 RL 上看到了和预训练一样的规模化规律。
Dwarkesh Patel：你提到了 Rich Sutton 和《苦涩的教训》。我去年采访了他，他其实非常"不信 LLM 那一套"。我不知道这是不是他本人的表述，但他的反对意见可以这样转述：一个真正拥有人类学习内核的东西，不需要这数十亿美元的数据和算力、这些定制环境，来学会用 Excel、用 PowerPoint、操作网页浏览器。我们必须借助这些 RL 环境把这些技能内置进去，这一事实暗示我们其实缺少一个核心的人类学习算法。所以我们规模化的是错误的东西。这确实引出一个问题。如果我们认为会出现某种在即时学习能力上类似人类的东西，那我们为什么还要做这一大堆 RL 规模化？
Dario Amodei：我认为这把几件应该分开思考的事情捏到了一起。这里确实存在一个真正的谜题，但它可能无关紧要。事实上，我猜它多半无关紧要。这里有个有趣的地方。让我先把 RL 放到一边，因为我其实认为，说 RL 在这件事上与预训练有什么不同，是一个转移注意力的说法。如果我们看预训练的规模化：2017 年 Alec Radford 做 GPT-1 的时候非常有意思。GPT-1 之前的模型，训练数据集并不代表广泛的文本分布。当时有非常标准的语言建模基准。GPT-1 本身，我记得其实是用一堆同人小说（fanfiction）训练的。那是文学文本，是你能获得的文本中很小的一部分。那时候大概是十亿个词之类的量级，是小数据集，代表的是世界上所见文本中相当窄的一个分布。它泛化得不好。你在某个同人小说语料上做得更好，并不会很好地泛化到其他任务上。我们有各种测量。我们测量它预测其他各类文本的能力。只有当你在互联网上的全部任务上训练——当你做一次通用的互联网抓取，比如用 Common Crawl，或者像我们做 GPT-2 时那样抓取 Reddit 里的链接——你才开始得到泛化。我认为我们在 RL 上正看到同样的事情。我们先从简单的 RL 任务开始，比如用数学竞赛训练，然后转向包含代码之类的更广泛训练。现在我们正在转向许多其他任务。我认为接下来我们会越来越多地获得泛化。这就把"RL 与预训练之争"这部分排除掉了。但无论如何都存在一个谜题：预训练用了数万亿个 token。人类见不到数万亿个词。所以这里确实存在样本效率的差异。这里确实有些不同的东西。模型从零开始，需要多得多的训练。但我们也看到，一旦训练完成，如果给它们一百万的长上下文——阻碍长上下文的唯一因素是推理成本——它们非常擅长在那个上下文内学习和适应。所以我不知道这个问题的完整答案。我认为这里发生的事情是：预训练不像人类学习的过程，而是介于人类学习过程与人类进化过程之间的某种东西。我们的许多先验来自进化。我们的大脑并不是一块白板。这方面已经有整本整本的书。语言模型则更像白板。它们真的是从随机权重开始的，而人脑一开始就有所有这些区域连接着所有这些输入和输出。也许我们应该把预训练——乃至 RL——看作存在于人类进化与人类即时学习之间的中间地带。而模型的上下文内学习（in-context learning），则应该被看作介于人类长期学习与短期学习之间的东西。所以有这样一个层级：有进化，有长期学习，有短期学习，还有人类的即时反应。LLM 的各个阶段分布在这条光谱上，但不一定恰好落在相同的点上。人类的某些学习模式没有对应物，LLM 落在那些点之间。这样说讲得通吗？
Dwarkesh Patel：讲得通，不过有些地方还是有点困惑。比如，如果类比是"这就像进化，所以样本效率低也没关系"，那么如果我们将从上下文内学习中得到超高样本效率的智能体，我们为什么还要费劲搭建这一大堆 RL 环境？有一些公司的业务似乎就是教模型怎么用这个 API、怎么用 Slack、怎么用这个那个。让我困惑的是，如果那种能够即时学习的智能体正在出现、或者已经出现了，为什么还要在那上面下这么大功夫？
Dario Amodei：我不能替别人的侧重点说话。我只能谈我们是怎么想的。目标并不是在 RL 里教会模型每一种可能的技能，正如我们在预训练里也不这么做。在预训练里，我们并不试图让模型见到词语组合的每一种可能方式。相反，模型在大量事物上训练，然后在预训练范围内达到泛化。那就是我近距离目睹的从 GPT-1 到 GPT-2 的转变。模型会到达一个临界点。我有过那种时刻："哦对，你只要给模型一列数字——这是房价，这是房子的面积——模型就能补全模式，做出线性回归。"做得不算好，但它做到了，而且它以前从没见过这个具体的东西。所以，就我们搭建这些 RL 环境而言，目标与五年、十年前在预训练上做的事非常相似。我们要获取一大批数据，不是因为我们想覆盖某份特定文档或某项特定技能，而是因为我们想要泛化。
Dwarkesh Patel：你铺陈的这个框架显然说得通。我们正在朝 AGI 前进。到这个时候，没有人不同意我们会在本世纪实现 AGI。分歧的关键在于：你说我们正抵达指数增长的尾声。而另一个人看着同样的东西会说："我们从 2012 年就在进步，到 2035 年我们会有一个类人的智能体。"
显然，我们在这些模型身上看到了进化所做的那类事情，或者人一生中的学习所做的那类事情。我想弄明白：你看到了什么，让你认为它是一年之遥而不是十年之遥？
Dario Amodei：这里可以提出两种主张，一强一弱。先说较弱的主张：2019 年我第一次看到规模化时，我并不确定。那是五五开的事。我觉得我看到了某种东西。我的主张是：这件事发生的可能性比任何人以为的都大得多。也许有 50% 的概率会发生。
Dario Amodei：在这个基本假说上——用你的话说，十年之内我们会达到我所说的"数据中心里的天才之国"——我的信心是 90%。很难比 90% 高多少，因为世界太不可预测。也许把不可消除的不确定性算进去，我们能到 95%——比如多家公司发生内部动荡、Taiwan 被入侵、所有晶圆厂被导弹炸掉之类的情形。你可以构建出一个 5% 概率的世界，让事情推迟十年。还有另外 5% 是这样的：在可验证的任务上，我非常有信心。就编程而言，除了那些不可消除的不确定性，我认为一两年内我们就会到位。就端到端编程能力来说，十年之内我们不可能不到位。即使在长时间尺度上，我唯一残存的一点根本性不确定，是关于那些不可验证的任务：规划一次火星任务；做出 CRISPR 那样的基础科学发现；写一部小说。这些任务很难验证。我几乎可以肯定我们有一条可靠的路能到达那里，但如果说还有一点不确定性，就在那里。在十年时间线上我是 90%，这差不多是能给出的最高确信度了。我认为说 2035 年之前这不会发生是疯了。在一个正常的世界里，那种说法应该属于非主流。
Dwarkesh Patel：但你对验证的强调，让我隐约觉得你并不相信这些模型是泛化的。想想人类：我们既擅长那些有可验证奖励的事情，也擅长那些没有的事情。
Dario Amodei：不，这正是我几乎可以肯定的原因。我们已经看到了从可验证事物到不可验证事物的可观泛化。我们已经在看到这个了。
Dwarkesh Patel：但你之前似乎把它强调为一条光谱，它会把"哪些领域进步更多"分割开来。人类变强似乎不是这个样子的。
Dario Amodei：我们到不了那里的世界，是这样一个世界：我们把所有可验证的事情都做了。其中很多能泛化出去，但我们没有完全到位。我们没有把盒子的另一半完全涂满。这不是一个非黑即白的事情。
Dwarkesh Patel：即使泛化很弱、你只能做可验证的领域，我也不确定在那样的世界里你能自动化软件工程。你某种意义上也是"一名软件工程师"，但对你来说，做软件工程师的一部分工作是写关于宏大愿景的长备忘录。
Dario Amodei：我不认为那是 SWE（软件工程师）职责的一部分。那是公司职责的一部分，不是 SWE 特有的。但 SWE 确实涉及设计文档之类的东西。模型已经很擅长写注释了。再说一次，我在这里做的是比我实际相信的弱得多的主张，为的是区分两件事。就软件工程而言，我们已经几乎到位了。
Dwarkesh Patel：按什么标准？有一个标准是多少行代码是 AI 写的。但如果你看软件工程史上的其他生产力改进，编译器"写"了所有的软件行。写了多少行，和生产力提升有多大，是两回事。"我们几乎到位了"，指的是——生产力提升有多大，而不只是 AI 写了多少行？
Dario Amodei：这一点我其实同意你。我在代码和软件工程上做过一系列预测。我认为人们一再误解它们。让我把这条光谱摊开讲。大约八九个月前，我说 AI 模型将在三到六个月内写出 90% 的代码行。这发生了，至少在某些地方发生了。在 Anthropic 发生了，在许多使用我们模型的下游用户那里也发生了。但那其实是一个非常弱的判据。人们以为我是在说我们将不再需要 90% 的软件工程师。这两件事天差地别。光谱是这样的：90% 的代码由模型写，100% 的代码由模型写。这两者之间的生产力差别巨大。再往后：90% 的端到端 SWE 任务——包括编译、搭建集群和环境、测试功能、写备忘录——由模型完成。然后是今天 100% 的 SWE 任务由模型完成。即便那发生了，也不意味着软件工程师失业。会有他们可以做的更高层级的新事情，他们可以去管理。再往光谱下游走，才是对 SWE 的需求减少 90%——我认为那会发生，但这是一条光谱。我在《技术的青春期》（The Adolescence of Technology）里写过这个，我用农业过了一遍这种光谱。在这一点上我其实完全同意你。这些基准彼此非常不同，但我们正在以超快的速度逐一穿过它们。
Dwarkesh Patel：你的愿景的一部分是：从 90 到 100 会很快发生，而且会带来巨大的生产力提升。但我注意到的是，即便在全新项目（greenfield）里人们用 Claude Code 之类的工具起步，人们报告说启动了很多项目……可我们在外面的世界里看到软件的文艺复兴了吗？看到所有那些原本不会存在的新功能了吗？至少到目前为止，似乎没有。所以这确实让我犯嘀咕。即使我从不需要干预 Claude Code，世界也是复杂的。工作是复杂的。就算是在自足的系统里闭环——不管是写软件还是别的——单靠这个我们能看到多大的更广泛收益？也许这应该稀释一下我们对"天才之国"的估计。
Dario Amodei：我同时同意你——这是这些事情不会瞬间发生的一个原因——但与此同时，我认为效应会来得非常快。你可以设想两个极端。一个是：AI 不会取得进展。它很慢。它在经济中的扩散会花上无穷长的时间。"经济扩散"已经成了一个流行词，被用来论证我们不会取得 AI 进展，或者 AI 进展无关紧要。另一个极端是：我们会得到递归自我改进，整套东西。你不就可以在曲线上画一条指数线吗？我们拿到递归之后多少纳秒，太阳周围就会有戴森球（Dyson sphere）了。我这是在彻底漫画化这种观点，但确实存在这两个极端。但我们从一开始看到的——至少看看 Anthropic 内部——是这种离奇的收入每年 10 倍增长。2023 年，从零到 1 亿美元。2024 年，从 1 亿到 10 亿美元。2025 年，从 10 亿到 90-100 亿美元。
Dwarkesh Patel：你们真该直接买 10 亿美元自家的产品，这样就能……
Dario Amodei：而今年第一个月，那条指数曲线……你会以为它要放缓了，但一月份我们又新增了几十亿美元的收入。显然那条曲线不可能永远持续。GDP 就那么大。我甚至猜它今年会有所弯折，但那是一条很快的曲线。那是一条真正快的曲线。我敢打赌，即使规模扩展到整个经济，它仍会保持相当快。所以我认为我们应该思考的是这个中间世界：事情极其快，但不是瞬时的；因为经济扩散、因为闭环的需要，它们需要时间。因为琐碎："我得在我的企业里做变更管理……我搭好了这个，但我得改这个的安全权限它才能真正跑起来……我有一个旧软件，在模型编译发布之前做检查，我得重写它。是的，模型能干这个，但我得告诉模型去干。这得花时间。"
Dario Amodei：所以我认为，我们迄今看到的一切都与这个想法相容：有一条快速的指数曲线，是模型的能力。然后还有另一条快速指数曲线，处于它的下游，那就是模型向经济中的扩散。不是瞬时的，也不是慢的，比以往任何技术都快得多，但它有自己的极限。当我看 Anthropic 内部、看我们的客户：采纳很快，但不是无限快。
Dwarkesh Patel：我感觉"扩散"是人们的自我安慰。模型做不了某件事时，他们就说："哦，但那是扩散的问题。"可你应该拿人类来做对比。你会想，AI 固有的那些优势，会让"让新 AI 上岗"这个扩散问题比"让新员工上岗"容易得多。一个 AI 可以在几分钟内读完你的整个 Slack 和网盘。它们可以共享同一实例的其他副本拥有的全部知识。雇 AI 时你没有逆向选择问题，你可以直接雇一个已审核过的 AI 模型的多个副本。雇人麻烦多了。可人们一直在雇人。我们每年付给人类的工资超过 50 万亿美元，因为他们有用——尽管原则上把 AI 整合进经济应该比雇人容易得多。扩散其实解释不了这个。
Dario Amodei：我认为扩散是非常真实的，而且并不完全与 AI 模型的局限有关。再说一次，有些人把扩散当作流行词，用来说"这没什么大不了"。我说的不是那个。我说的也不是 AI 会以以往技术的速度扩散。我认为 AI 的扩散会比以往技术快得多，但不是无限快。我举个例子。比如 Claude Code。Claude Code 极其容易上手。如果你是开发者，你直接就能开始用 Claude Code。一个大企业里的开发者，没有理由不像个人开发者或创业公司的开发者那样快地采纳 Claude Code。我们竭尽所能地推广它。我们向企业销售 Claude Code。大企业、大金融公司、大制药公司，它们采纳 Claude Code 的速度都远超企业采纳新技术的一般速度。但还是那句话，这需要时间。任何一个功能、任何一个产品，比如 Claude Code 或 Cowork，被那些整天泡在 Twitter 上的个人开发者、被 A 轮创业公司采纳的速度，会比被一家做食品销售的大企业采纳快好几个月。就是有一堆因素。你得过法务，你得给所有人开通。它得通过安全与合规审查。那些离 AI 革命更远的公司领导者是有前瞻性的，但他们必须说："哦，我们花 5,000 万是合理的。这个 Claude Code 是这么个东西。它为什么能帮到我们公司。它为什么让我们更有生产力。"然后他们还得向下面两级的人解释。他们得说："好，我们有 3,000 名开发者。我们打算这样向开发者推开。"我们每天都在进行这样的对话。我们正在竭尽所能让 Anthropic 的收入一年增长 20 倍、30 倍，而不是 10 倍。同样，许多企业就是在说："这生产力太高了。我们要在常规采购流程上走捷径。"他们的行动比我们过去只卖普通 API 时快得多——他们很多也在用 API。Claude Code 是一个更有吸引力的产品，但它不是一个无限有吸引力的产品。我认为即使是 AGI、强大的 AI、"数据中心里的天才之国"，也不会是一个无限有吸引力的产品。它的吸引力也许足以带来一年 3-5 倍、或 10 倍的增长——即使当你已经处在数千亿美元量级时。那是极其困难、历史上从未有人做到过的事，但它不是无限快。
Dwarkesh Patel：我接受它会带来轻微放缓。也许这不是你的主张，但有时人们的说法像是："哦，能力已经在那儿了，只是因为扩散……否则我们基本上已经是 AGI 了。"
Dario Amodei：我认为如果你真有了"数据中心里的天才之国"……
如果我们有了"数据中心里的天才之国"，我们会知道的。如果你有了"数据中心里的天才之国"，我们会知道的。这个房间里的每个人都会知道。Washington 的每个人都会知道。乡村地区的人们也许不知道，但我们会知道。我们现在没有。这一点非常清楚。
Dwarkesh Patel：回到具体的预测……因为要厘清的东西太多，谈能力时很容易鸡同鸭讲。举个例子，三年前我采访你时，我请你预测三年后我们该期待什么。你说对了。你说："我们应该期待这样的系统：如果你和它聊上一个小时，很难把它和一个受过良好教育的普通人区分开。"
我认为你说对了。但在精神层面上我并不满足，因为我内心的预期是，这样的系统应该能自动化白领工作的很大一部分。所以，也许谈谈你想从这种系统得到的实际最终能力，会更有成效。
Dario Amodei：我基本上可以告诉你我认为我们处在哪里。
Dwarkesh Patel：让我问一个非常具体的问题，这样我们就能弄清很快该考虑哪些类型的能力。也许我拿一个我熟悉的工作来问——不是因为它最有代表性，只是因为我能评估关于它的说法。拿视频剪辑师来说。我有几位视频剪辑师。他们工作的一部分是了解我们观众的偏好、了解我的偏好和品味、以及我们面对的各种取舍。他们在好几个月的时间里逐步建立起这种语境理解。他们入职六个月后拥有的技能和能力——一个能在工作中即时习得那种技能的模型，我们该在什么时候期待这样的 AI 系统？
Dario Amodei：我猜你说的是：我们做这场三小时的访谈。会有人进来剪辑。他们会说："哦，我说不好，Dario 挠了挠头，这段可以剪掉。"
"有一段很长的讨论大家不太感兴趣。另一个东西大家更感兴趣，所以我们这样剪。"
我认为"数据中心里的天才之国"能做这件事。它能做的方式是：它将拥有对电脑屏幕的通用控制能力。你可以把素材喂进去。它还能用电脑屏幕上网，看你以前所有的访谈，看人们在 Twitter 上对你访谈的反应，和你交谈、问你问题，和你的团队交谈，看你过去的剪辑历史，然后基于这些完成这份工作。我认为这取决于几件事。这其实正是阻碍部署的因素之一：在计算机使用（computer use）上走到模型真正精通用电脑的程度。
Dario Amodei：我们看到基准分数一路攀升，当然基准永远是不完美的度量。但我记得一年零一个季度之前我们首次发布计算机使用功能时，OSWorld 大概是 15%。我记不太准了，但我们已经从那儿爬到了 65-70%。也许还有更难的测量方式，但我认为计算机使用必须跨过某个可靠性的临界点。
Dwarkesh Patel：在你讲下一点之前，我能追问一下吗？这些年我一直想给自己搭各种内部 LLM 工具。我经常有那种文本输入、文本输出的任务，按说应该正中这些模型能力范围的靶心。可我至今还在雇人来做。比如"从这份文字稿里找出最好的剪辑片段"这类任务，LLM 也许能做到七分。但我没有一种持续的方式，可以像对待人类员工那样，与它们互动、帮它们把这份工作越做越好。就算你解决了计算机使用，那种缺失的能力仍然会阻碍我把一份真正的工作交给它们。
Dario Amodei：这又回到我们之前谈的在职学习。这很有意思。我认为就编程智能体而言，我不觉得人们会说"在职学习"是阻碍编程智能体端到端做完一切的东西。它们在不断变好。Anthropic 有些工程师已经不写任何代码了。说到你之前那个生产力的问题，当我去看生产力时，有人说："这个 GPU 内核、这块芯片的代码，我以前自己写。现在我直接让 Claude 写。"生产力有巨大的提升。在 Claude Code 的反馈里，"对代码库不熟悉"或者"感觉模型没在公司干满一年"，并不排在我看到的抱怨清单的前列。我想说的是，我们其实走的是一条不同的路。
Dwarkesh Patel：你不觉得编程之所以如此，是因为存在一个外部的记忆脚手架，它就实例化在代码库里吗？我不知道还有多少其他工作有这个东西。编程进步快，恰恰是因为它有别的经济活动所没有的独特优势。
Dario Amodei：但当你这么说时，你其实在暗示：把代码库读进上下文，我就拥有了人类需要在职学习的一切。所以这恰恰是一个例子——不管有没有被写下来、可不可获得——一个"你需要知道的一切都能从上下文窗口里得到"的情形。我们所认为的学习——"我刚入职，得花六个月才能吃透这个代码库"——模型直接在上下文里做完了。
Dwarkesh Patel：说实话我不知道该怎么看待这个，因为确实有人在定性层面报告你说的情况。你肯定看到了，去年有一项重要研究：他们让有经验的开发者在自己熟悉的代码仓库里去关闭拉取请求（pull request）。那些开发者报告说有提升。他们报告说使用这些模型让他们感觉更有生产力。但事实上，看他们的产出、看实际合并回去的量，反而下降了 20%。使用这些模型让他们的生产力变低了。所以我在试图调和：人们对这些模型的定性感受，对上 1）宏观层面，软件的文艺复兴在哪里？2）当人们做这些独立评估时，为什么我们没看到预期中的生产力收益？
Dario Amodei：在 Anthropic 内部，这一点毫不含糊。我们承受着难以置信的商业压力，而且我们还给自己加码，因为我们做所有这些安全工作——我认为我们做得比其他公司多。在坚守价值观的同时经济上活下去的压力大得惊人。我们在努力让这条 10 倍收入曲线延续。没有时间胡扯。没有时间在并不高产的时候自我感觉高产。这些工具让我们的生产力提高了很多。你觉得我们为什么会担心竞争对手使用这些工具？因为我们认为我们领先于竞争对手。如果这东西在暗地里降低我们的生产力，我们才不会费这么大劲。我们每隔几个月就以模型发布的形式看到最终的生产力。在这上面没法自欺欺人。这些模型确实让你更有生产力。
Dwarkesh Patel：1）人们感觉自己更高产，这正是那类研究定性预测到的。但 2）如果我只看最终产出，显然你们的进展确实很快。不过原本的设想是：有了递归自我改进，你造出更好的 AI，AI 帮你造出更好的下一代 AI，如此往复。而我实际看到的是——看你们、OpenAI、DeepMind——每隔几个月，领奖台上的位置就换一轮。也许你认为那会停止，因为你们已经赢了或者怎样。但如果上一代编程模型真带来了那么巨大的生产力增益，为什么我们没有看到拥有最佳编程模型的一方获得持久的优势？
Dario Amodei：我对局势的模型是：存在一个逐渐增长的优势。我会说，现在编程模型带来的大概是，我说不好，15-20% 的全要素加速。这是我的看法。六个月前，大概是 5%。所以那时不重要。5% 显不出来。现在它刚刚到了"算是几个重要因素之一"的程度。这个加速会继续。我想六个月前，有几家公司大致处在同一位置，因为这还不是一个显著因素，但我认为它正开始越来越快。我还要说，写出被用于编程的模型的公司有好几家，而我们并不能完美地阻止其中一些公司在内部使用我们的模型。所以我认为我们看到的一切，都与这种滚雪球模型一致。再说一次，我这一切论述的主题是：这全都是软起飞（soft takeoff）、平滑的指数曲线，尽管这些指数相对陡峭。我们看到这个雪球在积聚动量：10%、20%、25%、40%。随着推进，按 Amdahl 定律，你必须把所有阻碍你闭环的东西一一清除。而这是 Anthropic 内部最优先的事项之一。
Dwarkesh Patel：退一步说，我们之前在讨论什么时候能有在职学习。你在编程上的论点似乎是：我们其实不需要在职学习。没有这种人类的基本能力，你也能有巨大的生产力提升，AI 公司也可能有数万亿美元的收入。也许那不是你的主张，你可以澄清。但在大多数经济活动领域，人们会说："我雇了一个人，头几个月他没那么有用，然后随着时间推移，他积累了语境、积累了理解。"其实很难精确定义我们在谈什么。但他们获得了某种东西，现在成了主力干将，对我们特别有价值。如果 AI 不发展出这种即时学习的能力，我有点怀疑没有它我们能看到世界发生巨变。
Dario Amodei：我想有两点。一是技术的现状。我们有这两个阶段：预训练和 RL 阶段，你把一堆数据和任务丢给模型，然后它们泛化。所以它像学习，但它是从更多数据中学习，而不是在一个人或一个模型的生命周期内学习。再说一次，它处在进化与人类学习之间。但一旦你学会了那些技能，你就拥有了它们。
Dario Amodei：就像预训练一样，模型的知识面就是更广：看一个预训练好的模型，它对日本武士历史的了解比我多。它对棒球的了解比我多。它对低通滤波器和电子学的了解也比我多，所有这些。它的知识面比我宽得多。所以我认为，光是这个，也许就能把我们带到模型在所有事情上都更强的地步。另外，同样只靠对现有架构的规模化，我们还有上下文内学习。我会把它描述成有点像人类的在职学习，只是稍弱一些、更偏短期。看看上下文内学习：你给模型一批示例，它是真能领会的。上下文里发生的是真实的学习。一百万个 token 是很多的。那可以相当于人类好几天的学习。想想模型读一百万个词——我读一百万个词要多久？至少几天到几周。所以你有这两样东西。我认为，在现有范式内，这两样东西也许就足以给你"数据中心里的天才之国"。我不敢肯定，但我认为它们能带你走完其中一大部分。可能有缺口，但我确实认为，仅按现状，这就足以产生数万亿美元的收入。这是其一。其二，是持续学习这个想法，即单个模型在工作中学习。我们也在做这个。很有可能在未来一两年内，我们把这个也解决了。再说一次，我认为没有它你也能走完大部分路程。一年数万亿美元的市场，也许还有我在《技术的青春期》里写到的全部国家安全影响和安全影响，都可以在没有它的情况下发生。但我们在做，我想别人也在做。很有可能我们在未来一两年内到达那里。有一堆思路。我不会一一细讲，但其中之一就是把上下文加长。没有什么在阻止更长的上下文奏效。你只需要在更长的上下文上训练，然后学会在推理时把它服务出来。这两件都是工程问题，我们正在做，我想别人也在做。
Dwarkesh Patel：关于上下文长度的增长：2020 到 2023 年那段时间，从 GPT-3 到 GPT-4 Turbo，上下文从 2000 增加到了 128K。而在那之后的这两年左右，我感觉我们一直停留在差不多的量级。而当上下文长度远超那个量级时，人们报告说模型综合考虑整个上下文的能力出现了质的退化。所以我很好奇，你们内部看到了什么，让你认为"一千万上下文、一亿上下文，就能得到六个月的人类学习和语境积累"？
Dario Amodei：这不是一个研究问题。这是一个工程和推理问题。要服务长上下文，你必须存储整个 KV 缓存。把所有内存放进 GPU、在内存之间腾挪，是很困难的。细节我甚至都不清楚了。到了这个层面的细节，我已经跟不上了，虽然在 GPT-3 时代我是懂的。"这些是权重，这些是你必须存储的激活……"
但如今整个事情都翻转了，因为我们有了 MoE 模型等等。关于你说的退化，不说太具体，有两件事：有你训练时的上下文长度，和你服务时的上下文长度。如果你在短上下文上训练，然后试图在长上下文上服务，也许就会出现这些退化。聊胜于无，你可能还是会提供它，但会有这些退化。也许在长上下文上训练更难。
Dwarkesh Patel：同时我也想问几个可能的兔子洞。你难道不觉得，如果必须在更长的上下文上训练，就意味着同样的算力下你能塞进的样本更少了吗？也许不值得在这上面深挖。我想得到那个大图景问题的答案：什么时候我会对"为我工作了六个月的人类剪辑师"和"与我共事了六个月的 AI"不再有偏好？你预测那会是哪一年？
Dario Amodei：我的猜测是，有一大类问题，基本上等我们有了"数据中心里的天才之国"就能解决。要我猜的话，我的图景是一到两年，也许一到三年。真的很难说。我有一个很强的判断——99%、95%——这一切会在 10 年内发生。我认为那是一个超级安全的赌注。我还有一种直觉——这个更像五五开——它更可能是一到两年，或者一到三年。
Dwarkesh Patel：那就是一到三年。天才之国，外加"剪视频"这个经济价值略低的任务。
Dario Amodei：告诉你，它经济价值挺高的。只是像那样的用例有很多。类似的有很多。
Dwarkesh Patel：所以你预测在一到三年之内。而且，总体上，Anthropic 曾预测到 2026 年底或 2027 年初，我们将拥有这样的 AI 系统："具备操作当今人类从事数字工作所用界面的能力、匹敌或超越诺贝尔奖得主的智力能力、以及与物理世界交互的能力"。你两个月前接受 DealBook 采访时，强调你们公司相比竞争对手在算力扩张上更负责任。我想调和这两种观点。如果你真的相信我们将拥有一个天才之国，你就会想要能弄到的最大的数据中心。没有理由放慢。一个真能做诺贝尔奖得主所能做的一切的"诺贝尔奖得主"，其潜在市场（TAM）是数万亿美元。所以我想把这种保守——如果你的时间线更温和，它看起来是理性的——与你公开声明的进展观点调和起来。
Dario Amodei：这其实完全自洽。我们回到那个"快、但不是无限快"的扩散。假设我们正以这个速度进步。技术进步得这么快。我有非常高的信念，我们会在几年内到达。我有一种直觉，我们会在一两年内到达。所以技术侧有一点不确定性，但我相当有信心偏差不会太大。我更不确定的，还是经济扩散那一侧。我真的相信我们可能在一到两年内拥有"数据中心里的天才之国"的模型。一个问题是：在那之后多少年，数万亿美元的收入才开始滚滚而来？我不认为它保证是立竿见影的。可能是一年，可能是两年，我甚至可以拉长到五年，尽管我对那个持怀疑态度。所以我们有这种不确定性。即使技术如我猜想的那样快，我们也不知道它带动收入的速度到底有多快。我们知道它会来，但按你购买这些数据中心的方式，如果你差了几年，那可能是毁灭性的。这正如我在《仁爱机器》（Machines of Loving Grace）里写的。我说我认为我们可能得到这种强大的 AI、这个"数据中心里的天才之国"。你刚才引用的那段描述就出自《仁爱机器》。我说我们会在 2026 年、也许 2027 年得到它。再说一次，那是我的直觉。如果我差了一两年我不会意外，但那是我的直觉。假设它发生了。那是发令枪。治愈所有疾病需要多久？那是它驱动巨大经济价值的方式之一。你治愈每一种疾病。这里有一个"多少归制药公司、多少归 AI 公司"的问题，但消费者剩余是巨大的，因为——假设我们能让所有人可及，这是我非常在乎的——我们治愈了所有这些疾病。那需要多久？你得完成生物学发现，你得生产新药，你得走完监管流程。我们在疫苗和 COVID 上见过这个。我们把疫苗送到了每个人手里，但花了一年半。我的问题是：从那个理论上能发明"万病之治"的天才 AI 在实验室里首次存在，到疾病真正为所有人治愈，需要多久？我们有脊髓灰质炎疫苗已经 50 年了。我们仍在努力在非洲最偏远的角落根除它。Gates Foundation 在竭尽全力。其他人也在竭尽全力。但那很难。再说一次，我不认为大多数经济扩散会像那样难。那是最难的情形。但这里存在一个真实的两难。我最终的落点是：它会比世界上我们见过的任何东西都快，但它仍有其极限。
Dario Amodei：所以在购买数据中心这件事上，我盯着的曲线还是那条：我们每年都有 10 倍的增长。今年年初，我们的年化收入是 100 亿美元。我们必须决定买多少算力。实际建成数据中心、预订数据中心要花一到两年。我基本上是在问："2027 年我能拿到多少算力？"我可以假设收入会继续每年增长 10 倍，那么 2026 年底就是 1,000 亿美元，2027 年底就是 1 万亿美元。实际上那会是 5 万亿美元的算力，因为那是每年 1 万亿、共五年。我可以买 1 万亿美元的算力，从 2027 年底开始交付。但如果我的收入不是 1 万亿——哪怕是 8,000 亿——地球上没有任何力量、没有任何对冲手段能阻止我因为买了那么多算力而破产。尽管我脑子里有一部分在想它会不会继续以 10 倍增长，我也不能在 2027 年买一年 1 万亿美元的算力。如果我在那个增长率上只差了一年，或者增长率是每年 5 倍而不是 10 倍，你就破产了。所以你最终落在一个支撑数千亿、而不是数万亿的世界里。你接受一部分风险——需求太大以至于你接不住那些收入；也接受另一部分风险——你判断错了，事情还是慢的。我谈"负责任行事"时，指的其实不是绝对数额。我们的开支确实比某些其他玩家略少，这是真的。我指的其实是其他方面：我们是深思熟虑过，还是在 YOLO 式地喊"这里砸 1,000 亿、那里砸 1,000 亿"？我的印象是，某些别的公司连电子表格都没算过，他们并不真正理解自己在承担什么风险。他们做事只是因为听起来很酷。我们仔细想过。我们是企业级（enterprise）生意。因此我们可以更多地依赖收入。它不像消费者业务那么善变。我们的毛利更好，那是"买多了"和"买少了"之间的缓冲。我认为我们买的量足以捕捉相当强的上行情景。它接不住完整的每年 10 倍。而要让我们陷入财务困境，事情得变得非常糟。所以我们仔细权衡过，做出了那个平衡。这就是我说我们负责任的意思。
Dwarkesh Patel：所以看起来有一种可能：我们对"数据中心里的天才之国"的定义其实不同。因为当我想到真正的人类天才、一个真正的数据中心里的人类天才之国时，我会很乐意买 5 万亿美元的算力来运行它。假设 JPMorgan 或 Moderna 或谁不想用他们。我有一国的天才。他们可以自己开公司。如果他们开不了公司、被临床试验卡住……值得说明的是，大多数临床试验失败是因为药不起效。没有疗效。
Dario Amodei：我在《仁爱机器》里恰恰提了这一点，我说临床试验会比我们习惯的快得多，但不是无限快。
Dwarkesh Patel：好，那假设临床试验要一年才能出结果、你才能从中获得收入、造更多药。好，可你有一国的天才，而你是一家 AI 实验室。你可以用上多得多的 AI 研究员。你也认为聪明人研究 AI 技术存在自我强化的收益。你可以让这个数据中心去推进 AI 进展。
Dario Amodei：每年买 1 万亿美元的算力，相对每年买 3,000 亿美元的算力，收益会大很多吗？
Dwarkesh Patel：如果你的竞争对手在买 1 万亿，那是的。
Dario Amodei：嗯，不，收益是有一些，但话说回来，还有他们在那之前破产的可能。再说一次，只要差一年，你就毁了自己。这就是那个平衡。我们在大量购买。我们买得非常非常多。我们买的量与这个游戏里最大的玩家们相当。但如果你问我"你们为什么没有签下从 2027 年年中开始的 10 万亿美元算力？"……首先，那造不出来。世界上没有那么多。其次，万一天才之国来了，但它是 2028 年年中来，而不是 2027 年年中呢？你就破产了。
Dwarkesh Patel：那么，如果你的预测是一到三年，看起来你最迟应该想在 2029 年拥有 10 万亿美元的算力？即便按你陈述的时间线的最长版本，你们正在扩建的算力似乎也不匹配。
Dario Amodei：人类的工资，姑且说，一年在 50 万亿美元的量级——
我不谈 Anthropic 本身，但如果谈整个行业：行业今年建设的算力大概是，姑且叫 10-15 吉瓦。它大约每年增长 3 倍。所以明年是 30-40 吉瓦。2028 年可能是 100 吉瓦。2029 年可能是 300 吉瓦左右。我在心算，但每吉瓦的成本大约 100 亿美元，差不多每年 100-150 亿美元的量级。把这些放到一起，你得到的正是你描述的东西。丝毫不差。到 2028 或 2029 年，你得到的是每年数万亿美元。正是你预测的那个数。
Dwarkesh Patel：假设 Anthropic 的算力保持每年 3 倍，那么到 2027-28 年，你们有 10 吉瓦。按你说的乘以 100 亿美元。那就是每年 1,000 亿美元左右。可你刚才是说到 2028 年潜在市场是 2,000 亿美元。
Dario Amodei：再说一次，我不想给 Anthropic 的确切数字，但你说的这些数字太小了。
Dwarkesh Patel：你们对投资人说过，计划从 2028 年开始盈利。而这正是我们可能得到"数据中心里的天才之国"的年份。它将解锁医药、健康和新技术上的所有这些进展。这难道不恰恰是你想把钱再投回业务、建更大的"国家"、让它们做出更多发现的时候吗？
Dario Amodei：在这个领域，盈利能力是一个挺怪的东西。我不认为在这个领域，盈利能力真的能衡量"消耗积蓄"与"投资业务"之间的取舍。我们来搭个模型。我其实认为：盈利发生在你低估了你将获得的需求时，亏损发生在你高估了你将获得的需求时——因为你是提前购买数据中心的。这么想：这些是风格化的事实。数字不精确。我只是想搭一个玩具模型。假设你一半的算力用于训练，一半用于推理。推理有超过 50% 的毛利率。
Dario Amodei：这意味着，如果你处于稳态，你建了一个数据中心，而且你确切知道你会得到的需求，你就会得到确定的收入。假设你每年花 1,000 亿美元买算力。其中 500 亿美元支撑 1,500 亿美元的收入。另外 500 亿美元用于训练。基本上你是盈利的，赚 500 亿美元的利润。这就是这个行业今天的经济学——或者说不是今天，而是我们向前推一两年的预测。唯一让这个不成立的情况，是你得到的需求少于 500 亿美元。那时你超过一半的数据中心用于研究，你就不盈利了。你训练出更强的模型，但你不盈利。如果需求超出预期，那研究被挤压，但你能支撑更多推理，你就更盈利。也许我没解释好，但我想说的是：你先决定算力的量。然后你对推理与训练的比例有某种目标意愿，但那由需求决定。不由你决定。
Dwarkesh Patel：我听到的意思是：你们之所以预测盈利，是因为你们在系统性地对算力投资不足？
Dario Amodei：不不不。我是说这很难预测。关于 2028 年、关于它何时发生的那些话，是我们尽力向投资人给出的最好估计。所有这些东西都非常不确定，因为存在那个不确定性锥。如果收入涨得够快，我们 2026 年就可能盈利。如果我们对下一年的估计偏高或偏低，结果可能剧烈摆动。我想说的是：你脑子里有一个商业模型——投资、投资、再投资，达到规模，然后开始盈利。存在一个事情翻转的单一时间点。我不认为这个行业的经济学是那样运作的。
Dwarkesh Patel：明白了。所以如果我理解正确，你是说：由于"我们本该拿到的算力"与"我们实际拿到的算力"之间的落差，我们某种程度上是被迫盈利的。但那不意味着我们会持续盈利。我们会把钱再投进去，因为现在 AI 进展这么大，我们想要一个更大的天才之国。于是收入很高，亏损也很高。
Dario Amodei：如果我们每年都能精确预测需求，我们每年都会盈利。因为把大约 50% 的算力花在研究上，加上高于 50% 的毛利率，加上正确的需求预测，就等于利润。那个可盈利的商业模型我认为是实实在在存在的，只是被这种提前建设和预测误差遮住了。
Dwarkesh Patel：我想你是把那 50% 当作某种给定常数，而实际上，如果 AI 进展很快、而且你可以通过更大规模的投入来加快进展，你就应该把比例提到 50% 以上、不去盈利。
Dario Amodei：但我要说的是：你也许想扩大它。记住规模的对数回报。如果 70% 只能通过 1.4 倍的系数给你一个稍微……那多出来的 200 亿美元，那里的每一美元对你的价值都低得多，因为这是对数线性的设定。所以你可能会发现，把那 200 亿美元投在推理服务上、或者投在雇更能干的工程师上更好。所以我说 50% 的原因……那不完全是我们的目标。它不会恰好是 50%。它可能会随时间变化。我要说的是：对数线性回报导致的结果是，你花的是业务中"数量级为一"的一个比例。不是 5%，也不是 95%。然后你会遇到收益递减。
Dwarkesh Patel：我感觉很奇怪，我居然在说服 Dario 相信 AI 进展什么的。好吧，你不加投研究是因为它有收益递减，但你会投你提到的其他东西。我认为在宏观层面上，利润——
Dario Amodei：再说一次，我说的收益递减，是在你每年已经花了 500 亿美元之后。
Dwarkesh Patel：这一点我相信你自己也会说：对一个天才的收益递减，起点可能相当高。
Dario Amodei：更一般地说，在市场经济中利润是什么？利润基本上是在说：市场上其他公司能用这笔钱做的事，比我能做的多。把 Anthropic 放到一边。我不想透露 Anthropic 的信息。这就是为什么我给的是风格化数字。但我们来推导一下这个行业的均衡。为什么不是所有人都把 100% 的算力花在训练上、一个客户都不服务？因为如果他们没有任何收入，他们就无法融资，无法做算力交易，明年就买不到更多算力。所以会存在一个均衡：每家公司在训练上的花费少于 100%，在推理上当然也少于 100%。为什么你不干脆只服务现有模型、永远不再训练新模型，道理也很清楚：那样你会落后，然后就没有需求了。所以存在某个均衡。不会是 10%，也不会是 90%。作为风格化事实，姑且说是 50%。这就是我想说的。我认为我们将处于这样一个位置：训练开支的那个均衡比例，低于你在算力上能获得的毛利率。所以底层经济学是盈利的。问题是，你在购买下一年算力时面对一个地狱般的需求预测问题：你可能猜低了，于是非常盈利、但没有算力做研究；你也可能猜高了，于是不盈利、但拥有全世界的研究算力。讲得通吗？就作为这个行业的一个动态模型？
Dwarkesh Patel：也许退一步说，我并不是说我认为"天才之国"两年内会来、所以你该买这些算力。对我来说，你得出的最终结论很有道理。但那是因为在我看来，"天才之国"很难，还有很长的路。所以退一步，我想探究的更多是：你的世界观似乎与这样一个人是兼容的——他说"我们距离一个产生数万亿美元价值的世界还有 10 年左右"。
Dario Amodei：那不是我的观点。那我再做一个预测。我很难设想 2030 年之前不会出现数万亿美元的收入。我可以构建一个还算说得通的世界，它需要大约三年。那已经是我认为说得通的极限了。比如 2028 年，我们得到真正的"数据中心里的天才之国"。到 2028 年收入进入低数千亿美元区间，然后天才之国把它加速到数万亿。我们基本上处在扩散较慢的那一端。花两年到达数万亿。那就是"要到 2030 年"的世界。我怀疑即使把技术指数和扩散指数复合起来，我们也会在 2030 年之前到达。
Dwarkesh Patel：你刚才铺陈了一个 Anthropic 盈利的模型，因为看起来我们根本上处在一个算力受限的世界。所以最终我们持续增长算力——
Dario Amodei：我认为利润是这样来的……我们把整个行业抽象一下。想象我们在经济学教科书里。有少数几家公司。每家能投的量有限。每家可以把某个比例投入研发。它们有某个边际服务成本。由于推理很高效，边际成本之上的毛利率非常高。存在一定竞争，但模型之间又是差异化的。公司会竞相把研究预算往上推。但因为玩家数量少，我们会得到那个……叫什么来着？我记得少数厂商的均衡叫古诺均衡（Cournot equilibrium）。要点是：它不会均衡到零利润的完全竞争。如果经济里有三家公司，且各自独立地理性行事，它不会均衡到零。
Dwarkesh Patel：帮我理解一下，因为眼下我们确实有三家领先公司，而它们都没在盈利。那么变化的是什么？
Dario Amodei：再说一次，眼下的毛利率是非常正的。正在发生的是两件事的叠加。其一是我们仍处在算力的指数级扩张阶段。一个模型被训练出来。假设去年训练了一个花费 10 亿美元的模型。今年它带来 40 亿美元收入，推理成本 10 亿美元。我用的还是风格化数字，那就是 75% 的毛利率和这 25% 的"税"。这个模型整体上赚 20 亿美元。但与此同时，我们在花 100 亿美元训练下一个模型，因为存在指数级扩张。于是公司亏钱。每个模型都赚钱，但公司亏钱。我说的那个均衡，是这样一个均衡：我们有了"数据中心里的天才之国"，但模型训练的扩张已经更趋平稳。也许还在上升。我们仍在努力预测需求，但它更平缓了。
Dwarkesh Patel：这里有几点我不明白。先说当前的世界。在当前世界，你说得对：像你之前说的，把每个模型单独当作一家公司看，它是盈利的。但当然，做一家前沿实验室的生产函数中很大一部分，是训练下一个模型，对吧？如果你不训练，那你能盈利两个月，然后就没有利润率了，因为你不再拥有最好的模型。
Dario Amodei：但到了某个时候，它会达到它所能达到的最大规模。然后在均衡中，我们还有算法改进，但我们训练下一个模型的花费与训练当前模型的花费大致相同。到某个时候，经济里的钱就那么多了。
Dwarkesh Patel：这有点像"劳动总量固定谬误"（lump of labor fallacy）……经济会增长，对吧？那是你的预测之一。我们会有太空数据中心。
Dario Amodei：是的，但这是我一直在讲的那个主题的又一个例子。有了 AI，经济会以我认为前所未有的速度增长。眼下算力每年增长 3 倍。我不相信经济会每年增长 300%。我在《仁爱机器》里说过，我认为经济也许能实现每年 10-20% 的增长，但不会有 300% 的增长。所以我认为归根结底，如果算力成为经济产出的大头，它会被经济增长封顶。
Dwarkesh Patel：那我们假设一个算力被封顶的模型。前沿实验室赚钱的世界，是一个它们持续快速进步的世界。因为根本上，你的利润率受限于"替代品有多好"。你能赚钱是因为你有前沿模型。没有前沿模型你就赚不到钱。所以这个模型要求永远不存在稳态。你得永永远远地做出更多算法进步。
Dario Amodei：我不认为那是真的。我是说，我感觉我们像在上经济学课。
Dwarkesh Patel：你知道 Tyler Cowen 那句话吗？我们从不停止谈论经济学。
Dario Amodei：我们从不停止谈论经济学。所以，不，我不认为这个领域会是垄断。我的律师们从来不想让我说"垄断"这个词。但我不认为这个领域会是垄断。确实存在只有少数玩家的行业。不是一家，而是少数几家。通常，你得到 Facebook 或 Meta——我总叫他们 Facebook——那种垄断的方式，是那类网络效应。而你得到"少数玩家行业"的方式，是极高的进入成本。云计算就是这样。我认为云是一个很好的例子。云里有三家、也许四家玩家。我认为 AI 也一样，三家、也许四家。原因是它太贵了。经营一家云公司需要太多专业能力和太多资本。你得砸进所有这些资本。而除了砸资本，你还得搞定所有那些需要大量技能才能做成的事情。所以如果你去找一个人说："我想颠覆这个行业，这里有 1,000 亿美元。"那你等于在说："好，我投入 1,000 亿美元，同时还赌你能做成这些人一直在做的所有其他事情。"
你进入的效果是利润率下降。所以，经济中到处都有这种少数玩家的均衡。利润不是天文数字。利润率不是天文数字，但也不是零。这就是我们在云上看到的。云是非常无差异化的。模型比云更差异化。大家都知道 Claude 擅长的东西与 GPT 擅长的、与 Gemini 擅长的不一样。不只是"Claude 擅长编程、GPT 擅长数学和推理"。比那更微妙。不同模型擅长不同类型的编程。模型有不同的风格。我认为这些东西彼此差异其实相当大，所以我预期会比云有更多的差异化。不过，确实存在一个反论。那个反论是：如果生产模型这个过程本身——如果 AI 模型自己能做这件事——那这种能力就可能扩散到整个经济。但那不是"AI 模型总体上会商品化"的论证。那更像是"整个经济一次性商品化"的论证。
Dario Amodei：在那个"任何人都能做任何事、任何人都能造任何东西、任何东西周围都没有护城河"的世界里到底会发生什么，我不知道。我不知道，也许我们想要那个世界。也许那就是最终形态。也许当 AI 模型什么都能做，而且我们已经解决了所有安全和防护问题时，那正是让经济重新自我拉平的机制之一。但那已经是"数据中心里的天才之国"之后很远的事情了。
Dwarkesh Patel：也许这个潜在观点更精细的表述是：1）AI 研究似乎特别加载在原始智力能力上，而在 AGI 的世界里，那恰恰会特别充裕。2）看看今天的世界，几乎没有几项技术的扩散速度赶得上 AI 算法进步。这确实暗示这个行业在结构上就是易扩散的。
Dario Amodei：我认为编程进展很快，但 AI 研究是编程的超集，它有些方面并没有那么快。但我确实认为，一旦编程搞定了、一旦 AI 模型跑得快了，那会加快 AI 模型做其他一切事情的能力。所以虽然现在快的是编程，我认为一旦 AI 模型开始构建下一代 AI 模型、开始构建其他一切，整个经济会大致以同样的节奏前进。不过我在地理上是担心的。我有点担心，仅仅是"离 AI 近"、"听说过 AI"，就可能成为一个分化因素。所以我说 10-20% 增长率时，我担心的一点是：增长率在 Silicon Valley 及与 Silicon Valley 有社会联系的地区可能是 50%，而在其他地方并不比当前节奏快多少。我认为那会是一个相当扭曲的世界。所以我经常思考的事情之一，就是如何防止那种局面。
Dwarkesh Patel：你认为一旦我们有了数据中心里的天才之国，机器人学（robotics）随后会很快被解决吗？因为机器人学的一个大问题似乎是：人类可以学会遥操作现有硬件，而当前的 AI 模型不行，至少无法以超高效的方式做到。那么，如果我们有了像人一样学习的能力，它不也应该立刻解决机器人学吗？
Dario Amodei：我不认为它依赖于像人一样学习。它可以以不同的方式发生。同样，我们可以用许多不同的电子游戏训练模型——那类似于机器人控制——或者许多不同的模拟机器人环境，或者干脆训练它们控制电脑屏幕，然后它们学会泛化。所以它会发生……它不必然依赖类人学习。类人学习是它可能发生的一种方式。如果模型说"哦，我拿起一个机器人，我不会用，我学"，那可能是因为我们攻克了持续学习。也可能是因为我们在一批环境上训练了模型然后泛化了，还可能是因为模型在上下文长度内学会了。到底通过哪条路其实无所谓。回到我们一小时前的讨论，这类事情可以通过好几种不同方式发生。但我确实认为，不管出于什么原因，一旦模型拥有了那些技能，机器人学就会被彻底改变——既包括机器人的设计，因为模型在那上面会比人强得多；也包括控制机器人的能力。我们会更擅长造物理硬件、造实体机器人，也会更擅长控制它。那么，这是否意味着机器人行业也会产生数万亿美元的收入？我的答案是会，但同样会有那种极快、但不是无限快的扩散。机器人学会被革命吗？会，也许再加上一两年。我就是这样思考这些事情的。
Dwarkesh Patel：有道理。人们对极快进展普遍持怀疑态度。我的看法是这样的。听起来你们会在几年之内以某种方式解决持续学习。但正如几年前没人谈持续学习，然后我们意识到："哦，为什么这些模型明明通过了图灵测试、在那么多领域是专家，却没有它们本可以有的那么有用？也许问题出在这个。"
然后我们解决了这个，又会发现：其实人类智能还能做另一件事、是人类劳动的基础，而这些模型做不了。那为什么不认为还会有更多这样的东西——我们不断发现人类智能的更多组成部分？
Dario Amodei：先说清楚，我之前说过，持续学习也许根本不是障碍。我们也许光靠预训练泛化和 RL 泛化就能到那儿。也许根本不存在这么一道坎。事实上，我要指出机器学习史上的一个规律：人们不断提出各种"障碍"，最后它们都消融在算力大团块里了。人们谈过"你的模型怎么跟踪名词和动词？""它们能理解句法，但不能理解语义？那只是统计相关性。""你能理解一个段落，但不能理解一个词。还有推理，你做不了推理。"可后来突然发现，代码和数学它做得非常好。所以我认为，历史更多地站在这一边：有些东西看起来是大问题，然后就消融了。有些是真的。对数据的需求是真的，也许持续学习是个真东西。不过再说一次，我想把讨论锚定在编程这样的事情上。我认为一两年内我们可能会到达模型能端到端做 SWE 的地步。那是一整个任务。那是一整块人类活动领域，我们等于是在说：模型现在能做了。
Dwarkesh Patel：你说端到端，是指设定技术方向、理解问题的语境等等吗？有意思。我感觉那是"AGI 完全问题"（AGI-complete），也许这在内部是自洽的。但那和说 90% 的代码或 100% 的代码不是一回事。
Dario Amodei：不，我给出的是这条光谱：90% 的代码、100% 的代码、90% 的端到端 SWE、100% 的端到端 SWE。然后 SWE 会有新任务被创造出来。最终那些也会被做掉。这是一条很长的光谱，但我们正在飞快地穿越它。我确实觉得有件事挺好笑：我看过你做的几期播客，主持人会说"可是 Dwarkesh 写了那篇关于持续学习的文章"。这总让我发笑，因为你毕竟采访的是干了 10 年的 AI 研究者。我敢肯定他们心里会想："好嘛，一个播客主写了篇文章，我每次采访都被问到它。"
事情的真相是，我们都在一起摸索。有些方面我能看到别人看不到的东西。如今那多半更多来自我在 Anthropic 内部看到一大堆东西、必须做一大堆决策，而不是我有什么别人没有的高明研究洞见。我在管理一家 2,500 人的公司。对我来说，拥有具体的研究洞见其实相当难，比 10 年前、甚至两三年前难多了。
Dwarkesh Patel：当我们走向一个完全"即插即用的远程员工替代"的世界时，API 计价模式还是最合理的吗？如果不是，为 AGI 定价、或者说提供 AGI 服务的正确方式是什么？
Dario Amodei：我认为这里会同时出现一堆不同的商业模式，都会被拿来试验。我其实认为 API 模式比很多人以为的更耐久。我的一种想法是：如果技术进步很快、是指数级推进，那意味着永远存在一个"过去三个月里刚被开发出来的新用例"的表面。你搭建的任何产品界面，都始终面临变得无关紧要的风险。任何一个产品界面，大概只在模型能力的某个区间内是合理的。聊天机器人已经撞上了这样的局限：把它做得更聪明，对普通消费者其实帮助不大。但我不认为那是 AI 模型的局限。我不认为那能证明"模型已经够好了、它们再变好对经济无所谓"。它只是对那个特定产品无所谓。所以我认为 API 的价值在于：API 始终提供一个非常贴近"裸金属"的机会，让你在最新的东西之上构建。永远会有一批新创业公司和新想法，几个月前还不可能、因为模型进步而变得可能。我其实预测它会与其他模式并存，但我们永远会有 API 商业模式，因为永远需要一千个不同的人用不同的方式试验这个模型。其中 100 个变成创业公司，10 个变成成功的大创业公司。最后有两三个真正成为人们使用那一代模型的方式。所以我基本上认为它会一直存在。同时，我确定还会有其他模式。模型输出的每个 token 并不等值。想想这样的 token 值多少钱：有人打电话来说"我的 Mac 坏了"之类的，模型说"重启一下"。那个人没听过这话，但模型说过一千万次了。那也许值一美元或几美分。而如果模型去一家制药公司，说："哦，你们在研发的这个分子，你应该把芳香环从分子那一端挪到这一端。这么做，好事就会发生。"那些 token 可能价值数千万美元。所以我认为我们肯定会看到承认这一点的商业模式。到某个时候我们会看到某种形式的"按结果付费"，或者我们会看到类似劳务的计酬方式，按小时计费那种。我不知道。因为这是个新行业，很多东西都会被尝试。我不知道最后什么会被证明是对的。
Dwarkesh Patel：我接受你的观点：人们必须不断尝试，才能弄清使用这团智能的最佳方式。但让我印象深刻的是 Claude Code。我认为在创业史上，没有哪个应用赛道的竞争像编程智能体这样白热化。而 Claude Code 是这个类别的领跑者。这让我觉得意外。看起来并不是天然就该由 Anthropic 来做这个东西。我想知道你有没有一个解释：为什么必须是 Anthropic，或者说 Anthropic 是怎么在底层模型之外还做出了一个成功的应用的？
Dario Amodei：事情其实以一种相当简单的方式发生。我们有自己的编程模型，它们擅长编程。2025 年初前后，我说："我认为时机到了：如果你是一家 AI 公司，用这些模型可以给你自己的研究带来非平凡的加速。"当然，你需要一个界面，需要一个使用它们的框架（harness）。于是我在内部鼓励大家。我没有说"这是你们必须用的某个东西"。我只是说大家应该试验这个。我记得它最初可能叫 Claude CLI，后来名字改成了 Claude Code。在内部，它成了人人都在用的东西，内部采纳非常快。我看了看，说："我们大概应该把它对外发布，对吧？"它在 Anthropic 内部的采纳如此之快。编程是我们工作的很大一部分。我们有一个好几百人的受众，某种意义上至少能代表外部受众。所以看起来我们已经有了产品市场契合（product market fit）。那就发布吧。然后我们就发布了。我认为，仅仅因为我们自己在开发这个模型、我们自己最清楚需要怎么用这个模型，就形成了这样一个反馈回路。
Dwarkesh Patel：明白了。意思是，比如 Anthropic 的某个开发者说："啊，要是它在 X 这件事上更强就好了。"然后你们就把这一点烘焙进你们造的下一个模型里。
Dario Amodei：那是其中一个版本，但还有普通的产品迭代。Anthropic 内部有一批程序员，他们每天用 Claude Code，所以我们能得到快速反馈。这在早期更重要。当然，现在有数百万人在用它，所以我们也得到大量外部反馈。但能获得快速的内部反馈实在太好了。我认为这就是我们发布了编程模型、而没有开一家制药公司的原因。我的背景是生物学，但开制药公司所需的资源我们一样都没有。
Dwarkesh Patel：现在让我问问"让 AI 顺利发展"的问题。看起来，无论我们对 AI 顺利发展抱有什么愿景，它都必须与两件事兼容：1）构建和运行 AI 的能力正在极速扩散；2）AI 的数量——我们拥有的规模及其智能——也会极速增长。这意味着很多人将能够构建庞大的未对齐 AI 群体，或者那些只是一味想扩大自身足迹的"公司型"AI，或者像 Sydney Bing 那样心智古怪的 AI——只不过现在它们是超人的。在一个有大量不同 AI（其中一些未对齐）四处活动的世界里，什么样的愿景能给我们一个与之兼容的均衡？
Dario Amodei：我想在《技术的青春期》里，我对"权力制衡"表达过怀疑。但我具体怀疑的是这样一种说法：三四家公司都在构建源自同一套东西的模型，然后它们会相互制衡。甚至无论多少家相互制衡。我们可能生活在一个进攻占优的世界里：一个人或一个 AI 模型足够聪明，就能做出对其他一切造成破坏的事情。短期内，我们现在的玩家数量有限。所以我们可以从这有限的玩家做起。我们需要建立保障措施。我们需要确保每家都做好对齐工作。我们需要确保每家都有生物分类器（bioclassifier）。这些是我们眼下要做的事。我同意这在长期解决不了问题，尤其是如果"AI 模型制造其他 AI 模型"的能力扩散开来，整个问题会变得更难解。我认为长期而言我们需要某种治理架构。我们需要一种既保护人类自由、又能让我们治理数量庞大的人类系统、AI 系统、人机混合公司或经济单元的治理架构。所以我们要思考：如何保护世界免遭生物恐怖主义？如何保护世界免遭镜像生命（mirror life）？我们大概需要某种 AI 监控系统来监测所有这些。但我们又需要以一种保护公民自由和宪法权利的方式来构建它。所以和其他任何事情一样，这是一个新的安全格局，有一套新工具，也有一套新漏洞。
Dario Amodei：我的担忧是：如果这一切有 100 年时间慢慢发生，我们会习惯的。我们习惯了社会上有炸药、有各种新式武器、有摄像头。100 年里我们会慢慢习惯，我们会发展出治理机制。我们会犯该犯的错误。我的担忧只是这一切发生得太快了。所以，关于如何让这些治理机制运转起来，也许我们需要更快地完成思考。
Dwarkesh Patel：看起来在一个进攻占优的世界里——按你们的想法，AI 会把未来一个世纪的进展压缩到五到十年里发生——我们仍然需要同样的机制，或者说，即便世界上只有人类，权力制衡问题也同样棘手。我想我们会有 AI 的建议。但从根本上说，这似乎并不是一场完全不同的比赛。如果制衡机制能起作用，它在人类身上也能起作用。如果它不起作用，在 AI 身上同样不起作用。所以，这或许意味着人类的制衡机制也一样在劫难逃。
Dario Amodei：还是那句话，我认为总有办法让它成立。世界各国政府可能必须携手合作来实现它。我们可能得与 AI 讨论如何构建社会结构，使这些防御成为可能。我不知道。我不想说这在时间上还很遥远——但它在技术能力上是如此超前，而这种超前可能在很短时间内发生，以至于我们很难提前预判。
Dwarkesh Patel：说到政府介入：12 月 26 日，Tennessee 州议会提出了一项法案，说"任何人故意训练人工智能提供情感支持——包括通过与用户进行开放式对话——都构成犯罪"。当然，Claude 努力做的事情之一，就是当一个体贴、见多识广的朋友。总的来说，看起来我们将面对这种州法律的拼布。普通人本可以从 AI 中获得的很多好处会被剪除，尤其当我们进入你在《仁爱机器》里讨论的那类东西时：生物自由、心理健康改善，等等。很容易想象这样一些世界：这些好处被各种法律用"打地鼠"的方式一一敲掉，而像这样的法案却根本没有触及你所担心的真正生存威胁。在这类事情的背景下，我想理解 Anthropic 为什么反对联邦政府对州级 AI 法律的冻结令（moratorium）。
Dario Amodei：这里同时发生着很多不同的事情。我认为那部特定的法律很蠢。它显然出自一些大概根本不了解 AI 模型能做什么、不能做什么的立法者之手。他们的心态是："AI 模型为我们服务？听着就吓人。我不想让它发生。"所以我们不支持那种法律。但当时付诸表决的不是那个。付诸表决的是：我们要禁止各州监管 AI 十年，同时又没有任何明显的联邦监管计划——那需要国会通过立法，门槛非常高。所以，"禁止各州十年内做任何事"这个想法……有人说他们对联邦层面有规划，但桌面上没有任何实际提案。没有任何实际的尝试。考虑到我在《技术的青春期》里列出的那些严重危险——生物武器、生物恐怖主义、自主性风险——以及我们一直在谈的时间线，十年就是永恒。我认为那么做是疯了。所以如果那是选择题、如果你逼我们二选一，那我们就选择不要那个冻结令。我认为这个立场的收益超过成本，但如果只能这么选，它并不是一个完美的立场。我认为我们应该做的、我会支持的，是联邦政府站出来——不是说"各州你们不许监管"，而是说"这是我们要做的，各州不得与此相异"。我认为"联邦优先权"（preemption）是可以的，前提是联邦政府说："这是我们的标准。它适用于所有人。各州不能另搞一套。"
如果以正确的方式来做，那是我会支持的。但"各州什么都不许做，我们自己也什么都不做"这种思路，在我们看来非常说不通。我认为它经不起时间考验——从你已经看到的种种反弹来看，它已经开始经不起考验了。至于我们想要什么：我们谈过的东西，是从透明度标准开始，以监测其中一些自主性风险和生物恐怖主义风险。随着风险变得更严重、随着我们获得更多证据，我认为我们可以在一些有针对性的方面更激进，说："嘿，AI 生物恐怖主义真的是威胁。我们通过一部法律，强制大家部署分类器。"
我甚至可以想象……看情况。取决于威胁最终有多严重。我们不能确定。我们需要以智识上诚实的方式推进：提前说明，风险尚未显现。但以现在的速度，我完全可以想象这样一个世界：今年晚些时候我们说："嘿，这个 AI 生物恐怖主义的事真的很严重。我们该做点什么。我们应该把它写进联邦标准。如果联邦政府不行动，我们就写进州标准。"我完全可以预见那种情形。
Dwarkesh Patel：我担心的是这样一个世界：考虑到你预期的进步速度，再考虑立法的生命周期……好处这一侧，正如你所说因为扩散滞后而足够慢，所以我真的认为，按当前轨迹，这种州法拼布会形成禁锢。我是说，如果"有一个提供情感陪伴的聊天机器人朋友"都能吓到人们，那想想我们希望普通人能享受到的那些真正的 AI 红利——健康和健康寿命的改善、心理健康的改善等等。而与此同时，你似乎认为危险已经在地平线上，而我看不出……看起来这（州法拼布）对 AI 的红利的伤害，会远大于对 AI 危险的遏制。这大概就是成本收益在我这里说不通的地方。
Dario Amodei：这里有几点。人们说有成千上万部这种州法律。首先，其中绝大多数根本通不过。世界在理论上按某种方式运转，但一部法律通过了并不意味着它真被执行。执行的人可能会说："天哪，这太蠢了。这意味着把 Tennessee 建过的所有东西都关停。"法律经常会被以一种让它们不那么危险、不那么有害的方式解释。当然，反过来说，如果你是想通过一部法律去阻止一件坏事，你也会遇到同样的问题。我的基本观点是：如果我们能决定通过什么法律、事情怎么办——而我们只是其中很小的一个输入——我会把围绕 AI 健康红利的很多监管放开。我不太担心聊天机器人法。我其实更担心药物审批流程：我认为 AI 模型将大大加快我们发现药物的速度，然后管线会堵死。管线不会准备好处理涌过来的所有东西。我认为监管流程的改革，应该更多地偏向这样一个事实：我们即将迎来一大批安全性和有效性都极其清晰明确、美妙而且真正有效的东西。也许我们不需要那一整套上层建筑——它是围绕一个"药大多勉强有效、还经常有严重副作用"的时代设计的。与此同时，我认为我们应该显著加码安全与防护方面的立法。如我所说，从透明度开始，是我"尽量不束缚行业、寻找恰当平衡"的思路。我对此是担忧的。有人批评我的文章说："那太慢了。要是那么做，AI 的危险会来得太快。"
嗯，基本上，我认为过去六个月、也许接下来几个月，主题会是透明度。然后，如果这些风险显现、我们对它们更确定了——我认为最早今年晚些时候就可能——那么在我们确实看到风险的领域，我们需要非常快地行动。我认为做到这一点的唯一办法是保持敏捷。立法过程通常并不敏捷，但我们需要向所有相关方强调这件事的紧迫性。这就是我发出紧迫讯息的原因。这就是我写《技术的青春期》的原因。我希望政策制定者、经济学家、国家安全专业人士和决策者读它，这样他们才有希望比原本更快地行动。
Dwarkesh Patel：有没有什么你能做的或能倡导的事情，可以让 AI 的红利更确定地落地？我感觉你已经在与立法机构合作，说："好，我们在这里防止生物恐怖主义。我们要提高透明度，我们要加强吹哨人保护。"但在默认情形下，我们期待的那些实际红利，在各种道德恐慌或政治经济问题面前似乎非常脆弱。
Dario Amodei：就发达世界而言，我其实不太同意。我感觉在发达世界，市场运转得相当好。当某样东西上有大钱可赚、而且它显然是现有最好的选择时，监管系统其实很难拦住它。我们在 AI 本身上就看到了这一点。我一直在争取的一件事，是对华芯片出口管制。那符合美国的国家安全利益。那完全落在国会两党几乎所有人的政策信念之内。理由非常清楚。反对它的论证，我客气点说，很可疑。可它就是不发生，我们照卖芯片，因为押在上面的钱太多了。那些钱想要被赚到。在那个例子里，在我看来，这是坏事。但当它是好事时，同样的逻辑也适用。所以如果我们谈的是药物和这项技术的红利，我不太担心这些红利在发达世界被阻碍。我有点担心的是它们走得太慢。如我所说，我确实认为我们应该努力加快 FDA 的审批流程。我确实认为我们应该反对你描述的那些聊天机器人法案。就单个而言，我反对它们。我认为它们很蠢。但我其实认为更大的担忧在发展中世界：那里没有运转良好的市场，而且往往无法在我们已有的技术之上构建。我更担心那些人被甩在后面。我还担心即使解药研发出来了，也许 Mississippi 乡下的某个人也用不上。那是我们对发展中世界的担忧的一个缩小版。所以我们在做的事情，是与慈善家合作。我们与那些向发展中世界——撒哈拉以南非洲、India、拉丁美洲以及其他发展中地区——递送药品和健康干预的人合作。我认为那是不会自动发生的事情。
Dwarkesh Patel：你提到了出口管制。为什么美国和中国不能各自拥有一个"数据中心里的天才之国"？
Dario Amodei：你是问"为什么不会发生"，还是"为什么不应该发生"？如果这真的发生，我们可能面对几种局面。如果是进攻占优的局面，我们可能陷入类似核武器、但更危险的局面。任何一方都可以轻易毁掉一切。我们也可能处在一个不稳定的世界。核均衡之所以稳定，是因为威慑。但假设存在这样的不确定性：如果两个 AI 交战，哪个 AI 会赢？那可能制造不稳定。当双方对自己获胜的可能性有不同评估时，冲突往往就会发生。如果一方认为"哦，我有 90% 的胜算"，另一方也这么想，那开打的可能性就大得多。他们不可能都对，但他们可以都这么以为。
Dwarkesh Patel：但这听起来像是一个反对 AI 技术扩散的全称论证。那是这个世界观的推论。
Dario Amodei：让我继续说，因为我认为扩散最终会发生。我的另一个担忧是政府用 AI 压迫本国人民。我担心这样一个世界：某个国家的政府本来就在建设一个高科技威权国家。说清楚，这是关于政府的。这不是关于人民的。我们需要找到让世界各地的人们都受益的办法。我在这里担心的是政府。我担心的是，如果世界被切成两块，其中一块可能以一种非常难以撼动的方式走向威权或极权。那么，各国政府最终会得到强大的 AI 吗？存在威权主义的风险吗？会，存在。各国政府最终会得到强大的 AI 吗？存在坏均衡的风险吗？会，我认为两者都存在。但初始条件很重要。到某个时候，我们将需要制定道路规则（rules of the road）。我不是说某一个国家——无论是 United States 还是一个民主国家联盟（我认为后者是更好的架构，尽管它需要的国际合作超出了我们目前看起来愿意付出的）——就该直接宣布"这些就是道路规则"。会有谈判。世界将不得不与这个问题缠斗。我希望的是：当道路规则被制定时，世界上的民主国家——那些政府更接近代表亲人类价值观的国家——握着更强的牌、拥有更多筹码。所以我非常在意那个初始条件。
Dwarkesh Patel：我重听了三年前的那期访谈，它没经受住时间考验的一点是：我不断在提问里假设两三年后会出现某个关键的支点时刻。而事实上，站在那么远看，似乎就是进展持续、AI 改善、AI 更加扩散、人们用它做更多事。你似乎在想象未来这样一个世界：各国坐到一起，"这是道路规则，这是我们的筹码，这是你们的筹码。"但按当前轨迹，所有人都会有更多 AI。其中一些 AI 会被威权国家使用。而威权国家内部，一部分会被私人主体使用、一部分被国家主体使用。谁会受益更多并不清楚。提前预判从来都不靠谱。互联网对威权国家的加持，就超出了人们当初的预期。也许 AI 会反过来。我想更好地理解你在想象什么。
Dario Amodei：精确一点说：我认为底层技术的指数增长会像以前一样继续。模型会越来越聪明，即使到了"数据中心里的天才之国"之后。我认为你可以继续让模型更聪明。问题在于它们在世界中的价值会出现收益递减。在你已经解决了人类生物学之后，它还有多重要？到某个时候你能解更难、更深奥的数学题，但那之后就没什么要紧的了。把那放到一边，我确实认为指数会继续，但指数曲线上会有某些特殊的点。公司、个人和国家会在不同的时间到达那些点。我在《技术的青春期》里谈过：在 AI 的世界里，核威慑还稳定吗？我不知道，但那是我们习以为常的东西的一个例子。技术可能达到某个水平，让我们不再能对它确信。再想想别的。存在这样一些临界点：如果你达到某个水平，也许你就拥有了进攻性网络主宰权，此后每一个计算机系统对你都是透明的——除非对方拥有同等的防御。我不知道那个关键时刻是什么，也不知道是否只有一个关键时刻。但我认为会有一个关键时刻、少数几个关键时刻、或者某个关键窗口：AI 会从国家安全的角度赋予某种巨大优势，而某个国家或联盟先于其他各方到达了那里。
Dario Amodei：我并不是在鼓吹他们直接宣布"好了，现在我们说了算"。我不是这么想的。另一边总是在追赶。有些极端的行动你不愿采取，而且完全掌控本来也不对。但当那一刻到来时，人们会明白世界已经变了。会有一场关于后 AI 时代世界秩序长什么样的谈判，或隐或显。我的关切是让那场谈判成为一场"古典自由民主手里握着强牌"的谈判。
Dwarkesh Patel：我想更好地理解那意味着什么，因为你在文章里说："在拥有强大 AI 之后的时代，专制根本不是人们所能接受的政体形式。"那听起来像是在说，我们得到 AGI 之后，CCP 作为一个建制不能继续存在。那似乎是一个非常强硬的要求，而且它似乎暗示了一个世界：领先的实验室或领先的国家将能够——按那种措辞，是应该——决定世界如何被治理、哪些政体被允许、哪些不被允许。
Dario Amodei：我记得那一段说的是类似"你甚至可以更进一步说 X"。我并不必然为那个观点背书。我是在说："这是一个我相信的较弱的主张：我们必须高度警惕威权者，我们应该努力制衡他们、限制他们的权力。你可以把这推得更远，得到一种更干预主义的观点：拥有 AI 的威权国家是一种非常难以撼动的自我实现循环，所以你得从一开始就铲除它们。"
那种观点恰恰有你说的所有问题。如果你承诺推翻每一个威权国家，他们现在就会采取一堆可能导致不稳定的行动。那也许根本行不通。但我确实为之背书的观点是：很有可能……今天，我的看法、大多数西方世界的看法是：民主是比威权更好的政体。但如果一个国家是威权的，我们的反应不会像他们犯下种族灭绝时那样。我想说的是，我有点担心在 AGI 时代，威权主义会具有不同的含义。它会是一件更加严重的事情。我们必须以某种方式决定如何应对。干预主义观点是一种可能的观点。我当时是在探索这类观点。它最终可能被证明是对的，也可能被证明太极端。但我确实抱有希望。我的一个希望来源是：我们已经看到，随着新技术被发明，一些政体形式会过时。我在《技术的青春期》里提过：封建制基本上是一种政体，而当我们发明了工业化，封建制就不再可持续了。它不再说得通。
Dwarkesh Patel：那为什么是希望？它难道不可能意味着民主将不再是一个有竞争力的制度吗？
Dario Amodei：对，两个方向都有可能。但威权主义的这些问题会变得更深。我在想，这是否预示着威权主义将面临的其他问题。换句话说，正因为威权主义变得更糟糕，人们会更害怕它。人们会更努力地阻止它。你必须从总体均衡的角度思考。我只是在想，它是否会激发出关于如何用新技术保存和保护自由的新思路。再乐观一点：它是否会带来一场集体的清算，让人们更强烈地意识到我们视为个人权利的那些东西有多重要？更强烈地意识到这些东西真的不能交出去。我们已经见过了，没有别的活法真正行得通。我其实抱有希望——听起来太理想主义了，但我相信它可能成真——独裁将在道德上过时。它们将成为道德上无法运转的政体，而这造成的危机足以迫使我们找到另一条路。
Dwarkesh Patel：我认为这里真的有一个我不知道如何化解的难题。历史上我们不得不在这上面做出取舍。对 70、80 年代的中国，我们决定：尽管它是一个威权体制，我们还是与之接触。回头看我认为那是正确的决定，因为它虽是国家威权体制，但十几亿人比原本要富裕得多、过得好得多。而且不接触的话，它也未必会停止是一个威权国家。看看 North Korea 就是例子。维持一个不断凝聚自身权力的威权国家，我不知道需要多高的智能。你可以想象一个 North Korea，它的 AI 比其他所有人的都差得多，但仍然足以保住权力。总的来说，似乎我们就应该抱这样一种态度：AI 的红利——以赋能人类和健康的种种形式——会很大。历史上，我们认定广泛传播技术红利是好的，哪怕对象的政府是威权的。在 AI 上如何思考这个问题确实很难，但历史上我们说过："是的，这是一个正和世界，扩散技术仍然是值得的。"
Dario Amodei：我们有很多选择。把这框定为国家安全意义上的政府对政府决策是一种视角，但还有很多其他视角。你可以想象这样一个世界：我们研发出所有这些疾病的解药。解药卖给威权国家没问题，但数据中心不行。芯片和数据中心不行，AI 产业本身不行。我认为大家还应该思考另一种可能。会不会存在这样一些进展——要么随 AI 自然发生，要么我们通过在 AI 上构建技术促成——它们创造出一种均衡，使威权国家在事实上无法剥夺其人民对这项技术红利的私人使用？是否存在这样的均衡：我们可以让威权国家里的每个人都拥有自己的 AI 模型，保护他们免受监控，而威权国家没有办法在保住权力的同时镇压这件事？我不知道。在我听来，如果那走得足够远，它会成为威权国家从内部瓦解的一个原因。但也许存在一个中间世界，一种均衡：如果威权者想保住权力，他们就无法剥夺个体对这项技术的使用。但我其实对更激进的版本抱有希望。有没有可能，这项技术本身固有某些属性——或者我们通过以某些方式在其上构建，能创造出某些属性——对威权结构产生这种溶解作用？当初我们曾希望——回想 Obama 政府初期——社交媒体和互联网会有那种属性，结果证明没有。但如果我们带着"有多少事情可能出错"的知识、并且知道这是一项不同的技术，再试一次呢？我不知道行不行，但值得一试。
Dwarkesh Patel：这实在非常难以预测。有一些第一性原理层面的理由，说明威权主义可能反而占优。
Dario Amodei：这一切都非常难预测。我们只能承认问题的存在，想出 10 件可以尝试的事，去试，然后评估哪些有效（如果有的话）。旧的不管用就试新的。
Dwarkesh Patel：但我想这最终落到今天就是，如你所说，我们不会把数据中心、芯片以及造芯片的能力卖给中国。所以某种意义上，你在拒绝……这么做会让中国经济、中国民众等等失去一些好处。同时美国经济也会失去一些好处，因为这是一个正和世界。我们本可以贸易。他们的数据中心干一件事，我们的干另一件。你现在等于是在说：为了不赋能那些国家，那份正和红利不值得要？
Dario Amodei：我要说的是：我们即将进入这样一个世界——如果我们能造出这些强大的 AI 模型，增长和经济价值会来得非常容易。不容易的是红利的分配、财富的分配、政治自由。这些才是难以实现的东西。所以当我思考政策时，我认为技术和市场会送来所有那些基本的红利——这是我的基本信念——几乎快到我们来不及接。而这些关于分配、政治自由和权利的问题，才是真正要紧的、政策应该聚焦的。