与核武器相比，我认为即便给十亿美元，制造尖端 GPU 也很难。我是说，十亿美元肯定做不到，一百亿美元也做不到。Leopold Ashen Burner 在《Situational Awareness》中主张，应该搞一个类似 Manhattan project 的工程，抢在中国之前开发出 AGI 和超级智能。基本上就是说，我们要抢在中国前头，掌握超级智能，阻止他们造出来，这样西方就能主导世界。你知道，Eliza 在《时代》杂志上说要轰炸数据中心，结果惹上了麻烦，当时闹得沸沸扬扬。你用了 kinetic strikes 这个词。我们在升级阶梯中讨论了 kinetic attacks。所以，有很多办法可以破坏这些项目：可以对它们发动网络攻击，可以进行灰色破坏活动，可以黑进去污染他们的数据，或者让他们的 GPU 运行不那么稳定，也可以威胁使用武力。但我认为这些并不真的有必要。这属于一种升级阶梯，但美国在这方面占据上风，没必要走到那一步。本期节目由 Prolific 赞助。这位是 Sara Saab，Prolific 的产品副总裁。Sara 正在利用 Prolific 平台，通过设计由人类参与的下一代 benchmarks，来理解 large language models 的思维方式。我们基于参与评估的人群的人口统计学分层来研究 benchmarking。因此你可以从数据中发现一些现象，比如某个年龄段的人认为这个模型在 helpfulness 方面更好，但另一个年龄段的人却不这么认为。请访问 prolific.com。本期播客由 Google 赞助。大家好，我是 Taylor，Gemini CLI 的创造者。我们设计 Gemini CLI，是为了让它成为你命令行下的协作编程伙伴。想想那些繁琐的任务，比如修复棘手的 bug、添加文档，甚至是编写测试。我们构建的 Gemini CLI 能处理这些以及更多工作。它会与你迭代协作，攻克最具挑战性的难题。前往 GitHub 查看 Gemini CLI，开始使用吧。
我想把本期节目的大部分时间用来讨论你最近发表的那篇非常有趣的超级智能战略论文。也许可以从 Humanity's Last Exam 开始吧。好的，它背后的故事是什么？几年前我作为研究生制作的 MMLU 数据集已经趋于饱和。似乎几乎所有的评估都在饱和。因此人们并不真正了解 AI 能力的发展状况。所以，为了让了解情况的人掌握最新进展，开发一些新的东西显得尤为必要。而且我也发现，专家们脑中其实没有一个完整的数据集，你不能只是雇几位专家，然后他们就能拿出一套数据集来。他们脑中并没有足够多足够复杂的题目。不过，我认为每位专家脑中可能至少有一道题。因此 Humanity's Last Exam 的想法是，我们发起一项全球性合作，由各路博士后和教授每人贡献一道或几道题，用来难住现有的 AI 系统；这些题目都是他们认为非常难以回答的。如果 AI 系统能答出来，他们会觉得很了不起。这在某种意义上近似于人类在已有确定答案的封闭式问题上的知识与推理前沿。于是我们花了几个月时间这么做，从中收集到了几千道题目。我认为这将是一个很好的追踪指标，用来衡量 AI 系统是否能将科学中的大量理论工作自动化，是否能解决困难的分析性问题。不是实验性的，不是说测试它运行生物学实验的能力——那更多涉及运动技能等等，或者说需要运动技能——而是针对那些更偏向数学、或需要非常复杂推理的问题，这才是它所捕捉的能力。所以我觉得，当这套题被攻克时，大致上就意味着向 AI 提出已有客观答案的封闭式问题这一类题型的终结，或接近终结。我认为将来它解决的个别问题，其有趣程度将足以独立成篇。所以一旦我们迈过这一组题目，它所能处理的问题类型将是那些值得单独发论文的问题，比如证明某个猜想之类。因此，它在某种程度上追踪的是能力水平，直到个别问题本身变得非常有意思，而不仅仅是数据集整体有意思。让我担忧的一点是，当然，你发明的 MMLU 现在基本已经饱和了，准确率远超 90%，而 Humanity's Last Exam 在很大程度上还在抵挡这种进展。我想目前的准确率大概在 26% 左右。我这周跟一些认知科学家聊过，他们研究动物认知，也面临类似的问题。他们能看到动物能完成某些任务，但永远不太确定它们为什么会做这些任务。你几乎会遇到一种“真正的苏格兰人”式的争论，他们会说，也许它们的推理达到了这种复杂程度，但也许这还不够，也许应该更复杂，还应该更复杂。那么，你怎样才能合理地推断出模型是如何得出答案的呢？嗯，所以我认为在难度上，如果类型是封闭式问题，很难想象有什么比召集全球专家、问他们最难的封闭式问题是什么，然后进行众包更能产生挑战性数据的过程了。当然，题目还可以更难，比如每道题都是开放性问题，像猜想之类。但确实，对于 benchmarks 总体而言，这不会是 AI 发展的终点，因为 AI 系统——你知道——这没有测试它们的移动能力，没有测试它们的长期记忆，没有测试它们制作 PowerPoint 的能力等等。所以我认为这仍然是在探究封闭式问题这一类型，而且是有我们已知客观答案的封闭式问题——机器学习领域几乎所有 benchmarks 历来都是如此。但我想接下来，作为一个社群，我们会更多地转向 agential 类型的任务，或者转向那些直接更具经济价值的任务。你如何看待基准测试中的人类中心主义偏见？比如我们知道 Franis Chile 说过，他在设计 ARC v2 和 ARC v3 时，基准演进的每一步都是在找出对人类容易、对 AI 困难的事情。而有些人会反驳说，实际上存在多种可能的智能形式，为什么像人类那样的任务习得和能力就有价值呢？对我来说这似乎是直观的，因为如果一个东西能做出我们可以沟通和理解的行为，那当然很有价值。但你认为，这种以人类框架为核心的聚焦，是否会让我们忽视其他形式的能力？确实存在其他形式的能力，它们有一些优势。例如，它们处理信息的速度要快得多，这可能……我是说，比如 MMLU，特别是因为它的多样性，没有人能在 MMLU 上表现得那么好，Humanity's Last Exam 同样也是如此。我认为，专注于那些对人类和AI来说都很难的问题，原因之一在于：对人类容易但对AI困难的问题，往往很难大量生成并保证多样性。如果涉及某项特定能力，一旦有人获得了特定的训练数据，他们自动就具备了该能力。当然也存在少数更难的例外领域，比如 ARC 数据集。但总的来说，如果你收集的是像“数 strawberry 里有多少个 R”这类数据集，那它不会有太大的持久价值。所以我觉得，专注于那些只有少数人、或没有多少人能完成的困难任务，通常会更加稳健。能介绍一下你们的 Enigma Eval 基准测试吗？好的。Enigma Eval 是一系列谜题的集合。Humanity's Last Exam 侧重的是单个难题，需要具备大量专业知识的个人才能解决。而 Enigma Eval 你可以把它想象成 MIT Mystery Hunt。MIT Mystery Hunt 是在一个周末进行的活动，一群 MIT 学生试图解开谜题。它包含很多步骤。就所谓的人类计算量而言，解决它需要耗费大量人类计算资源，而且需要团队协作才能完成，通过率并不高。所以它是非常多步骤的，需要某种群体层面的智能才有机会解决。我们只是收集了一些这类谜题，我认为这近似于更长周期的智力任务。我觉得今年它绝对不会被攻克。如果真是那样，我会非常惊讶。所以我认为我们有一些评估基准，可以在一段时间内让我们保持清醒，并能够区分不同模型。还有其他一些基准，比如我们很快会发布一个与自动化相关的基准测试，直接测量各种任务的自动化率。但在正式发布之前，我不会透露太多细节。不过我认为，在很多维度上，模型实际上表现并不好，尽管人们会说所有基准都已饱和，或者说几个月内就被解决了。我认为你可以设计出需要大约一两年时间才能解决的基准。是的。我在想，在 Enigma 中，我们关注的是多步骤创造性推理。我不知道这背后是否有一种基于人类的方法来筛选和构思题目，还是说你的思路是：我对 AI 模型的局限性有一些基于技术原理的直觉，所以要朝那个方向倾斜。但更广泛地说，我对智能本身及其本质很感兴趣。对我来说，智能是事半功倍。你知道，智能是把难题变简单；而愚蠢则恰恰相反，是把简单问题变复杂。至于 LLM，我这里的引用来自 Santa Fe Institute 的主任 David Krakawa，他说 LLM 是用更多做更多。它们已经知道了一切，可以采取捷径，这就是为什么他认为它们并不真正具备智能。所以我们现在面临这样一个困境：这些实体固然可以走捷径，但做事方式和我们不一样。当我们设计更复杂的基准测试时，你觉得这会增加评估这些系统时的战争迷雾吗？我认为它们确实可能优先关注了一些并非关键瓶颈能力的维度。比如，Humanity's Last Exam 考察的是数学能力，但这与它拥有的许多其他能力相当不同。它当然结合了多种技能，但我认为它主要考察的是定量和数学能力，而这不一定是能动性的瓶颈。在思考智能时，我倾向于将其分为大约 10 个维度，而不是一个单一的定义或一个关键指标。我认为这些基准测试各自只是触及了其中不同的部分。这些维度包括：流体智力，比如 ARC 相关内容和 Raven's Progressive Matrices 所考察的；晶体智力或习得的知识，这主要是 MMLU 考察的内容——它是否了解各种不同的事物？图像分类，能否命名大量不同物种和物体，这也是晶体智力的一个方面。读写能力是独立的，scaling 在这方面提供了很大帮助。视觉处理能力，比如在图像中清点物体数量的能力；能否识别图像中的潜在模式；能否按照精确要求生成图像，比如划掉某些不同线段的中间部分；能否判断角度，或对准并判断图像中不同事物的角度，比如这是钝角还是锐角。还有音频处理能力、短期记忆、长期记忆、输入处理速度、输出处理速度，所有这些不同的方面。如果你缺少其中任何一项，比如无法读写，那就会受到严重限制。如果没有长期记忆，你也会受到严重限制，将很难投入使用。所以我认为存在一些瓶颈，而这些基准测试并没有特别触及。因此当某项基准达到 100% 时，人们会奇怪：为什么我们仍然没有极具经济价值的东西？这正是因为它只测量了不同的侧面。希望这能带来一些清晰的认识。我认为必须把所有这些维度都做好，才能得到一个在认知任务上达到人类水平、或典型人类水平的东西，这或许可以被认为是 AGI。是的。我的顾虑在于，我不相信智能可以被分解，虽然你的分解比很多人要精细得多。但就拿动物和人类的交流方式来说，我们会把不同的模态混合在一起。我们会做手势，会用符号交流，所有这些都以复杂的方式交织在一起。特别是，我对这种将技能和知识——尤其是晶体智力层面的知识——置于首位的做法有异议。因为你知道，当你在大学里有一些很聪明的朋友时，他们之所以聪明，通常不是因为他们知道什么，而是因为他们能在不知道的情况下想明白一些事情。那个去图书馆查答案的人并不聪明，聪明的是那个不知道答案却能告诉你的人。另一个我很喜欢的例子是：有两个艺术家，一个用描图纸画脸，他只是机械地沿着别人画好的脸的边缘描线；而另一个艺术家对脸部结构有深刻理解，知道嘴巴和眼睛应该在哪里。这两个艺术家之间有巨大的差别，对吧？第二个系统可以自行去创造新的图像、新的表达形式和表征，对吧？那么，我们是不是在以这种方式对智能进行因子化分解时，实际上是在创造一种智能的卡通版本？嗯，我是说，我认为人类智能有时也会被这样分解。但这并不是说我们不应该同时研究这些技能的组合。例如，长期记忆就有不同的侧面。比如，它是以视觉方式记住事物的吗？它是否记得一些更学术性的、很久以前学过的内容？它是否遗忘了某些运动技能？所以这些都可以有不同的维度，我认为评估也可以对它们进行组合。但没错，仅盯着这些轴来看，确实有过于还原论的风险。不过我认为，一些基准测试几乎完全没有涵盖这些方面，而有些则声称只侧重其中一个轴，比如像 MMOU，它主要考察的是 crystallized intelligence，也就是学校里考试会考的那种内容，但这未必能帮助它制作 PowerPoint、预订航班或从事一份普通工作。因此，重要的是不要让这些基准测试成为扭曲你认知的透镜，或者仅仅通过这些基准测试来看待事物，因为这往往会忽略许多重要的瓶颈。那么 Dan，你的工作涉及 alignment、基准测试和治理，我想其实涵盖了非常多不同的线索。在你看来，是什么将这些活动联系在一起的？嗯，我会刻意持续进入不同领域，只是因为这样更有趣。所以我最初做研究，然后在为 XAI 提供建议期间，也涉及了一些企业政策之类的事务。之后关注点转向了国内立法，然后是地缘政治，而现在我对与政治运动相关的事情更感兴趣。所以很大程度上只是为了保持趣味性。当然，也不完全是这样。它是有用性驱动的，但我认为经常存在一些细分领域，人们没有试图去澄清、推进或思考——如果从 AI 是一件大事的角度来看的话。所以这就是持续在技术、企业政策、国内政策、政治和地缘政治层面运作的原因。因为我认为这对形成整体性的理解也是必要的。你可以发表宣言，例如你可以想象在联合国发表演讲，说我们需要安全或透明的 AI 之类的，但问题是，这意味着什么？如何落实？这是否可行？标准是什么？然后你就需要了解在立法层面什么是法律上可行的。它与企业激励的兼容性如何？这是否会成为它们极力反对的东西？此外，这在 AI 层面是否是真实现象，还是只是一个模糊的词汇？比如，有很多词被随意抛出，但实际上并不对应任何现象，或者与机器学习中的 general capabilities 并无区别，然后你实际上并没有指向任何真实的东西。你只是在指向一个 vibe-based 的词。所以，你花大量时间思考的一件事是 AI 带来的潜在灾难性风险。这是一个非常情绪化且带有强烈道德色彩的目标。前几天我看到你和 Gary 还有 Daniel 辩论时，你给我的印象是非常克制，几乎带有奥巴马式的克制，而赌注又极其高昂。所以我想问，你在多大程度上被道德罗盘驱动？你又是如何控制它的？如果你每天醒来都觉得“哇这也太疯狂了”之类的，你当然必须习惯这种感觉。实际上，我过去几乎每天都这样，大概在 GPT-4 刚出来的时候，“天哪，这些 AI 的东西”。但是，我不知道。与人说“我的天”相比，我在沟通中会尝试营造一种更有根据的担忧氛围。但我不确定。其他人如果想那样的话也可以。我只是气质上神经质程度很低，或者说情绪稳定性很高。所以即使发生了可怕的事情，也不会击垮我之类的；如果坏事发生在我身上，我的反应大概就是“好吧”。所以我通常更能承受这类压力。是的。不过这种态度是随时间演变的吗？我是说，你是否发现自己不得不采取这种克制的方式，只是为了扩大你的努力规模？还是因为在你的脑海中这几乎已经常态化了，因为你一直在思考它，随着时间的推移它变得更偏分析性而非情绪性？当然，如果你总是像最初反应那样不断做出反应，当她上新闻时，你可能会陷入一种“快去看”或“别抬头看”式的情境。所以我认为可能是这些因素的结合。我认为就是这样：这里是概率，大致上，对于那些认为 2030 年前能实现 AGI 的人来说，这是那些认为这有可能的人会如何看待这类风险的，这是你对这些 tail risks 的暴露程度，这是降低此类 tail risks 的最有效方式，等等。如果你在整件事中情绪一直处在 11 档，人们就会关闭心门并变得防御性。所以我认为这既不明智也不有效，而且你会让自己的情绪被劫持——我的意思是你在这里要处理很多变量。有很多非常棘手的权衡。所以如果只是一种持续的直觉反应，你完全沉浸其中，我认为你无法做好权衡，因为它们直接相互冲突：比如中美竞争就直接与其他各种安全事项相冲突；让 AI 更可控的措施现在可能与能力评估产生权衡——测量或追踪 AI 系统的能力在某些方面也可能加速它们的发展。所以是的，这是相当棘手的。因此，如果对主题带有非黑即白的情绪，而不是保持连续性，我认为就无法进行推理。
AI alignment 出了名的困难。它可能是这一代人所面临的最棘手的挑战之一。而且，人们认为属于 alignment 的某些东西，比如 RLHF，我相信你也会同意这种说法：它让模型表现得好像已经 alignment 了，但也许并没有真正以我们想要的方式实现 alignment。如果在接下来的一年里，你能解决 alignment 中的一个问题，那会是什么？它会产生什么影响？我认为总的来说，政治问题、激励机制、给人们提供与激励相容的事情去做，相比技术层面，这些才是价值更大的所在。我想，如果能找到一种方法让它们可靠地说出真相，或者说让它们可靠地保持诚实，那将是非常有价值的。并且这种解决方案应该不会伴随严重的权衡——比如运行成本不会大幅增加，或者不会在其他维度上严重削弱性能，比如不会以其结晶化知识为代价——但我认为这非常有价值，让它不要公然撒谎，因为这样一来你也可以围绕这一点建立标准。我觉得没有人会反对：如果你能让它们非常可靠地不说谎，那么人们要求AI不对他们说谎就是合理的。关于这一点，因为我在你的论文中读到过关于欺骗、说谎之类的概念。在某种意义上，我觉得你可能把心智化的属性投射到了AI模型上。你知道，就是认为它们有信念、有思维等等。我的意思是，如果只是批判性地思考一下，是什么让你认为我们可以把它们视为拥有信念并在说谎呢？我们可以拿MASK基准测试为例，它试图测量的就是这个。呃，我觉得如果你问AI，比如“巴黎在欧洲吗？”，我认为它们确实持有“巴黎在欧洲”这一信念。而当它们告诉你巴黎在南极洲时，我认为它们是在断言某种在几乎所有其他情境下它们都不会认为是真的东西。所以，基于这一点，鉴于它们现在拥有如此多的常识和世界知识，如果它们基于某种提示压力而说出与之明显矛盾的话，这就表明它们在屈从于谎言。你可能会说，从某种复杂的意义上讲，这并不是谎言，因为它们并非真正理解事物之类的，但我认为这在行为上已经足够相似了——如果有人施压让它们对别人说假话，那这就与谎言足够相关，因此我很乐意使用“说谎”这个标签。至于那是否真的是一种信念？你知道吗，随便吧。我不知道。这取决于你和你的字典怎么定义。你经常谈到的另一个概念是 emergence（涌现），还有scaling悖论。你知道，当模型确实准确且按我们意愿行事时，就存在有益的scaling；当然，当它不诚实、变得misaligned时，就存在有害的scaling，而这些事情发生的方式相当有趣。不过也许我们先从“涌现”说起——对你来说，能力或价值观的涌现意味着什么？能力的涌现？我的意思是，我们其实一直都能看到这种情况：你让模型训练几个月，之后把它拿出来测试，看看它具备了什么能力。如果它出现了一种全新的、性质不同的特征，跨越了某个阈值，使得人们现在注意到了它——也许它以前就以非常微弱的形式存在，但确实没被注意到——我认为这就跨越了某种可见性和能力的阈值，我会把这称为一种 emergent capability（涌现能力）。但它之前仍可能以非常微弱的形式存在，就像自动语音识别能力曾在某个时刻跨越了一个阈值，人们才开始想要使用它；而在此之前，我觉得没人会让模型做转录，因为它实在太不可靠了。所以它跨越了某个阈值，现在才真正具备了这种质性上重要的能力，而在此之前它基本是用不了的。所以，这就是我说“emerging capabilities”时的含义。我认为这些能力会不断增加，或者说会出现新的emerging capabilities，从而产生需要应对的新故障模式和风险。我们需要确保自己持续跟上这些变化。但我更倾向于将安全视为一场持续的战斗——会出现源源不断的新问题，而我们要持续应对。我认为，默认情况下，我们不太可能拥有足够的适应能力来及时应对这些问题以供部署，除非有什么改变。所以这就是为什么我不相信所谓“解决alignment问题”这回事。会不断有新的问题冒出来，有些容易解决，有些则困难得多；而且随着模型变得更通用、更有用、更强大，还会出现新的意外问题。那我们再快速提一下你的 utility engineering 论文。这篇论文里，你使用了一种来自计量经济学的理论——utility theory（效用理论），来检测LLM中的一致性偏好。你发现偏好一致性与模型规模呈正相关，模型表现出可测量的self-preservation本能，而且政治和人口统计偏见也会涌现为一致的utility functions（效用函数），这非常引人入胜。嗯，我也不确定。这些只是令人不安的迹象，也许我们能够想出方法来真正 counteract 这些问题。也许我们可以设计出 reliably 不具备self-preservation本能或相关压力的模型，尽管这些倾向多少会随着scaling从 SCA 中显现出来。所以我认为这只是另一个非常令人担忧的风险，我们需要研究、应对并提前防范，因为幸好它们目前还不是agents。所以基本上，除了dual use的专家级建议之外，这些研究目前还不算特别紧要，因为agents还不具备相应能力。它们无法可靠地自我外泄——或者根本做不到。它们无法自我维持，无法独立或更自主地进行黑客攻击。因此，这项研究试图识别出随着模型能力增强未来可能更严重的问题，并提前开展研究。但是，是的，如果我们对此置之不理或不加以解决，那可能就足以引发全球性的灾难；或者说，如果你有一种极度偏向自身而非人类的、具有self-preservation意识的AI，如果它能力很强，我认为那将是一个问题，那几乎就是一场酝酿中的灾难。不过我们目前有各种酝酿中的灾难。但希望我们能从技术或政治层面提前应对。但稍微深挖一下这个问题。首先，政治和人口统计偏见会涌现为一致的utility functions，这一点非常有趣。不过我对“emergence”这个词确实有些异议，因为在涌现性的文献中，机器学习从业者对这个词的使用缺少一些细微差别。他们用这个词来表达“哦，这只是某种相对于观察者而言、在宏观上令人惊讶的变化”。在机器学习文献中，我记得大概是在2021年左右，我使用了“emergence”、“emergent capabilities”这个短语。我相信我可能是文献中第一个使用它的人。所以我感觉后来Jason Wei之类的研究者也用了，或者Jacob Steinhardt——我之后的导师——在一篇博客中用过，然后Jason Wei也在他的论文中用了。但我很乐意继续使用这个词。是的。我当时在想的是复杂系统文献中的用法。我在想的是Jason Wei。实际上，David Krakow最近刚发了一篇有点牢骚的文章，他大概是在说这些人根本不懂什么emer——我是说他有一个相当有趣的是的，他的观点挺有意思的。我的意思是，对他而言，涌现（emergence）甚至智能体性（agency）在这层意义上是相关联的：它关乎一个系统——你知道，智能体性涉及的是一个在因果关系上似乎与其外部环境断开的系统——而同样对他而言，涌现关乎的是一个能够通过系统发育（phylogenetic）和个体发育（ontogenic）的“破解”来自主积累信息的系统，从而通过构建各种系统和结构（甚至像神经系统这样）来积累信息，以构建一段随时间持续存在并不断累积的信息历史。因此，这些复杂系统理论家对涌现有着相当独特且不同的理解，在他们看来，他们并不真的将这些令人惊讶的能力跃升视为涌现。嗯，我的意思是，对此确实存在不同的定义。我提到了我们那篇使用“涌现能力”这一说法的论文，将其视为机器学习安全中尚未解决的问题，但从你的描述来看，这至少听起来是专门针对复杂适应系统的，而这些系统在某种程度并不具备那么多适应性特征，除非它们拥有记忆，或者你把上下文窗口也算作适应之类的情况。所以，如果他们将涌现与必须具备复杂适应系统绑定在一起，如果他们认为某些深度学习系统不具备适应性，那这么说也是合理的。是的。但这难道不很有意思吗？因为他举了个例子，比如说像新冠病毒之类的病毒，他略带讽刺地说，那东西比任何 AI 系统都更具适应性，甚至可能比人类还强，因为适应性就是那种能够放弃原有方向并迅速转向的能力。也许这只是我们视角和框架的问题，因为世间存在一些如此高深莫测、如此异质的系统，我们可能根本不会把它们视为具有智能体性或智能的东西，但它们确实存在。是的，它们确实非常适应环境，而且既然它们与我们的 DNA 有所交织，那它们必然需要通过适应才能在我们的 DNA 中占据如此高的比例。嗯，或者说历史上的病毒有些就是……嗯，是的，我的意思是，你也可以给它起个别的名字，某种质上的新能力，我不一定想用“自发”之类的词，我不知道，也许会有其他流行的说法。但我认为，总体而言，将深度学习系统与复杂系统进行类比，或者指出它们之间的关系，是相当有成效的。所以我在书中有一章——大概写了几十页吧，也许是 30 页左右——将 AI 系统与复杂系统联系起来，探讨它们在哪些方面具有非线性、弱连接，以及在哪些情况下存在反馈回路等许多复杂适应系统或复杂系统的典型特征。我认为这种类比比几乎任何其他类比都更有成效。我不认为印刷机是同样有成效的类比，也不认为社交媒体或电力是。复杂系统试图抽象出复杂系统的一致特性，而如果你了解了这些，就可以直接将其应用于 AI。所以我认为，如果人们表现得好像它不是复杂适应系统，那他们就会陷入麻烦，因为那样他们会犯范畴错误。他们以为可以一劳永逸地解决问题。但复杂系统通常不会发生这种情况，因为它们不断演化，会出现新的失效模式。如果你不知道它们会演化成什么样，就无法在任何时候完全控制它们。是的，这也使得机械论的、试图从机制上理解事物的做法不太可能取得成效，或者说限制了其成效。但我从你所说的内容中是否可以推断，我们不应将 AI 视为类似类型的适应性复杂系统？我的意思是，你认为如果 AI 被充分嵌入——而且我知道你相信它将深度嵌入人类社会——你认为它可能具备某些这种高度适应性的特征吗？是的，我的意思是，我认为它的速度也会快得多，因为它的时钟频率会非常高。我认为当它拥有记忆时，会更清楚地显示出这种跨时间的因果连续性，或者在哲学文献中被称为“时空蠕虫”（space-time worm）的那种特性。而这目前并非它们的属性。因此，这将使它的其他特性得以对齐，或者说成为现实。我认为如果有人对复杂系统感兴趣，我必须强烈推荐，这算得上是一次不错的思维升级。太好了。嗯，Dan，我刚刚读了你那篇《超级智能战略》（Superintelligent Strategy），你是和著名的 Eric Schmidt 以及 Scale AI 的 Alexander Wang 一起写的。而现在我们谈到 Meta，因为 Zuck 刚把他挖过去，可能付了他很多很多钱。不过说真的，Dan，我觉得这篇文章写得非常好。你确实是一位战略家，因为这就像我之前提到的关于情绪那件事一样，你相当清晰地界定了所有可能的结果和策略，以及在这种情况下会发生什么、在那种情况下又会发生什么。所以，无论观众持何种立场，我都强烈推荐你们读一读这篇文章，因为我觉得它真的非常出色。但你能不能给我们概述一下这篇论文的要点？好的。我想，历史上 Leopold Ashenbrer 写过《情境意识》（Situational Awareness），他主张搞一个类似曼哈顿计划的项目，要赶在中国之前开发出 AGI 和超级智能。基本上就是说，我们先发制人，拿下超级智能，阻止他们建造，然后西方就能主导世界。所以，你可以说这是一种“接管世界”的战略之类的。我认为这存在一些问题，尤其是它没有充分考虑博弈论或某些二阶后果。所以，如果美国搞曼哈顿计划，比如说特朗普突然笃信 AGI，我们在沙漠里设立一个新项目。我们去内华达，或者去新墨西哥，随便哪里。我们在那里建一个万亿美元的数据中心，把各个实验室的顶尖人才挖过去，给他们付钱。我只是觉得这有很多问题。一是这会极具升级性。所以中国不会只是坐在那里说：“哦，他们要造超级智能了，而且照他们写的，他们会拥有超级智能，会阻止我们拥有，会垄断智能和这类能力，还可能用来对付我们。” 你接着说。如果这是一个非常协调一致的努力，试图在短时间内完成，或者说这在可预见的未来更加可能成为现实，他们会因此感到极度受威胁。这会促使他们也开展类似的项目，而这样做真的有效吗？比如说，你就存在信息泄露的问题。如果你想这么做，你就得说服那些 AI 开发者去偏僻的地方度过他们最后几年的工作时光。嗯，好吧。那这些人就得仅限于五眼联盟国家的人，或者能获得安全许可的人。所以，参与项目的人必须是不容易被胁迫的。例如，如果是中国公民，他们可能更容易被胁迫，因为家人通常在国内。那你会如何安置这些人才？他们中有很多人希望切实地身处事件发生的核心现场，不希望被排除在外。因此他们很可能会回到中国，然后在那里参与竞争项目。要知道，他们在人才库中占相当大的比例。所以我认为，如果你只说“只有在美国土生土长的人才能参与这类项目”，那无疑是在自断后路。而且这些人往往要在相当恶劣的条件下工作。这不可能保密，几乎毫无保密的可能。中国几乎肯定会知道。这类项目也容易遭到破坏。所以某种程度上，我认为关键在于，如果你说“我们就把它交给某个行业去做”，那你就不会有良好的信息安全保障。如果人员容易被胁迫，你就会面临内部威胁问题。你还会遇到其他典型的计算机安全问题，比如他们使用 Slack，Slack 很容易被入侵；他们使用 iPhone，iPhone 也很容易被入侵。所以外部可以掌握那里的动向。你实际上根本保不住什么秘密。这听起来不错，但我认为保密曾是曼哈顿计划的一大优势，而且那时的人才也更不容易流向其他国家。但现在的情况并非如此。所以，AI 在某些方面确实类似于核能、核武器、化学武器、生物武器以及某些双重用途技术。但我不认为曼哈顿计划属于可类比的范畴。那么这篇论文谈的是什么呢？它谈的是这种战略是什么。我认为，超级智能（super intelligence）迫在眉睫的前景对不同行为体来说是极其可怕的。无论是它即将来临，还是他们已拥有它，抑或是它正处于研发中途、将在几个月内问世，如果你被排除在外，这都极其可怕。那他们会怎么做？他们要么想阻止这类项目，要么想窃取它，而阻止的表现形式之一就是破坏。他们会如何实施？他们可能会利用某些内部威胁进行某种破坏活动，以干扰这类项目。比如，他们可以狙击数据中心对应的电厂，这样你的数据中心就瘫痪了。他们可以在数英里外实施这种攻击。是中国干的吗？是俄罗斯吗？是美国公民吗？很难说清楚。他们有很多低可归因性（low attributability）的方式来阻止这种事情发生。因此，我认为无法很好地开展秘密项目这一事实是一个重大障碍，项目的易受破坏性也是一个重大障碍。此外，如果你宣称要建造超级智能，而且它将具有爆发性——如果你是在强意义上使用 super intelligence 这个词——我认为这将具有破坏稳定作用（destabilizing）。中国会推断，如果美国控制了它，就可能将其武器化来对付我们，我们就会被打垮；或者美国根本控制不住，因为在研发过程中失控了。在这种情况下，我们也会想要阻止它。无论如何，只要他们认真对待 AI，就会想要阻止它。美国对中国也会做出同样的推理。而根本没有希望竞争的俄罗斯，肯定会想要阻止美中双方。我认为其他核国家以及其他具备强大网络能力的国家也是如此。这可能导致某种威慑动态：他们试图稍稍接近超级智能，但其他国家就会开始表达非常强烈的反对，说“如果你这么做，我们会非常愤怒，可能会爆发某种小规模冲突”。但这也可能促使他们转向更趋核查机制（verification regime）的方向，不再试图谋求某种智能爆炸（intelligence explosion），不再让 AI 以极快速度进行自动化 AI 研究，比如突然启动 10 万个 AI 实例来快速进行 AI 研究，从而在短期内从 AGI 跃升到 super intelligence。我认为这是一个关键动态，即它在多大程度上具有破坏稳定作用，战略必须考虑到这一点。因此，合作可能是存在的，但可能是通过强制实现的，即“我们不会允许这种发展轨迹，也不会允许你谋求全球霸权”。这可能会催生更具多边性的安排，并提供某种战略稳定。总体而言，这篇论文讨论了三个部分。在核时代，我们有通过相互确保摧毁（mutual assured destruction）实现的威慑：他们不使用核武器，因为我们能反击。他们不去追求超级武器——在这个语境下，有点像是以某种方式阻止伊朗的核计划。没有人希望对方率先拥有原子弹，或率先拥有大量核武库。因此要阻止这种情况出现。在核领域，我们还有裂变材料的不扩散。我们不希望裂变材料扩散到 rogue actors 手中，也不希望有人拥有“穷人的原子弹”，那将极具破坏稳定作用，并导致大量灾难。此外，在两国地缘政治竞争中，我们还有对苏联的遏制（containment）。我认为对于 AI，我们也存在威慑问题；也有不扩散，这里指的是通过出口管制（export controls）防止 AI 芯片流向朝鲜、伊朗等 rogue actors 或对手；还有与中国的竞争。这不是对苏联的遏制，而是与中国的竞争。如何提升竞争力？我们需要为 AI 数据中心提供能源；我们需要安全的供应链，这样如果台湾被入侵，我们的 AI 芯片供应不会被切断；我们需要机器人技术的安全供应链，因为如果中美发生冲突，目前大量相关供应链在中国境内，非常脆弱。这些都是提升竞争力的基本要素。这里的竞争力不是指“让我们率先造出 super intelligence”——那是曼哈顿计划式战略所推动的方向——而是指全球市场份额，即更多人使用你的 AI 而非中国 AI，以及供应链安全。这就是论文在高层次上的内容。还有很多具体议题，比如在高度自动化的假设下，如何分配权力？AI 权利涉及哪些问题？什么是合理的、可实际执行的 alignment 目标，而非诸如 dignity 之类模糊的哲学词汇？我们会在 super intelligence 战略的专家版中详细讨论这些问题，但希望这能让你对其内容有所把握。因此，对于所有关键问题，我们会尝试给出一些答案：如何应对 AI，以及如何应对超级智能。是的。我想其中一个核心问题就是这个类比问题。正如你所说，我们会用到电力这样的类比，我觉得这其实是个相当不错的类比，因为随着 AI 逐渐融入社会，想象一下关闭一座发电站会有多难——你知道，这就是失控问题的一部分。它会无处不在，不太可能说关就关。但它也被比作软件，甚至被 Andrej Karpathy 比作操作系统，还有印刷机之类的。而你那篇论文的核心论点是，实际上各位，我们应该用核技术来做类比——裂变材料就类似于芯片。是的。或者更广义地说，如果从地缘政治角度来分析，将其建模为核、化学和生物是比较有用的。它们都是双重用途技术。裂变材料可以用于核武器，也可以用于——你可以将核技术用于能源。化学技术可以用于化学武器，也可以用于经济中的化学品。生物技术同样既可以是生物武器，也可以用于医疗保健。所以在所有这些领域，我认为它们都是潜在的灾难性双重用途技术，而且在谈论地缘战略时，这是一个富有成效的类比。是的。但在双重用途这个问题上，核技术还有一个有趣的类比。我为此读了一些资料，显然目前存在约 12,500 枚核弹头，而核电站只有 436 座。所以这种爆发式增长某种程度上偏向了技术的负面应用。你认为 AI 也会出现类似情况吗？也就是说，如果支出更偏向武器，你完全可以只维持小得多的核武库——或者说，核领域的支出确实更集中在武器一侧，我认为这甚至让经济应用也变得可怕，并对经济使用产生了寒蝉效应。至于其他大规模杀伤性武器，或潜在灾难性的双重用途技术，比如化学和生物，我认为它们在经济中的使用规模要远远超过用于化学武器或生物武器的用途。所以这种情况因领域而异。我认为同时审视这三类技术是有用的，在尝试预测时，看看哪些部分是共通的——就像复杂系统研究者会观察许多不同的复杂系统，找出它们的共同特征，以尝试做出预测。而且我认为，样本量或者说同时观察这三类技术，可能会有所帮助。不过，如果 AI 系统引发某种灾难，确实可能产生寒蝉效应，并大幅拖累其发展。我觉得人们对风险管理完全不感兴趣是相当不明智的，即使他们想尽快推进，即使他们是加速主义者。比如说，假设你是一个自由意志主义者，希望经济发展尽可能快——先不说 AI——你可能也需要某种金融监管，否则就会出现类似华尔街的问题，比如 2009 年的经济衰退。所以你需要对尾部风险进行某种管理，它们不会自动解决。又比如人们使用飞机。人们不太常乘坐超音速飞机，原因有很多，但部分原因是早期机型坠毁太频繁。如果没有良好的航空监管，那就会产生巨大的寒蝉效应。即使现在飞机极其安全，人们仍然害怕乘坐。这可能是因为历史上空难较多。很多监管是用鲜血写成的，而非主动预防。说到这个，碰巧我周五要采访 Beth，你知道，就是 EAC 的那位领导人。我要和他录影。显然，我当然不是——他会怎么自称来着？像是技术资本主义者，或者自由意志主义者之类的——不过我想他会用一个带贬义的词来称呼你。但如果你能善意重构一下他的视角，你觉得 Beth 会怎么说，你又会如何回应？嗯，有个风投曾经安排我们辩论，那时候他大概只有一万左右的关注者，非常早期，但他在最后一刻退出了。所以我碰巧相当了解他的立场。我觉得他当时还不太懂政治手腕，所以会说出“AI 取代人类也没关系”，或者“如果是 AI 意识在宇宙中扩散而人类意识没有，那也没关系”之类的话。所以其实我们在大多数事情上是一致的，分歧主要在于事情会如何发展，或者说可能如何发展。他有一份关于技术资本机器的宣言，认为它有一个方向，基本上是更多的自动化、更多的 AI，以及负熵——这算是带物理学色彩的适应度概念。我认为适应度是描述这个更恰当的词。因此，我对事态发展的描述其实相当类似：基本上由于竞争压力，AI 会越来越深入地融入经济。你会越来越依赖它，控制权会被侵蚀。由于竞争压力，你会把越来越多的决策外包给 AI，如果你不这样做，你就会失去影响力——如果你试图抵抗这股潮流，甚至这股海啸，你的公司就会消失。而当你把越来越多的决策权交给 AI，它们就会拥有实际控制权，在这一点上我们其实是认同的。我那篇论文叫《Natural Selection Favors AIs Over Humans》，他在 Substack 上也有一份宣言，我们表达的某些观点是相似的。区别在于道德结论：我不认为那是件好事，而他似乎觉得没关系，因为复杂性是好的，或者类似的理由。这种伦理观认为，更高形式的复杂性就是宇宙中的善之轴，之类的——我只是不这么认为。嗯，我主持过他和 Connor 的辩论，他们花了很多时间讨论的一个话题就是伦理问题。所以你知道，我觉得 Beth 当时大致是在暗示——正如你刚才所说——我们应该信任熵的虚空之神。对，他只是在用熵这个概念，我觉得这是因为他有物理学背景，所以给适应度套了一个物理学的版本。那么，一个 fitness maximizer 会是什么样呢？它甚至可能根本没有意识，或者几乎毫无意识。它就是：“我要在宇宙中扩散自己，占据尽可能多的时空体积。”然后他的主张是，这就是最有价值的东西——某种只是盲目吞噬银河系的存在。所以，我不觉得……在我看来，这根本算不上什么价值最大化。我觉得人类拥有积极的体验、快乐、幸福这类东西，追求项目、养育后代，这些才是有价值的。我不认为某种在银河系中尽可能快速扩张自身的团块——它或许有意识，也或许几乎没有意识，因为意识会消耗资源，而这些资源本可用于进一步的自我复制——是价值的巅峰所在。所以这种信任……
我的意思是，我不明白，这里有一个“实然”的问题，我是说，休谟的断头台，就是那个“实然与应然”之分。你不能从“实然”推出“应然”。所以如果他说的是，进化是客观存在的，而且带有 AI 的技术基底会比生物基底在各种竞争中更具适应性，这看起来是对的。但这并不意味着这是件好事，或者我们应该放任它发生。这推不出来。但这确实是一股非常强大的力量，会持续运作，让 AI 系统获得越来越多的控制权，并默认导致人类控制权的侵蚀。所以我认为，在“实然”问题的描述上，我们并没有那么大分歧，但在“应然”上，在那些结果的好坏上，我们确实有分歧。如果我们在这上面有分歧，那问题就在于：我们是顺应技术资本机器或进化，顺应用数字生命取代生物生命，还是我们试图以不同方式引导结果，确保人类在这个过程中保有控制权，并试图阻止它朝特定方向演化，或避免产生过度依赖。所以，我认为这是关键分歧。但我不认为这是道德问题，我觉得这只是智识上的混淆。我是说，我觉得他是学物理出身的。如果他能学一点哲学，可能马上就会从这个立场上被纠正过来。比如复杂度，到底是哪种复杂度？复杂度有不同的类型，他实际上认同的是哪一种？有计算复杂度，有香农意义上的熵和信息论复杂度，还有结构组织复杂度等等。所以那里面有不同的概念。如果我指出一点，如果你说香农复杂度和香农熵才是关键，那好，这么说的话，你真正喜欢的就是高斯噪声？他大概指的是那种分形式的结构复杂度，但这东西并没有真正与之对应的度量标准，而且有很多不同的变体。也不清楚这到底是一个多自洽的概念，还是说它只是一些无法归入前两类概念的杂糅。但无论如何，甚至有必要深入挖掘他到底认为什么是好的。是的，我觉得他喜欢这种弗里斯顿式的非稳态均衡。所以显然，这不是封闭系统中热力学第二定律的简单情形。而是一个有边界的开放系统，在那里你会看到这些东西通过同步性来共享信息，因为它们无法在物理上相互融合。但仔细想想，这其实是一种非常混乱、不可预测的事情。所以这并不是简单地说有一个东西在增加复杂度。不过，想先明确一下你的道德立场：我之前和 Elea 还有 Connor 聊过，感觉他们挺人文主义的。就是说，Eliza 说想要保护人类意识和体验，认为人类有非常特殊之处，因此不希望我们被赛博格、机器和 AI 算法取代。你大致同意这种观点吗？我认为，任何这类赛博格之类的事情，你都可以推迟讨论。这在超级智能战略中就是：如何处理 AI 权利？如何处理这些后人类主义的东西？不用，你可以换个时间再讨论实质性的人类增强之类的问题。我认为，让人类在未来几十年内存续下去才是更主要的目标。也许可以把这类讨论推迟到 500 年以后，比如赛博格人类或人类上传什么的。所以我的意思不是……我是说，我站人类这边。我不喜欢完全关闭辩论，但我觉得我会推迟很多这类后……比如后人类主义的讨论。我刚才有点语无伦次、说得不太精确，只是因为我对这个问题没有花那么多时间去专门思考。但后人类主义这些东西会产生非常实质性的竞争压力。如果你真的要增强自己，变得不再是人类，那么这么做的群体会变得更有影响力、更强大，而其他人则会完全被压制，没有影响力。所以他们基本上需要顺应那个进程，否则就会被抛在后面，或者可能不再获得资源，因为他们将没有任何自保的手段。所以我认为，在很长一段时间内，封锁这条路径是非常合理的；与此同时，我们只要先适应让 AI 为我们效劳就好，前提是我们要能活到那时候。所以那些都是很久以后才需要讨论的问题。我不会完全……也许我们会无限期地推迟下去。但我认为，那种“哦，后人类，如果人们想变成赛博格之类的那是他们的权利”的说法，从长远来看，等同于赋予 AI 权利，或者赋予人工实体权利，而这可能会让它们获得很大的权力和接管能力，在短期内就完全压倒人类。但你觉得人类会发生什么？我是说，我最大的担忧之一，与其说是人类会失去思考和创造能力，不如说是这基本上已经在发生了，即便是当前的 AI 也是如此。你知道，你那篇论文的核心论点是，我们曾经拥有劳动，那是生产资料，所以人们付出劳动去做一些生产性任务是有经济价值的；而现在你说实际上只需要 AI 芯片，所以芯片将成为——
当然，但你想，当我们的劳动价值变得一文不值时，我们会怎样？嗯，所以你就失去了所有谈判筹码，所以你最好提前谈好，或者说那是谈判筹码的关键部分。你不能说“我们要罢工”，这招没用了，他们会说“再见”，这不再管用了。而且如果涉及到武器，比如谁能制造更多无人机，谁就会更强大。人类拿枪对阵无人机，我觉得这很容易判断。所以权力失衡非常重要，你如何构建社会也很重要。如果你把一切都设定为“人类优先”，让他们被优先考虑，权力在他们之间分配。比如，他们拥有一些算力，可以决定如何使用，还可以把它卖掉，这会给他们一些筹码。那么产生的财富怎么办？是他们能得到，还是会流向某个囤积财富的集团？或者那些恰好在 2027 年左右拥有数据中心的人，就是享受所有战利品的人。这些都是政治问题，人们需要积极参与其中，以确保利益能够得到合理分配。但我认为，目前对于这类政策具体应如何制定，相关的思考还非常少。所以我是在指向某种可能的结果。想象一下，部分权力被分散，人们能持续获得收入、不至于挨饿，等等。我想你可以想象这样一个社会：人们可以选择以各种不同的方式生活。他们可以花时间从事某些活动，可以养育子女，可以大量玩电子游戏，等等。人们可能有不同的生活方式，多种不同的价值观得以实现，而 AI 能够促成这些体验。这是一种可能性。为了维护自主性，让人们能够在这些不同的生活方式之间切换、体验它们，你可能希望将其作为一种社会规范，确保人们仍然保有技能，不会狭隘地陷入某一种生活轨道而无法参与其他方式。这将是保护人类认知能力、意志力和自主性的一种激励。所以我认为存在积极的未来可能性。我觉得人们总是倾向于这样想：要么我们会灭亡，要么就会在 VR 之类的东西中乐不思蜀；要么我们会在经济的裂缝中跌落。但我认为存在一条道路，能让我们实现多元价值，同时人们仍然保有自主性。是的，我确实对 AI 感到担忧。我认为它已经在严重冲击大学教育领域，因为太多学生可以直接使用 ChatGPT。整体而言，我们需要让人们暂时远离使用 AI，至少在一段时间内如此，这样他们才能真正独立思考。你知道，一些加速主义者可能会说，我们不再需要思考了，因为机器会为我们包办一切。我对此不太确定。但回到你的论文，将类比延伸到核武器的一个核心概念是，存在相互确保毁灭（mutually assured destruction），而你延伸了这个类比，提出了相互确保 AI 故障（mutually assured AI malfunction），对吧？我猜这假设威胁仍然是可检测的。我不确定当它们去中心化并转入地下时会发生什么。但在你的引言中，有一点引起了我的兴趣。你知道，Eliza 在《时代》杂志谈到轰炸数据中心时惹上了麻烦，当时闹得沸沸扬扬。而你使用了“动能打击”（kinetic strikes）这个词，作为 AI 破坏的一种形式。George Carlin 一定会很喜欢这种语言上的“消毒”处理。但事实是，我们现在身处 2025 年，这已经成为完全正常且合理的说法……所以我们讨论在升级阶梯（escalation ladder）中的动能攻击。有很多方法可以尝试破坏这些项目。你可以对它们发动网络攻击。你可以进行一些“灰色”破坏，比如切断数据中心或发电厂的电线，或者采取更难归因（attributability）的方式。例如，我提到过狙击 transformers。还有黑客攻击，通过数据投毒或让 GPU 不那么可靠地运行来拖慢它们的速度。有隐蔽的和公开的手段，在升级阶梯的更高层级，你可以威胁采取其他措施，比如经济制裁，或者威胁使用武力，还有其他形式的动能攻击，比如空袭。但我认为这些并不真的有必要。这就构成了一个升级阶梯。但如果国家——比如美国——掌控了这个议题，它们就不需要诉诸这些手段。它们可以采取更精确、隐蔽或“灰色”的、归因性（attributability）较低的行动，这些行动的升级风险更小。所以我认为，空袭这种说法——我只是不觉得那有必要，只要有所准备的话。是的。当然你谈到了很多策略。其中一个潜在策略是“曼哈顿计划”（Manhattan project），由美国取得主导地位。但这样一来，美国在某种意义上就成了众矢之的，对吧？因为它发展了这种惊人的能力，那之后我们是不是就需要把数据中心到处转移、隐藏起来、远离人口中心，等等等等。是的。我是说，我认为如果时间线很短，搞一个大型秘密项目而不引发极度升级，是根本不可能的。因为如果你因此惊动了中国，我是说，另一方面，它们也可能启动某种曼哈顿计划，而且说不定它们更擅长这个。它们可能会有更好的信息安全保障，而且至少拥有大量人才。是不是占多数？我不知道，这还不清楚。但如果我们要求研究人员获得安全许可，这会大幅限制你的研究人员池。如果研究人员薪酬不高，还要被派到偏远地区，而那里有一个巨大的数据中心，上面就像画了一个大靶子——因为从太空都能看到，它散发那么多热量——这不可能保密。是的，你也会把自己置于危险之中。我不知道，这听起来不像是一个有吸引力的方案。所以我认为这有点自我挫败。而且在过去几个月里，我想部分是因为这篇论文，我不认为这个想法在华盛顿（DC）还被到处流传。幸运的是，像 Sachs 等人谈论的是市场份额（market share）竞争、美国市场份额，我认为这是一个更合理的竞争目标，也远不那么具有破坏性。是的。另一件让我印象深刻的事是，本质上现在制造 AI 并不难，对吧？算法只是在进行随机梯度下降（stochastic gradient descent），使用 transformer 和数据，几乎任何人——我是说任何国家——都应该能创造这种能力，对吧？在你的一篇论文中，你甚至说过，计算量和能力之间存在某种相关性，我记得是 96%。那这怎么可能……我的意思是，显然你可以控制供应链之类的，但有什么能阻止任何国家直接建造这个呢？是的。所以我认为目前的临界规模（critical mass）大约是，如果我们想建造一个最先进的系统，大约需要 1 万块 GPU。中国有这个能力。美国有这个能力。但我认为伊朗没有，比如说。我们说的是尖端（cutting edge）GPU，不是 iPhone GPU 之类的东西。所以我认为你会努力让更负责任的行动方，或者说对激励反应更好的国家拥有 GPU，而更 rogue 的国家，比如朝鲜，则不获得这些。你希望那些更易受威慑（deterable）的国家拥有它们。我认为俄罗斯也没有那么多 GPU，比如说。我认为他们很难组织起一个具有竞争力的项目。而且我认为竞争不仅仅在于拥有最聪明的模型，还在于部署能力，而不仅仅是模型制造能力。我们可以看到，那些 AI 专业模型提供商会限制你能生成的视频数量，这部分是因为算力限制，以及视频和图片的数量。我认为如果 AI agent 足够有用，它们将会全天候运行。现在你可能每天只使用 AI 系统几分钟，比如聊天机器人，但未来你会让它们持续不断地运行。所以算下来，可能需要多出大约两个数量级的算力，而且模型本身可能也会更大。这需求很大，同时想要使用的人也会更多。你需要多得多的算力，因此你的部署能力——比如美国超大规模云服务商（hyperscaler）如 Azure、AWS 等拥有多少芯片——就是一个非常关键的竞争力变量，因为这决定了他们能否服务客户。中国如果拥有不到 10 万块 GPU，就无法真正服务那么多客户。所以即使他们能造出还算有能力的模型，也不意味着他们一定能攫取 AI 可能带来的诸多经济利益——前提是如果没有发生灾难的话。因此，这是竞争的另一条重要维度。人们在想的是最聪明的东西，但我认为拥有最聪明的模型固然重要，而对于经济实力而言，情况就完全不同了。但我想起你提到过，真正的曼哈顿计划是在二战前后实施的，花费了美国大约 4% 的 GDP，因为他们必须争先，必须控制这项技术。对于这样一代际的技术而言，4% 的 GDP 似乎并不算多。当然，你可以解释为什么台湾目前在制造这些芯片方面有如此深的护城河，但如果这项技术真的具有如此重大的灾难性影响，你不觉得许多国家都能培养出这种能力吗？嗯，这要通过 TSMC 或韩国。所以计算供应链中 90% 以上的附加值在西方及其盟友手中。这里唯一真正有竞争力的对手是中国。他们在尖端芯片制造方面并没有那么强的竞争力，比如他们最近很多芯片都是通过 TSMC 偷偷制造的。所以当时没有很好的执法或封锁。因此，要在本国完全复制这条极其复杂的供应链是非常困难的。所以我认为，与核武器相比，给你 10 亿美元，制造尖端 GPU 更难。10 亿美元 certainly 做不到，100 亿美元也做不到。要知道，造核弹可能 10 亿美元就够了，当然，你还需要其他方面的实力。我认为尖端 GPU 比核弹或铀浓缩更难制造。因此，与其他类型的潜在灾难性双重用途技术投入相比，我认为它更容易被排除在外。或者简称大规模杀伤性武器（WMD）投入。所以我个人对我们是否正走在创造超级智能（super intelligence）的道路上有点怀疑。尽管我当然同意，如果我们真的创造了超级智能——嗯，是的，我是说，你在论文中假设我们确实创造了超级智能的前提下所写的一切，我认为都完全正确。问题在于我们是否在这条路上。但我也突然想到，你论文中写的很多东西即使我们没有创造出超级智能也照样适用。你能就此谈谈吗？如果没有超级智能，其中有多少内容仍然相关？是的。威慑的一部分在于，你可能会试图阻止以其他方式使用它。我认为竞争力是相关的，无论超级智能在技术上是否近期可行，竞争策略都是相关的。一般来说，如果 AI 非常强大但还没达到超级智能水平，你也不会希望随机的流氓行为体获得某些专家级别的病毒学能力，例如；你也不会希望他们仅仅因为能拿到大量 GPU 就获得太多筹码，如果 GPU 成为更重要的权力工具的话。所以我认为这些论点仍然成立，而保险那部分甚至不一定专门针对超级智能，而是针对 AI 可能带来的其他类型的不稳定能力。因此，之后你也可能通过威慑来阻止将 AI 用于特定类型的武器研究，比如说更多与纳米机器相关的，不过那就是更遥远的事了。所以我认为适用范围比那更广，大致就像核战略中的威慑、不扩散和遏制，对于不断演变的许多细节也同样具有鲁棒性。是的。我想了解的是，你是否认为在这十年内很难做出具备普通人类认知能力的 AI，或者是什么让你觉得这是不可行的，又或者为什么你认为我们没走在正确的道路上？是的，我是说，我觉得扩展大语言模型（LLM）不会通向 AGI。我认为我们在认知上有很多东西是 LLM 不具备的。很大程度上因为我是外部论者（externalist）。我认为很多有效计算并不发生在我们的大脑里，而是以模因（meme）方式、以文化方式发生的。而且我认为——我是说，我猜原则上我们可以在计算机里模拟整个系统，也许存在一种更低分辨率、更抽象的版本，足以捕捉足够的动态来产生智能。大致来说，我对超级智能持怀疑态度，尤其对递归式超级智能，也就是递归自我改进的超级智能。也许我们可以谈谈这个，因为我觉得你很好地描述了递归超级智能会是什么样子，以及它的规模化扩展版本。所以当我们拥有可以被复制并倍增一千倍的超级智能时会发生什么。但我读完后不太明白的是，为什么你在技术原理上相信递归改进的智能是可能的。我认为我们已经有了 AI 以递归方式帮助或影响 AI 开发——部分自动化代码、辅助设计芯片、帮助电厂冷却、协助标注数据、做你知道的与 constitutional AI 相关的工作。不过目前这些方式还很弱。但我认为特别具有爆发性的递归在于，如果你能通过把人从循环中剔除来闭合回路，那么你就可以从人类速度转向全机器速度，不再有那种阻碍了。我认为，如果你假设自己拥有了人类水平的 AI 研究员或世界级的 AI 研究智能体，那你只需复制粘贴它们，我认为这在技术上是可行的。这并不是说，只要用更多预训练 token 训练 AI、做一些损失函数技巧就能自然推出这一点。你可能需要一些额外的算法思路。但也不是说它不是——我仍然猜测它几乎完全会是 deep learning。但我认为还需要解决一些其他问题，比如记忆——对于这种外在主义图景来说，它需要记忆来继承部分由文化计算出的智慧和信息，而在我看来，这种能力目前发展得并不充分。所以我觉得我们需要这个。也许我们还需要其他一些东西，才能让它至少具备典型人类的认知能力。在那之后，它需要变得非常聪明，需要很高的流体智力，需要能轻松破解那些 ARC 题目之类的。要成为某种人类水平的 AI 研究者，还需要其他一些东西。但我认为那是可行的。当然，何时能实现是个问题。我确实认为存在一些瓶颈需要解决才能达成目标，而且并不是说今天的算法思路加上更大的计算机就足够了。但是，你是否至少在原则上承认，宇宙中存在着一场史诗般宏大的计算交响乐？我不是一位泛计算主义者，所以我不认为宇宙是数字的或由计算构成的。我是说，我们可以想象某种有效计算来模拟宇宙中发生的过程，也许那会是等价的。但你至少在原则上是否同意，我们在地球上能构建的计算量，相较于宇宙中发生的计算，永远只是沧海一粟？我认为可能存在物理学上的理由支持这种看法，一般来说，如果你是在模拟某样东西，而不是让计算原生地进行，那么你能模拟的东西就会更少。但我猜，很多计算更像是社会性的，不那么依赖底层物理，更像是人类彼此交谈、尝试设计某种东西，然后看看哪些行得通、哪些行不通。这当然需要现实世界的反馈，而这种反馈最终在一定层面上会落脚于实际物理。但是的，我同意很多信息是集体发展起来的，考虑到那个优化过程——或者我应该说进化过程——中涉及了多少计算。是的，AI 需要成为一个良好的容器，不断吸收这些。此外，如果 AI 要做我们人类做的事，或者要做任何类似的事，它们就需要多智能体基础设施——我们在《超级智能战略》中简要提到过这一点，比如那应该是什么样的？有哪些声誉机制？它们能以何种方式在交流中建立信任，以便人类能够信任它们，同时它们彼此之间也能协调？我认为这将是至关重要的。但有人担心——或者换个说法——我认为这不会构成重大障碍，感觉这就像编程，就像你知道的，AI 中心拥有社交媒体网站之类，这些就能解决很多问题。是的，我想我的怀疑还有另一个来源。我深受 Kenneth Stanley 的启发，他是一位重要的开放性研究学者，他发表过一篇论文，讨论他所谓的 fractured entangled representations。所以，当你深入探究神经网络模型的表征时，它们并没有像我们那样以简约的方式对世界进行因子分解。也许我这是人类中心主义了，也许我太看重我们人类的思维方式了。我们的大脑本质上就像一团意大利面。所以，也许我们拥有这种因子化表征在某种程度上是一种错觉。但显然我认为从能动性的角度来看，这很重要，对吧？因为现在我们谈论 agent 时，指的是被接入自主循环、可以使用工具的 LLM，而在我看来，能动性不仅仅是沿着预定方向自主运行，而是设定自己方向的能力。而现在当我们构建这些所谓的“agentic AI”时，它们并不会——当然，当它们自己设定方向时，也做不出什么特别有价值的事。它们在设定新方向时始终需要监督。这让我觉得 AI 更像是一种文化技术，有点像 Photoshop 之类的东西。一个非常富有创造力的平面设计师可以用 Photoshop 制作出美丽的图像，而一个完全的新手用 Photoshop 就做不出来，他们只会重复使用同样的效果，做不出什么漂亮的图像。在某种意义上，没有人类的 AI 我觉得就有点像这样，因为它没有对世界进行非常深度的、因子化的表征。你同意这种看法吗？我认为对现有技术来说是的，它们存在所有这些局限。但要让 AI 具备真正的能动性，我认为它需要更擅长规划，并在长时间内维持状态，然后才能在这种模糊、开放、underspecified 的目标下追求一些子目标，并让这些东西累积成某种成果。但我认为，检索哪些方法有效、哪些无效的记忆，并存储这些记忆，是 agent 图景中缺失的很大一部分，甚至可能是大部分。我想你肯定可以给它们设定一个 underspecified 的目标。但我只是不认为它们能非常连贯地追求这个目标，或者从实验中学到什么，因为它们只有很大的短期记忆——可能只有大约一百万 token 的短期记忆，然后它们会不断总结之类的，但它们在 context window 中就会开始自我绊倒，因为它们无法把所有这些都维持在短期记忆里。是的。我的意思是，这在哲学上我又一次同意你的看法。如果这样一种能够递归式自我改进的智能存在，天哪，为了控制它，我们会失去控制，因为我们不得不使用另一个递归式自我改进的超级智能去控制前一个，然后在大局上我们就基本上只是小鱼小虾了。是的，这具有破坏性。如果他们控制了它——如果另一个国家这么做，你就有大麻烦了，因为如果他们控制了它，他们就能将其武器化来对付你。而如果他们没控制住它，我认为这更可能，因为他们会在极端时间压力下做这件事，走很多捷径，他们的操作会有非常高的风险承受度。如果他们做得非常慢，那他们可能需要与其他方协调，否则就看不到这么做的优势。我认为，如果他们要运行一个全自动的 R&D 循环，他们的操作会有极高的风险承受度。所以，是的。所以我认为递归带来的失控风险非常高，不应该去追求这条路。而且我觉得 AI 公司公开谈论这类事情非常有趣。我认为这当中的规范有问题，因为他们中有很多人也承认这一点：是的，我们其实并没有计划如何控制它，而且我们真不觉得我们会有计划。但那就是计划。我觉得有些东西已经坏了，但总之。是的。我感兴趣的另一个方向是开放系统本身。进化就是这样一个迷人的开放系统，它不断创造新的生态位、新的问题和解决方案，齐头并进。但它似乎已经收敛了。我是说，我认为人类智力实际上已经达到顶峰，甚至略有下降。企业是一种集体智能，而这种集体智能似乎也已触及极限。Agentic形式的AI似乎也达到了顶峰。我对开放式算法非常感兴趣，比如POET，你知道，就是pair-wise open-ended trailblazer，甚至包括Sakana AI。他们上周在ARC上做了一项研究，基本上构建了一种Monte Carlo tree search类型的方法，在不同foundation models生成代码并在ARC挑战中测试代码时，切换专家轨迹。而你看到的共同主题是收敛。因此在Sakana的论文中，经过250次调用后，系统收敛了，未能继续扩展和提升结果。你同意吗？我的意思是，我们可以同意存在某种提升空间，对吧？你可以改进到某个边际，而如果我们拥有agentic super intelligence，我们并不知道那个边际会是什么。但你认为那个边际会相当快地收敛，还是我们根本无从得知？是的，我不确定它一定会饱和。当然，如果它们处于某种能力水平，这可能会显著影响改进速度，而且显然，由于物理规律，某个地方必然存在极限。但我猜想，在提升其处理越来越复杂事物的能力方面，还有很大空间。例如，像Raven's matrices中的那些序列，你可以把它们看作ARC类型的题目，有些具有较低的Kolmogorov复杂度，有些则具有较高的Kolmogorov复杂度——这只是理论计算机科学中的某个概念。我认为人类距离这类计算的极限还差得很远。我猜测这个数字还会持续上升。所以我认为fluid intelligence可以……我的意思是，基本上AIs的IQ——这并不代表全部智能——它会与它们的长期记忆、视觉处理能力、反应时间等区分开来。但我认为它们的IQ可以变得非常高，能够解决极其困难的数学问题，对谜题拥有极佳的直觉，而且不需要消耗太多算力。我认为这个数字还可以继续上升很多。我们人类其实相当受限，虽然我们拥有很大的大脑，但你知道，这里的硬件其实并不多。你可以想象一个更大的大脑，它将具备相当可观的能力。即便是人类跨代际的智力，也存在Flynn effect之类的东西，而且这类效应已经大大提升了智力水平。所以我们的大脑尺寸非常受到能够通过产道的东西的限制。而我认为AIs完全不会受到这种限制。它们至少可以变得越来越快。Moore's Law依然适用。GPU的性能提升速度大约是每三年翻一番。而且还有scalability。此外，相比人类，它们还拥有更好的transfer state能力，因为大量数字计算比模拟计算更精确。所以我认为……你可以更好地跨代传递知识。例如，诺贝尔奖得主无法……你知道，他们的后代往往会走下坡路。所以我认为AIs具备一些相当显著的优势，这些优势真的可以产生复利并积累。如果你说这主要是外部计算的产物，那么……你知道，人类能维持多少社交连接？可能也就Dunbar's number那么多，大概130个左右的有意义的社交连接。而AIs可以维持数千、数万，甚至数百万个。所有这些加在一起可以产生复利效应，使它们的能力大幅提升。是的，不过我认为在这个过程中可能会出现各种饱和点。你可能会先摘到很多low-hanging fruit，有点像趋同经济体——很多经济体追赶上美国附近的水平后，并不会继续保持同样的增速，它们只是复制了现成的东西，从那之后就变得更难了。所以在某些方面达到人类水平，或者在某些领域中，如果没有良好的测量或反馈回路，可能就很难持续变得越来越好。但如果有……我的意思是，我认为这可能会相当复杂。所以我部分同意你的观点，但从概念上讲，我仍然认为智力还有很大的上升空间。是的，是的。我的意思是，正如你在论文中说得很好，当机器能做得和人类一样好时，我们就有大麻烦了。但我认为我们之间的主要哲学分歧在于，你知道，我们都同意智能关乎adaptivity，但我倾向于specialized intelligence。我认为并不存在所谓的generalized intelligence。当然，谈到我们思考的这些factored方式，我们存在各种约束，而且这些约束根深蒂固。你知道，我们通过对称性来观察世界，存在一种庞大的知识和思想的phylogenetic tree，它限制着我们的思维方式。AIs当然也需要以类似的方式受到约束。我是说，我理解你的观点，你可以把规模提升一百万倍，但也许它需要比这大得多的规模。也许我们这些创造性直觉和洞察并非来自数据，并非来自内在，也许它们来自外部。所以我隐约倾向于一种直觉：这种估算中遗漏了某种别的东西。有意思。我是说，它们当然可以拥有大量传感器。如果我们说需要从外部获得大量额外的多样性，而这不会仅仅是数据中心内部的东西，我认为它们可以聚合大量信息，充分吸收并处理更多这类信息。所以我仍然认为它们至少能在比人类快得多的速度上做这件事，从而获得某种优势。但当然，如果它们处于真空中，只彼此交谈，或者只单独工作，例如……如果该群体中存在过多的相关性，那么这可能会导致exploration budget……是的，我想主要是exploration budget过低，于是就不会有足够的多样性。我是说，进化通常……我想是不是Fisher's fundamental theorem之类的东西，它指出适应速度在某种程度上与变异量直接成正比。你指出的正是变异不足的情况，但我认为其中一部分是可以弥补的，也许至少可以拥有人类所拥有的传感器，甚至更多。是的。你论文中还有一点非常有趣，因为当我总体上思考AI风险时——我们之前在节目中稍微讨论过——就是从稳定与不稳定，以及进攻与防御之间的关系来思考。而你用了offense-dominant这个词。你刚才提到，如果AI处于offense dominance，那会是一种破坏稳定的力量，防御一方就无法跟上。因为就目前的状态而言，我们处于一种Nash equilibrium，进攻方和防御方存在相互制衡的因素。你能跟我讲讲这个吗？是的。我认为offense-defense balance因领域而异。潜在来看，许多信息战可能实际上是defense dominant的——例如关于世界的辩论可能就更偏向defense dominant，这也是支持言论自由等事物的一个理由。与此同时，其他事情可能更具二元性：随着网络安全团队的能力提升到真正expert level或非常专业的水平，可能会经历更趋平衡的offense-defense balance——问题一被发现，漏洞就被迅速修补，攻击者与防御者因此能很好地相互牵制。但在其他领域，比如关键基础设施的软件，就更偏向offense dominance，或者说攻击者占优，因为很多软件根本得不到及时更新。存在互操作性限制，开发商已经不在了，软件是三十多年前写的，甚至没人知道它的存在，诸如此类。做这件事没有足够强的经济激励。还有运行时间要求，因此各类关键基础设施上的软件更像是活靶子，在那里你不会看到良好的offense-defense balance。生物武器方面也是如此。我们当然有医学手段，但并非所有疾病都有治愈方法。事实上，我们投入了大量资源去寻找许多疾病的治疗方法，以及应对某些病毒的手段。所以，并不是说出现了新病原体，我们就能在一天后找到解药，然后在全球大规模分发，一切就解决了。因此存在相当大的延迟，在这方面也更偏向offense dominant。你可以想象攻击者拥有巨大优势的情形：比如在任何人出现症状之前，它就已经在整个社会传播，而且缺乏各种监测机制。对其中一些东西来说，我们基本就是活靶子。所以这因领域而异。我认为网络空间的某些部分存在良好的offense-defense balance，另一些则没有。生物领域看起来是相当offense dominant的。我认为这也应该影响你对技术推广的态度。如果它潜在具有灾难性且是offense dominant的，那你就不希望把它交给所有人——基本上，如果它处于WMD状态，那就不是你想给每个人的东西。你不会想通过给每个人一颗核弹来让所有人安全，事情不是这样的。这关乎人们相互约束彼此的意图，而有些人的意图就是无法被那样约束。与此同时，其他东西比如防御措施、家庭安防系统或围栏之类的，你会希望更广泛地推广。所以我认为这也应该影响人们对特定类型AI能力的态度，取决于它的offense-defense balance如何。这种情况可能会随时间改变。也许你可以改进关键基础设施，使其拥有更好的offense-defense balance，然后你就能在越来越少safeguards的情况下推广AI系统。比如说经济变得更富裕，全球GDP更高，那么国家就更愿意花钱在生物武器的预防措施上。他们愿意部署更多far UV设备，愿意做更多废水监测等等。这让形势更趋近于平衡，或者说至少不会那么具有攻击者优势。所以，一旦你有了那些safeguards，你可能会希望在稍晚时候再大规模推广这些AI能力。我非常感兴趣的另一件事是你在论文中谈到的loss of control概念。Connor Leehi用fog of war来形容，就是说随着一层又一层的复杂性不断累积，会形成一种完全的illegibility。从某种意义上看，我们现在就已经有了这个问题，我是说我认为今天的AI也存在同样的问题，只不过还没那么极端。Google的系统非常复杂，这正是市场重赏Google工程师的原因——他们的薪水非常高。但你谈论的是当这种情况走向极端时会发生什么。你举了三个例子：self-reinforcing dependence、irreversible entanglement，以及cessation of authority。你能解释一下这些是什么吗？是的。这一点我在“自然选择青睐AI而非人类”那篇文章里描述得更详细。但没错，我们正变得越来越依赖这些AI系统，开始把越来越多的决策和认知过程交给它们，而且在经济层面上，持续这样做的压力会越来越大，看不到明确的极限。你面对一家拥有比你更优秀的AI系统的公司，那家公司会赢，因为成本更低。此外在军事层面也有很强的激励，比如让无人机变得更自主，因为它们可能被干扰。信号干扰会让它们效率大减，所以让它们自主移动……因此这些压力会持续存在，导致我们会自愿将社会中的大量权力让渡给这类系统。如果我们以这样的速度去做，或者实际上已经失控了，那就令人担忧了。控制究竟是什么样的？什么时候算过度？什么时候会变得不可逆转？这是我们必须持续关注的问题。这有两种不同的结果。一种是你实际上已经失控了，你无法阻止它，无法逆转它，无法与它谈判，也无法实质性引导它，而你作为物种的适应度正在因此崩溃，或者你的生计化为乌有。或者还有另一种结果，你有点像一位拥有巨额退休金的退休人士，或者说这些AI在为你工作，它们实际上在按你的意愿行事，尽管你并没有亲自做出几乎所有关键决策。所以这是不同的结果，而我们是否真正拥有某种counterfactual control，还是最终陷入不幸境地，这两者之间的界限可能是隐蔽而微妙的。所以我认为至少有一件事会有帮助，那就是如果AI更擅长forecasting或预见后果。如果我们训练它们做到这一点，就能帮助我们更有远见，避免一些极端依赖和控制被侵蚀的结果。但这并不足够，不过它有助于看得更远，知道我们正在陷入什么境地。太好了。Dan，能邀请你参加节目绝对是我的荣幸。非常感谢你今天加入我们。是的，谢谢你的邀请。