作者：Robert Wiblin 与 Keiran Harris · 发布于 2021 年 8 月 4 日想象一下，如果某种外星生物降落在地球上，并且能做到这些事情。所有人都会争先恐后地去弄清楚它是怎么做到的……所以，这一切工作中真正迫切呼唤我们去回答的问题是："这些系统内部到底发生了什么？？"
大型机器学习模型能够比任何人类更准确地识别植物物种、写出还算像样的文章、在星际争霸 2（Starcraft 2）的对局中击败你、弄清楚一张 Tobey Maguire 的照片和"spider"这个词之间的关联、解决存在了 60 年的"蛋白质折叠问题"、诊断某些疾病、扮演浪漫的红娘、写出扎实的计算机代码，还能提供一些不太靠谱的法律建议。人类创造了这些惊人且不断进步的工具。那么，我们的这些造物是如何工作的？简而言之：我们不知道。今天的嘉宾 Chris Olah 认为这既荒谬又不可接受。过去十年里，他一直是揭示这些黑箱内部真实运作机制的领军人物之一。作为这项努力的一部分，他曾在 Google Brain 参与创造了著名的 DeepDream 可视化，在 OpenAI 逆向工程了 CLIP 图像分类器，如今则在 Anthropic 继续他的工作——这是一家新成立的、拥有 1 亿美元资金的研究公司，致力于"在扩展大型机器学习模型规模的同时，共同开发最新的安全技术"。尽管凭借他的推文和面向大众的机器学习科普解读，Chris 拥有庞大的粉丝群体，但今天这期节目是他有史以来第一次接受长篇访谈。节目中，他分享了自己对于"到目前为止我们对机器学习算法在做什么已经了解了多少"的个人看法，以及这一研究议程在 Anthropic 的下一步计划。他十年的工作已经结出了丰硕的果实，形成了一种方法，能够深入神经网络中错综复杂的连接内部，反推出每个部分所承担的功能角色。除其他发现之外，Chris 和团队发现，每一个视觉分类器在其早期层中似乎都会收敛到若干简单的共同元素——这些元素如此基础，以至于它们可能以某种形式存在于我们自己的视觉皮层中。他们还发现，网络中会发展出"多模态神经元"（multimodal neurons），它们会在"浪漫"这样的高层概念出现时被激活，无论这个概念是以图像还是文本形式呈现——这模仿了人类神经科学中著名的"Halle Berry 神经元"。虽然"逆向工程一个心智如何运作"足以跻身任何一份"最值得为其本身价值而追求的知识"前十榜单，但 Chris 的工作还具有紧迫的实际重要性。机器学习模型已经被部署在医疗、商业、军事和司法系统中，扮演着越来越强大的角色。只要它们能带来利润，就尽快将其投入使用的竞争压力非常大，而且只会越来越大。但如果我们不知道这些机器在做什么，我们就无法确信，当环境发生变化时，它们还会继续按照我们期望的方式工作。在我们把众所周知的"核按钮密码"交给一个算法之前，我们应该要求比"嗯，它到目前为止一直运行良好"更充分的保证。但是，通过窥探神经网络的内部并弄清楚如何"读懂它们的心思"，我们就有可能预见未来的失败，并在失败发生之前加以阻止。人工神经网络甚至可能是研究我们自己心智如何运作的更好途径，因为与人脑不同，我们可以看到它们内部发生的一切——而且既然它们面对的是类似的挑战，我们完全有理由认为进化和"梯度下降"（gradient descent）常常会收敛到相似的解决方案。订阅我们的播客即可收听本期节目，这是一档关于世界上最紧迫的问题以及如何解决它们的播客：在你的播客应用中输入 80,000 Hours 即可。或者阅读下面的文字实录。制作人：Keiran Harris 音频母带处理：Ben Cordell 文字转录：Sofia Davis-Fogel
Chris Olah：在过去几年里，神经网络已经能够完成所有这些没有任何人类知道该如何直接编写计算机程序来完成的任务。我们无法编写一个计算机程序去分类图像，但我们可以构建一个神经网络，来创造出一个能够分类图像的计算机程序。我们无法直接编写计算机程序来高精度地翻译文本，但我们可以训练神经网络去翻译文本，而且比我们能写出的任何程序都翻译得好得多。
Chris Olah：在我看来，这里面始终有一个迫切需要回答的问题："这些模型是如何做到这些我们自己都不知道该怎么做的事情的？"我想很多人可能会争论可解释性（interpretability）究竟是什么。但我感兴趣的问题是："这些系统是如何完成这些任务的？它们内部到底发生了什么？"
Chris Olah：想象一下，如果某种外星生物降落在地球上，并且能做到这些事情。所有人都会蜂拥而上、争先恐后地去弄清楚这个外星生物是怎么做到的。生物学家们会为了争夺研究这些外星生物的权利而互相争斗。或者想象一下，2012 年我们在互联网上发现了某个漂浮着的二进制程序，它能做所有这些事情。所有人都会争相去逆向工程这个二进制程序在做什么。所以在我看来，这一切工作中真正迫切呼唤我们去回答的问题是："这些系统内部到底发生了什么？？"
Chris Olah：真正令人惊叹的是，当你开始理解不同神经元在做什么时，你实际上就开始能够从权重中读出算法……我们可以真正地理解神经网络中的大块部分是如何工作的。我们实际上可以逆向工程神经网络的某些部分，并且理解得如此透彻，以至于我们可以手写权重……我认为这是一个非常高的系统理解标准。
Chris Olah：归根结底，我研究（并且认为值得研究）这些较小的神经网络片段的原因在于，它为我们思考可解释性提供了一个认识论基础。代价是我们只是在处理这些小的部分，这让我们在构建对大型神经网络的理解、让这种分析真正有用方面，注定要面临一场苦战。但它的好处是，我们处理的部分足够小，以至于我们可以真正客观地理解正在发生的事情……我认为这个领域存在大量的分歧和困惑，我认为理解神经网络确实非常困难，而误解它们又非常容易，所以拥有这样的基础似乎非常有用。
Chris Olah：就像动物拥有非常相似的解剖结构一样——我想动物的情况是由于进化——神经网络实际上也会形成许多相同的东西，即使你用不同的数据集训练它们，即使它们有不同的架构，即使支撑的"脚手架"不同。相同的特征（features）和相同的回路（circuits）会形成。实际上，我发现相同回路的形成是最了不起的部分。相同特征的形成本身就已经很酷了——神经网络在学习理解视觉或理解图像的相同基本构建模块。
Chris Olah：但更进一步，即使支撑结构不同，它实际上是在学习相同的权重，把相同的神经元连接在一起。我们称之为"普遍性"（universality）。这非常疯狂。当你开始发现这类现象时，你会忍不住想："哦，也许同样的东西也会在人类身上形成。也许这实际上是某种根本性的东西。"也许这些模型正在发现视觉的基本构建模块，它们以一种非常根本的方式切分了我们对图像的理解。
Chris Olah：而事实上，其中一些东西，我们确实已经在人类身上找到了。一些较低层次的视觉现象似乎与神经科学的结果相互印证。事实上，在我们最近的一些工作中，我们发现了一种以前只在人类身上观察到的东西——多模态神经元。
Chris Olah：当时我们在研究 OpenAI 的一个叫 CLIP 的模型，你可以大致把它理解为被训练来为图像配文字说明，或者说把图像和它们的说明文字配对。所以它不是在做图像分类，而是在做一件稍微不同的事情。我们在它内部发现了许多在质上截然不同的东西。如果你看低层视觉的部分，其实很多都非常相似，这再次成为普遍性的进一步证据。
Chris Olah：我们在其他视觉模型中发现的许多相同的东西，也出现在 CLIP 的早期视觉部分。但到了网络的后段，我们发现了这些极其抽象的神经元，它们与我们以前见过的任何东西都非常不同。这些神经元有一个非常有趣的特点：它们会阅读。它们能够识别文本和图像，并且把两者融合在一起——把文字和它所检测的事物融合在一起。
Chris Olah：比如说，有一个黄色神经元，它会对黄颜色作出反应，但如果你把"yellow"这个词写出来，它也会被激活。实际上，如果你写出那些黄色物体的名称，它也会被激活。比如你写下"lemon"（柠檬）这个词，它会被激活，写下"banana"（香蕉）这个词也会被激活。这实在不是你会期望在一个视觉模型中发现的东西。它在某种意义上是一个视觉模型，但它几乎是在以某种方式进行语言处理，并把这些融合成我们所说的多模态神经元。而这正是神经科学中已经发现过的现象。人们也会有这样的神经元。有一个 Spider-Man（蜘蛛侠）神经元，它既会对作为图像的"Spider-Man"这个词——比如一张写着 Spider-Man 字样的图片——作出反应，也会对蜘蛛侠的照片和蜘蛛侠的画作作出反应。
Chris Olah：这与神经科学中一个非常著名的结果相互呼应，即 Halle Berry 神经元，或者叫 Jennifer Aniston 神经元，它同样会对这个人的照片、这个人的画像以及这个人的名字作出反应。因此，与我们之前发现的神经元相比，这些神经元在某种意义上要抽象得多，几乎是概念性的。而且它们涵盖的主题范围极其广泛。
Chris Olah：事实上，当你逐个浏览这些神经元时，感觉就像走进了幼儿园或者小学低年级的课堂。你有颜色神经元，有形状神经元，有对应一年四季的神经元，还有对应月份、天气、情绪、世界各个地区、你们国家领导人的神经元，而且所有这些神经元都具有这种令人难以置信的抽象特质。
Chris Olah：比如有一个"早晨"神经元，它会对闹钟、清晨的时刻作出反应，也会对煎饼和早餐食物的图片作出反应——涵盖了这一切令人难以置信的多样内容。还有季节神经元，会对季节的名称、与该季节相关的天气类型等等作出反应。于是你就拥有了所有这些以不同方式高度抽象的、种类繁多的神经元，这与我们之前看到的那些通常对应某类物体之类的、相对具体的神经元，显得非常不同。
Chris Olah：我认为这是一个非常合理的担忧，也是回路方法的主要缺点。目前，我们真正仔细理解过的最大回路大概是 5 万个参数。而与此同时，最大的语言模型已经达到数千亿参数。因此，哪怕只是想赶上现代语言模型的规模——更不用说未来几代神经网络了——我们还需要跨越好几个数量级的差距。尽管如此，我还是乐观的。我认为我们其实有很多方法可以克服这个问题。在访谈中，Chris 提出了应对规模化挑战的几条路径。首先，回路研究的基本方法可能比乍看之下更具可扩展性，一方面是因为大模型在某些方面可能变得更容易理解，另一方面是因为理解反复出现的"母题"（motifs）有时能带来数量级的简化（例如等变性 equivariance）。与此相关的是，如果事关重大，我们或许愿意投入大量人力来审计神经网络。最后，回路是一种认识论基础，我们可以在其之上建立对"更大尺度结构"——比如分支或"组织"——的理解。这些更大的结构或许可以直接回答安全问题，或者帮助我们把理解安全性的精力集中在模型的某些部分上。
Chris Olah：我们已经谈了很多这项工作可能失败的方式，我觉得也值得说说，如果它能成功，那会是多么美妙的一件事。一方面，它可能会让神经网络变得安全得多；另一方面，如果我们能生活在这样一个世界里，从美学上讲，我认为那真的会非常美妙……我们可以从这些神经网络中学到如此之多、如此惊人的东西。我已经从这些模型中学到了很多东西，包括一些看似无聊的事情，比如如何给狗分类，还有很多我以前不理解的东西。
Chris Olah：你可以想象这样一个世界：神经网络是安全的，但未来在某种意义上却有点悲哀。在那个世界里，我们变得无关紧要，我们不理解正在发生什么，我们只是一群在自己无法理解的世界里过着快乐生活的人类。我认为，即便有非常强大的 AI 系统，也存在另一种未来的可能——不是那样的未来。那是一个更人性化得多的世界，一个我们理解事物、能够对事物进行推理的世界。我对那样的世界感到兴奋得多，这也是激励我从事这一方向工作的部分原因。
Chris Olah：有一个叫"显微镜 AI"（microscope AI）的想法。人们有时会谈论"代理型 AI"（agent AI），它们会去实际做事；还有"神谕型 AI"（oracle AI），它们只是给我们提供关于该怎么做的明智建议。而对于强大的 AI 系统可能是什么样子，还有另一种愿景——我认为它比其他几种更难实现，在某种意义上大概也竞争力更弱，但我觉得它真的很美——那就是显微镜 AI，它只是让我们更好地理解世界，或者以一种让我们变得更聪明、让我们对世界拥有更丰富视角的方式，与我们分享它对世界的理解。我认为只有当我们真正成功实现对模型的这种理解时，这才有可能，但……是的，从美学上讲，我就是更喜欢它。
Chris Olah：在最极端的一侧，你可以想象我们完全、彻底地理解了变革性 AI 系统。我们完全理解它们内部发生的一切，我们可以真正有信心地说，它们内部没有任何不安全的东西在发生。我们理解一切。它们没有对我们撒谎。它们没有操纵我们。它们真的是真心实意地在努力对我们提供最大的帮助。而一个更强的版本是：我们对它们的理解如此深入，以至于我们自己也能变得更聪明，我们拥有了一种显微镜 AI，它给了我们一种非常强大的方式去观察世界，让我们成为有能力的行动者，去帮助创造一个美好的未来。
Chris Olah：好。现在让我们设想，可解释性实际上没有以那种方式成功。我们没能达到可以完全理解一个变革性 AI 系统的程度。那太乐观了。那接下来我们该怎么办？也许我们能够对一些小的切片进行这种非常细致的分析。也许我们能理解社交推理，能理解这个模型是否……我们无法理解整个模型，但我们能理解它此刻是否在搞操纵，这仍然能够切实减轻我们对安全性的担忧。但也许连这都是奢求。也许我们连理解那个小切片都做不到。
Chris Olah：那么，我认为你可以退而求其次的是……以某种概率，你能抓到问题，抓到模型在做你不希望它做的事情的情形。你并不声称你能抓住某一类问题中的所有问题。你只是说，以某种概率，我们在检查这个系统时能抓到问题。这样你就拥有了某种类似"重来一次"（mulligan）的机会。你犯了一个错误，但你被允许重新开始——你本来会得到一个非常糟糕的系统，而你以某种概率意识到了它的糟糕，然后你可以再试一次。
Chris Olah：或者，在你逐步构建强大系统的过程中，你能够以某种概率抓到问题。这在某种程度上能让你了解，随着你构建越来越强大的系统，安全问题有多常见。也许你不太有信心能在最终系统中抓到问题，但在你朝着那个方向构建的过程中，你可以帮助社会对这些系统的风险程度形成校准的认识。
Chris Olah：基本上，当人们谈论缩放定律（scaling laws）时，他们真正的意思是：在双对数坐标图（log-log plot）上有一条直线。你可能会问："我们为什么要关心双对数坐标图上的直线？"不同的事物有不同的缩放定律，坐标轴取决于你在谈论哪条缩放定律。但可能最重要的缩放定律——或者说人们最兴奋的那条缩放定律——一条轴是模型规模，另一条轴是损失（loss）。损失高意味着性能差。你观察到的现象是：存在一条直线。当你把模型做得更大时，损失会下降，这意味着模型的表现更好。而且在很宽的范围内，这条线直得令人震惊。
Chris Olah：对我来说，这件事真正令人兴奋的版本是……也许存在关于安全性的缩放定律。也许在某种意义上，一个模型是否与你对齐（aligned），可能是模型规模的函数，以及你给它多少信号去完成符合人类意图的任务的函数。这样我们或许就能对比我们目前所能构建的模型更大的模型的安全性进行推理。如果这是真的，那意义将是巨大的。我觉得目前安全研究总是在追赶，如果我们能创造一种用缩放定律来思考安全性的方式，从而不必再追赶，我认为那将是非常了不起的。所以我认为——撇开安全定律对模型能力的影响不谈——这就是一个值得对它们感到非常兴奋的理由。
Rob Wiblin：听众们好，这里是 80,000 Hours 播客，我们在这里进行不同寻常的深度对话，探讨世界上最紧迫的问题、你能为解决这些问题做些什么，以及为什么那边有一朵云而紧挨着它的地方却没有。我是 Rob Wiblin，80,000 Hours 的研究主管。我非常高兴能分享这一期节目。今天的嘉宾 Chris Olah 是世界顶尖的机器学习研究者之一。他还非常擅长向公众传达复杂的思想，他的博客文章和推特长帖吸引了数百万读者。一项听众调查甚至发现，他是本节目订阅者中被关注最多的人之一。然而，尽管他是个大人物，这却是 Chris 有史以来第一次做播客，也确实是他第一次接受长篇访谈。幸运的是，我觉得你根本听不出来他其实没有做过很多次这样的事！我们和 Chris 聊出了太多新鲜的内容，以至于我们进行了不止一次录制，最终的成果是两期风格迥异的节目，我们俩都非常满意。第一期聚焦于 Chris 的技术工作，探讨的话题包括：如果你觉得这期节目的技术部分有点难啃，在你完全放弃之前——我建议你跳到名为"Anthropic 与大模型的安全性"的章节，也就是 [2:11:05] 处，听听 Chris 目前正在帮助发展壮大的这个非常令人兴奋的项目。在 Anthropic 工作并不需要你是 AI 研究者，所以我认为来自各种背景的人都值得坚持听到最后。顺便说一句，我远远算不上 AI 专家，但我能跟上 Chris 的思路，并且学到了很多关于大型机器学习模型研究实际进展的东西。第二期节目——如果一切顺利，我们希望下周发布——聚焦于他引人入胜的个人故事，包括他如何在没有大学学位的情况下走到今天这一步。最后一件事：耳朵尖的听众会注意到我们的音频有几处变化，那是因为，正如较长的节目里常有的情况，Keiran 把多次录制的片段剪辑在了一起，以求做出更好的最终成品。闲话少说，有请 Chris Olah。
Rob Wiblin：今天我对话的是 Chris Olah。Chris 是一名机器学习研究者，目前专注于神经网络可解释性。直到去年 12 月，他一直领导着 OpenAI 的可解释性团队，但最近他和一些同事一起离开，帮助创办了一家专注于大模型与安全的新 AI 实验室，名叫 Anthropic。
Rob Wiblin：在 OpenAI 之前，他在 Google Brain 工作了 4 年，开发用于可视化神经网络内部运作的工具。Chris 在 Google Brain 影响力巨大。他是 2015 年发布的 Deep Dream 的第二作者，我想现在几乎所有人都见过 Deep Dream。他还开创了特征可视化（feature visualization）、激活图谱（activation atlases）、"可解释性的构建模块"（building blocks of interpretability）等工作，参与了 TensorFlow，甚至还是著名论文《AI 安全中的具体问题》（Concrete Problems in AI Safety）的合著者。
Rob Wiblin：除此之外，2018 年他还参与创办了学术期刊 Distill，该期刊致力于发表对技术概念的清晰阐释。Chris 本人也是一位在本节目许多听众中很受欢迎的作者，他以极其通俗易懂的方式解释前沿机器学习，吸引了数百万读者。
Rob Wiblin：2012 年，Chris 获得了 10 万美元的 Thiel Fellowship，这是一项旨在鼓励有天赋的年轻人直接投身研究或创业、而不是去上大学的奖学金——所以他实际上是在没有学位的情况下完成了上述所有这些成就。
Rob Wiblin：非常感谢你来上播客，Chris！
Rob Wiblin：好的，我希望我们能聊到你的新项目 Anthropic 以及可解释性研究，这一直是你近来的重点之一。不过首先，你过去八年似乎一直在以某种形式为解决 AI 对齐问题做贡献。你能不能先从高层次上讲讲，你是如何理解这个问题的本质的？
Chris Olah：当我和其他人谈论安全问题时，我感觉他们往往对安全问题的本质是什么、长什么样有相当强烈的、成型的看法。而实际上，我在尝试思考安全问题、研究安全问题、以及更广泛地思考机器学习的过程中学到的一个教训是：回过头看，我似乎经常是错的，或者说我觉得自己当时思考问题的方式并不对。所以，我觉得我对安全问题并没有一个非常自信的看法。在我看来，这是一个我们实际上知之甚少的问题，而试图先验地对它进行理论化，很容易把你引入歧途。
Chris Olah：相反，我非常有兴趣从经验上去理解这些系统，从经验上去理解它们可能以何种方式不安全，以及我们可能如何改进。特别是，我真正感兴趣的是我们如何能够理解这些系统内部真正发生的事情，因为在我看来，这是我们理解潜在失败模式和风险所能拥有的最强大的工具之一。
Rob Wiblin：既然如此，我们就不在宏观理论思辨上浪费时间了，直接进入你一直在做的具体的、经验性的技术工作，也就是通过逆向工程神经网络来观察它们的内部，理解里面究竟在发生什么。
Rob Wiblin：我在这里会经常提到两篇在线文章：一篇是 2020 年 3 月的《Zoom In: An Introduction to Circuits》（放大：回路导论），这是关于"回路"这一概念的系列文章的第一篇，我们稍后会讨论；另一篇是最近的、2021 年 3 月的文章《Multimodal Neurons in Artificial Neural Networks》（人工神经网络中的多模态神经元）。
Rob Wiblin：我们显然会附上这两篇文章的链接，它们都配有大量精美、精心设计的图片，如果听众真的想彻底理解这些内容，很值得去看看。它们都聚焦于神经网络——特别是视觉神经网络——的可解释性问题。说实话，这些文章有点挑战我的理解极限，我并没有完全跟上，不过也许 Chris 可以在这里帮我把它彻底弄明白。
Rob Wiblin：不过首先，你能不能从宏观层面解释一下，这条研究路线想要解决的是什么问题？
Chris Olah：在过去几年里，神经网络已经能够完成所有这些没有任何人类知道该如何直接编写计算机程序来完成的任务。我们无法编写一个计算机程序去分类图像，但我们可以构建一个神经网络，来创造出一个能够分类图像的计算机程序。我们无法直接编写计算机程序来高精度地翻译文本，但我们可以训练神经网络去翻译文本，而且比我们能写出的任何程序都翻译得好得多。
Chris Olah：在我看来，这里面始终有一个迫切需要回答的问题："这些模型是如何做到这些我们自己都不知道该怎么做的事情的？"我想很多人可能会争论可解释性究竟是什么。但我感兴趣的问题是："这些系统是如何完成这些任务的？它们内部到底发生了什么？"
Chris Olah：想象一下，如果某种外星生物降落在地球上，并且能做到这些事情。所有人都会蜂拥而上、争先恐后地去弄清楚这个外星生物是怎么做到的。生物学家们会为了争夺研究这些外星生物的权利而互相争斗。或者想象一下，2012 年我们在互联网上发现了某个漂浮着的二进制程序，它能做所有这些事情。所有人都会争相去逆向工程这个二进制程序在做什么。所以在我看来，这一切工作中真正迫切呼唤我们去回答的问题是："这些系统内部到底发生了什么？？"
Rob Wiblin：不理解它会有什么问题？或者说，理解它会有什么好处？
Chris Olah：我对我们部署这些系统感到有些担忧——尤其是部署在高风险场景中的系统，或者会影响人们生活的系统——因为我们不知道它们是如何做到它们所做的事情的，也不知道它们为什么这样做，而且我们真的不知道该如何推理它们在其他未曾预料的情形下会如何表现。
Chris Olah：在某种程度上，你可以通过测试系统来绕开这个问题，我们也确实是这么做的。我们会在各种我们担心其表现的情形下、在不同的数据集上测试它们。但这只能覆盖我们数据集中包含的情形，或者我们明确想到要去测试的情形。所以，我认为对于这些系统将会如何表现，我们实际上存在大量的不确定性。
Chris Olah：而且我认为，尤其是随着它们变得越来越强大，你不得不开始担心……如果它们在某种意义上做的是对的事，但却是出于错误的原因呢？它们实现了正确的行为，但支撑这一行为的实际算法，在某种意义上也许只是想从你那里获得奖励，而不是想帮助你。或者它可能依赖于某些带有偏见的东西，而你没有意识到。所以我认为，能够理解这些系统，是尝试解决这类担忧的一条非常非常重要的途径。
Rob Wiblin：我想，理解它是如何做到它所做的事情的，可能会让预测它在未来情形中的表现容易得多——或者说，当情形发生变化时、当你部署它的环境发生变化时。而如果你对它在做什么毫无理解，那你就等于是在盲飞。而环境是可能变化的。这叫什么来着？领域变化，还是……？
Chris Olah：对。你可能会担心分布偏移（distributional shift），不过在某些方面，我觉得这甚至还不足以充分表达我最大的担忧。或者说，这种提法可能会让它听起来像是一个非常技术性的鲁棒性问题。
Chris Olah：我担心的更像是……在某种意义上，现代语言模型有时会对你撒谎。也就是说，有些问题它们在某种意义上是知道正确答案的。如果你以恰当的方式提问，它们会给你正确的答案，但在其他语境下它们就不会给你正确的答案。我认为这是一个很有意思的缩影，映射出这样一个世界：这些模型在某种意义上有能力做事，但它们试图达成的目标与你想要的目标不同。而这可能会以某种始料未及的方式给你带来问题。
Chris Olah：我想我还可以换一种方式来表述这个问题："那些未知的安全问题是什么？"部署这些系统时的"未知的未知"（unknown unknowns）是什么？如果某个问题是你预料之中的，你可以针对它进行测试。但我认为，随着这些系统的能力越来越强，它们有时会以不同方式突然改变自己的行为。而未知的未知永远存在。你要怎样才能指望抓住这些问题呢？我认为这是我想研究这些系统的动机中很大的一部分，或者说，这就是我认为研究这些系统能让事情变得更安全的原因。
Rob Wiblin：也许我们先给听众快速回顾一下神经网络是如何工作的。我们在之前的访谈中讲过这个，包括最近与 Brian Christian 的一期。基本上，你可以想象信息在一大堆节点之间流动，这些节点彼此相连，而哪些节点与哪些节点相连——有点像大脑中哪些神经元与哪些神经元相连——是由学习过程决定的。这些不同神经元之间的权重是由学习过程决定的。然后，当一个神经元接收到足够多的正向输入时，它就倾向于"放电"，把信号传递给下一个神经元，也就是网络的下一层中的神经元。就这样，信息在这些神经元之间被处理和传递，直到在另一端"吐出"一个答案。对于接下来要讲的内容来说，这个描述是否足够模糊、或者说足够准确？
Chris Olah：如果要稍微挑个刺的话，通常"哪些神经元连接到哪些神经元"是不会变的。连接结构通常是静态的，而权重会在训练过程中演化。
Rob Wiblin：所以连接不是消失，而是权重降到一个很低的水平。
Rob Wiblin：根据我对这两篇文章的阅读，我的理解是，你和 Google Brain 及 OpenAI 的许多同事在可解释性上取得了相当实质性的进展，这在机器学习圈子里——至少在一部分机器学习研究者中——是件相当大的事。你们研究这个多久了？
Chris Olah：我断断续续研究可解释性大约七年了。中间也穿插做过一些其他机器学习方面的工作，但可解释性一直是我的主要工作。最初，对这些问题感兴趣的人相当少。但这些年来，我非常幸运地找到了一批同样对这类问题充满热情的合作者。更广泛地说，围绕这个方向已经成长出一个不小的领域，他们常常采取与我所走的路线不同的方法。但现在确实有一个规模不容小觑的领域，在以不同的方式努力理解神经网络。
Rob Wiblin：这些年来你们尝试过哪些不同的方法？
Chris Olah：这些年我尝试过很多东西，其中很多都没有成功。老实说，回过头看，原因往往显而易见。我一度尝试过一种拓扑学式的方法，试图理解神经网络是如何"弯折"数据的。这种方法除了最简单的系统之外根本无法扩展。然后我又尝试对表征做降维处理。这种方法效果也不算特别好，至少对我而言是这样。
Chris Olah：长话短说，我最终主要采用的方法几乎是笨到家的简单：就是尝试理解每个神经元在做什么，所有神经元是如何连接在一起的，以及这如何产生出行为。真正令人惊叹的是，当你开始理解不同神经元在做什么时，你实际上就开始能够从权重中读出算法。
Chris Olah：我喜欢用一个略带计算机科学色彩的类比，可能对一些读者来说有点难懂：我常把神经元看作计算机程序中的变量，或者汇编语言中的寄存器。而我把权重看作代码或者汇编指令。如果你想理解代码，你需要理解这些变量存储的是什么。而一旦你理解了这一点，你实际上就能看出这个计算机程序在运行什么算法。我认为这正是事情变得非常非常激动人心、非常了不起的地方。顺便我要补充一句：虽然坐在这里谈论这些的是我，但所有这些都是许多人共同工作的成果，我只是极其幸运，有一大批非常出色的合作者和我一起做这项研究。
Rob Wiblin：那是当然。那么，得益于这一切工作，我们现在能做到哪些十年前做不到的事情？
Chris Olah：我认为我们可以真正地理解神经网络中的大块部分是如何工作的。我们实际上可以逆向工程神经网络的某些部分，并且理解得如此透彻，以至于我们可以手写权重。你可以拿一个所有权重都被设为零的神经网络，然后手工写入权重，就能重新植入一个神经网络，让它做与原网络那部分相同的事情。你甚至可以把它拼接回原来的网络中，替换掉你已经理解的那部分。所以我认为这是一个非常高的系统理解标准。我有时喜欢把可解释性想象成有点像细胞生物学之类的东西——你在试图理解细胞。我觉得我们也许正开始达到这样的程度：我们能理解细胞中的一个小细胞器之类的东西，而且我们真的能把它彻底搞清楚。
Rob Wiblin：所以我们已经从只有一个黑箱，发展到拥有一台你有可能手动重新设计的机器——至少是它的某些部分。
Chris Olah：对。我认为，至少从回路方法的角度看，主线故事是我们可以取出这些小的部分。它们只是小块，但我们可以在某种意义上完全理解它们。
Rob Wiblin：这里有两个非常关键的概念：特征（features）和回路（circuits）。你能为听众解释一下它们是什么、以及你们是怎么把它们提取出来的吗？
Chris Olah：当我们谈论特征时，我们最常指的（虽然并不总是）是单个神经元。比如，你可能有一个单独的神经元，它会在出现曲线时作出反应，或者对直线作出反应，或者对颜色的过渡作出反应。稍后我们可能还会谈到对 Spider-Man 作出反应、或者对世界某些地区作出反应的神经元，所以特征也可以是非常高层次的。
Chris Olah：而回路是神经网络的一个子图（subgraph）。图中的节点是特征——比如一个节点可能是曲线检测器，还有一堆直线检测器——然后你有描述它们如何连接在一起的权重。这些权重在某种意义上就是正在运行的实际计算机程序，它从较早的特征构建出较晚的特征。
Rob Wiblin：所以特征是比较小的东西，比如直线、曲线等等。而回路则是把这些特征组合起来、以尝试弄清整体图像是什么的东西？
Chris Olah：回路是一个从较早特征构建较晚特征的局部程序。所以回路是特征之间的连接，它们参与从较早的特征构建出较晚的特征。
Rob Wiblin：我明白了。好。比如说，在神经网络的某一层里，你有不同的神经元在捕捉特征，然后它们向下一层传递的方式——也就是这些已识别的不同特征之间的权重组合，以及它们如何向前推进、形成下一层所识别的特征……这就是回路？
Chris Olah：对。不过我们通常会关注一个紧密相连的神经元子集。比如你可能感兴趣的是，某一层中的曲线检测器是如何由上一层的特征构建而成的。上一层中有一个特征子集与之紧密交织，你可以只看那部分，也就是说你在观察一个更小的子图。你也可以跨越多个层，比如你可以看……实际上有一个非常漂亮的用于检测狗头的回路。
Chris Olah：我知道把它形容为"漂亮"听起来很疯狂，但我要描述一下这个算法，因为我觉得它真的非常优雅。在 InceptionV1 中，实际上有两条不同的通路，分别检测朝左的狗头和朝右的狗头。然后，在整个过程中，这两条通路会相互抑制。也就是说，在每一步，它都会构建出更好的朝各自方向的狗头检测，并且让相反方向的那一条来抑制它。它等于是在说："狗的头只能朝左或者朝右。"
Chris Olah：最后，在末端，它把两者合并（union）在一起，创建出一个姿态不变（pose-invariant）的狗头检测器，无论狗头朝左还是朝右，它都愿意被激活。
Rob Wiblin：所以我理解是，你有一些与特征对应的神经元。比如一个在出现疑似皮毛的东西时激活的神经元，还有一个在出现某种特定形状的曲线时激活的神经元。然后一堆这样的神经元被连接在一起，它们要么共同激活，要么相互抑制，以指示一个更高抽象层次的特征。比如"这是一个狗头"，然后更进一步，你说"这是某个品种的狗"，那就是下一层了。大致是这样吗？
Rob Wiblin：有意思。你们用来识别一个神经元对应什么特征的技术方法，想出来难吗？还有，你们是如何把所有应被视为构成一个回路的不同连接和权重汇集到一起的？
Chris Olah：有一个很有意思的现象：神经网络研究者经常会看第一层的权重，实际上在论文里看到人们查看第一层权重是非常常见的。原因是那些权重连接的是图像中的红、绿、蓝通道。比如说你在做视觉任务，那些权重非常容易解释，因为你知道那些权重的输入是什么。但你几乎从来看不到有人以同样的方式去看模型中其他任何地方的权重。我认为原因在于，他们不知道那些权重的输入和输出是什么。所以，如果你想研究除了最初输入端（或者也许最终输出端）之外任何地方的权重，你就需要有某种技术来理解进出这些权重的神经元是什么。
Chris Olah：做到这一点有很多种方法。一种做法是查看我们所说的数据集样例（dataset examples）：把大量样例输入神经网络，寻找那些能让神经元激活的样例。这会是一种非常神经科学式的方法。但我们发现另一种方法其实非常有效，那就是对输入进行优化。我们称之为"特征可视化"（feature visualization）。你只需通过梯度下降，生成一张能让某个神经元强烈激活的图像。
Chris Olah：这种方法的好处是它把相关性和因果性分开了。在最终得到的那张图像中，你知道图里的一切之所以存在，都是因为它导致了这个神经元的激活。我们经常使用这些特征可视化，一方面它们是理解神经元在做什么的有用线索，另一方面我们也常常把它们当作变量名来用。也就是说，与其把一个神经元叫作 mixed4c:447，不如用一张能刺激它的图像来代表它。它是一个汽车检测器，那你就有一张汽车的图像，这让追踪所有神经元、推理它们如何连接在一起变得容易得多。
Rob Wiblin：所以你们似乎有这样一套方法：你选定一个神经元，或者选定构成一个回路的某种连接组合，然后你试图找出什么样的图像会最大程度地让这个神经元或这个回路激活。你提到了梯度下降，按我的理解，就是你先选一张噪声图像，然后一点一点地让它引起越来越强的激活，直到你通过这个迭代过程得到一张几乎是最优设计的图像，能狠狠地"击中"那个神经元。于是，如果那个神经元的作用是识别皮毛，你就能找出这个神经元所能识别的"皮毛之原型"。是这样吗？
Chris Olah：是的。然后一旦你理解了这些特征，你就可以把它们当作脚手架，进而去理解回路。
Rob Wiblin：明白了。我想我是在为这期节目做功课时才知道的：你们在 OpenAI 做了一个叫 Microscope 的网站，由他们托管，在那上面你可以浏览这个大型图像识别神经网络，挑出……我不知道是不是全部神经元，但有很多不同的神经元，然后查看什么样的图像会让它激活。你会发现，"哦，这个是在识别某种形状"，或者"这个神经元对应某种皮毛颜色"，等等。而且你能以相当精细的方式看到信息如何在网络中流动。这真的是把这台机器拆开来，观察每一个小零件的作用。
Chris Olah：对，Microscope 太棒了。它让你可以去查看任何你想看的神经元。我认为它实际上指向了研究神经网络的一个更深层的、潜在的优势，或者说好处：我们所有人都可以观察完全相同的神经网络。因此可以存在某种"标准模型"，其中每一个神经元都与我正在研究的模型完全相同。我们可以让一个机构——在这里是 OpenAI——一次性创建一个资源，让引用该模型中的每一个神经元变得容易。然后，每一位研究这个模型的研究者只需访问一个 URL，就能轻松查看它的任意部分。
Rob Wiblin：顺便说一句，大家可能都见过 DeepDream，如果他们看过这些文章，可能也见过那些让特定特征神经元激活的原型图像、形状和纹理，但那些颜色总是特别诡异。它会产生那种超现实主义的 DeepDream 效果。我本来会以为，如果一个神经元是对皮毛激活的，那图像看起来就应该像猫的皮毛。或者如果是商店招牌神经元，那就应该像一个啤酒店招牌。但它们看起来却像某种疯狂的迷幻体验……这背后有什么原因吗？
Chris Olah：我们发表 DeepDream 之后，收到了不少相当严肃的神经科学家发来的邮件，问我们是否愿意和他们一起研究，看看能否用 DeepDream 来解释人们服用致幻药物时的体验。所以我觉得这个类比确实很能引起人们的共鸣。
Chris Olah：但为什么会有那些颜色呢？我想有几个原因。我认为最主要的一个是：你在制造一种"超级刺激"（super stimulus），也就是最能让神经元激活的刺激。而超级刺激会把颜色推向非常极端的区域，这并不奇怪，因为那是这个神经元所寻找的东西的最极端版本。
Chris Olah：这个答案还有一个更微妙的版本。假设你有一个曲线检测器。事实证明，这个神经元实际做的事情之一，就是寻找曲线两侧任何形式的颜色变化。因为如果两侧颜色不同，某种程度上就意味着信号更强。实际上，这对直线检测器来说也普遍成立；这出现在神经网络非常早期的层里。直线检测器是……如果直线两侧颜色不同，它就会激活得更强。所以对它而言，最大化的刺激只需要颜色有差异就行。它甚至不在乎这两种颜色具体是什么，它只想看到颜色的差异。
Rob Wiblin：所以它们看起来有点怪异的原因，仅仅是这些特征"侦探"大多只是在捕捉事物之间的差异，因此它们想要非常鲜明的颜色对比。而这个东西碰巧是什么具体颜色，可能没那么重要。所以它不必看起来像真正的猫毛，被捕捉到的只是颜色梯度。
Chris Olah：这要看具体情况，也很大程度上取决于特定的神经元。还有最后一个原因，稍微技术性一点：神经网络在训练时通常会加入一点色相旋转（hue rotation），有时旋转幅度还很大，也就是说，在神经网络看到图像之前，图像的颜色会被随机地稍微打乱一下。这样做的想法是让神经网络更鲁棒一些，但也让神经网络对它所看到的具体颜色不那么敏感。实际上，当你做这些特征可视化时，你常常可以根据你看到的颜色模式，判断出这个神经网络训练时用了多大程度的色相旋转。
Rob Wiblin：那么，用这些方法，我们具体能了解到像这样的神经网络系统在"想"什么、或者说是如何思考的？
Chris Olah：在某种意义上，你可以相当完整地理解它，但你理解的只是一小部分。你可以理解几个神经元在做什么、它们如何连接在一起。你可以把理解推进到这样的程度：你的理解就只是基础数学，你可以用基本的逻辑推理出它在做什么。挑战在于，这只是模型的一小部分——但你确实真正理解了模型这一小部分中运行的是什么算法、它在做什么。
Rob Wiblin：从那些文章看，你似乎认为我们可能已经学到了一些关于神经网络如何工作的非常根本的东西。而且，可能不仅是这些思考机器如何工作，还包括神经网络在大脑中可能如何运作，甚至也许是它们在任何情况下都必然要如何运作。你认为我们可能学到了哪些东西？证据又是什么？
Chris Olah：一件非常迷人的事情是：相同的模式、相同的特征和回路，会在不同模型中一次又一次地形成。你本来可能会以为每个神经网络都是独一无二的雪花，它们各自做着完全不同的事情。如果是那样，试图理解这些东西的领域将会非常无聊，或者非常奇怪。
Chris Olah：所以我有时喜欢用另一个类比：把可解释性看作解剖学，我们是在解剖……这有点奇怪，因为我是素食主义者，但这个类比随着时间推移越来越合我意。我们在解剖这些神经网络，观察它们内部发生了什么，就像早期解剖学家观察动物那样。想象一下早期解剖学：如果每种生物的解剖结构都完全不同，彼此之间没有任何相似之处，没有一个像"心脏"这样存在于许多生物体内的东西——那解剖学就会是一个相当无聊的领域。你大概不会想投入精力去理解大多数动物。
Chris Olah：但就像动物拥有非常相似的解剖结构一样——我想动物的情况是由于进化——神经网络实际上也会形成许多相同的东西，即使你用不同的数据集训练它们，即使它们有不同的架构，即使支撑的"脚手架"不同。相同的特征和相同的回路会形成。实际上，我发现相同回路的形成是最了不起的部分。相同特征的形成本身就已经很酷了——神经网络在学习理解视觉或理解图像的相同基本构建模块。
Chris Olah：但更进一步，即使支撑结构不同，它实际上是在学习相同的权重，把相同的神经元连接在一起。我们称之为"普遍性"。这非常疯狂。当你开始发现这类现象时，你会忍不住想："哦，也许同样的东西也会在人类身上形成。也许这实际上是某种根本性的东西。"也许这些模型正在发现视觉的基本构建模块，它们以一种非常根本的方式切分了我们对图像的理解。
Chris Olah：而事实上，其中一些东西，我们确实已经在人类身上找到了。一些较低层次的视觉现象似乎与神经科学的结果相互印证。事实上，在我们最近的一些工作中，我们发现了一种以前只在人类身上观察到的东西——多模态神经元。
Rob Wiblin：我们马上就会谈多模态神经元。不过听起来你的意思是：你们训练了许多不同的神经网络来识别图像，用不同的图像训练它们，把它们放在不同的设置里，但每一次，你们都会注意到这些共同的特征。有识别特定形状和曲线的，有识别特定纹理的。而且我想，网络的组织方式也是如此：存在特征检测神经元，以及那些从低层特征推进到高层特征的有组织的回路，基本上每次都会出现。然后你认为我们还有一些证据表明，这与我们所了解到的人类大脑处理视觉信息的方式也相吻合。所以有一个表面上成立（虽然并不确定）的论证：这些普遍特征总是会出现。
Chris Olah：对。你几乎会忍不住认为，存在某种视觉的基本元素之类的东西，它们就是你在对图像进行推理时想要拥有的根本要素。直线在某种意义上就是对图像进行推理的一个根本性的东西。而这些基本元素、或者说构建模块，总是会出现。
Rob Wiblin：有没有可能，你们之所以得到这些共同的特征和回路，是因为我们用非常相似的图像训练这些网络？我们似乎特别喜欢给神经网络看猫、狗、草地、风景之类的东西。所以这可能更多是我们用来训练它们的图像的产物，而不是关于视觉的某种根本性的东西。
Chris Olah：实际上你可以去看那些用相当不同的数据集训练的模型。有一个叫"Places"的数据集，是用来识别建筑和场景的。那里面没有狗和猫，但许多相同的特征依然会形成。不过，确实存在这样的趋势：越往高层走，特征之间的差异就越大。在较后的层里，你会看到一些与不同视觉透视相关的非常酷的神经元，比如"我是从什么角度看这栋建筑的"。这在图像（分类）模型中是看不到的，反过来也一样：图像模型里有各种与狗和猫相关的特征，这些在 Places 模型里看不到。但似乎确实有很多根本性的东西——尤其是在较早期的视觉层里——在这两种数据集上都会形成。
Rob Wiblin：一个问题是：如果外星人训练一个模型，或者如果我们能看进某个外星大脑，它会展现出所有这些共同特征吗？我想，直线、边缘、曲线是非常基本的特征，这一点直觉上确实很说得通。所以即使在其他星球上，也会有直线。但也许在高层，有些特征和回路会对应人类所拥有的、存在于我们这个世界中的特定事物，而它们在另一个星球上可能并不存在。
Chris Olah：对，完全正确。这纯属推测，但确实非常诱人。我认为这是对这里可能正在发生的事情的一种令人兴奋的想象。我确实觉得，研究这些系统的故事……当我认为我们实际上是在发现这些深刻的根本性的东西，而不是那些只对单一系统碰巧任意成立的东西时，从情感上讲，这确实更打动人。
Rob Wiblin：是啊。你们发现了直线的根本原初本质。
Chris Olah：是啊。或者说，我认为更令人兴奋的，是当我们发现那些人们此前从未见过、或者猜不到的东西的时候。有一种叫"高低频检测器"（high-low frequency detectors）的东西，似乎会在小模型中形成。
Chris Olah：它们就如名字所示：在感受野（receptive field）的一侧寻找高频模式，在感受野的另一侧寻找低频模式。
Rob Wiblin：这里的高频和低频是什么意思？
Chris Olah：带有大量纹理和剧烈过渡的图案可能是高频的，而低频图像则非常平滑。或者说，失焦的图像就是低频的。
Rob Wiblin：所以它捕捉的是，在图像的某一区域相对于另一区域，锐利程度如何、差异有多少。
Chris Olah：正是如此。模型把这些用作边界检测的一部分。边界检测有一整套利用多种不同线索的机制，其中之一就是频率的过渡。举个例子，你会在物体的边界看到这种现象：背景失焦，是非常低频的，而前景频率较高。但你也会在两个相邻物体纹理不同的时候看到这种现象，那里同样会出现频率过渡。回过头看，存在这些特征是合理的，但我从没听任何人事先预测过我们会找到它们。所以，发现这些事先没有被预言的东西是令人兴奋的。
Chris Olah：这一方面说明——你本来可能会说"哦，这些理解神经网络的尝试，只会理解那些人类已经猜到存在的东西"——而这个发现反驳了这一点。另一方面它也表明，也许里面就是有这么一大堆……我们在这些系统内部四处挖掘，不断发现这些东西，还有一整座前人从未见过的宝库等着我们去发现。我说不好，也许我们就像是第一次发现线粒体之类的。它们就在那里，等着你去找到它们。
Rob Wiblin：你们正在琢磨的这个"普遍性猜想"，是不是说在某个时候，我们往人脑里看，也会在人脑中发现所有这些高低频检测神经元和回路，而且它们在我们观察世界、识别物体时发挥着重要作用？
Chris Olah：那是强版本。此外还有一个版本：我们观察的每一个处理自然图像视觉的神经网络都会有它们，它们真的就是你在任何地方都能找到的根本性的东西。
Rob Wiblin：我刚想到一个可能为这个普遍性想法获得更多证据的办法。显然，人类在观察事物的方式上存在一些"bug"，他们会被视觉欺骗。也许我们可以检查计算机上的神经网络是否也有这些相同的错误。它们做对和做错的方式是否相同？如果是，那可能就表明它们遵循着相似的过程。
Chris Olah：对。我记得已经有几篇论文在探索这类想法。而且实际上，等我们谈到多模态神经元的结果时，就会有一个例子。
Rob Wiblin：那正好，我们就趁此深入聊聊那篇几周前刚发表的多模态神经元文章。我猜它研究的是更前沿的视觉检测模型？在那项工作中，你们学到了哪些与之前不同的东西？
Chris Olah：当时我们在研究 OpenAI 的一个叫 CLIP 的模型，你可以大致把它理解为被训练来为图像配文字说明，或者说把图像和它们的说明文字配对。所以它不是在做图像分类，而是在做一件稍微不同的事情。我们在它内部发现了许多在质上截然不同的东西。如果你看低层视觉的部分，其实很多都非常相似，这再次成为普遍性的进一步证据。
Chris Olah：我们在其他视觉模型中发现的许多相同的东西，也出现在 CLIP 的早期视觉部分。但到了网络的后段，我们发现了这些极其抽象的神经元，它们与我们以前见过的任何东西都非常不同。这些神经元有一个非常有趣的特点：它们会阅读。它们能够识别文本和图像，并且把两者融合在一起——把文字和它所检测的事物融合在一起。
Chris Olah：比如说，有一个黄色神经元，它会对黄颜色作出反应，但如果你把"yellow"这个词写出来，它也会被激活。实际上，如果你写出那些黄色物体的名称，它也会被激活。比如你写下"lemon"（柠檬）这个词，它会被激活，写下"banana"（香蕉）这个词也会被激活。这实在不是你会期望在一个视觉模型中发现的东西。它在某种意义上是一个视觉模型，但它几乎是在以某种方式进行语言处理，并把这些融合成我们所说的多模态神经元。而这正是神经科学中已经发现过的现象。人们也会有这样的神经元。有一个 Spider-Man 神经元，它既会对作为图像的"Spider-Man"这个词——比如一张写着 Spider-Man 字样的图片——作出反应，也会对蜘蛛侠的照片和蜘蛛侠的画作作出反应。
Chris Olah：这与神经科学中一个非常著名的结果相互呼应，即 Halle Berry 神经元，或者叫 Jennifer Aniston 神经元，它同样会对这个人的照片、这个人的画像以及这个人的名字作出反应。因此，与我们之前发现的神经元相比，这些神经元在某种意义上要抽象得多，几乎是概念性的。而且它们涵盖的主题范围极其广泛。
Chris Olah：事实上，当你逐个浏览这些神经元时，感觉就像走进了幼儿园或者小学低年级的课堂。你有颜色神经元，有形状神经元，有对应一年四季的神经元，还有对应月份、天气、情绪、世界各个地区、你们国家领导人的神经元，而且所有这些神经元都具有这种令人难以置信的抽象特质。
Chris Olah：比如有一个"早晨"神经元，它会对闹钟、清晨的时刻作出反应，也会对煎饼和早餐食物的图片作出反应——涵盖了这一切令人难以置信的多样内容。还有季节神经元，会对季节的名称、与该季节相关的天气类型等等作出反应。于是你就拥有了所有这些以不同方式高度抽象的、种类繁多的神经元，这与我们之前看到的那些通常对应某类物体之类的、相对具体的神经元，显得非常不同。
Rob Wiblin：所以我们可以说是从"拥有一个能识别出这是一个头的图像识别网络"，发展到"拥有一个能识别出某样东西很美、或者这是一件艺术品、或者这是一幅印象派画作的网络"。这是一个更高的抽象层次，是许多不同地方、许多不同种类的图像可能共同拥有的一种归类。
Chris Olah：对。而且这甚至不只是"看到那个物体"，而是关于与那个物体相关的事物。举个例子，在其中一些模型里你会看到一个 Barack Obama 神经元，它当然会对 Barack Obama 的图像作出反应，但也会对他的名字作出反应，对美国国旗有轻微反应，对 Michelle Obama 的图像也有反应。所有这些与他相关联的东西，都会让它有轻微的激活。
Rob Wiblin：这样一说，听起来它就非常接近人类的所作所为了——接近我们在世界中行走时所做的事情。我们在不同事物之间建立了所有这些关联，然后当人们说话时，他们所说的内容会以不同的权重在脑海中唤起各种不同的东西。我觉得我就是这样推理的。语言是非常模糊的，对吧？许多不同的词各自带有不同的联想，你把它们撞到一起，然后大脑就自行加以理解。所以，它有可能在某种意义上具备了一种概念推理的能力，有点接近人类心智正在做的事情。
Chris Olah：把这些描述成与"概念"有关，让我感到非常紧张，因为我觉得那是……那是一种带有争议色彩的描述方式，人们可能会强烈反对，但用那种方式来表述确实非常诱人。而且我认为，那种表述框架中有很多方面会是成立的。
Rob Wiblin：有意思。你能不能随口说出你们发现过的最抽象的类别是什么？有没有什么特别惊人、让你惊叹它竟能捕捉到这种归类的东西？
Chris Olah：我马上想到的一个是"心理健康"神经元。你可以大致把它理解为：只要图像中出现任何与心理健康问题有关的线索，它就会激活。这可以是肢体语言，或者是看起来特别焦虑或紧张的面孔，还有大量词语，比如"depression"（抑郁）或"anxiety"（焦虑）之类的词，与心理健康相关的药物名称，与心理健康相关的侮辱性说法——比如"crazy"（疯了）这类词——以及那些看起来……我说不好，带有某种心理学主题色彩的图像，涵盖的范围大得惊人。这似乎是一个特别抽象的概念。"心理健康"并没有某个单一的、非常具体的实例，但它却在某种意义上表征了这个概念。
Rob Wiblin：这个模型是怎么训练的？我猜它一定有海量的图像样本，还有大量的说明文字。那它是不是利用说明文字中的词语来识别与图像相关的概念，然后把它们归类到一起？
Chris Olah：对。它是在尝试把图像和说明文字配对。它会拿到一组图像和一组说明文字，然后尝试弄清哪些图像对应哪些说明文字。这带来了各种非常有趣的性质：这意味着你只需写说明文字，就能以此"编程"，让它去完成你想要的任何图像分类任务。但它似乎也在视觉侧催生了这些丰富得多的特征。
Chris Olah：有时人们会忍不住说，这些神经元对应输出中的特定词语之类的，但我认为实际情况并非如此。举个例子，有各种各样的"地区"神经元，对应国家或者国家的某些地区，或者……有些覆盖范围非常大，比如有一个"整个北半球"神经元，它会对针叶林、鹿、熊之类的东西作出反应。我不认为这些神经元的存在是因为它们对应"Canada"（加拿大）之类的特定词语。而是因为，当一张图像处于某个特定的语境中时，人们谈论的内容会随之改变。
Chris Olah：比如说，如果你在 Canada，你就更有可能谈到枫糖浆。或者如果你在中国，也许你更有可能提到中国的城市，或者有些说明文字会是中文的，诸如此类。
Rob Wiblin：所以训练数据是一组相互对应的图像和说明文字/词语，而它发展出这些多模态神经元，是为了以概率的方式估计——或者说提升它判断语境的能力——从而弄清哪些词语最有可能出现在说明文字中。大体上是这样吗？
Chris Olah：那也是我对其中机制的直觉。
Rob Wiblin：多模态神经元的发现，对这些神经网络的安全性或可靠性问题有什么影响吗（如果有的话）？
Chris Olah：我想有几点。第一点呼应了前面说的"未知的未知"这类担忧：如果你查看这个多模态模型的内部，或者说查看 CLIP 的内部，你会发现有神经元对应美国法律中受保护属性（protected attribute）的每一项特征——或者说几乎每一项。你不仅有与性别相关、与年龄相关、与宗教相关的神经元……每一种宗教都有对应的神经元。当然，那些地区神经元与种族密切相关。甚至还有一个"怀孕"神经元。还有一个"为人父母"神经元，它会寻找儿童涂鸦之类的东西。有一个心理健康神经元，还有一个身体残障神经元。几乎每一项受保护属性，都有一个对应的神经元。
Chris Olah：而且，尽管机器学习社区非常关心机器学习系统中的偏见——对性别偏见、种族偏见往往非常非常警觉和戒备——我认为我们应该关注的隐患范围要广泛得多。很容易想象 CLIP 会在"为人父母"方面、在"心理健康"方面进行歧视，或者在某些你根本想不到以前的模型能做到的方面进行歧视。我认为这恰好说明了，研究这些东西能够揭示出我们之前没有担心过、而现在也许应该警惕的问题。
Rob Wiblin：是啊。我猜，如果你试图对 CLIP 说："淘气的 CLIP，我们不该有针对种族、性别或其他这些特征的多模态神经元"，我敢打赌，在训练过程中它会把这些概念转移、模糊成别的东西，比如一个地理神经元，或者关于行为、性格之类的东西。结果它还是会在无意中内建对性别和种族的识别，只不过是以一种更难被看到的方式。
Chris Olah：对。我认为要去除这些东西很棘手。而且我认为，你是否真的想去除对这些东西的表征，也并不清楚。还有另一个神经元，可以说是"冒犯性内容"神经元。它会对非常糟糕的东西作出反应，显然包括脏话、种族侮辱语——
Chris Olah：对，非常非常冒犯的东西。一方面你可能会说："我们应该去掉那个神经元。有一个对那些东西作出反应的神经元可不好。"但另一方面，这个神经元的功能之一，实际上可能是把冒犯性的图像与反驳它们的说明文字配对，因为有时人们会发布一张图片，然后别人会对这张图片作出回应。而那正是你希望它做的事。你希望它能够识别冒犯性内容并加以反驳。我个人的直觉是，我们不想要那种不理解这些东西的模型。我们想要的是理解这些东西、并对其作出恰当回应的模型。
Rob Wiblin：所以，更好的做法是让模型里保留这些东西，然后在后续环节用别的手段来修复它可能造成的伤害，而不是试图让模型不去识别冒犯性内容——因为那样你就更像是在盲飞了。
Chris Olah：这就好比我们不会说，应该让孩子们永远不知道种族主义、性别歧视这些东西的存在。相反，我们想教育孩子们：种族主义和性别歧视是不好的，那不是我们想要的，并教他们如何审慎地应对这些问题。这是我个人的直觉。
Rob Wiblin：这说得通，因为这正是我们对人类采取的方式。既然神经网络现在看起来正变得如此像人，也许这就是我们对神经网络应该采取的方式。
Chris Olah：接着安全问题往下说——这一点更具推测性——我们正在看到这些"情绪"神经元的形成。我认为我们真正应该警惕的一件事是：一旦我们看到那些看起来像心智理论（theory of mind）或社交智能的特征，我认为就应该密切盯住。
Chris Olah：我们在别的地方也看到了这种迹象，比如现代语言模型能够追踪一段对话中的多个参与者，追踪他们的情绪和信念，并写出貌似合理的互动回应。我认为，拥有能完成这类任务的能力——拥有情绪神经元之类的东西，让模型能够检测图像中某人的情绪，或者哪怕推理得不对、但在尝试推理他们的情绪——会让我们更容易想象出具有操纵性的系统，而且不是无意间的操纵，而是更蓄意的操纵。
Chris Olah：一旦你拥有了社交智能，这种东西就非常容易出现。不过我不认为我们现在看到的东西已经到了那个程度。但我预测，在不太遥远的将来，这会成为我们将要面对的一个更大的问题。我认为这是我们应该留心的事情。
Chris Olah：我认为在做可解释性研究时——尤其是当你的目标是为安全做贡献时——总体上应该警惕的一点是：你对神经网络内部正在发生什么的猜测常常是错的，你要让数据自己说话。你要去观察、去尝试理解正在发生什么，而不是先验地做出假设，然后去寻找支持你假设的证据。
Chris Olah：在这一点上，地区神经元真的非常引人注目。模型最后一层大约有 5% 是关于地理的。如果你事先让我预测 CLIP 里有什么、CLIP 的很大一部分是什么，打死我也猜不到它的一大部分会是地理。所以我认为这是又一个教训，提醒我们应该非常谨慎。
Rob Wiblin：所以，当你试图弄清事情可能如何出错时，你会想知道网络实际关注的是什么。而看起来我们在这方面的直觉并不好；网络实际关注的特征和回路，可能与我们事先预期的相当不同。
Chris Olah：对。我看到人们尝试理解神经网络的一种方法是：先猜里面有什么，然后去找他们猜测存在的那些东西。我认为这（地区神经元的例子）恰好说明了为什么……尤其是当你关心的是理解那些"未知的未知"、理解模型正在做的那些你没有预料到、而且可能成为问题的事情时。这里就有一大堆我认为人们根本猜不到的东西，用那种"先猜后找"的方法是很难抓到的。
Rob Wiblin：好。所以这是多模态神经元网络可能与安全性和可靠性相关的两种不同方式。这项研究还抛出了别的什么吗？
Chris Olah：还有一件小事——也许关联没有那么直接，但可能值得一提——我认为对一些人来说，是否从事安全研究、是否优先考虑安全，一个关键分歧点（crux）在于：这些系统离真正的智能有多近。神经网络是不是只是在愚弄我们？它们是不是某种看起来能干、实际上并没有在做"真东西"的幻象？还是说它们实际上在某种意义上确实在做"真东西"，我们应该担心它们未来的能力？
Chris Olah：我认为这项研究提供了不少证据，让我们应当朝"神经网络确实在做某种真正有意思的事情"这个方向更新看法。相应地，如果这对你来说是决定是否从事安全研究的关键分歧点，这就是又一条你可以据此更新看法的证据。
Rob Wiblin：我想，它们的能力越强，越是显得能够进行人类那样的推理，我们就越应该把"预期它们被部署到可能相当重要的决策程序中"的日期往前提。
Chris Olah：对。不过我认为，面对以能力为形式的证据，人们可能会有一种回应：设想模型可能在"作弊"的方式，设想模型可能并没有真正做"真东西"的方式。有人可能会说，它看起来能力在进步，但那是幻象。它实际上根本不理解正在发生的任何事情。当然，我觉得"理解"在这里是个带争议色彩的词，可能不太有帮助，但有人会说，这个模型……在某种意义上只是一个幻象、一个把戏，不会把我们带向真正有能力的东西。
Chris Olah：我认为这很难完全下判断。但当我们看到系统内部实现了有意义的算法的证据时——尤其是当我们看到那些曾被视为人类"理解概念"的神经层面证据的对应物时——我认为这里是应该有所更新的。
Rob Wiblin：文章中提到的一个安全隐患——至少按我的理解——是你可以……大家可能熟悉对抗样本（adversarial examples），你可以通过修改一个标志，让神经网络把它误识别为一只鸟之类的。而有了"电子产品"或"美丽"之类的这些高层概念之后，似乎你可以更容易地让系统误识别东西。你们举过一个例子：有一个苹果，模型会把它识别为苹果，然后你在上面贴一张写着"iPod"的便利贴，它就把它识别成了 iPod。这是不是一个被揭示出来的重要可靠性问题？也就是说，随着你把这些模型做得越来越复杂，它们失败的方式也可能越来越复杂精巧？
Chris Olah：这当然是个有趣的发现。我注意到它火了一阵子，而且我觉得有些人可能高估了它作为安全隐患的严重性；如果这个问题有一个相对容易的解决方案，我不会太惊讶。对我来说，它重要的地方在于……可解释性研究总有这样一个普遍的担忧：你以为自己发现了这些东西，但你可能是在自欺欺人，可能搞错了。所以我认为，每当你能把一个可解释性结果转化为对系统将如何表现的具体预测时，那其实非常有意思，能让你对"你真的理解了这些系统"多出很多信心。而且——至少对这些特定的模型而言，且不预判这个问题是容易还是难以解决——确实存在一些场景，面对一个能被这么轻易愚弄的系统，你可能会犹豫要不要部署它。
Rob Wiblin：有没有这样的例子：你们已经能够利用这整套可解释性工作，让某个系统运行得更好、更可靠，或者预见到它将会失败的某种方式，然后化解它？
Chris Olah：我认为有一些"抓到值得担心的问题"的例子。但我不确定我们是否已经见过这样的例子：抓到问题之后，进而缓解了那个担忧，或者对系统做出改动使其变得更好。我想，人们对神经网络可能抱有的一个期望是：能够闭合这个环路，把"理解神经网络"变成一个对改进神经网络有用的工具，让它成为神经网络研究方式的一部分。
Chris Olah：我认为迄今为止我们还没有非常有说服力的这类例子。不过，这会是一把双刃剑；从某些方面讲，我喜欢我的研究不会让模型能力更强这一点——或者说总体上没有让模型能力更强——它一直相当纯粹地以安全为导向，以发现隐患为目标。
Rob Wiblin：我们为这次访谈向听众征集问题时，有人问："为什么 Chris 专注于小尺度的可解释性，而不是去弄清更大尺度模块的功能角色——那样也许更类似于神经科学的做法？"现在似乎是问这个问题的合适时机。你怎么看？
Chris Olah：归根结底，我研究（并且认为值得研究）这些较小的神经网络片段的原因在于，它为我们思考可解释性提供了一个认识论基础。代价是我们只是在处理这些小的部分，这让我们在构建对大型神经网络的理解、让这种分析真正有用方面，注定要面临一场苦战。但它的好处是，我们处理的部分足够小，以至于我们可以真正客观地理解正在发生的事情，因为它真的……说到底，它可以还原为基础的数学、逻辑和一步步的推理。这几乎就像能把复杂的数学还原为简单的公理，然后据此进行推理。
Chris Olah：而且我认为这个领域存在大量的分歧和困惑，我认为理解神经网络确实非常困难，而误解它们又非常容易，所以拥有这样的基础似乎非常有用。也许回路研究的"激进成功"并不是所有人时时刻刻都用回路的语言来谈论神经网络、让它成为我们分析神经网络的根本方式，而是让它扮演类似数学中公理的角色——它是一种基础，一切都有可能被还原到它之上。
Rob Wiblin：所以这项工作在某种程度上表明，只要投入足够的时间，我们也许可以进到网络内部，机械地、费力地在这种回路层面理解神经网络，尤其是那些规模小一些的老模型。我们有可能理解那些模型中相当大的一部分。但过去几年神经网络已经变得大了很多，而且在我们真正开始把它们部署到重要问题上之前，它们还会变得大得多。现代语言模型比这些图像识别模型大得多。
Rob Wiblin：这就带来了一个挑战：也许我们能理解所有这些微小的回路、子组件，但它们的数量实在太多了，远远超出了 Chris Olah 的能力范围——甚至可能超出了你带领的整个团队的能力范围——无法理解这些神经网络中任何有意义的比例。我想这可以称为"分析的规模化问题"。
Rob Wiblin：有哪些说得通的途径，可以让我们把分析规模化，从而真正理解这些更大的模型，或者以某种方式绕开这个问题？
Chris Olah：我认为这是一个非常合理的担忧，也是回路方法的主要缺点。目前，我们真正仔细理解过的最大回路大概是 5 万个参数。而与此同时，最大的语言模型已经达到数千亿参数。因此，哪怕只是想赶上现代语言模型的规模——更不用说未来几代神经网络了——我们还需要跨越好几个数量级的差距。尽管如此，我还是乐观的。我认为我们其实有很多方法可以克服这个问题。
Chris Olah：也许最好的起点是最朴素的那种思路：如果我们就按现在的样子采用回路方法，试着把它规模化，我们有希望做到吗？这不是我最愿意押注的路径，但我其实认为它比人们想象的更可行，原因有两个。第一个原因是，随着神经网络变大，要研究的回路更多了、要研究的特征更多了，但这些回路中的特征往往在某些方面变得更清晰、更容易理解。
Rob Wiblin：你的意思是，随着模型变得更复杂、参数更多，它们也因此在自己的工作上表现得更好，于是它们分类事物的方式对人来说也更清楚、更连贯？
Chris Olah：正是。我认为，当模型非常弱的时候，它们表征事物的方式往往非常混乱，把很多东西纠缠在一起。这实际上让它们相当难研究。而且似乎往往是，随着模型变强，它们在某些方面反而变得更清晰、纠缠更少、更干净。
Rob Wiblin：这是不是部分因为它们的参数没有它们"想要的"那么多，所以不得不把一大堆不同的概念塞进同一个回路里，让它承担双重工作？
Chris Olah：对，我认为这可能是原因的一部分。有一个我们称之为"多义性"（polysemanticity）的问题，就是指一个神经元像那样承担多重角色。我还认为，它们可能根本无法表征那些真正能把问题切分开的抽象。它们实际上就是没有足够的计算能力去构建正确的抽象，所以它们在用次优的抽象工作。有一个很有意思的研究——稍微有点不同，是 Jacob Hilton 的一篇论文——他们探索了几种……他们用逐渐更多样化的数据训练模型。随着数据多样性提高，特征会变得更可解释。我认为那可能是指向这个方向的最严谨的结果，它在某种程度上表明：模型越好，就越可解释。
Rob Wiblin：好。所以它们更可解释了，不过你刚才后面还想说什么？
Chris Olah：哦，就是说，这在某种程度上是一股与规模化难题相抗衡的力量。当然还有第二点，那就是……有一个非常有意思的东西，我们称之为"母题"（motif），这其实是我们从系统生物学借来的概念。Uri Alon 以及其他一些人真正开创了这种方法：通过发现反复出现的模式来理解生物网络。事实证明，我们能在神经网络中找到类似的反复出现的模式，而这些模式真的能……它们实际上能把回路的复杂度简化几个数量级。
Rob Wiblin：所以这里的想法是：即使网络非常大，如果它只是大量反复出现的、基本上一模一样的东西，那么你就可以一下子理解它的一大部分。这种在网络中反复出现的母题有什么例子？
Chris Olah：一个非常简单的例子是"并集"（union）：你有两种不同的情况，然后有一个神经元对这两种情况取并集。不过这一种在帮助理解上给不了你太多抓手。我们从中榨出最多好处的，是我们所说的"等变性"（equivariance），也就是神经网络内部存在对称性的情况：你有一个特征，而它实际上存在许多副本，这些副本是同一特征经过变换后的版本。如果你有一大批特征都具有这种性质——比如它们都是同一特征的旋转副本——并且这种情况跨越多个层，那么回路本身实际上也会开始具有对称性，你就可以按很大的整数倍来简化它们。在曲线回路那项工作中，你能得到 50 倍的简化，这非常棒。
Rob Wiblin：所以你的意思是，如果有大量回路在以许多不同的颜色、许多不同的旋转角度识别同一样东西，那么你就有可能把它们全部一起看，然后直接说："好，这就是识别曲线的那个东西。"
Chris Olah：对。它们全都以相同的方式连接在一起，所以你只需理解一次，就一举理解了多得多的内容。所以，如果你思考跨越许多数量级的差距需要什么，当你看到这些……不只是渐进式的改进，而是这种数量级层面的改进时，实际上是非常令人鼓舞的。这表明，指望跨越好几个数量级并不完全是白费功夫。
Rob Wiblin：这就是规模化问题也许没那么绝望的两条理由了。你们还有哪些弥合这个差距的其他思路？
Chris Olah：我会把刚才那两条都归入"仍然试图让基本的回路式方法奏效"这个大类。而其余的想法就不完全是那样了，它们会更不一样一些。我们研究回路的动机是什么？我认为我们研究回路的很大一部分动机，是让它充当那种认识论基础。这并不意味着我们研究的一切都必须始终以那个基础的语言来表述；相反，它的好处在于，它给了我们一种方式，能够以非常严谨的方式来框定我们提出的任何其他问题。
Chris Olah：实际上，当你研究神经网络时，你经常会看到存在这些更大尺度的结构：有些地方是一簇簇做着非常相似事情的神经元，有些地方你会看到神经网络的某些部分，其所有权重呈现出非常有规律的模式。
Chris Olah：所以它在某种程度上感觉就像生物学里的"组织"（tissue）之类的东西。有各种迹象表明，其实存在大量的大尺度结构。你可以想象未来某种可解释性方法，让我们以这种大得多的尺度结构为单位来研究。
Chris Olah：然后，也许当你在这种大尺度结构的层面发现有趣的东西、或者与安全相关的东西时——比如你发现某个更大结构的簇参与了社交推理之类的事情，而你担心模型可能具有操纵性——你就可以更仔细地去看那一部分。这能让你跨越许多个数量级：你只需去仔细查看那些大尺度分析告诉你特别重要的很小的部分。
Rob Wiblin：如果我没理解错，你是说……还是用身体的类比：如果回路有点像细胞，但你会注意到这些细胞被组织成其他结构，比如组织，因此你将能够注意到回路聚合成网络内部某种更宏观结构的方式，然后也许还会有更高层的结构。这样你就能逐级向上。你始终可以进一步放大、深入到回路再到特征，但你现在只是处于这个过程的开端，你还将识别出其他结构，让你能够理解全部数量级跨度上的东西，而不仅仅是这些低层的东西。
Chris Olah：对，完全正确。如果我们拿医学来类比——作为一个科学必须切实对人有用、解决实际问题的领域……也许你希望能够以非常细的粒度理解事物，但如果你知道问题出在心脏，你就不必去仔细分析脚上发生了什么。所以你既想要能够非常近距离地观察事物、非常仔细地理解它们的能力，也想要那种更高层的总览，用它来推理：对于特定类型的问题，你需要关注哪些部分，不需要那么关注哪些部分。
Rob Wiblin：好，我们有一个巨大的语言模型，但我们真正担心的是其中社交操纵的那部分，所以我们要对那部分放大到很细的程度去理解它。而那个只是在识别各种水果的部分，我们可以放过它，因为它没那么要紧。
Chris Olah：正是。或者你甚至可以想象：有些问题你在这种更大尺度的视图中就能看到，而你之所以能够以一种可信赖的方式建立起这种大尺度视图，是因为你有那个可以依托的基础。于是你能够用它来对更大尺度的东西进行推理，并且知道你所谈论的东西确实映射到模型中真正发生的、实际存在的事情。
Rob Wiblin：既然说到身体这个类比，我想到你可能会对这样一种反对意见做出的回应……如果有人说："你们做的不过是研究单个细胞，身体比单个细胞大得多。光研究细胞你能对疾病了解什么？能对人体了解什么？"——这种说法其实有点蠢。因为关键在于，细胞是会复制的，而整个身体——我想除了骨头之外——都是由细胞构成的。所以可以说："如果我们能理解单个细胞的运作方式以及它出错的方式，那我们确实就对整体有所了解了，因为整体就是这种反复出现的模式。"
Chris Olah：对。而且你还可以……当你对组织层面的问题感到困惑时……我得再说一次，我不是生物学家，我在用所有这些生物学类比，可能会稍微有些失真，但我想，最终能够这样发问是非常有用的：如果你认为某个组织出了问题，那么细胞层面正在发生什么？我们理解那里发生的事情吗？或者，如果我们有某个理论，我们能在细胞层面验证它吗？在你感到困惑的地方，这可能非常有帮助。
Rob Wiblin：我想人们可能会提出的另一种思路是：如果我们没有足够的人手去分析所有这些回路，也许我们需要把它自动化，创造新的机器学习系统——它们有自己的回路——去分析其他系统的回路并识别它们是什么。你怎么看以某种方式把这个过程自动化的想法？
Chris Olah：我认为那完全是一个选项。但不是我最喜欢的选项。
Chris Olah：某种程度上这只是审美问题。我真的很喜欢"由人类来理解事物"这种路径。另外我也觉得，我听到的很多自动化提案，我还没有完全理解它们。而且它们往往……在某些方面，其中很多是在借用对齐研究中一些我认为还不够成熟的想法，然后试图把它们与回路研究中同样不够成熟的想法结合起来。我总有这样一种不安：当你把一堆不成熟的想法凑在一起时，你等于让自己更容易遭遇失败，因为你现在有了很多个潜在的失败点。所以，也许将来当这些想法中有更多被搞清楚之后，我会对自动化更感兴趣，那时我就能更仔细地推理该如何设想把它们连接起来。但我认为它是一个不错的后备方案。
Rob Wiblin：有道理。好，关于应对规模化问题，还有其他我们应该谈的思路吗？还是说目前就是这几个主要选项？
Chris Olah：我想还有一个，那就是往这个问题上投入更多的人。目前思考这个问题的人并不多。如果这真的是一个重要的问题，而且在某个时候我们真的要在事关重大的场景中部署神经网络……设想投入 1,000 个人去系统性地审计这些东西，似乎并不完全是疯话。
Rob Wiblin：甚至可以更多。如果现在有 10 个人在做，为什么不能是 10,000 人？为什么不能是 100,000 人？如果这些网络在经济中占据了很大的份额，那你可能会认为这种事会自然而然地发生——至少如果这有助于让它们运行得更好的话。
Chris Olah：对。而且你看看有多少人在分析互联网的安全性之类的事情，那肯定是一个相当可观的人数。
Rob Wiblin：或者有多少人在设计不会撞车、不会伤人的汽车。
Chris Olah：对。我想从某些方面说，这其实也是我研究回路的另一个原因：就是想证明理解神经网络终究是可能的，以此向社会证明这件事值得投资、值得去想办法规模化。所以我想这算是我的另一个隐含的动机。
Rob Wiblin：你已经暗示过，这个领域内部关于可解释性存在不少分歧，或者说缺乏共识。人们对可解释性有哪些分歧或不同的理解？
Chris Olah：我想有两方面。一方面，在可解释性领域内部，人们所指的东西五花八门，对于什么是可解释性、"理解一个模型"意味着什么，其实没有共识。另一方面，在可解释性领域之外，机器学习研究社区的一些其他成员抱有不小的怀疑态度。
Chris Olah：许多年前，一位我很尊敬的同事告诉我，他们认为所有的可解释性研究都是扯淡。我想这可能比典型的看法更极端，但确实有一些人持怀疑态度。我认为他们在某种程度上察觉到了这样一个事实：关于可解释性到底意味着什么，也许确实还没有完全搞清楚。
Rob Wiblin：他们现在还认为是扯淡吗？因为我实在不明白一个人怎么能看着这些文章然后……也许你认为这不是最重要的事情，或者也许其中有错误，但我不明白你怎么能认为这不是对这些系统如何工作的正当研究。
Chris Olah：其实，我想这也是我努力做到如此严谨、努力构建这个基础的另一个动机：在某种程度上就是为了回应这种质疑。因为我认为，如果你相信所有这些理解神经网络的尝试都没有意义、都存在根本缺陷，那与我看待世界的方式是截然不同的。我认为这真的会改变你是否认为把它作为一条安全路径来追求是合理的。我认为这实际上是一个非常非常根本的分歧点。所以我把自己的很多工作看作是在用回路创造某种在客观上非常正确的东西。
Rob Wiblin：更具体、更明确地说，人们对可解释性是什么、或者应该如何理解它，有哪些不同的看法？
Chris Olah：我想我得先声明一下：我显然偏向自己的工作，我不确定自己能完全公允地代表这个领域里所有人的观点。不过我思考这个问题的一种方式——这个观点真的要归功于 Tom McGrath——是把可解释性看作一门"前范式科学"（pre-paradigmatic science），也就是 Thomas Kuhn 和《科学革命的结构》意义上的那种。
Chris Olah：这里的意思是：通常科学都有一个范式，所有人都同意哪些是重要的问题、如何回答这些问题、如何判断一个答案是否是对该问题的有效回答、研究的主题是什么，等等。我认为可解释性没有这些。对这些问题不存在一套共享的答案。所以我认为，目前可解释性领域中的这种论争，是科学早期领域中非常常见的模式：在这些问题上没有共识，人们提出各自不同的答案，而且常常难以相互沟通。存在大量的分歧和困惑。
Chris Olah：事实上，我认为我们还落入了另一个非常常见的模式：当一个领域处于这种状态时，从业者往往会试图依靠现有的学科来替他们回答这些问题。就当前的情况而言，我认为我们看到从业者大多要么依靠机器学习来回答这个问题，要么依靠 HCI 来回答这些问题。
Chris Olah：人机交互（Human-computer interaction）。我认为机器学习背景的人在某种意义上想要一个"什么才算可解释"的度量指标。而 HCI 背景的人想做用户研究，去问人们："这个解释对你有用吗？"也许你会问："看到解释之后，这个人做出的预测是否更准确了？"之类的。我认为这两种都是可以成立的答案。而我倾向于一个不同的答案：把可解释性看作一门经验科学。它是神经网络的生物学之类的东西。
Chris Olah：所以问题不在于某个东西是否有用。问题在于一个陈述是否为真，而且是可证伪意义上的真。在机器学习的其他领域、在研究神经网络的人那里，你肯定能看到这种观点。但在那些做着可被称为"可解释性"工作的人当中，你看到的就没那么多。我认为这往往是因为人们觉得可视化不那么"科学"。但是，对我来说，回路研究的真正目标，就是尝试展示可解释性可以如何成为一门经验科学。
Rob Wiblin：也许我只是被你参与撰写的那些文章、被你对这一切的表述方式影响太深了。但在我看来，你们确实是在对不同回路的功能做出具体的断言——好，如果你取这一簇神经元和权重等等，它做的就是这件事。所以你说得对。你可以问：我们该不该研究这个？那就要取决于：这有用吗？它是否帮助我们对我们真正关心的东西——就它的功能而言——做出更好的预测？
Rob Wiblin：但是，就像你可以看着一台机器说"这个齿轮是干这个的"，看起来你对回路也可以这么说，并且拥有那种层次的理解。至少这是可解释性的一种含义：我看着这台机器，我理解每个部件对整体的贡献是什么。这对我来说非常自然。
Chris Olah：我会把这描述为"机制可解释性"（mechanistic interpretability），也有人称之为"透明性"（transparency）。把它当作一种机制来理解，或者理解是什么让它运转起来。还有其他类型的工作，可能不那么聚焦于这一点。比如有大量关于显著性图（saliency maps）的工作：你有一个图像分类器，它们试图突出显示——图像的哪些部分对模型给出的最终分类答案是重要的？
Chris Olah：事实证明，要以真正严谨的方式提出那个问题其实非常困难，因为这些函数是如此非线性、如此复杂。对于那类工作，也许更适合用 HCI 式的视角来问："这个解释有用吗？它是否让用户做出了更准确的预测？"
Rob Wiblin：所以听起来，从高层次看，你认为分歧的部分原因在于：人们对"理解一个神经网络"意味着什么、"拥有可解释性"意味着什么，根本没有达成一致。也许随着时间推移，我们应该预期最终会出现多种不同的可解释性概念，但人们会更清晰地理解它们，并且说："我们拥有的是这种意义上的，而不是那种意义上的。"
Rob Wiblin：或者，也许人们会收敛到一个关于可解释性是什么的共同观念上——大概率是对你们实际想做的工作最有用的那一个。
Chris Olah：对，我认为是这样。要么形成多个领域，要么——至少按照 Thomas Kuhn 的说法——通常最终会有一个范式胜出。我觉得 Kuhn 对此的描述中有一点特别有意思：我认为在他看来，范式的核心并不是某人持有的具体理论。你常常会发展出这些不同的学派，它们思考问题的方式各不相同。
Chris Olah：以电学为例，有些人更关注电荷如何相斥，有些人更感兴趣的是电流。我想是电流派赢了。我认为对 Kuhn 来说，重要的不是他们持有的具体理论，而是他们选择去关注的现象。所以从这个视角看，也许回路范式的核心、这种研究路径的核心是……我应该说明，我认为可能还有其他工作体现着类似的范式，我不想把它完全据为己有。这个范式的核心是：关注特征以及特征之间如何相互连接，并把这作为你聚焦的现象。
Rob Wiblin：我们一直在谈论的这些文章里充满了大量图片，我想制作它们一定花了很多时间。也许这正是可解释性不可或缺的一部分：人们必须能够领会它，因此他们必须能够看到它。你认为这种可视化会成为未来可解释性的核心组成部分吗？还是说它只是这些特定案例的特点？
Chris Olah：我认为很多人把科学理解为研究汇总统计量，因为在许多科学领域里，我们可以把事物归结为几个真正重要的数字，然后研究这些数字如何相互作用。我想人们看到我们的工作时常常相当惊讶，因为他们习惯的研究——尤其是机器学习研究——是研究一堆汇总统计量、画折线图，他们觉得科学就应该长那个样子。
Rob Wiblin：或者说，你只要看一张图就能得出一篇论文的结论——图上展示的是准确率，或者某个量随时间的变化，比如随着你增加神经元数量之类的。
Chris Olah：对。我想对他们来说，那样感觉非常严谨，那就是他们期望中科学的样子。但汇总统计量实际上可能让你视而不见。有一个著名的例子叫 Anscombe 四重奏（Anscombe's quartet）：几组二维点，它们的均值和标准差完全相同，但当你实际去看它们时，却完全不同。
Chris Olah：神经网络内部发生的事情实在太多了，如果你只是试图把它归结为一个数字——尤其是如果你事先并不理解里面发生了什么——你就会错过几乎所有重要的东西。至少在我看来是这样。所以我们的很多工作，就是试图展示这些模型内部存在的所有精巧结构中的一部分。我常常觉得我们有点像第一次通过显微镜看到细胞的人。有时人们会问："那算科学吗？"
Chris Olah：嗯，那是一个定性的结果，不是定量的结果。但"看到细胞"本身就是一个定性结果，而不是定量结果。
Chris Olah：而且它非常重要，正是如此。所以我认为，如果你想理解这些模型，想真正理解它们内部发生的一切，你就需要观察这种细粒度的结构，需要设法触及所有这些内容。这不可避免地把你推向可视化，因为数据可视化正是展示大量数据、获取大量数据并传达它的工具。我们习惯了一小套视觉形式——它们对于传达我们经常处理的某些类型的数据很有效——但这并不能改变这样一个事实：为了理解我们从神经网络中获得的海量数据，我们将需要使用其他的视觉形式。
Rob Wiblin：也许我可以换一种说法，看你是否同意。你是在试图让人们理解……就好比让从没见过汽车的人理解汽车是如何工作的。也许要获得那种对汽车如何运转的直觉性领会，你就得把手弄脏一点，得实际摆弄那些不同的零件，看看它们如何连接在一起，看看结构图。你不能只给人们一张图表或一堆数字，然后说："这概括了这辆汽车。"也许这更像工程学，而不是提出某条自然定律。
Chris Olah：对。想象一下，如果你试图用五个数字来描述汽车。也许用五个数字描述汽车在某些方面是有用的，比如马力、尺寸、每小时耗油多少加仑之类的——
Rob Wiblin：——但你不可能只凭这几个数字造出一辆车。
Chris Olah：——但你造不出来，没错。如果你想理解内燃机是如何工作的，你大概需要比那五个数字看得更仔细一些。
Rob Wiblin：有道理。人们对可解释性研究可能还有另一个担忧：正如我们在这次对话中一直提到的，它在某些方面看起来非常类似、非常接近神经科学。而神经科学几十年来，尽管拥有相当庞大的研究群体，却并没有真正破解对人脑的理解。它取得了一些进展，但远远没有达到我们大概需要的那种程度——那种能让我们放心部署一个真正重要的机器学习系统的程度。这会不会让你对"把神经网络理解到我们所需程度"的前景感到悲观或担忧？
Chris Olah：是的，我认为这是一个真实的担忧。研究神经科学的人群比研究神经网络回路式可解释性的人群大好几个数量级。所以这看起来确实是一个值得担忧的相当充分的理由。但我确实认为，可解释性相对于神经科学实际上拥有若干非常大的优势，这在一定程度上扳回了局面。
Chris Olah：从高层次上讲——我最近其实写了一篇关于这个的短文——其中一些优势是：你可以直接获取每一个神经元的响应。在神经科学中，你通常只能接触、记录几个神经元，而且只能对有限数量的刺激进行记录。但在这里，你可以获取所有神经元的响应。
Chris Olah：比如说，许多神经科学家在努力获取人脑中所有神经元如何连接的连接组（connectome）。但在神经网络中，你不仅拥有连接组，还拥有连接每个神经元的权重，而且你知道每个神经元执行什么计算。你可以直接访问整个系统。这正是回路研究之所以可能的原因——我们可以去查看权重如何连接神经元。此外还有一点：权重绑定（weight tying）可以大幅减少神经网络中独特神经元的数量。
Chris Olah：举例来说，在视觉模型中，你实际上拥有同一个神经元的大量复制品，你在图像的每个位置都运行它们。如果我有一个直线检测器，在图像的每个位置都运行这个直线检测器是很有用的。这样做的结果是，与研究一个规模相当的生物神经网络相比，你的神经元数量——或者说独特神经元的数量——可能要少 10,000 倍。
Chris Olah：这就是"不可能逐个查看每一个神经元"与"轻松就能查看每一个神经元"之间的区别。我们已经对一些视觉模型做到了这一点。所以这是一个巨大的优势。
Rob Wiblin：听起来这些优势也许大到这样的程度：通过研究人工神经网络，你最终对人脑的了解，会超过通过研究人脑本身所能获得的了解——就因为人脑内部的底层数据太难获取了。它被包裹在一堆极难摆弄的物理材料里。
Chris Olah：对。我不是神经科学家，不想发表太多意见，但在我看来，研究人工神经网络或许能教给我们很多神经科学知识，这是非常有可能的。我应该说，刚才讲的其实只是一部分；还有一些我没有提到的其他优势。所以我认为我们确实拥有相当多的优势。
Rob Wiblin：我们会附上你最近发表的那篇短文的链接，我想你在里面列出了其他那些优势。
Rob Wiblin：我们提到要采访你之后，收到了大量听众问题。有一个我很感兴趣——我不确定你是否真的能回答，因为它可能太哲学了——有人指出，正如我们刚才所说，你们在神经网络内部发现的这一切都与神经科学相互映照。而像 Brian Tomasik 这样的人——以及其他非常关心未来苦难问题的人——提出过这样的担忧：神经网络、人工智能或强化学习体在计算机上运行时，可能有能力感受痛苦，或者我想也可能感受快乐。这位听众问：你认为你们的发现应该让我们对此更担心，还是更不担心？
Chris Olah：我先声明，我觉得自己不太够格评论这个问题，因为我不是道德哲学家，也不是心灵哲学家之类的。对于该如何思考某个东西是否是道德受体（moral patient），我真的不知道。
Rob Wiblin：老实说，我不确定有谁是真正够格的，不过……
Chris Olah：我的直觉是，这是一个相当严肃的隐忧。我觉得人们要么认为谈论这个话题很好笑，要么认为谈论它的人是怪人，但是，我确实担心这是一个相当严肃的问题。我担心它的一大原因，甚至不完全在于它们是有资格获得道德受体地位的主体的概率有多大，而在于这件事是如此隐形。
Chris Olah：我非常关心动物权利。我是素食主义者。我认为动物权利问题如此隐蔽的一个原因，是人们看不到工厂化养殖场里正在发生的苦难。它被藏了起来，是不可见的。而如果神经网络会受苦，它们的苦难又会比这不可见多少倍？我不知道它们是否会受苦，但如果会……它们运行在一台没人能看见它们的服务器上，它们的苦难没有任何可见的输出。而且，只要在电脑上点几下、在键盘上敲几下，正在经历这些的神经网络的数量就会成倍增加。我认为这真的、真的大大增加了我们酿成一场道德灾难的风险。
Chris Olah：关于模型是否可能在受苦，我能说点什么有用的吗？我确实认为，这些多模态神经元应该给我们敲响一点警钟。有一种以前只存在于人类身上的东西，现在我们在人工神经网络中观察到了它。我不是说这必然应该是一个重大的警示信号。我想其他人会比我更适合思考这个问题。但我确实觉得，当我们发现这类东西时，我希望它能触发系统性的评审和系统性的核查。因为我认为，每一次这样的发现，似乎都在增加"我们面对的可能是道德主体"的风险。
Rob Wiblin：是啊。我想这个担忧是：我们认为人类会受苦。那么，如果这些神经网络不断加入越来越多人类拥有的功能组件，也许它们也会发展出受苦的能力。因为那是我们心智中的组成部分之一。这听起来有点像……在一个图像识别系统里，什么东西对应于偏好、欲望和苦难，并不明显。也许神经网络需要更具"能动性"（agent-y）之后才可能受苦。这在直觉上让我觉得说得通。不过我想，我们终究会拥有那样的系统，对吧？
Chris Olah：我想很多人特别关注强化学习，认为它必定是神经网络会不会受苦的分界线。我对"那真的是核心问题"相当怀疑。一个让你不这么想的理由是：你也可以改用模仿学习（imitation learning）来训练一个神经网络去模仿一个行动者。我认为，如果这样训练出的神经网络具有相同的行为，我大概会认为它们受苦的可能性是一样的。
Chris Olah：关于为什么我认为强化学习可能不是核心因素，我还有一堆更技术性的理由。但我说不好。也许这里更重要的一点只是：我认为这个话题的讨论水平实在太低、太贫乏，连一些非常基本的观点和思考都还没有被摆出来。我想这只是因为，谈论这个话题让人感觉像个怪人，尤其如果你是一个严肃的研究者。我认为这是个问题。我认为我们应该努力把这些问题仔细想清楚。这是一个非常难思考的话题，但我希望能有更多审慎的讨论。
Rob Wiblin：另一位听众说，也许我们可以用这种可解释性研究去理解那些做着我们自己也能做、我们自己也能理解的事情的神经网络；但如果是一个超越人类的系统、一个超级智能系统，它做的任务可能对我们来说太复杂、太困难——因此，也许对我们来说也太复杂、太困难而无法理解。你认为这是否可能妨碍我们把这些可解释性工具用在远比今天先进的系统上？
Chris Olah：我会把这个问题拆成两部分。一部分是，你可以泛泛地担忧神经网络的规模化，担忧我们能否跟得上对更大神经网络的研究。另一部分是，你可能对超级智能有特定的担忧，特别是对系统比我们更聪明这一点。你可能认为，你有办法研究非常非常大的模型、非常强大的模型，但当这些模型变得比你更聪明时——因为它们思考问题的方式比你更精深——也许那正是你栽跟头的特殊节点。
Chris Olah：规模化的部分我们前面已经谈过了，所以我想这里应该聚焦于超级智能特有的担忧。
Chris Olah：有一点似乎让人稍感宽慰：我们已经拥有在狭窄领域比我们聪明的模型了。ImageNet 模型在识别不同品种的狗这件事上就比我强。只要下功夫，我们可以观察这些模型，实实在在地向它们学习，让自己变得更聪明。Bret Victor 有一场非常精彩的演讲，叫《Media for Thinking the Unthinkable》（思考不可思之物的媒介）。他在里面说的一些话，让我觉得在一般意义上都非常深刻。我认为这种"思维工具"（tools for thought）式的思考在 EA（有效利他主义）社区中被低估了，但它实际上与神经网络极其相关。
Chris Olah：也许我干脆引用一段，因为我认为这是思考这个问题的一种非常有力的方式。
Chris Olah：他先引用了 Richard Hamming 的话："正如有些气味狗能闻到而我们闻不到，有些声音狗能听到而我们听不到，同样也存在我们看不见的光的波长和我们尝不出的味道。既然我们的大脑是这样构造的，那么'也许存在我们无法思考的思想'这句话为什么会让你惊讶呢？迄今为止的进化，很可能已经阻断了我们朝某些方向思考的能力。可能存在不可思考的思想。"
Chris Olah：我认为这在某种程度上触及了你对"试图理解超级智能系统"可能怀有的担忧的根源。你可能认为，存在人类不可能思考的思想，而这个系统正在思考这些思想，因此我们完蛋了。对此，Victor 是这样回应的：
Chris Olah："那些我们听不见的声音、看不见的光——我们当初到底是怎么知道它们存在的？我们造了工具。我们造工具来让这些超出我们感官之外的东西，去适应我们人类的身体、人类的感官。我们听不见超声波，但你可以把麦克风接到示波器上，它就在那儿了。你正用你那双再普通不过的猴子眼睛'看见'那个声音。我们看不见细胞，也看不见星系，但我们造出了显微镜和望远镜。这些工具让世界去适应我们人类的身体、人类的感官。当 Hamming 说可能存在不可思考的思想时，我们必须这样理解：是的，但我们造出了这些工具，让这些不可思考的思想去适应我们心智运作的方式，让我们能够思考这些以前不可思考的思想。"
Chris Olah：我认为这与我们在可解释性上所做的事情之间，其实存在一个非常深刻的类比。Michael Nielsen 和 Shan Carter 有一篇很不错的文章，谈他们所说的"人工智能增强"（artificial intelligence augmentation）。而这一切的高层想法是：我们可以尝试构建工具，帮助我们变得更聪明、去思考这些思想。事实上，如果我们拥有以这些方式进行推理的系统，它们可以把那些抽象教给我们，甚至它们本身也许就能成为让我们去思考那些以前不可思考的思想的工具。
Rob Wiblin：是啊。所以也许你可以把这些不可思考的思想拆解成我们能消化的碎片。也许只要给足时间和精力——不过这可能会相当困难，因为我们要面对的抽象非常陌生、非常异质、非常难以为人类所把握。所以这可能比理解"这是一个识别狗的回路"要费力得多。
Chris Olah：对，那有可能是真的。不过，我说不好，如果你看看……这要看是什么样的人，但我觉得如果你看看许多我认为真正聪明的人，他们其实非常擅长……他们的思维看起来非常清晰，实际上常常相当容易理解。也可能是这样：你可以设想一条"神经网络可理解程度"的曲线。你可以想象，在某个区间它非常混乱、抽象很糟糕，然后它变得越来越清晰、越来越清晰，变得更容易理解。
Chris Olah：然后，也许存在某个阈值，过了这个阈值，它开始拥有足够异质的思想，超出人类的能力，我们就再也无法理解了。那个阈值在哪里是一个经验问题。但如果我们能走到这一步：面对人类水平的系统、以及比人类水平强一些的系统，我们能理解它们、真正对它们的安全性有信心——那在我看来已经是一个相当大的安全胜利了，即使存在某个点，过了那个点这些东西会从根本上变得如此异质，以至于我们完全无法理解它们。
Rob Wiblin：好。另一位听众来信说，Chris 似乎极其擅长拆解和理解他的各种模型的内部运作，甚至包括复杂的模型和相当大的模型。他们想问：一个人要如何持续地把自己解释和理解模型的能力提升到新的层次？
Chris Olah：他们真是太客气了。我想最重要的大概就是练习——花大量时间盯着神经网络，努力弄清里面发生了什么。不过让我想想还能建议点什么。冒着有点自我推销的风险：读一读 circuits 系列文章可能会很有用。它会带你走过大量的例子，看神经网络在做什么、它们是怎么做的、以及实现这些的回路是什么。
Chris Olah：我认为，拥有一个你真正理解的具体例子库，实际上非常有帮助。我觉得我从中受益良多。另一个有用的练习是给自己设计一些玩具问题，问自己："在这种架构的神经网络里，我会怎么实现这种行为？"我晚上睡不着的时候经常玩这类游戏。我觉得这让我更深刻地理解了一种架构的约束是什么、哪些事情容易、哪些事情难。
Rob Wiblin：听起来就是练习、练习、再练习。
Chris Olah：练习、练习、再练习。而且，花时间和一个模型待在一起，到处多戳一戳，真的很有帮助。还有一件人们可能会觉得意外的事：培养一些基本的数据可视化功底，掌握一些工具，让你能把大量数据摊在"纸面"上，得到用特征可视化组织起来的神经网络，然后进去，用简单的界面在其中导航。因为这种能力……这些模型内部的数据实在太多了。拥有让你能够在其中导航、筛选的工具，正是让你不必诉诸那些会误导你的汇总统计量的关键。
Rob Wiblin：我想我之前忘了说：OpenAI 提供的这个 Microscope 工具玩起来非常赏心悦目。哪怕是那些对机器学习不感兴趣的人，哪怕是那些并不打算把这个学来作为职业技能的人，我都推荐去看一看。我当时被震撼到了。我原本想的是"难道这不应该就是你理解它的方式吗？"然后我点开那些文章，心想："天哪，这东西现在真的存在了。"所以想必那种体验会对人们有帮助。
Rob Wiblin：还有一个其实有好几位听众都提出的问题……到目前为止我们谈的大部分都是这些视觉模型，比如 CLIP，它们试图分类图像，或者拿到一张图像后判断说明文字应该是什么，或者拿到一段说明文字然后围绕它设计一张图像。但可能还会有其他也许更重要的模型将被部署，它们能力更强，做的事情也更切中要害。
Rob Wiblin：显然比如像 GPT-3 这样的模型，它可以拿到一个开头段落，然后据此写出一整篇文章。看起来更多的工作或许长那个样子，而不是图像分类。这套可解释性工作会自然地从图像领域延伸到自然语言的解释吗？还是说可能存在更根本的差异，使得类比在某种程度上失效，事情变得更难做，或者你们得重新发明一些东西？
Chris Olah：在深入这个问题之前我应该先说明：确实有大量可解释性工作是在语言模型上做的。那通常是与我真正感到兴奋的那种风格相当不同的可解释性工作，但那里确实有很多工作在进行。所以我会把这个问题理解为：我们应该对"回路式可解释性工作能否在语言模型的语境下蓬勃发展"抱有多大的乐观？
Chris Olah：在某种程度上，在我们真正尝试之前，这是一个很难回答的问题。我感到乐观。我真的看不出有什么根本性的理由说它不该奏效，但我认为在我们证明这一点之前，人们保持怀疑是合理的。实际上我最近刚转向研究语言模型。所以到目前为止我做的只是一些非常初步的东西，但我们确实已经逆向工程了几个简单的回路，它们做的是与语言模型中的元学习（meta-learning）相关的一些事情。实际上看起来相当容易。所以我的初步立场是：我不仅看不出这些东西不该奏效的任何根本性理由，而且我感到相当乐观。
Rob Wiblin：你刚才提到，在语言模型上已经有一些不同类型的可解释性工作。那些工作发现了什么？是什么样子的？
Chris Olah：我认为有很多工作大体上是这种味道："我们认为某个语言学特征很重要，我们能否确定它在模型不同位置被表征的程度？"我可能会把这描述为略带自上而下色彩的可解释性：你先对某个东西有一个假设，然后试着看能否从某处把它预测出来。也有一些更偏可视化的方法。Google 有一篇论文（见图 4）我非常喜欢，他们把各种词的嵌入（embedding）如何随着与上下文的交互而演变可视化了出来。
Chris Olah：他们观察了"die"这个词，发现在某些语境中它是德语的冠词——那是一个聚类。在另一种语境中它是"死亡"，那是另一个聚类。所以我认为这种更偏可视化的工作很酷。还有一些可视化注意力模式（attention patterns）的不错工作。所以我认为这个领域里确实有一些有趣的工作。我不确定其中有哪个已经真正达到了给出机制性解释、达到那种我觉得最值得信赖的、自下而上理解特征的程度。不过，我也是刚进入一个新领域，目前在这个领域里还是个外行，所以我不想太自信地评论。
Rob Wiblin：所以有自上而下的解释，人们可能会带着这样的思路接近模型："它必须能预测这里该放名词还是形容词。所以我们应该能找到它的某个部分在做'下一个词该是什么'的预测。那我们就去四处侦察，看能不能找到它。"
Rob Wiblin：而我猜你更喜欢的是从神经元出发，或者从一个聚类出发，然后向上推进，自下而上地弄清"这个东西在做什么"，而不带太多先入之见。不过我想，两种都做也许才是自然的。
Chris Olah：（自下而上）那会是最让我兴奋的路径，但我也很高兴看到各种各样的人尝试各种方法。我认为，这个领域里有一个相当规模的社群在提出问题，这真的令人兴奋。有一整个领域被人们称为 BERTology——我想是仿照 biology（生物学）起的名字，只不过研究对象是 BERT，一个语言模型。我觉得它能成为一件有分量的事情，这很美妙。
Rob Wiblin：关于语言模型中什么东西相当于回路，你还能多说一些吗？我想，从"die 还是 die"那个例子来看，你可以想象存在这样的回路，它们检测"这个句子是关于这个东西的吗？这个句子是关于一个人的，还是关于一台机器的？"或者，我猜你们也许得从比那更简单的东西开始，但那可能就是某种对应物，比如弄清主题的大致类别。
Chris Olah：对。在我的理解里，就像视觉模型中有特征一样，语言模型中也有特征。它们存在于 MLP 里。也就是说，你有这些模块，它们就是带有神经元的常规神经网络层，和 transformer 里的其他东西一样。不同之处在于，你还有这些注意力头（attention heads），它们与我们在卷积网络回路中看到的任何东西都非常不同。所以我们要做的，是调整我们用回路思考问题的框架，把这些注意力头也纳入进来。然后但愿我们能用它去理解正在发生的一些更大尺度的机制。
Rob Wiblin：除了语言模型之外，现在存在或未来可能存在的机器学习模型中，有没有哪类让你担心这些可解释性方法会不管用的？我是说其他类型神经网络的例子。比如学会玩很多游戏的 AlphaZero，还有 MuZero。还有比如 Facebook 的推荐算法，我想那也是一个神经网络，它在执行一种不同类型的任务。有没有可能存在某一类就是特别难理解的神经网络？
Chris Olah：我想有很多类型的神经网络，我还没有认真思考过"理解它们会是什么样子"、"对它们做回路式分析会是什么样子"。我确实认为，所谓基于模型的强化学习（model-based reinforcement learning）——它们在某种意义上是在预演未来——或者像 AlphaGo 那样展开大量可能的未来、并让这些影响它的行动的模型，研究起来会有非常有意思的不同。我不确定我认为它们会更难，但我认为它们与我目前研究的模型相比，会有非常有意思的差别。
Rob Wiblin：在这次对话中，我们已经提出了几种人们可能对这个可解释性研究议程及其用处的反对或怀疑。还有没有其他让你困扰的怀疑论论证？有没有可能这最终被证明是条死路，或者没那么有用？我是说那些让你夜不能寐的，或者说，如果你不是这么乐观的人，本应让你夜不能寐的？
Chris Olah：我想规模化问题大概是我最害怕的。我感觉相对乐观，但当我说我相对乐观时——我说不好，也许那意味着我的乐观程度略高于 50%。我认为事情仍有很大的失败空间。而且我本该是最……我对它的乐观大概带着点轻微的自我欺骗。
Rob Wiblin：这里存在一点选择效应——如果你认为这是个糟糕的计划，而你又是主要的领导者，那才有点令人担忧。
Chris Olah：对。但我认为这正是为什么你需要有许多不同的研究议程，希望形成一个组合（portfolio），期望其中总有一个最终成功，而不必指望任何单一路径必然成功。至于这里还没怎么被提到的担忧，有一个多义性的问题，就是一个神经元会对多种东西作出反应。关于为什么会这样，有很多理论。一种理论是，某种意义上没有足够的空间来容纳所有概念。我认为我们其实并不知道它为什么发生，但它让理解神经网络变得困难得多，尤其是当你试图以神经元为单位来观察事物时。
Rob Wiblin：对，给大家解释一下：多义性就是指你有一个回路，它似乎同时在做两件非常不相关的事情。你会发现，这是一个既检测汽车又检测英国女王的回路，然后你会问：这个回路为什么在干这种双重差事？当神经网络很小、不得不把尽可能多的功能塞进极少的神经元里时，出现这种情况说得通。但我想你的意思是，即使在非常大的网络里，有时似乎也会发生这种情况？
Chris Olah：至少在中等规模的网络里肯定会发生。还有一种可能的解释是：当你把模型做大时，模型可以表征的、有用的东西的集合也变大了。可用来存储东西的神经元数量在增加，但你想存储的东西的集合也在增加。
Rob Wiblin：我明白了。所以它面临这样一种权衡。它要么容纳更少的概念，说"不，这个回路只做汽车，不做女王"；要么接受某些麻烦——一个身兼两职的回路带来的技术挑战，它可能会误激活——但作为回报，它现在能往里面塞两个概念。所以它始终面临这种权衡。即使它变大了，只要还有更多概念没有被表征，这种权衡就依然存在。
Chris Olah：对，完全正确。而且我认为我们不知道它的渐近行为是什么。当你把模型做得非常大时，多义性会消失吗？还是我们需要做点别的？有没有某种办法，能把一个神经网络"展开"成一个更大的神经网络——比如一个没有多义性的网络？或者我们能不能只是非常小心地对回路进行推理，尽管存在多义性，依然能够非常仔细地把事情推演清楚，最终它并不成为多大的问题？
Rob Wiblin：好，明白了。这让你困扰的原因就在于：当你碰上一个多义的回路时，理解它就麻烦得多，所以它会拖慢你的进度。
Chris Olah：而且我认为，我们对"自己已经理解了它的一切"的信心也会低得多。
Rob Wiblin：就好比，里面还藏着什么别的东西？
Chris Olah：对，里面还藏着什么别的东西。你甚至可以想象，有些东西在每一个神经元里都非常微小，但它们藏在神经元之间——它们与几乎所有神经元近乎正交——因此非常难被看到，但仍可能在模型中被表征着。从这种视角来看，它们非常难被抓到。这实际上就是为什么……早些时候你问我特征是什么，我说"通常我们把特征看作神经元"。但我们之所以不直接说特征就是神经元，是因为似乎存在这样的情况：特征实际上被存储在神经元的组合中，或者一个神经元对应多个特征。理想的做法是找到某种办法，进到网络内部，把这些东西表示成全部彼此分离的形式。
Chris Olah：与此相关，机器学习里有一支文献是讨论解缠表征（disentangling representations）的。它稍有不同，因为在那些研究里，人们通常谈论的是几个他们已知的特征——比如他们关心性别，还有发色之类的——他们想找到一种把这些解开的方法。而我们在这里没有那种便利。但它是一个密切相关的问题。
Rob Wiblin：好，这些文章以及更广泛的 circuits 系列里的内容，我们已经覆盖了不少。还有没有什么你认为重要又有趣、听众应该知道、而我们还没来得及讲到的？
Chris Olah：我们已经谈了很多这项工作可能失败的方式，我觉得也值得说说，如果它能成功，那会是多么美妙的一件事。一方面，它可能会让神经网络变得安全得多；另一方面，如果我们能生活在这样一个世界里，从美学上讲，我认为那真的会非常美妙……我们可以从这些神经网络中学到如此之多、如此惊人的东西。我已经从这些模型中学到了很多东西，包括一些看似无聊的事情，比如如何给狗分类，还有很多我以前不理解的东西。
Chris Olah：你可以想象这样一个世界：神经网络是安全的，但未来在某种意义上却有点悲哀。在那个世界里，我们变得无关紧要，我们不理解正在发生什么，我们只是一群在自己无法理解的世界里过着快乐生活的人类。我认为，即便有非常强大的 AI 系统，也存在另一种未来的可能——不是那样的未来。那是一个更人性化得多的世界，一个我们理解事物、能够对事物进行推理的世界。我对那样的世界感到兴奋得多，这也是激励我从事这一方向工作的部分原因。
Rob Wiblin：有意思。所以那里的想法是：在未来，神经网络可能会做许多过去由人来做的事情；它们在某种意义上掌握着决策权——尽管但愿、理想情况下是与我们的利益对齐的。但如果存在这些我们根本无法理解的黑箱，我们让它们做事，它们就去做了，而我们对其过程连一点理解都没有——那可能会是一个非常令人疏离的世界。
Rob Wiblin：但如果我们能像看待机器、看待汽车那样看待它们——你可以上 Google 查一查，弄明白汽车是怎么工作的，然后你会觉得："哦，好吧，这个世界对我来说是可理解的"——那会让我感觉好一些。让我觉得自己不那么像个无用的……不只是被这些神经网络伺候着的人。而且我想，我们还有可能从这些神经网络那里学到关于世界的东西。它们之所以能做我们做不到的事情、或者比我们做得更好，一个原因是它们的"头脑"里有一些特征。它们在以某种特定的方式思考问题，而也许我们可以学着去理解，甚至可以说是把这些神经网络正在做的聪明事"抄"过来。
Chris Olah：对。有一个叫"显微镜 AI"的想法。人们有时会谈论"代理型 AI"，它们会去实际做事；还有"神谕型 AI"，它们只是给我们提供关于该怎么做的明智建议。而对于强大的 AI 系统可能是什么样子，还有另一种愿景——我认为它比其他几种更难实现，在某种意义上大概也竞争力更弱，但我觉得它真的很美——那就是显微镜 AI，它只是让我们更好地理解世界，或者以一种让我们变得更聪明、让我们对世界拥有更丰富视角的方式，与我们分享它对世界的理解。
Rob Wiblin：而这（可解释性）正是能让这种愿景成为可能的东西。
Chris Olah：我认为只有当我们真正成功实现对模型的这种理解时，这才有可能，但……是的，从美学上讲，我就是更喜欢它。
Rob Wiblin：为了让人们脑海中的图景更清晰一些，你能不能描述一个可能的故事：在这个故事里，可解释性研究帮助我们预见了一个神经网络部署后的失败模式，然后提前把它化解掉？我们有没有这样一个哪怕是简化版的故事？
Chris Olah：我认为有若干不同的故事。也许你可以这样来思考它们：从回路式可解释性最辉煌地成功的世界、以及它如何为安全做贡献开始，逐步过渡到它成功程度越来越低、但仍以某种有意义的方式为安全做贡献的世界。
Chris Olah：在最极端的一侧，你可以想象我们完全、彻底地理解了变革性 AI 系统。我们完全理解它们内部发生的一切，我们可以真正有信心地说，它们内部没有任何不安全的东西在发生。我们理解一切。它们没有对我们撒谎。它们没有操纵我们。它们真的是真心实意地在努力对我们提供最大的帮助。而一个更强的版本是：我们对它们的理解如此深入，以至于我们自己也能变得更聪明，我们拥有了一种显微镜 AI，它给了我们一种非常强大的方式去观察世界，让我们成为有能力的行动者，去帮助创造一个美好的未来。
Chris Olah：好。现在让我们设想，可解释性实际上没有以那种方式成功。我们没能达到可以完全理解一个变革性 AI 系统的程度。那太乐观了。那接下来我们该怎么办？也许我们能够对一些小的切片进行这种非常细致的分析。也许我们能理解社交推理，能理解这个模型是否……我们无法理解整个模型，但我们能理解它此刻是否在搞操纵，这仍然能够切实减轻我们对安全性的担忧。但也许连这都是奢求。也许我们连理解那个小切片都做不到。
Chris Olah：那么，我认为你可以退而求其次的是……以某种概率，你能抓到问题，抓到模型在做你不希望它做的事情的情形。你并不声称你能抓住某一类问题中的所有问题。你只是说，以某种概率，我们在检查这个系统时能抓到问题。这样你就拥有了某种类似"重来一次"的机会。你犯了一个错误，但你被允许重新开始——你本来会得到一个非常糟糕的系统，而你以某种概率意识到了它的糟糕，然后你可以再试一次。
Chris Olah：或者，在你逐步构建强大系统的过程中，你能够以某种概率抓到问题。这在某种程度上能让你了解，随着你构建越来越强大的系统，安全问题有多常见。也许你不太有信心能在最终系统中抓到问题，但在你朝着那个方向构建的过程中，你可以帮助社会对这些系统的风险程度形成校准的认识。
Rob Wiblin：我想这是一种这样的模型：被部署的神经网络有点像汽车，或者像推出一种新药、一种新农药。我们要的并不是零失败，而是想要更好的体系，让我们更有可能发现有问题的副作用，或者尽可能多地发现它们将会失败的方式——因为我们能预见并阻止的问题越多越好。
Rob Wiblin：不过我想，有些人的思考框架是 AI 会非常快速地起飞（take-off），我们会非常快地达到超级智能，任何漏网的错误都可能带来灾难……那也许是关于 AI 最终如何影响世界的一种非常不同的图景。从那种视角看，仅仅说"我们找到了 80% 的问题"，恐怕不会让人们那么安心。你对此有什么想法吗？还是说，你认为这种"越来越强大的神经网络被逐步部署"的图景，就是最有可能上演的情形？
Chris Olah：首先我要说，我依然志在抓住所有的问题。我不知道这个项目会不会成功，但我确实……我想我回答这个问题的方式其实是：在越来越糟糕的世界里，我们如何为安全做贡献？我们成功得越少，我们对安全的贡献就越小。但愿它们仍然有帮助。我确实认为，即使是持相对快速起飞世界观的人——除非他们持有的是非常非常快速起飞的世界观——也应该对任何有助于社会更准确校准"AI 系统是否存在风险"的东西感到兴奋。因为，如果你手上有系统不安全的具体实例，那种围绕部署变革性 AI 系统所需要的协调，看起来就更有可能实现。围绕一个完全抽象的问题去协调人们，似乎非常困难。所以，即使是在弱得多的系统上，如果你能拿出有说服力的安全问题实例——某种意义上具有操纵性、或以某种方式背信弃义的系统——我对说服人们采取行动就乐观得多。
Rob Wiblin：嗯，有道理。那么可解释性研究的未来是什么？未来几年里，有没有什么特别有希望的前景值得我们期待？
Chris Olah：我认为问题不在于有没有前景光明的方向，而在于前景光明的方向多得数不清……我觉得，置身于一个非常早期的科学领域一定就是这种感受：低垂的果实实在太多了。在我看来，你可以朝一百万个方向出发，而在其中每一个方向上，你都会发现关于神经网络的惊人事物。
Rob Wiblin：所以放眼望去，遍地都是肥沃的、尚未被开垦的土地。
Chris Olah：我认为你只要"掰开"一个神经网络，只要你仔细观察，就有很高的概率发现前人从未见过的东西。也许有一些影响特别大的方向，比如我认为发现母题、发现更大尺度的结构，或者在语言模型上取得进展之类的，可能比其他方向影响更大。但如果你把这想象成我们正处于"深度学习的生物学"的早期时代——是的，每一个方向上都有惊人的东西等着被发现。
Rob Wiblin：很好。那么，带着这个认识，如果有人真的很想投身这个可解释性议程并为之做贡献，第一步应该做什么？我们在其他几期节目里谈过一般意义上如何从事机器学习职业，但对于已经在朝机器学习或 AI 安全职业方向走的人来说，他们该如何把自己推向可解释性这个方向？
Chris Olah：我还是要先声明，可解释性领域里人们在做的事情五花八门，我的建议只有在你对这种回路式可解释性感兴趣时才非常有用。我的第一条建议是：认真读 circuits 系列文章。我认为它是尝试做这种特定风格可解释性研究的最集中的范例。当然，这是我自己的工作，或者说我参与其中，所以我有偏向，但如果你对这类工作感到兴奋，那大概是一个不错的起点。此外：努力真正深入地理解神经网络架构，尝试推理你会如何在其中实现各种不同的东西，自己花时间在里面到处摸索。我认为这些都非常有用。还有很多关于如何进入机器学习领域、积累相关软件工程通用技能和神经网络理论理解的标准建议，也都完全适用。我还建议培养一些非常基础的数据可视化技能。我认为如果你拥有这项技能，它会让你受益匪浅。
Rob Wiblin：有没有什么会议或社交活动……人们可以读所有这些东西，但最终他们大概会想和领域内的人交流，以便更进一步。他们可以怎么做到这一点？
Chris Olah：我认为这种特定的路线目前还是相当小众的。有一个 Slack 社区，你读 circuits 系列文章就能找到入口，而且我们中有不少人在 Twitter 上相当活跃。我一直很想围绕这个组织某种社交活动，但新冠疫情让这件事很难办。
Rob Wiblin：我想人们可以在 Twitter 上关注你。想必这个子领域会不断成长，最终会有各种活动，人们可以去建立联系、了解最新进展。你应该也会在标准的机器学习会议上做报告，对吧？
Chris Olah：我有时会在会议上做演讲。我主要在 Distill 上发表，因为我们有这样一个支持交互式可视化的发表平台。所以我认为，对于这个特定的小众方向，很多东西都集中在 Distill 周围、Distill 的 Slack 社区之类的地方。
Rob Wiblin：太好了。好，这就为一场很长的、内容充实的可解释性讨论画上了句号。不过在我们结束技术话题之前——天哪，我们的听众实在太想让我问你缩放定律的事了。在关注 OpenAI 或关注机器学习的人群里，这似乎真的是热门话题。我其实对缩放定律了解不多，所以也许你可以给我解释一下，为什么所有人都要我问你缩放定律，以及我和他们应该了解这些东西的哪些方面。
Chris Olah：在我开口之前，我应该说明：我有好几位密切的合作者在研究缩放定律。我个人没有做过任何缩放定律方面的工作，所以我真的不是专家。我会尽量聪明地谈论这个话题，但如果我说出什么特别高明的东西，那多半要归功于他们、归功于那些我有机会与之讨论的专家。而如果我说了什么特别蠢的话，那多半只是我误解了什么。这是我对自己关于缩放定律的任何言论要加的一个免责声明。
Rob Wiblin：好，我想首先我们也许该解释一下缩放定律是什么。
Chris Olah：基本上，当人们谈论缩放定律时，他们真正的意思是：在双对数坐标图上有一条直线。你可能会问："我们为什么要关心双对数坐标图上的直线？"
Rob Wiblin：我能先问一下，坐标轴上是什么吗？
Chris Olah：这要看情况。不同的事物有不同的缩放定律，坐标轴取决于你在谈论哪条缩放定律。但可能最重要的缩放定律——或者说人们最兴奋的那条缩放定律——一条轴是模型规模，另一条轴是损失。
Chris Olah：对，损失高意味着性能差。
Chris Olah：你观察到的现象是：存在一条直线。当你把模型做得更大时，损失会下降，这意味着模型的表现更好。而且在很宽的范围内，这条线直得令人震惊。
Rob Wiblin：好，那如果我增加模型规模——我在回忆我学过的经济学——如果是半对数图，X 轴是线性的、Y 轴是对数的，那么每增加 10% 的价值总是一样的。但如果 X 轴是对数、Y 轴也是对数，那么如果我把模型规模增加 10%，性能损失会怎么变？我对双对数图到底是什么没有直观的把握。
Chris Olah：老实说，我自己常常用一种半对数的方式来思考这个问题，因为我觉得其中一条轴上的单位在对数空间里思考其实挺自然的，然后你就可以把它当作指数关系来想。但如果你想思考两个变量之间的关系，你会得到形如 y = ax 的 k 次幂的式子。举例来说，y = x² 是一个幂律，y = x 的平方根也是一个幂律。我们在物理学里到处都能看到幂律。比如 Kepler 定律之一，把天体绕太阳公转所需的时间与其轨道最长轴的长度联系起来，那就是一个由类似关系连接的幂律。
Chris Olah：然后，比如说你把一个量翻倍，那么就有这个幂次，另一个变量就按那个幂次增长。比如如果是平方根关系，你把一个量乘以 10，另一个量就变为原来的根号 10 倍。
Rob Wiblin：好，所以是某种多项式关系。我不确定我完全跟上了。但底线是：人们已经朝这个方向更新了看法——把模型做大所带来的收益递减，并没有我们预期的那么严重。就是说，增加神经元数量、增加连接数量、增加参数数量，性能就是会不断变好。而且即使对于已经非常大的模型，它还在以相当不错的速度变好。这大概就是结论所在吧？
Chris Olah：对。而且我想，也许不只是"没有遇到收益递减"这么简单。当然，迄今观察到的这一切都可能改变。有可能下一次增大模型规模时，缩放定律突然失效，不再是这种表现。但这条线如此之直这个事实非常令人惊讶，让人忍不住想进一步外推——也许你在某种程度上可以对比你现在能训练的模型更大的模型进行推理。我想这就是人们对缩放定律感到兴奋的原因。
Rob Wiblin：好，所以人们在用它做前瞻预测，说："到 2022 年我们能造出大这么多的模型，那我们应该预期这样的性能水平——哇，那不是很棒的性能水平吗？"
Chris Olah：对。顺便说一句，还有其他一些缩放定律。有关于模型规模的，也有关于你使用的总计算量的。当你把模型做大时，你也必须训练更长时间，所以就有……你可以问："如果我有一个给定的计算预算，那么在'把模型做大'和'训练更长时间'之间，计算量的最优分配是什么？在这种最优分配下我能得到什么样的损失？"这也遵循一条缩放定律。当你增加训练模型所用的数据量时，也存在一条缩放定律，而且所有这些之间还存在某种相互作用。
Chris Olah：我想人们思考这个问题时有时会做的一个类比是：这有点像统计物理。关于气体有一个惊人的事实：你可以尝试从每一个气体分子的角度去推理一团气体，但事实证明，只有少数几个量——比如温度、压强、体积和熵——就足以讲清整个故事。类似地，对神经网络来说，似乎也存在少数几个变量，能讲出一个宏大的、至少是高层次的神经网络故事。这在某些方面几乎与我们之前谈的回路正好相反：回路是真正深入到细节，而这里你拥有的是一种极其抽象的视角，只有少数几个变量是重要的，而你研究它们之间的相互作用。
Rob Wiblin：明白了。好，所以人们对这个感到兴奋的一个原因也许是：我们正在从我们积累的所有这些经验中，学到一些非常宏观的、根本性的论断——关于训练所用计算量、参数数量、你喂入的数据量与系统的智能程度/性能高低之间的关系。我想这本身就很惊人。我们也许正在学习一些关于智能和信息处理本质的根本定律。然后，当你向前投射时，就更令人兴奋了：将来我们会有这么多数据、这么多计算量，我们将能支撑一个有这么多参数的模型。这大概有助于我们预测我们未来会处于什么位置。
Chris Olah：而且似乎每隔几个月就会出现新的、有意思的缩放定律，让你能够对不同的事情进行推理。就在几周前，一篇关于迁移学习（transfer learning）缩放定律的新论文发表了。迁移学习是一种很流行的做法：通常由一方训练一个大模型，然后其他自己无法训练大模型、也没有大量数据、只有少量数据的人，会把那个大模型微调（fine-tune）到他们自己的任务上。也就是说，他们从别人用不同数据训练好的模型出发，然后在自己的数据上再稍微训练一下。事实证明，模型规模如何影响这一过程也存在缩放定律，而且最终在某种意义上，你训练所用的数据和你测试所用的数据之间存在一个"汇率"。这是 Danny Hernandez 和他的合作者们做的非常出色的工作。
Rob Wiblin：哦对，Danny Hernandez 上过我们的节目。
Rob Wiblin：我知道这不是你的领域，但你认为那些问起缩放定律的人应该了解它们的哪些方面？他们有没有可能在哪些地方误解了它们？
Chris Olah：我想他们关注缩放定律，大概是因为它们对未来神经网络能力的预示，我认为那确实是关心缩放定律的一个非常重要的理由。但我认为人们也许低估了一点：缩放定律比那要普遍得多，实际上，如果你要推理我们未来将构建的神经网络的各种性质——而不仅仅是它们的损失——缩放定律可能非常有用。
Chris Olah：对我来说，这件事真正令人兴奋的版本——这里我完全是受了 Jared Kaplan 跟我提过的一些想法的启发，我大概只是在转述他思想的一个较差版本，Jared 是在缩放定律领域做了大量开创性工作的人之一——是也许存在关于安全性的缩放定律。也许在某种意义上，一个模型是否与你对齐，可能是模型规模的函数，以及你给它多少信号去完成符合人类意图的任务的函数。这样我们或许就能对比我们目前所能构建的模型更大的模型的安全性进行推理。如果这是真的，那意义将是巨大的。我觉得目前安全研究总是在追赶，如果我们能创造一种用缩放定律来思考安全性的方式，从而不必再追赶，我认为那将是非常了不起的。所以我认为——撇开安全定律对模型能力的影响不谈——这就是一个值得对它们感到非常兴奋的理由。
Rob Wiblin：有意思。所以那里的想法是：X 轴上是类似"我们给了系统多少人类反馈来训练它、确保它理解我们的偏好"，Y 轴上是"它多久会搞砸一次、完全误解我们的偏好"？我想，如果你知道这两者之间的关系是什么——当然可能还得加上……大概还会有其他影响这个关系的因素，比如网络有多大、任务有多复杂之类的——那你就能预测，对于某个也许还不存在的未来模型，你将需要多少输入。
Chris Olah：对。或者你可以设想一幅相当疯狂的图景：也许你有两条轴，然后在每一个点上标出模型与你的对齐程度之类的。也许那是你给它的人类偏好信号的量和模型规模之类的函数。也许在某种意义上，某处存在一个相变（phase change），存在"对齐区"和"未对齐区"之类的。这是极度推测性的，但如果类似的事情是真的，我认为那会非常了不起。
Rob Wiblin：关于缩放定律，你觉得人们还应该知道什么，或者更应该关注什么？
Chris Olah：还有一点：当你把模型做大时，缩放定律显示总体损失呈现出非常平滑的趋势，但如果你尝试做同样的分析、去看非常具体的能力——比如模型在某类算术上的表现——它们实际上会呈现不连续的趋势。你会真切地看到这种不连续的跳跃。
Chris Olah：你会忍不住认为，在那些点上也许发生了某种相变，或者存在某种不连续的东西。我认为这在一定程度上关联到为什么思考可解释性、思考这些系统、仔细观察它们很重要——因为它实际上表明，这类预测——至少目前——似乎并没有告诉我们这些更大的系统将会发生什么的全部故事。事实上，至少就这些更细粒度的东西而言，正在发生某种复杂的事情，是我们仍然想要理解的。
Rob Wiblin：好。所以，我们迄今至少已经看到了一些不连续性，这意味着，未来也许还会有不连续性。我们不应该排除这种可能，不该假定一切都是平滑的。
Chris Olah：而且这在某种程度上表明，这种平滑的损失曲线，实际上也许是许多不连续的……存在大量不同的小能力之类的东西，它们都在不同的点上改进，而且是不连续地改进。这些汇总起来，就形成了这种平滑的过渡。但对于更具体的事情而言，典型情况可能反而是这种更不连续的东西。这就意味着，大模型的能力让我们突然吃惊的空间，比你想象的要大得多。我认为这就是我们应该非常仔细地观察大模型内部正在发生什么的一个理由。
Rob Wiblin：好，我再钓一次鱼。关于缩放定律，还有什么人们应该知道或者更加重视的吗？
Chris Olah：也许还有一点：缩放定律让我们能够以一种系统得多、也可以说更严谨的工程方法来对待神经网络——不再是在黑暗中乱枪打鸟，而是逐渐形成这样一幅图景：用一种系统得多的方式来思考我们应该预期神经网络表现如何、什么才真正重要。
Chris Olah：我觉得，在一个以这种方式设计神经网络的世界里，我会感觉更安全一些。这与其说是在论证它将以某种具体方式发挥干预作用，不如说是：如果我们能够拥有这种风格的研究、这种风格的 AI 开发，那是我感觉最踏实的。所以这是我认为关于缩放定律还值得补充的重要一点。
Rob Wiblin：关于这些缩放定律，人们可能会略感难过的一点是：它们似乎表明"越大越好"。更大的模型、更多的计算量，这些都对性能有很大影响。显然，大多数人并没有最大的模型或最多的计算量可用。拥有那种巨额资金的中心只有寥寥几个。这对那些在做研究、但预算较小、能获取的资源较少的人意味着什么？他们还能做出贡献吗？还是说他们有被排挤出局的风险？
Chris Olah：对。我认为机器学习作为一个领域，过去这些年在结构上处于一个非常奇怪的位置：相当多的参与者都能做出相对前沿的工作，而我认为在许多其他领域这并不成立。如果你做的是航空航天工程，能造出一枚全尺寸火箭来测试的人，想必只是航空航天工程从业者中很小的一部分。而如果你研究粒子物理，CERN 和 LHC 是那种极其极其庞大的东西，而且——
Rob Wiblin：我在家里对撞粒子，是很难跟他们竞争的。
Chris Olah：对，你地下室里的回旋加速器大概是跟不上的。
Chris Olah：那么该怎么办呢？我想一个答案是——也许推广这个答案里带着一点我的私心——可解释性并不需要那些资源。可解释性让我们可以只训练一次模型，然后潜在地让许多人去研究它、尝试理解这些模型。所以我认为有可能出现这样的局面：与其让所有人都在训练一百万个模型，不如由较少数的参与者来训练模型，而人们去研究它们。不过，我认为仍有一些问题：我们能以何种方式负责任地、安全地把所有这些模型提供给所有人？
Chris Olah：我想另一个答案是：尝试做那种能让我们理解更大尺度图景的小规模工作，或者说去理解我们正开始通过缩放定律看到的这幅更大尺度的图景。我认为，只要你足够严谨、足够仔细，是有可能说出有用的东西的。事实上，我们已经看到不少缩放定律论文是在较小规模的区间里做的，而且看起来相当有意思。
Rob Wiblin：有位听众来信提了一个大意如此的问题：迄今为止的许多进展，似乎都是人们长期使用相同的算法，或者相当类似的算法——只是向它们投入多得多的数据、多得多的计算量，然后看它们的性能能提升多少。在底层算法方面有没有过有意思的进步？这些算法差别大吗？在我们看到的总体进展中，有多少是算法驱动的，又有多少是数据和计算量增长驱动的？
Chris Olah：算法上的改进肯定是有的。我想近年来最引人注目的大概是向 transformer 的转变。实际上，Danny Hernandez 在 OpenAI 博客上有一篇文章，讲的是神经网络训练效率随时间的变化，以及算法改进如何在这些年里提升了训练效率。当然，其他领域也有大量非常令人兴奋的工作。我认为图神经网络（graph neural networks）的进展就很酷。总的来说，机器学习正朝着各种方向发展，非常有意思。
Chris Olah：不过我有点想反驳这个问题的前提。我觉得这个问题在某种程度上是在说：如果正在发生的事情只是"计算量增加带来能力提升"，如果故事就是这样，那就有点无聊了。我实际上认为这一点也不无聊——事实上，也许少数几样东西真正驱动着这里的宏观故事（正如缩放定律所暗示的那样），然后催生出我们可以观察的这海量的结构，这真的非常美。那种说法就好比在说："哦，宇宙很无聊，因为宇宙运行在非常简单的物理定律之上"，或者"进化很无聊，它只在乎适者生存"。
Rob Wiblin：……"反正都是同一回事。"
Chris Olah："几百万年来，翻来覆去都是同一回事。"但我认为这一点也不无聊。我认为这正是它的美的一部分。我认为我们所观察到的、由此产生的东西，真的美极了。
Rob Wiblin：所以你是说，这是又一个美妙的例子：仅凭非常简单的底层过程，就能获得无限的复杂性、成就如此之多。
Chris Olah：对。我认为这就是在我心中逐渐成形的故事。谁知道几年后我会相信什么，或者有没有人同意我，但这就是我的看法。
Rob Wiblin：好，我们继续往前，谈谈最近发生的一件相当令人兴奋的事：你和你的一些同事最近离开了 OpenAI，启动了一个新项目，你们决定把它命名为 Anthropic。这件事刚刚才公开宣布，我看到你们现在已经有了一个网站，上面登着一堆招聘职位。不过为了给大家铺垫一下背景：关于 Anthropic 将如何为 AI 安全领域做贡献，你们的愿景是什么？
Chris Olah：好，Anthropic 是一家新的 AI 研究公司，专注于大模型的安全。我们试图让大模型变得可靠（reliable）、可解释（interpretable）、可控（steerable）。具体来说，这意味着我们在训练大模型，在大模型的语境下研究可解释性和人类反馈，并深入思考这一切对社会的影响。
Rob Wiblin：Anthropic 最与众不同的一点是，你们专注于大模型的安全与构建——我猜也许是你们力所能及的最大模型？有些人可能会担心：既然你们在研究这些大模型——我想它们正是最令人担忧的那类模型——你们可能也在加速迈向更大、因而更危险的模型的进程。你对此怎么看？
Chris Olah：我非常理解这种担忧。我认为在可预见的未来，大模型可能是 AI 风险的最大来源，因此对可能加速这一进程的事情感到担忧是相当合理的。但这恰恰是为什么我认为我们研究它们的安全性极其重要。我认为我们在与大模型打交道时应该努力做到负责任、深思熟虑，但是——我认为，如果你知道某个东西即将到来，并且你认为它可能危险，那你大概就应该做聚焦于它的安全工作。
Rob Wiblin：好。听起来你的总体看法是：这类工作有可能加速更大模型的开发，但这一点在权衡中被压过了；我们无论如何都应该做。因为那些正是可能造成最大破坏的东西，研究和理解它们、弄清如何让它们安全，是做安全工作最有效的方式，而这是压倒性的考量。
Chris Olah：对。更精确一点说，我实际上认为存在一个主要论证，另外还有两个也值得考虑的次要论证。我先讲主要论证。
Chris Olah：在我看来，除非发生什么非常剧烈的变故，大模型在当前这个节点上基本是不可避免的。社会看起来正走在一条相当直白的道路上：人们在构建越来越大的模型。与此同时，这些大模型看起来与较小的模型有相当质的不同。
Chris Olah：一个具体的例子是：一些最大的语言模型在某种意义上会对你撒谎。你去问它们问题，它们可以被证明是知道答案的，但当你提问时，它们仍然给你错误的答案。也许把这描述为"胡扯"（bullshit）比"撒谎"更准确。但它们就是没有把它们知道的真实答案告诉你。而这个问题在较小的模型上是观察不到的，因为较小的模型连说出连贯的话都够呛，根本轮不到撒谎的问题。
Chris Olah：那么，如果你相信大模型是不可避免的——并且相信大模型在质上差异足够大，以至于最有价值的安全研究必须在它们之上进行才能有效——那么我认为你就只剩下两个选项。第一扇门后面：你可以在其他人生产的模型上做安全研究。这意味着，取决于具体的安排，你所研究的模型大概会滞后 1 到 3 年。在那个世界里，我认为安全研究就永远在追赶——研究这些老旧的模型，试图用落后好几年的模型做安全研究。
Chris Olah：第二个选项是：你尝试建立一个规模化的工作，并让这种规模化研究与安全研究极其紧密地结合，从而能够在最大的模型上做安全工作。我有时会在安全社区听到这样的担忧："如果重要的安全研究只能在最后阶段才能做，怎么办？"或者："总有一天，我们会构建真正强大的系统、真正变革性的 AI 系统，如果有价值的安全研究只能在那些系统上做，怎么办？"
Chris Olah：我觉得，如果你担心的是这类事情，那你应该感到相当兴奋——能够抢先争取到几年时间看起来真的很重要，这实际上是在为我们研究那些系统争取更多时间。这就是主要论证。
Rob Wiblin：所以一个关键动机是：目前安全研究总是落后于最前沿，因为最前沿就是这些最大的模型，而安全研究并不必然与真正处于能力最前沿的东西绑定在一起。通过让 Anthropic 专注于最大的模型，你们让安全研究跟上了节奏。这样，如果最新的进展和能力带来了新的问题，你们就会带着安全思维在场，尝试把安全思考应用到它上面。
Rob Wiblin：我想，在某种程度上，这是否净有益必须是一个开放的、经验性的问题。至少，如果你认为推进最大模型的进展速度是有害的，那么"你把它们加速了多少"与"你把它们变安全了多少"之间的对比，就是一个经验问题。人们必须在这里做出判断。但听起来你认为，与你们对它们如何工作、如何让它们工作得更好所获得的洞见相比，你们对进展速度或模型规模的加速作用是相对温和的。
Chris Olah：对。其实，我大概不会把潜在的害处表述为……我不认为能力进展本质上是有害的。但我确实非常担心竞赛、担心加剧竞赛、担心制造出让人们在安全上偷工减料的激励。不过，我认为我们在这方面可以做到相当负责任。而且我还认为，至少如果你对安全采取的是经验路径，那么当大模型在质上就是截然不同、而你又接触不到它们时，是很难取得进展的。所以我基本认为，安全研究打追赶战是一场必输的游戏，我们需要去研究大模型。
Rob Wiblin：嗯，你刚才说，如果你不在最大的模型上工作，那么你很可能落后于最前沿 1 到 3 年，或者说在那样的时间尺度上追赶。这个区间是怎么来的？
Chris Olah：这只是我的估计，而且我认为它在很大程度上取决于具体的机构安排。如果你在一家训练大模型的公司里，但没有真正与规模化工作紧密结合，那么你面临的可能更像是一年的延迟，甚至可能更接近六个月。原因在于：你需要与这些模型打交道的专用基础设施；这些模型不管做什么都很贵——就像训练它们很贵一样；专业知识可能只掌握在训练这些模型的人手里，所以你可能不知道该怎么使用它们；还有，一个项目在被密集开发的过程中，想要与它整合真的很难。
Rob Wiblin：所以你最终不得不等到它被打磨好、以外部人员可以使用的方式发放出来，而那要经过相当长的延迟。
Chris Olah：而且你大概还需要找到有使用这些模型经验的工程师，帮你搭建在它们之上做有用工作所需的工具。
Chris Olah：在另一个极端，如果你在一个学术实验室，这个差距似乎正在急剧扩大。我猜很多学术实验室只有几块 GPU，连训练中等规模模型的经验都没有，用的都是远远落后于最前沿的模型。而这两者之间存在一个连续的谱系。所以我想，这就是我那个 1 到 3 年估计的来源。
Rob Wiblin：明白了。学术界这样被……听起来它有点像是被排挤出局了，因为资金需求已经膨胀到超出了学术经费的正常规模。这本身是不是一个问题？
Chris Olah：对，我认为这是一个非常棘手的问题。去看看其他资本成本更高的科学领域如何运作，可能会很有启发。如果你是设计飞机的，你不会指望研究实验室能自己造飞机。或者说，肯定有很多……像 CERN 或 Hubble 太空望远镜那样的东西，不是单个实验室能做的。这些领域发展出了各种机制，用来协调并开展高资本成本的实验。
Chris Olah：所以我认为，我们现在正在经历的是一个痛苦的转型过程：从一个更像数学或传统计算机科学的领域——每个博士生都拥有"最大限度的有用资源"，除此之外你其实什么都不需要，需要的只是你自己的思考能力——转变为一个更像那些资本成本极高的领域，你需要以不同的方式来组织事情。
Rob Wiblin：你之前说过，关于为什么这（Anthropic 的路线）是净有益的，你要给出三条不同的论证线索，刚才是第一条。第二条是什么？
Chris Olah：有人可能会想："如果 AI 系统就是那么危险——而安全又那么难——以至于即使你很小心、努力做安全工作……深度学习对世界来说就是有害的呢？"为了论证起见，我们假设这是真的。我相当乐观地认为世界不是那个样子，但为了论证，我们假设我们处在这样一个世界：深度学习本质上就是危险的，真正的大模型在某个时刻会变得有害，而且很难避免。
Chris Olah：那么在我看来，在那样的世界里，我们大概会想让针对大模型的工作出现相当剧烈的减速。也许我们应该对超过一定规模的模型颁布禁令，或者采取类似那样非常激烈的措施。而我看不到这会自动发生。我猜，那种事发生的唯一方式，是我们拥有真正有说服力的证据，证明大模型非常危险。
Chris Olah：而且是必然如此的证据。而如果你不在大模型上工作，我看不到你有什么办法获得那种证据。所以我认为，即使是持那种观点的人，也应该乐见有人去做大模型的安全研究和真正批判性的分析，因为我认为那是唯一的办法……我认为这类研究（对进展）的影响会相当……任何加速作用都会是相当边缘的。这个领域已经有很多参与者了。而如果那是你的观点，我认为你真正应该优化的，是获得那种能围绕"剧烈减速"凝聚共识的证据的可能性。
Rob Wiblin：好，这一条对我来说说得通。第三条是什么？
Chris Olah：我最后一个论证是：我们生活在一个持续发生着大量道德灾难的世界里。工厂化养殖、全球贫困、被忽视的疾病，还有正在逼近的灾难，比如气候变化，或者潜在的生存风险来源。这些都是极其艰难的问题。但我认为，一旦我们……假设我们处在一个存在这种剧烈 AI 风险的世界，那么你同时也必须假设，你处在这样一个世界里：如果这些 AI 系统是对齐的，它们有可能真正大幅改善这些问题。
Chris Olah：所以，正如我感到有义务去强烈地担忧 AI 风险和 AI 可能出错的方式一样，我认为我们也肩负着重大的责任，去确保我们不会失去让 AI 大幅改善世界的机会。我认为那可能同样糟糕，是同样重大的失败。
Rob Wiblin：这是一个存在已久的论证，大意是：即使你认为人工智能更快的进步是危险的——因为进步来得太快，我们不一定有时间为其做好充分准备、弄清更先进、更大的模型所需的所有额外安全要求——但综合考虑，如果人工智能的这些重大进步同时也能降低核战争的风险、降低生物武器被使用的风险、或可怕的大流行病、或国家间战争的风险，那么最终在净值上可能反而更安全。取决于你如何看待这项新技术的风险与它可能化解和取代的所有其他风险之间的比例，即使走得更快是危险的，最终的权衡仍可能是正面的——因为在此期间，你头顶上悬着那些达摩克利斯之剑的时间会更短。
Rob Wiblin：我想我们其实可以放一个链接，是 Nick Beckstead 几年前做的一个小数学模型，用来估算这种效应有多大。
Chris Olah：对，完全正确。不过我还想强调——我认为这在很大程度上取决于你的道德观——对我来说，重要的不仅是权衡那些可能伤害遥远未来的生存风险，还要认真对待当下正在发生的、可以被减轻的伤害。我理解，从许多功利主义的观点看，前者可能是唯一该在乎的事情。但老实说，我就是对工厂化养殖、特别是对全球贫困感到非常非常难过。从某些方面说，如果我认为那是我最应该做的事情，我在情感上甚至希望自己去研究那些问题而不是 AI。这不是说它应该成为压倒性的考量，但我认为它不应该被遗忘。
Rob Wiblin：是的。我想这个论证之所以经常被表述成那样——只拿风险和风险比较——部分原因是当你始终用同一种"货币"计算时，它非常干净利落。你不必做任何从一种东西到另一种东西的换算。因为很有可能，取决于你代入什么参数，你完全可以说："这个论证其实是自我瓦解的，无论用什么货币计算它都没有收益。"所以是的，非常方便。
Rob Wiblin：不过，能解决所有这些一直困扰我们的其他问题，也会非常美好——而且我想我们可能会活得长得多，因为生物医学等领域将取得巨大进步。
Rob Wiblin：我本来以为你会更倚重这样一个论证：Anthropic 在整个 AI 研究的汪洋中不过是沧海一粟，它究竟能在多大程度上真正刺激出比其他地方已经造出的模型更大的模型？尤其是更危险的、更大的模型。看起来，你们在"以安全为核心的思考和研究"中所占的比例，可能会远远大于你们在"大模型研究"中所占的比例——后者在很多地方都在进行。
Chris Olah：对。我认为这里的论证其实相当微妙、有很多层次。首先，我们可以尝试从比例上论证，而你必须考虑三件事。第一，如你所说，是 Anthropic 投入安全与投入能力的比例。不过我认为那也许不是正确的划分方式。如果你要回答的问题是"如何让大型 AI 系统安全"，那这两者实际上是深度交织、不太容易拆开的。但是的，我认为安全在我们使命中的占比大概比大多数组织都高，它可以说是我们存在的理由。
Chris Olah：但我认为还有另外两个也许分量更重的因素。其一：如果你相信最有效的安全研究只能在大模型上进行，那么你就必须把投入的安全研究量乘上一个有效性系数。而我认为这个有效性系数是……我说不好，假设你把 Anthropic 和一个安全研究占 5% 的实验室做比较，再假设 Anthropic——尽管我认为这不完全是思考问题的正确方式——做的是 50% 或者 70% 的安全研究之类的。但如果你认为（在大模型上做安全研究）实际上有 20 比 1 的有效性系数之类的，那这可能才是压倒性的因素。
Chris Olah：其二：如果你真正担心的是你是否在加剧竞赛、或者导致这个领域陷入竞赛，那么我认为相关的并不是"你把多大比例的精力花在训练大模型上"之类的东西，而是一些非常微妙的事情，比如你在这个领域中如何行事。
Chris Olah：我认为你具体做什么样的研究非常重要。你做的模型是略小于当前正在训练的最大模型，还是比它们更大，这一点非常重要。
Chris Olah：实际上，我认为人们真正低估的一点是：我们正在进入这样一个阶段——AI 决定了成本，可能是数千万美元的量级。我认为市场宣传（marketing）非常重要。那些让组织愿意向某个方向投入巨额资源的东西……一个炫目的演示，可能远比一段干巴巴的技术结果引用走得更远。所以我认为这里面其实有很多细节。
Chris Olah：总之，再拉远一点看。我们有——姑且说——这个粗略的指标：你把多少精力投入这件或那件事。如果你完全专注于构建安全的系统，或者你把这些东西真正紧密地整合在一起，那这个框架可能并不完全恰当。但接下来你还得乘上你在安全上获得的有效性系数，还要乘上——姑且说——你影响竞赛态势的方式上的"谨慎系数"。对我来说分量最大的一项，是我对安全研究有效性系数的判断。
Chris Olah：我认为我们已经有了一些这样的例子，比如多模态神经元的工作，如果没有接触到……那是我在 OpenAI 时做的工作。如果不能接触到最前沿的模型、不能与那项（规模化）工作紧密整合，它是不可能完成的。还有"从人类偏好中学习"（learning from human preferences）那篇论文，同样依赖于能接触到大模型才得以演示。所以，是的，我认为如果你能接触到这些模型，许多安全研究都能获得很大的乘数。
Rob Wiblin：好，我们本来在谈 Anthropic，结果在大模型安全这个问题上兜了个大圈子。在回到正题之前，我想再问一个问题——也许这会暴露我的天真——把模型做大……难道不就是往里面砸多得多的计算量吗？本质上是一回事，只不过你在硬件上花更多钱、在电费上花更多钱。如果你只是在运行大模型，并没有展示什么惊人的洞见，那也许这并不真的有帮助，或者说，仅仅这么做并不真的会推动更大的模型。甚至可能……现在不是芯片短缺吗？而且——
Rob Wiblin：——制造这些芯片的产能就那么多。所以如果你把芯片买光了，那我想……或者说，可分配的计算量就那么多，所以到底是谁在用它，对总量的影响也许没那么大。
Chris Olah：新的 AI 安全议程：去买光所有的 GPU。搞一个——
Rob Wiblin：对，然后拿它们去挖矿。
Chris Olah：这就对了。然后用挖矿的钱买更多的 GPU。
Chris Olah：我的同事 Danny Hernandez 做过一项工作：他画了一张图，展示训练最大模型所用的计算量随时间的变化。他发现，人们用在最大模型上的计算量大约每三个半月翻一番。我想在某种程度上，确实，边缘参与者的影响大概很小。这是一个由很多人共同造就的强劲趋势。但与此同时，我认为每当人们看到有人使用更多的计算量，都会强化这个趋势，有时还会让它再加速一点。
Rob Wiblin：好，有道理。那我们回到 Anthropic 这个组织本身。我们已经把大模型作为其研究议程的一个显著特征谈过了。它还有没有其他值得向大家着重介绍的方面？
Chris Olah：我想，专注于安全本身就相当不寻常，而且我们在可解释性上下重注，也是一件相当不寻常的事情。
Chris Olah：另一个略微不寻常的地方是，我们非常注重思考这些工作如何影响社会，并努力把各项工作紧密整合起来。实际上，就是真正努力把所有这些部分紧密整合在一起：把规模化工作、可解释性工作、人类反馈工作、社会影响工作整合起来，把它们统一在一个整体里、统一在一支紧密协作的团队中。这是相当不寻常的。
Chris Olah：我认为人们大概低估了一点：如果你想在大模型上做任何安全研究，问题不仅仅是能否接触到那个大模型——这些模型会变得非常笨重、非常难以操作。它们实在太庞大了，以至于你平常使用的许多基础设施根本不管用。所以，无论你想做哪种安全研究，你实际上大概都得做大量的专门工程和基础设施建设，才能在这些模型上开展安全研究。
Chris Olah：对，而且你需要大量来自有大模型工作经验的人的专业知识。所以我认为，有很多事情只有在你把各项工作真正紧密整合起来时才可能发生。
Chris Olah：还有……我想人们也许没有意识到，规模化其实是两件不同的事情。一是训练大模型，二是关于模型缩放的研究——让模型成长并对其进行预测。我们的一大重点是把缩放定律带到每一个领域。以可解释性为例：我们知道存在这样一些节点——如果你看非常具体任务上的趋势，你会看到突变式的转变：较小的模型不会做算术，然后突然之间，大模型会了。我们认为那很可能是底层回路的一次相变，那么我们能研究它吗？
Chris Olah：又比如人类反馈：我们能否理解 Goodhart 定律的缩放规律？如果你训练一个……如果你有不同规模的模型，同时有不同数量的人类反馈，你能否从经验上——或者用类似缩放定律的东西——理解一个模型是会正确地泛化人类反馈，还是会把它 Goodhart 化？这些问题也许能让我们开始做这样的工作：不只是让当下的模型安全，而是让未来的模型安全。而所有这些，都要求你把从规模化工作中产生的专业知识与安全工作紧密整合起来。
Rob Wiblin：给大家描绘一下：Anthropic 现在有多少员工？你们有办公室吗？总部设在什么地方？
Chris Olah：我们在 San Francisco。目前有 17 个人。我希望我们很快会有办公室——现在还没有。
Rob Wiblin：我想现在正是适合远程办公的时候。
Rob Wiblin：我认识的英国的人大多数现在还在远程工作。不过我想，我们大概再过一两个月就能回办公室了。
Rob Wiblin：整个运营是谁在出资？
Chris Olah：Anthropic 的 A 轮融资由 Jaan Tallinn 领投，他非常关心 AI 安全，参与的还有多位个人出资者，而不是风投机构。
Rob Wiblin：既然你们在做这些大模型，我想你们的主要开销之一就是购买计算资源、硬件之类的东西？
Chris Olah：对，没错。我认为，在很多方面，AI 也许正开始变得更像其他行业——研究需要极高的资本成本，就像生物技术行业，你得在试剂上花大量的钱。类似地，我们必须在实验用的计算资源上花大量的钱。所以我认为在某种意义上，那类行业是拿来与我们比较很自然的对象。
Rob Wiblin：是的，不太像 Etsy，更像造汽车之类的。那商业结构是什么？是营利性的，还是更接近非营利模式？
Chris Olah：Anthropic 是营利性的。严格来说我们是一家公益公司（public benefit corporation）。但那只是意味着，我们没有法律义务去最大化股东价值。
Rob Wiblin：说句题外话，这一点也许对所有公司都成立。或者至少当这种事闹上法庭时，公司其实有很大的——
Chris Olah：对，我认为在实践中，（起诉公司不最大化股东价值）是非常困难的。但公益公司的形式把这一点板上钉钉。
Rob Wiblin：我对公益公司不太熟悉，你们的章程里除了盈利之外，是不是还写了别的东西？某种明确规定的组织目标？
Chris Olah：对，你可以在章程中写入一个使命，你被允许把这个使命置于股东价值之上。
Rob Wiblin：我猜在你们这里，它会是类似"为了所有人的福祉开发 AI 并共享成果"之类的？
Rob Wiblin：所以，作为一家公益公司，你们可以接受那些希望获得回报的投资者的投资，也可以销售产品并用收入来支持增长。只是说，归根到底你们在赚钱之外还有其他目标，而且我想董事会等可以为公司设定一个不只是最大化分红、最大化股东价值的愿景。
Rob Wiblin：那你们的这类研究要怎么变现呢？你们实际上要如何获得收入来维持增长？
Chris Olah：目前以及可预见的近期，我们只专注于研究。不过我认为我们正处在 AI 发展轨迹上一个有意思的节点：过去，AI 的经济价值一直卡在"模型是否具备任何能力、能否做任何有用的事"上。而现在看来，我们也许正在慢慢走出那个阶段——实际上，现在很多组织都能构建出在某种意义上有能力做有用事情的模型。
Chris Olah：但它们不可靠、不可信，没有人理解它们如何工作，而这正在成为它们的应用及其经济价值的瓶颈。所以我认为这让我们有理由抱有希望：如果你能变得非常擅长构建安全、可靠、可信的系统，那其中会有经济价值和机会。
Rob Wiblin：是的，我能想到好几种不同的商业模式。一种是你们自己设计那些事关重大的系统，因为你们拥有认证它们安全、会按设计和预期运行的专业能力。另一种可能是做咨询，用这种专业能力帮助其他公司修复他们的模型。我想还有一种可能是出售可解释性工具等等，让所有其他人都能查看自己模型的内部，帮助他们自己把模型变得安全。我猜，目前这些对未来来说大概都是可能的选项？
Chris Olah：对，我们还处于非常早期的阶段。最有可能的方向是我们自己训练大模型并让它们安全。我们认为，把安全整合进模型的设计中大概是很重要的。我还要说明，我们计划把我们在安全方面的工作与全世界分享，因为我们的最终目的就是帮助人们构建安全的模型，而不想囤积安全知识。
Rob Wiblin：好。我猜想，Anthropic 作为一个相当新的组织，正在物色各种不同岗位的人才。目前你们在招聘的岗位中，有没有特别值得强调的？
Chris Olah：有。有三个岗位对我们来说优先级特别高。而且它们也许不是人们想象中的那些岗位。人们常常有一种假设：在一个机器学习研究机构里，影响最大、最重要、最紧缺的岗位一定是机器学习研究岗位。但事实上，我们真正非常非常需要的是……有两个工程岗位非常重要，还有一个安全（security）岗位，我认为为它找到合适的人绝对是不可或缺的。
Rob Wiblin：我们一个一个来。工程岗位是什么？为什么它重要到值得特别强调？
Chris Olah：Anthropic 开展研究、探索这些大模型安全性的能力，其核心是与大模型打交道的能力。而这一切的核心是我们的集群——基本上就是一台我们用来开展所有工作的超级计算机。围绕它有两个岗位，对我们高效开展研究的能力至关重要。第一个是我们称之为基础设施工程师的岗位。这个人将负责让那台超级计算机保持运转，并维护我们与之交互所需的工具。
Chris Olah：关于为什么这个岗位对我们影响如此之大，我想可以从两个角度来看。一个角度是：目前所有这些工作都是由研究员在做。前段时间我听了 80,000 Hours 播客的一期旧节目，你们在讨论运营工作，嘉宾是 Tanya Singh。她提到，她每做一小时运营工作，就能释放出超过一小时的研究员时间。我认为这里绝对会有类似的情况。我认为接下这个基础设施工程岗位的人，每投入一小时，释放出的研究员时间会远远超过一小时。
Rob Wiblin：原因就在于，他们真正拥有那种专门技能，知道如何维持——
Chris Olah：他们会真正拥有那种专门技能，对。他们会真正知道自己在做什么，而不是像我们这些别的领域的专家在那里假装知道自己在做什么。正是如此。还有另一个角度：我们每年在这个集群上花费数千万美元，以便在大模型上开展安全研究。而有时候集群不可用，或者出现本可避免的故障。我们认为，接下这个岗位的人很有可能把正常运行时间和可靠性提升超过 10%。所以在某种意义上，这相当于向一个专注于大模型安全的组织捐赠了数百万美元。所以，如果你对让大模型变得安全感到兴奋，这可能是一件影响力非常大的事情。
Rob Wiblin：我其实不懂怎么把计算机联网、怎么搭建超级计算机，但我猜这有点技术性。听众中会不会有真正具备运维这种规模计算机的技能的人？他们自己会知道自己合适吗？或者我们能说点什么，确保他们意识到自己应该毛遂自荐？
Chris Olah：我们所做的一切都基于 Kubernetes，它是一个用于操作大型分布式系统的框架。我认为，拥有网络方面的专业知识，还有如果有人有 GPU 之类的经验，这些都可能有用。但我认为，Kubernetes 方面的专长，以及在一定程度上做过系统运维（sys ops）工作，会是与这个基础设施工程师岗位相关的东西。
Rob Wiblin：好，很好。那是第一个工程岗位，第二个是什么？
Chris Olah：第二个工程岗位，我们称之为系统研究员（systems researcher），同样与这个集群密切相关。这里有一整套挑战需要解决：如果你要运行这些巨型模型，如何有效地把它们装进这台超级计算机、部署好？如何把它们拆分开？如何高效地让所有网络通信运转起来？如何让一切尽可能高效地运行？而这真的……这方面几乎没有多少前人的经验可循，因为这些真正的巨型模型……用过它们的地方并不多。所以，"如何在分布式系统上高效运行这些模型"确实是一个全新的工程问题。
Rob Wiblin：所以这大概是这样一类工作：你在运行特定的进程、特定类型的算法，而你想弄清如何把这些运算最有效地分配和排序——当你把它们运行在，我猜，一大堆不同的处理器上时，每个处理器可能各有专长，或者各自最擅长某些特定类型的运算？我其实不太懂计算机是怎么工作的，这么说大致沾边吗？
Chris Olah：对，没错。你有一堆计算机，每台计算机上又有一堆 GPU，而如何摆放这些大模型有很多问题要回答。你在做所有这些大矩阵的乘法。怎么把它铺到这些 GPU 上？它们之间应该如何通信？做事情最高效的方式是什么？这里既有"如何组织最有效率"这样的高层问题，你也必须考虑内存带宽、在不同类型的内存之间加载数据要多久、网络之类的东西。所以这是高层考量与非常底层的考量之间的相互作用——底层考量就是如何让一切变得非常高效。
Rob Wiblin：这么做的回报，我想就是用同样数量的硬件、同样的电费等等，得到更多实际有用的计算工作？
Chris Olah：对，正是如此。所以再说一次，我认为非常非常容易想象，担任这个岗位的人能把我们的效率至少提升 10%。而那就相当于向一个专注于安全的组织提供了数百万美元。
Rob Wiblin：太棒了。如果这个岗位不是一个传统的技术岗位，或者不是很多人以前可能做过的那类工作，一个人怎么判断自己是否具备能够胜任这种职位的"原型技能"？
Chris Olah：我认为让一个人在这个岗位上高效的一些特质是……如果一个人有大量思考底层硬件效率的经验，那会是一个非常好的迹象，表明他们可能擅长这个。此外，拥有大量思考分布式系统的经验——尤其是思考分布式系统效率的经验——可能是另一个好迹象。我想他们得在工作中学习一些机器学习的知识，但我认为，对这个岗位来说，主要是要有扎实的工程能力，尤其是与效率和分布式系统相关的扎实工程能力。这些就是要找的东西。
Rob Wiblin：酷。让我觉得有点好笑的是，听起来你觉得必须用"相当于捐了多少钱"来论证这些岗位为什么影响力大。如果 Anthropic 做的事情在大局上是有用的，那么让优秀的人来运维这套庞大的超级计算机系统，显然也会很重要。我是说，可以想象，如果它被外行运维，那你可能会浪费一大堆硬件，而且大概还会有大量宕机时间拖慢一切。所以至少对我来说，这不难被说服。
Chris Olah：嗯，我经常得到这样的印象：人们把工程岗位看作次要的东西，常常想着怎么从工程师转型为机器学习研究员，或者默认工程岗位不那么重要。所以我说这一切，其实就是为了强调这些工程岗位的影响力有多么巨大。我认识的最高效的人之一是 Tom Brown，他基本上就是一名工程师。他是 GPT-3 的第一作者，在支撑大模型研究方面产生了巨大的影响。
Rob Wiblin：我觉得"需要有人来做这项工作"看起来是显而易见的，所以我猜人们脑子里的逻辑是：这些职位并不需要一个对"AI 安全"这个世界性问题特别有热情的人——难道不能就雇一个甚至不必那么在乎使命的人，付钱让他运维超级计算机就行了吗？我能理解人们为什么会这么想。只是，当你和那些试图做这类工作的组织交谈时，他们会说："不，实际上找到最好的工程师真的很难，如果我们能找到一个更擅长这份工作的人，那真的会带来很大的不同。"
Chris Olah：对，完全正确。
Rob Wiblin：对于这个现象你有没有一套理论：为什么似乎常常需要那些在乎使命的重要性、在乎 AI 安全的人——尽管他们的工作看起来并不是直接做研究，而是构建让人们能够做研究的所有工具？
Chris Olah：首先，我认为真正精通这些技能的人很稀少、很难找。即便不考虑对齐问题，这些岗位本身就很难招到人。就像招优秀的机器学习研究员很难一样。而如果一个人加入你们的部分原因是他们在乎你们的使命，那你就更有可能招到在这方面出类拔萃的人。但我认为第二个原因是：让整个组织都在乎使命，对一个组织来说是非常健康的——而不是出现某种奇怪的分裂，一部分人在乎、另一部分人不在乎。
Chris Olah：至少在 Anthropic，一切都是高度整合的。这些团队并不是各自为营，也不是做一件事的人与做另一件事的人相互隔绝。我们所有人都在非常紧密地合作，边界非常模糊，协作非常多。所以我认为，如果有一批在乎安全的人做着更偏研究的事情，而……是的，我认为那会是一种非常奇怪的文化，一种非常奇怪的局面。
Rob Wiblin：我想，正如你所说，随着机器学习如此迅猛地发展，能胜任这类工作的人大概非常抢手。猎头挖角很厉害，所以很难招到最好的人。而且你可能还会……如果一个人不在乎 Anthropic 所从事的使命，那么长期留住他可能会难得多——而理想情况下，你大概不希望那个搭建了你们的计算栈、真正了解它如何运作的人每年都换人。我能想象那会带来一大堆头疼事。
Chris Olah：我想那不会太好玩。
Rob Wiblin：以上是两个工程岗位。还有第三个，是安全岗位。
Chris Olah：对。你之前说，工程岗位为什么重要也许是不言自明的。如果那是真的，那么安全岗位为什么真正重要，也许就更加不言自明了。如果你在构建这些强大的系统，那么确保安全（security）就极其重要。你不希望任何人能随随便便进来把你做的所有研究都拿走，尤其是你的很多工作……除了安全性之外，还包含与能力相关的部分。
Rob Wiblin：对。我想整个模式就是：你们可能会工作在最前沿，接触那些你们自己都担心还没有完全成熟、还不安全的东西，所以……
Chris Olah：对，我们不希望随便什么黑客都能来把我们的模型拿走，那看起来很糟糕。看起来真的很糟糕。
Chris Olah：而且不仅仅是因为这些模型可能不安全，或者将来我们会构建可能更有害的模型，还因为它们是可被滥用的。我认为这些模型被恶意行为者滥用的可能性很大。所以我认为，将来会有越来越多的恶意行为者试图获取这些模型。
Rob Wiblin：是啊。看起来如今每一家科技公司——或者每一个处理重要机密信息的组织——都真的需要有人把信息安全和计算机安全把牢，但这并不简单。如今人们面对的那些威胁相当严重，要想清楚如何把信息留在内部，需要大量的专门知识。
Chris Olah：对，这一点都不简单。而且我认为这是一件非常容易被忽视的事情。人们很容易说：Anthropic 现在是个小组织，大概没人会来针对我们，这事可以以后再说。而我认为那会是一个可怕的错误。我认为这是我们真的想在早期就着手、现在就设法解决的事情。
Rob Wiblin：是不是因为一旦你把所有系统都搭建好了，做完了所有这些设计选择、选定了用这个软件而不是那个软件之后，再回过头来想办法确保它们的安全——去修补你几年或几十年前犯下的错误——真的非常困难？
Chris Olah：我认为是这样。此外，我认为从一开始就建立起认真对待安全的文化，大概也是很重要的。我们正在努力这么做，让一些员工——尤其是我很棒的同事 Ben——负责安全工作。但我们不是专家。我们真的需要一位专家加入我们，能够扛起这件事、牵头负责。
Rob Wiblin：这个安全岗位会是人们熟悉的那种、类似于其他科技公司里的安全工作吗？还是说这是个稍有些奇特的情形——要做的工作与典型安全从业者熟悉的有所不同？
Chris Olah：我认为有相似的部分，但我们也有一些非常不寻常的挑战。举个例子：除了所有这些防范外部威胁的安全问题之外，我们还在训练生成代码的语言模型——那是我们的研究方向之一。我们预计那些模型在某个时候会开始做坏事。我们在尝试给它们建沙箱（sandbox）。所以对我们来说，思考如何有效地给它们建沙箱是相当重要的。而那是一种非常……据我所知，那是一类相当不寻常的安全问题。也许研究恶意软件、需要在沙箱里运行它的人，会有一点类似的经验。但这是机器学习中出现的一类我们必须处理的不寻常问题。
Rob Wiblin：对。人们最近开始用语言模型来编程，并且发现这些语言模型在编写真正能运行的程序方面能力惊人。我想从长远看，你可能会担心你们将要摆弄的语言模型是被设计来干捣乱的事的——因为那正是你们想要研究清楚的东西……而你不希望那种捣乱冲着你们自己来，所以你必须想出某种办法把系统关起来，让它无法开始破坏它所运行的那台计算机。大致是这个图景吗？
Chris Olah：对。或者说，你可能根本没打算干任何捣乱的事，但模型还是可能做出不是你想要的事情。比如，也许在某个时候你在用强化学习让这些模型解决任务、学习解决问题，而你在研究这类模型的安全性。这时你就可能面临这样的局面：模型试图……它其实相当擅长编程，也许它会试图寻找某个安全漏洞来给自己搞额外的奖励。或者在更极端的版本里，它开始生成恶意软件。
Chris Olah：这些都是非常推测性的情形，但你不想落入那种局面：这成为一种严肃的可能性，而你事先却没有想过。所以，是的，我认为，让一个认真思考过安全的人来考虑这类事情，会非常有价值。
Rob Wiblin：好。所以这个安全岗位既有人们熟悉的元素，也可能有一些相当新颖的元素。一个人怎么知道自己是否可能适合申请这个岗位？
Chris Olah：我认为这个岗位的另一个难点在于：目前我们需要一个人来处理很多不同种类的安全问题。而我们与安全候选人交谈时，他们往往专注于某个特定的细分领域，没有足够宽的专业面来帮助我们应对我们面临的这一系列问题。或者反过来，他们有足够宽的面，但此时他们其实已经是管理者了，缺少做一线工作的经验——他们想要的是领导一整个安全团队，然后把各项职责分派下去。而我们大概还没有大到可以组建一个庞大安全团队的程度。我认为一个非常好的信号是：一个人拥有相当宽广的安全知识面，并且乐于帮助我们弄清如何让 Anthropic 变得安全。
Rob Wiblin：好，所以这是一个相当通才型的岗位。我刚才在看你们网站上目前所有的空缺职位，这里还有另外几个。其中一个也许有点出人意料的是数据可视化专家。你们希望这个人做什么？
Chris Olah：对，如果你想从事可解释性研究，我认为这是一个非常令人兴奋的岗位。有一个非常有意思的现象：如果你回顾科学史，新的研究方向和学科往往是由拥有恰当的工具开启的。比如，早期化学的发展似乎就与让实验成为可能的玻璃器皿的发展相关联。我认为可解释性研究也有点类似。这些模型极其庞大，仅仅是能够在其中穿行、提出问题、查看数据都很困难，因为它们实在太大了。
Chris Olah：所以我认为，这类研究的一个真正强大的推进器，是拥有擅长数据可视化的人，他们可以成为这项研究"内循环"的一部分，弄清如何把我们研究这些模型时获得的所有数据可视化出来、探索它、理解它。所以我认为，如果一个人有数据可视化的经验、有支撑交互式数据可视化的那种 web 开发经验，并且有一些数学背景，这可能是他们支持可解释性研究的一条影响力非常大的路径。
Rob Wiblin：我们已经谈了四个岗位。在继续之前，还有没有其他你想特别强调的？
Chris Olah：如果你看我们的招聘页面，你会看到既有机器学习研究员的岗位，也有机器学习工程师的岗位——机器学习的工作常常被这样描述成两类岗位。但我认为，在这背后我们真正寻找的，是我们内部所说的"机器学习通才"（ML generalist）：一个不执着于非要做研究或非要做工程的人，只想做影响最大的事情来推动研究前进。
Chris Olah：所以，如果正在收听的朋友对此有共鸣，那可能是一个非常有意义的岗位。除此之外，我们确实还有若干其他岗位。我想今年余下的时间里，那些岗位我们会招得慢一些，但明年我们大概会再次更密集地考虑它们。其中包括运营岗位、公共政策方面的岗位，以及各种研究岗位。
Rob Wiblin：有没有什么人们特别应该了解的，也许关于……我想这里的岗位实在太多了，很难泛泛地说什么样的人适合这些职位。但也许，在人们考虑申请之前，关于 Anthropic 目前的文化，有没有什么应该知道的？
Chris Olah：在偏技术的方面，我特别喜欢 Anthropic 文化的一点是我们做大量的结对编程（pair programming）。研究员和工程师不断地就手头的各种工作结对。人们会直接在 Slack 里发消息："我要做这个，你想跟我结对吗？"我认为在结对编程这个方向上，我们比我待过的任何其他组织都走得远得多。而且这非常令人愉快，我真的很喜欢。
Chris Olah：也许还有一件稍显不寻常的事：我们非常注重拥有一个统一的研究议程，而不是让一大堆人各干各的。但我们非常努力地以集体的方式来制定这个研究议程。所以我们有很多讨论：我们的研究议程应该是什么、我们的重点应该是什么。我认为这也非常酷。
Rob Wiblin：所以最终你们希望在 San Francisco 有一间办公室。如果一个人预计短期内无法搬到 San Francisco，还能申请这些职位吗？有远程的选项吗？
Chris Olah：目前，我们寻找的是最终能够搬到 San Francisco 的人。当然是在疫情解决之后、任何移民问题解决之后。但那是我们对大多数岗位的长期期望。将来这一点可能会变，但目前，我们对大多数岗位就是这么考虑的。
Rob Wiblin：好。当然，等这期节目播出的时候，具体开放的职位可能已经有些变化了。但我们显然会附上你们招聘页面的链接。
Rob Wiblin：看这个新项目将走向何方，会非常令人期待。虽然还处于非常早期的阶段，但你们已经在媒体上引起了一点轰动。许多其他 AI 实验室都做出过那种惊艳的研究成果，传播开来，抓住了甚至并不那么懂机器学习的人们的想象力。希望 Anthropic 也能做到同样的事情。
Chris Olah：能和这么多出色的同事共事真的很棒。而且，我对我们正在做的研究真的非常兴奋。我只想一头扎进去，理解这些大模型内部正在发生什么。真的，那就是我想要的全部。
Rob Wiblin：酷。我们这次录制接近尾声了，很快就放你回去做研究。不过在你重新扎进那些模型之前——我想你不会把所有时间都花在机器学习研究上。我猜你也许有一些略显"无用"的研究项目，或者业余爱好，因为我发现大多数真正聪明的人都有。这几年或者最近，你有没有在探索什么有点出人意料的东西？
Chris Olah：我通常都有某个小项目。有一阵子我在当业余社会科学家，用 Mechanical Turk 找人回答问题。然后我一度痴迷于理解演化史，理解生命之树的不同分支。但我最近痴迷的东西是大气动力学。说来有点惭愧，我以前总觉得物理、生物、化学这些才是"真正的"科学，它们有那些能解释许多现象的优美而简洁的理论；而气象学和大气科学没有那种能把事情解释得特别漂亮的优美理论。
Chris Olah：但你猜怎么着？事实证明，有一个非常简单的想法，能解释多得离谱的现象。让我列举一些它能解释的事情。它能解释为什么飓风往往袭击大陆的东侧，而不是西侧。比如说，为什么 Florida 和日本有很多飓风，而 California 和西班牙没有？还有，为什么你看世界地图时，所有大沙漠都排在两条纬线上？为什么 San Francisco 冬天湿润、夏天干燥，而有些地方正好相反？最后，为什么木星有条纹？
Chris Olah：事实证明，这些全都可以用同一个想法来解释。为了突显这有多疯狂：我在 San Francisco 每天经历的天气的成因，实际上与木星有条纹的原因密切相关。
Rob Wiblin：你勾起我的兴趣了。解释一下吧。
Chris Olah：高层次的想法是：存在这些非常大尺度的大气环流，叫哈德里环流圈（Hadley cells）——暖空气上升，然后移动，然后下沉。暖空气在赤道上升，向外移动到大约 30 度，然后下沉；然后它又在 60 度再次上升，一部分回到 30 度，一部分继续移向极地。在很多方面，地球的大尺度天气模式就是由这些分界线、以及你处在哪两条线之间塑造的。随着热赤道的变化，它们会在一年当中移动。
Chris Olah：而你在木星上看到的条纹，也是哈德里环流圈。它的哈德里环流圈比地球多。事实证明，你拥有多少个哈德里环流圈，主要是自转速度和行星半径的函数。所以，地球上的大尺度天气模式与……当然，这些我全都不是专家。也许你的听众中有位气象学家，可以告诉我我说的全错了。但你在其他行星上观察到的任何条纹……
Chris Olah：不过，这件事里我觉得最疯狂的、让我觉得简直不可思议的是……好，我们通常想到的相变，是水变成冰、变成气体、变成液体。而相变有一个更一般的概念：一个系统不连续地从一个状态跳到另一个状态。在我看来，如果……想象你可以让地球的半径越来越大、越来越大，其他一切保持不变。到某个时刻，这些哈德里环流圈的数量就会改变。事实证明每个半球必须是奇数个。所以你会从每个半球三个变成每个半球五个。
Chris Olah：所以在我看来，行星身上其实必然存在某种以半径为函数的相变，它决定着大尺度的天气模式。而这就有点像……你通常认为相变总是关于那些小尺度的东西。但这里你有一个规模真正巨大的东西，它也有相变。这是让我觉得格外震撼的一点。总之，我可以就这个絮叨下去，我现在真的可以就这个话题做一整期播客了，但我一直觉得这事有意思极了。
Rob Wiblin：好，所以如果你能让一颗行星一点一点变大，同时追踪它的天气，你最终会看到某个翻转点，它会相当剧烈地从一个、三个翻转到五个哈德里环流圈。
Chris Olah：正是。特别是……好，你总是会预期赤道是最湿润的地方。至少，如果你的天气模式像地球一样是基于水的、有降水的话。事实证明，当空气上升时，随着上升，水汽会凝结。所以如果你看地球的降水地图，那非常疯狂：沿着赤道就是一条降水量多得离谱的条带，极其清晰。然后，在赤道上升又下沉的第一个哈德里环流圈——因为你有三个，所以就是 30 度、60 度、90 度，被分成三段——于是在 30 度附近你会有一个干燥区，很多沙漠都落在 30 度线上。
Chris Olah：如果你突然把地球变大，到某个时刻你有了五个哈德里环流圈，我相当确定——这是我的理解——你的干燥区会突然出现在 90 除以 5 度的位置，而不是 90 除以 3 度的位置。我觉得这个思想实验非常有说服力，而且相当震撼。
Rob Wiblin：太酷了。我们会附上哈德里环流圈的 Wikipedia 词条链接。前几天我和同事 Niel Bowerman 出去散步——我记得他很久以前学过气候科学——我问他："云为什么会形成？我不知道。"问出这么简单基础的问题，我感觉自己像个傻瓜。就是那种："为什么那里有一朵云，而紧挨着云的地方却没有？"
Chris Olah：关于不同种类的雷暴，以及雷暴在什么条件下能持续很长时间、什么条件下不能，也有各种引人入胜的内容。我已经被说服了：气象学和大气科学里确实有非常优美的思想。我会努力不落入那种——怎么说呢——物理、生物、化学至上主义的陷阱，不再认为只有那些科学才拥有真正优美、简洁、有解释力的理论。
Rob Wiblin：很好。也许 80,000 Hours 播客将来会专门做一期关于气候和天气的节目。我们看看能不能把这两者联系起来。毕竟，气候变化也算是世界上最紧迫的问题之一。
Rob Wiblin：好。今天的嘉宾是 Chris Olah。非常感谢你来上 80,000 Hours 播客，Chris。
Rob Wiblin：正如我在开头提到的，这只是我们为你们准备的两期 Chris Olah 节目中的第一期。我们希望下周发布第二期，如果赶不上也会很快发布，它将涵盖的话题包括：所以如果你喜欢这一期，记得回来听那一期。如果你不喜欢这一期，请注意那一期没有——或者说几乎没有——技术性的 AI 内容，所以也许你反而会喜欢！最后，如果你有兴趣像 Chris 一样，把自己的职业生涯用于安全地引导 AI 的发展——或者致力于解决我们节目中讨论的任何问题——你可以申请与我们的团队免费进行一对一交谈。几年来我们第一次取消了咨询申请的等候名单，所以我们的团队非常期待与更多忠实的播客听众交流。他们可以和你讨论该聚焦哪个问题，帮你审阅计划，把你引荐给导师，并推荐适合你技能的岗位。访问 80000hours.org/speak 了解更多并提出申请。
80,000 Hours 播客由 Keiran Harris 制作。完整文字实录——包括 Chris 特别为本期节目提供的一些图片和链接——可在我们的网站上获取，由 Sofia Davis-Fogel 制作。感谢收听。我们很快再会。