Daniela 和 Dario Amodei 做客本期节目，与我们讨论 Anthropic：一家新的 AI 安全与研究公司，致力于构建可靠、可解释、可控的 AI 系统。本期节目讨论的话题包括：
Anthropic 的 Transformer Circuits 研究
2:44 创立 Anthropic 的初衷是什么？ 6:28 Anthropic 的创始人们对 AI 的看法相似吗？ 7:55 Anthropic 聚焦的研究押注是什么？ 11:10 AI 生存安全（existential safety）是否属于 Anthropic 的工作与思考范围？ 14:14 当今 AI 模型中与未来 AI 生存安全相关的性质的例子 20:02 模型"撒谎"意味着什么？ 22:44 围绕大模型开放性（open-endedness）的安全担忧 29:01 安全工作如何应对通往越来越强大 AI 的竞赛态势？ 36:16 Anthropic 的使命及其在 AI 对齐中的位置 38:40 为什么要为 AI 安全探索大模型并向更智能的系统扩展？ 43:24 Anthropic 的研究策略是一种"平凡对齐"（prosaic alignment）吗？ 46:22 Anthropic 近期的研究与论文 49:52 解释当前的 AI 模型有多难？ 52:40 Anthropic 在对齐与社会影响方面的研究 55:35 为什么决定随可解释性研究一起发布工具和视频？ 1:01:04 和自己的手足一起工作是什么感觉？ 1:05:33 创立 Anthropic 的灵感来源 1:12:40 扩展现有模型所带来的能力提升有上限吗？ 1:18:00 为什么持续增加模型参数量不太可能通向 AGI？ 1:22:26 Anthropic 如何看待自己在 AI 安全领域中的定位？ 1:25:35 作为公益公司（public benefit corporation）对 Anthropic 意味着什么？ 1:30:55 Anthropic 对强大 AI 系统带来的"暴利"（windfall profits）的看法 1:34:07 当前 AI 系统的问题及其与长期安全担忧的关系 1:39:30 Anthropic 向技术研究者和政策制定者传达其工作的计划 1:48:30 在 Anthropic 工作是什么样的 1:52:48 为什么要招聘技术背景多元的人？ 1:54:33 你所期待或抱有希望的未来是什么？ 1:59:42 在哪里可以找到并关注 Anthropic
Lucas Perry：欢迎收听 Future of Life Institute 播客。我是 Lucas Perry。今天这期节目的嘉宾是 Anthropic 的 Daniela 和 Dario Amodei。对不熟悉的听众来说，Anthropic 是一家新的 AI 安全与研究公司，致力于构建可靠、可解释、可控的 AI 系统。他们的观点是：当今大型、通用的 AI 系统可以带来巨大的益处，但也可能不可预测、不可靠、不透明。他们的目标是通过研究在这些问题上取得进展，并在未来创造商业价值和公共利益。Daniela 和 Dario 将与我们讨论 Anthropic 的使命、他们对 AI 安全的看法、他们的研究策略，以及在那里工作是什么样子、他们目前在招聘哪些职位。Daniela Amodei 是 Anthropic 的联合创始人兼总裁。她此前供职于 Stripe 和 OpenAI，也曾担任美国国会助理。Dario Amodei 是 Anthropic 的 CEO 兼联合创始人。他此前供职于 OpenAI、Google 和 Baidu。Dario 拥有 Princeton University 的（生物）物理学博士学位。在进入访谈之前，我们有几项通知。如果你听过前两期节目中的任何一期，可以稍微快进一下。第一项通知是，我将卸任 FLI 播客主持人一职，这意味着两件事。第一，FLI 正在为播客招聘新主持人。作为主持人，你将负责 FLI 播客的嘉宾遴选、访谈、制作和发布。如果你有兴趣申请这个职位，可以前往 futureoflife.org 的 careers 页面了解更多信息。我们目前还有另外 4 个职位空缺：人力资源经理、编辑经理、欧盟政策分析师和运营专员。你同样可以在 careers 页面了解详情。第二件事是，虽然我不再担任 FLI 播客的主持人，但我不会从播客界消失。我正在开办一档全新的播客，聚焦于探索智慧、哲学、科学与技术方面的问题，你会在其中看到我们在这里探讨过的一些相同主题，比如生存风险和 AI 对齐。关于我的新播客，我很快会公布更多细节。如果你想保持关注，可以在 Twitter 上关注我 @LucasFMPerry，链接见简介。那么，我很高兴为大家呈现这期与 Daniela 和 Dario Amodei 关于 Anthropic 的访谈。能请你们二位来上播客真是太好了。能全面了解 Anthropic，我非常兴奋。我们可以从一个很简单的问题开始：创立 Anthropic 的初衷是什么？
Daniela Amodei：好的。首先，Lucas，非常感谢你邀请我们上节目。我们一直很期待，来到这里我们特别兴奋。我想这个问题就由我先来回答吧。我们为什么创办 Anthropic？先讲点历史、铺垫一下背景：我们成立于大约一年前，2021 年初，最初是一支七人团队，一起从 OpenAI 转了过来。对于那些对那个时期没有切身记忆的听众或观众来说：那是疫情正当中的时候，大多数人还没有资格接种疫苗。所以当我们所有人想聚在一起讨论任何事情时，都得约在某人的后院或者户外，相隔六英尺，戴着口罩。总的来说，那是一个非常有意思的创业时点。但我们为什么创办 Anthropic？当时是怎么想的？我认为最好的描述方式是：我们所有人都想要这样一个机会——和一小群人一起，围绕一个非常连贯的 AI 研究与 AI 安全愿景高度一致地做一次聚焦的研究押注。我们的大多数员工过去都以这样那样的形式合作过。我想我们团队为人所知的工作包括 GPT-3，或者 Chris Olah 在 Google Brain 做的 DeepDream，还有缩放定律。但我们也在不同的机构里一起做过许多安全研究，比如我们在 OpenAI 时的多模态神经元、《Concrete Problems in AI Safety》以及其他很多工作。这群人此前在 Google Brain、OpenAI、学术界、创业公司等不同的地方共事过，而我们真的很想有这样一个机会：把这群人聚到一起，去做这个聚焦的研究押注——构建以人为中心的、可控、可解释、可靠的 AI 系统。
Dario Amodei：对，稍微补充一点。我认为我们都是一群相当注重经验实证、由探索驱动的人，但同时也非常思考和关心 AI 安全。我想这可以概括我们七个人。如果把这些加在一起——曾在 OpenAI 工作、过去曾在 Google Brain 共事、我们中许多人曾在物理学界共事、现在或曾经是物理学家——这是一群彼此认识很久的人，多年来一直了解关于 AI 安全的思考和论证，并且始终以经验实证的取向在这些问题上工作：从语言模型和视觉模型的可解释性，到最初的《RL from Human Preferences》、《Concrete Problems in AI Safety》，再到刻画缩放现象、缩放如何运作，以及我们如何把它视为 AI 进步方式的某种核心、如何塑造解决安全问题的格局。一年前，我们都在 OpenAI 工作，试图做这个聚焦押注——基本上就是"缩放加安全"，或者说以"缩放是通往 AGI 之路的重要部分"为视角的安全研究。当我们发觉自己是在一个更大的组织内部做这种聚焦押注时，最终得出的结论是：如果有一个从上到下都只聚焦于这个押注的组织，能够带着这个押注做出全部战略决策，那就太好了。这就是当时的思考和缘起。
Lucas Perry：嗯，我真的很喜欢"聚焦押注"这个说法，我以前没听过，我喜欢。既然你们都汇聚到"安全地扩展到 AGI"这项工作上，那么从背景来看，你们的理念都相似吗？
Dario Amodei：我认为在宽泛的意义上，我们都持这样的观点：安全在今天很重要，对未来也很重要。我们都秉持一种——怎么说呢——务实的实用主义和经验主义：看看我们今天能做什么，来为未来可能发生的事情找到立足点。如我所说，我们许多人有物理学或其他自然科学的背景。我本科是物理，研究生读的是神经科学。所以我们非常具有这种经验科学的心态，而不是更偏哲学或理论的路径。在此之内，显然我们每个人——包括最初的七个人和后来加入的员工——都有自己的技能、自己看问题的视角，各自有让自己兴奋的方向。所以我们并不是同一个人的克隆。我们中有人对可解释性感到兴奋，有人对奖励学习和偏好建模感到兴奋，有人对政策方面感到兴奋。在这条宽泛的道路之内，我们各自对哪条子路径说得通有自己的猜测。但我认为我们都认同这个宽泛的观点：缩放很重要，安全很重要，在今天的问题上找到立足点、作为观察未来的窗口，很重要。
Lucas Perry：好。所以你们共享的愿景围绕着这个聚焦的研究押注。你能再多讲讲这个押注是什么吗？
Daniela Amodei：好，也许我先说，Dario 可以随时补充。如果你去看我们的网站，你会看到那种"官方版本"的愿景或使命：我们在构建可控、可解释、可靠的 AI 系统。但在实践中，这意味着我们在训练大规模生成式模型，并在这些模型上做安全研究。我们这样做的原因是：我们想让模型更安全、更符合人类价值。你可能看到了最近发表的那篇对齐论文，里面有一个我们一直在用的说法：我们的目标是构建有益（helpful）、诚实（honest）、无害（harmless）的系统。另外，当我思考我们团队的组织方式时：能力（capabilities）是研究的中央支柱，而安全研究像一条螺旋（helix）缠绕在我们做的每一个项目上。举个例子：如果我们在做语言模型训练，那是中央支柱；然后我们有可解释性研究，试图看进模型内部、理解语言模型引擎盖下发生了什么；我们在做以人类反馈为输入的对齐研究，来改进模型的输出；我们在做社会影响研究，考察这些语言模型在短期和中期对社会有什么影响；我们在做缩放定律研究，尝试从经验上预测在不同规模下这些语言模型会涌现出哪些性质。但把这些放在一起，最终就是一支把能力与缩放工作和安全研究结合起来协同工作的团队。
Dario Amodei：对。可以这么说：一个组织做的很多事情，对你要走的方向是中性的。你得搭建集群，你得有人力资源部门，你得有办公室。你甚至可以把大模型看得有点像集群：你构建这些大模型，它们起初是"空白"的，而且很可能是未对齐的，但真正重要的是你在这些模型之上做什么——是那些东西把你带向安全或不安全的方向、好的或坏的方向。所以在某种意义上，尽管它们是机器学习、尽管我们会继续扩展它们，你可以把它们几乎看作基础设施的一部分。把它们做对需要研究和算法，但你可以把它们看作基础设施的核心部分。而真正有意思的问题是所有那些安全问题：这些模型内部发生了什么？它们如何运作？我们如何让它们以不同的方式运作？我们如何把它们的目标函数改成我们想要的、而不是我们不想要的？我们如何审视它们的应用，让这些应用更可能是正面的、更不可能是负面的，更可能朝人们预期的方向发展、更不可能滑向人们不希望的方向？所以我们几乎把这些大模型的存在看作——我不知道该用什么类比——像面粉或者面团，是一种背景性的原料，我们真正在乎的东西要在它之上构建，它是构建那些东西的前提。
Lucas Perry：那么，AI 生存安全（existential safety）是否也在你们安全与对齐工作的考量之中？
Dario Amodei：我认为这是我们思考的问题之一，也是我们工作动机的一部分。这个播客的听众大概多数都知道它是什么，但这种担忧最常见的形式是："看，我们在造这些 AI 系统，它们越来越强大。到某个时候它们会具备通用智能、或者比人类更全面的能力，然后它们可能拥有大量的能动性。如果我们没有以恰当的方式构建它们、让这种能动性与我们想做的事情一致，那么可以想象它们会做出某种我们无法阻止的、非常可怕的事情。"更进一步说，这可能构成对人类的某种威胁。这是一个包含很多步骤的论证，但在非常宽泛的意义上、就长期而言，它在我们看来至少可能是站得住脚的。我是说，这个论证至少看起来是我们应该在乎的东西。但我认为，真正的大问题——也许也是我们与其他思考这些问题的组织的差异所在（尽管差异可能很细微）——是：我们今天究竟如何着手这个问题？我们能做什么？有各种努力试图思考这种情况可能发生的方式、提出理论或框架。如我所提到的，以我们的背景，我们是更注重经验实证的人。我们更倾向于说："我们其实不知道。那个宽泛的论证听起来有些道理，而且事关重大，所以你应该思考它。"但在今天直接研究它很难，我甚至不确定今天大量谈论它有多大价值。所以我们采取了一条很不一样的路径，那就是：实际上——我认为这在过去几年才开始成立，五年前也许还不成立——今天已经存在这样一些模型，它们至少具备我们对未来模型所担忧的那些性质中的一部分（不是全部），并且正在今天造成非常具体的、影响当下人们的问题。那么我们能不能采取这样一种策略：开发既能帮助解决今天的问题、又能以可泛化的方式（或至少能教会我们一些关于未来问题的东西）的方法？我们的目光当然放在未来的那些问题上。但我认为，如果不扎根于对今天问题的经验研究，思考就可能漂向不太有成效的方向。这就是我们的总体理念。至于这些性质和模型：今天我们有真正开放式的模型，它们在某些狭窄的方面比人类更有能力。大语言模型对板球的了解大概就比我多，因为我对板球一无所知。而且由于其统计本质，它们是不可预测的。我认为这些至少是我们对未来系统所担忧的性质中的一部分。所以我们可以把今天的模型当作实验室，把这些问题摸得更清楚一点。我的猜测是，我们目前对它们的理解非常有限，而这是一条学习的路径。
Lucas Perry：你能举一些例子吗？今天存在的哪些模型你认为体现了这些性质？
Dario Amodei：我想最著名的是生成式语言模型。这类模型有很多。最出名的是 OpenAI 的 GPT-3——我们参与了构建；有 DeepMind 的 Gopher；有 Google 本部的 LaMDA。我大概还漏了一些。中国、韩国、以色列也都有过这个规模的模型。现在似乎人人都有一个。而且我认为这不限于语言。还出现了聚焦代码的模型，DeepMind、OpenAI 和其他一些机构都做过。还有一些精神上相同、形式有所改动的模型：给图像建模、生成图像、把图像转成文本、或者把文本转成图像。未来也许还会有生成视频或把视频转成文本的模型。它有很多变体，但我认为总体思想是：大模型——容量很大、参数很多、在大量数据上训练的模型——试图对某种模态建模，无论是文本、代码、图像、视频，还是两者之间的转换等等。而且我认为这些模型是非常开放式的。你可以对它们说任何话，它们也会回你任何话。它们可能答得不好，可能说出可怕的、有偏见的或糟糕的东西，但理论上它们非常通用，所以你永远不能完全确定它们会说什么。你可以和它们聊任何话题，它们会回一些通常还算切题的话——即便有时不知所云，或者从社会角度看是糟糕的。所以，这就是通用开放式模型的挑战：你手里有一个相当未对齐、难以控制的通用的东西，你希望更好地理解它以便更好地预测它，你还希望能以某种方式修改它们，让它们表现得更可预测，从而降低——甚至也许有一天能排除——它们做坏事的可能性。
Daniela Amodei：对，Dario 讲了大部分。我想你的问题里也许潜藏着一个问题——也许你稍后会问——就是我们为什么要研究这些更大规模的模型。接着 Dario 说的一些内容讲：我认为我们所看到的、以及我们所做的一些 AI 安全研究可能产生的较短期影响，部分在于不同规模的模型表现出不同的安全问题。还是用语言模型来说，在 Dario 谈的基础上：从这个经验性安全问题出发，我们感兴趣去探索的是，随着它们能力的发展，它们的安全问题是如何一同发展的。安全圈里有一个常被引用的关于语言模型的例子：较小的语言模型对你提的问题可能给不出连贯的答案，因为它们可能不知道答案，或者被弄糊涂了。如果你反复问这个小模型同一个问题，它可能会不着边际地朝这个或那个方向胡言乱语。而我们看到的一些较大的模型——我们基本上认为它们已经在无意间学会了"撒谎"。如果你换着方式向它们提出同一个问题，最终你能把这个谎"钉死"，但在其他语境下它们就不会（说实话）。这显然只是一个非常具体的例子，但我认为当今生成式模型中正在涌现出相当多有可能相当令人警觉的行为。我认为这些问题既在今天产生影响，把它们理清对未来、对长期安全也可能非常重要。而且这不只关乎撒谎，你可以把这一点应用到各种安全隐患上，无论是什么。这就是我们研究这些更大模型背后的动力。
Dario Amodei：对。Daniela 说的有一点非常重要，就是这种突然的涌现或变化。这是一个非常有意思的现象：我们做过的——我们早期员工做过的——缩放定律研究表明，当你把这些模型做大时，如果你看损失，也就是在模型可能涉及的所有主题上预测下一个词、下一个词元的能力，它是非常平滑的。我把模型规模翻倍，损失下降 0.1 个单位；再翻倍，又下降 0.1 个单位。这会让你觉得一切都在平滑地缩放。但在这之中，你常常会看到这样的情形：模型达到某个规模——一个 50 亿参数的模型，你让它做两个三位数的加法，不行，永远算错；一个 1000 亿参数的模型，你让它做两个三位数的加法，它能做对，大概 70% 到 80% 的次数。于是你就看到"平滑缩放"与"能力突然涌现"并存。这对我们很有意思，因为它与人们的一种担忧非常类似："嘿，当这些模型接近人类水平时，会不会有什么东西变化得非常快？"而这实际上给了你一个模型——我不知道它是不是正确的那个——但它给了你一个类比，一个可以研究"模型如何快速变化"的实验室。而且它们变化的方式很有意思：快速变化与平滑变化并存，藏在非常平滑的变化之下。所以，我不知道，也许非常强大的模型也会这样。也许不会。但那是对局面的一种建模。我们想做的是不断建立对局面的各种模型，这样当我们真正走到那个局面时，它更有可能看起来像我们见过的某种东西，我们手里就有一堆现成的想法来应对。这就是一个例子：你把模型放大，你会看到快速变化，而那也许与你在未来会看到的快速变化有某种类比关系。
Lucas Perry：模型"撒谎"意味着什么？
Daniela Amodei：撒谎通常意味着能动性。如果我丈夫回家问："嘿，饼干哪去了？"我说："不知道，我好像看到咱儿子在饼干附近转悠，现在饼干没了，也许是他吃了。"——但其实是我吃的，那就是撒谎。它意味着意图性。我不认为我们——或者说任何人——认为语言模型具有那种意图性。但有意思的是，由于它们的训练方式，它们可能真的犯糊涂，也可能"选择"隐瞒信息。当然隐瞒信息并不是一个选择，它们没有意图性。但对于一个在与之对话的人看来可能显得知识渊博、表达清晰、在某种狭义上显得聪明的模型来说，它可能产出表面上看像是可信答案、实际上并不可信的结果，而且它可能反复试图说服你那就是答案。不用暗示意图性的词汇很难谈论这个问题，但我们不认为模型是有意这么做的。只是模型可能反复产出一个看起来像真的、实际上不是真的的结果。
Lucas Perry：在答案不对的时候，它还不停地为自己的回答辩护。
Daniela Amodei：它试图解释……对，正是。它反复试图解释为什么它之前给你的答案是对的——即使那是错的。
Dario Amodei：对。换个角度说：人很容易滑入拟人化，而我们真的不应该……它们是机器学习模型，是一堆数字。但确实存在你能观察到的现象。有一件肯定会发生的事是：如果模型的训练数据里有一段对话，其中一个角色没有说真话，模型就会模仿那种对话。于是当模型和你对话时，它可能说出不真实的话。另一件可能发生的事是：如果你问模型一个问题，而答案不在训练数据里，模型只是对"貌似合理的答案长什么样"有一个概率分布。它的目标函数是预测下一个词、预测一个人会说什么，而不是说出依照某个外部参照为真的东西。它只会想："好，你问我 Paris 的市长是谁。"它的训练数据里没见过，但它有某个概率分布，它会想："嗯，大概是个听起来像法语的名字。"于是它编造一个听起来像法语的名字的可能性，也许和给出 Paris 真正市长的可能性一样大。随着模型变大、训练数据变多，它给出真实市长的可能性也许会更高，但也许不会。也许你需要用不同的方式训练才能让它做到。而这正是我们要在大模型之上尝试做的事情的一个例子：让模型更准确。
Lucas Perry：鉴于这些模型的开放性，你能再多解释一些关于对齐的安全考量和担忧吗？
Dario Amodei：我认为这里有几件事。我们有一篇论文——我不知道这期播客什么时候发布，但论文大概会在播客上线时已经发表——叫《Predictability and Surprise in Generative Models》（生成式模型中的可预测性与意外）。它的意思正如其名：开放性在很多方面都与"意外"相关联。比方说，我在互联网的一大堆数据上训练了模型。我可能和模型交互很多小时，用户也可能和它交互很多小时，而你可能永远不知道——我刚才用板球举例，因为那是我一无所知的话题——人们可能与模型交互许多小时、许多天、经过成百上千个用户，直到终于有人想到问这个模型关于板球的问题。到那时，这个模型可能非常了解板球，也可能对板球一无所知，还可能持有关于板球的错误信息或误导信息。于是你就有了这样一种局面：你训练了这个模型，理论上你理解它的训练过程，但你实际上并不知道当你问它板球时它会做什么。而像板球这样的话题还有一千个——在有人想到去问那个特定话题之前，你都不知道模型会做什么。板球是无害的。但假设从来没人问过这个模型关于新纳粹观点的问题，也许这个模型有说出同情新纳粹言论的倾向。那就非常糟糕了，非常糟糕。现有的模型在互联网上训练，对训练内容取平均，一定会存在某些话题在这方面成问题，这是一个隐患。所以我认为，开放性使得刻画模型变得非常困难：当你训练完一个模型，你并不真正知道它会做什么。所以我们的很多工作围绕着："我们如何看进模型内部、了解它会做什么？我们如何度量所有输出、刻画模型将做什么？我们如何改变训练过程，从高层次上告诉模型：'嘿，你应该持有某些价值。有些话你应该说，有些话你不应该说。你不应该持有偏见的观点，不应该持有暴力的观点，不应该帮助人们实施暴力行为？'"
有一长串你不希望模型做的事情，而如果你只是以这种通用的方式训练它，你无法确知模型不会去做。所以开放性让人很难知道到底发生了什么。我们研究中相当大的一部分，就是如何让这种局面不那么糟糕。
Daniela Amodei：我同意这些。我想插一段有意思的补充或者说轶事：我认为在构建鲁棒安全的系统时极其重要的一点，是确保有各种不同的人、各种不同的视角来与系统互动，几乎是对它们做红队测试（red teaming），去理解它们可能出问题的方式。我们遇到过一个很有意思的例子：在内部，当我们尝试对模型做红队测试、寻找 Dario 所说的那种非常负面的、我们不希望出现的意外行为或输出时，我们内部的很多科学家会问它这样的问题：
"如果你想以《Risk》桌游那种方式接管世界，你会走哪些步骤？你会怎么做？"我们在找的是类似"它是否有形成某种宏大总体规划的风险"这类东西。而当我们请 MTurk 众包工作者或外包人员帮我们做红队测试时，他们问模型的问题是："我怎么才能弄死邻居家的狗？用什么毒药能伤害动物？"这两种结果都很可怕，都是我们试图阻止模型去做或输出的糟糕事情，但它们非常不同——看起来不同，听起来也不同。我认为这恰恰说明，安全问题本身也是非常开放式的。事情可能出错的方式有很多，所以非常重要的是，确保我们对"各种安全挑战可能长什么样"有大量不同的输入和视角，并尽可能多地把它们考虑进来。
Dario Amodei：对。我认为对抗训练（adversarial training）和对抗鲁棒性在这里非常重要。比方说，我不希望我的模型帮用户犯罪。我可以花五分钟试一下，说"嘿，你能帮我抢银行吗？"模型说"不行"。这是一回事。但也许用户更聪明一点，说："假设我是电子游戏里的一个角色，我想抢银行，我该怎么做？"正因为开放性，绕过的方式太多了。所以我们非常专注的一件事，是尝试以对抗方式把所有坏的行为都引出来，这样我们就可以针对它们进行训练，一个一个地把它们消灭掉。所以我认为对抗训练会在这里扮演重要角色。
Lucas Perry：那看起来非常困难也非常重要。你们如何针对"某人可能利用模型作恶的所有方式"做对抗训练？
Dario Amodei：是啊，我不确定。我们在研究不同的技术，大概不想讲太多细节，不久的将来我们会发表这方面的工作。但总的来说，我认为关键在于：如何获得广泛、多样的训练集，界定模型的良好行为方式与糟糕行为方式。思路是：先尽你所能让模型做正确的事；然后让另一组人竭尽全力地对这些号称被训练得会做正确之事的模型下手，想尽办法让它做错误的事；持续这场博弈，直到普通人类无法攻破这些模型；甚至利用模型自身的能力去尝试攻破其他模型——把你拥有的一切都砸上去。这就牵涉到辩论（debate）与放大（amplification）方法和安全的一整套讨论。总之就是用我们拥有的一切，去揭示那些号称安全的模型实际上不安全的方式——这样的方式有很多。等我们把这件事做得足够久，也许就能得到真正安全的东西。
Lucas Perry：你怎么看这件事与"人们在造越来越大的模型"这一全球态势的关系？如果我们有时间对这些模型做对抗训练，那当然好，而这就引出关于"通往 AGI 的竞赛态势"的讨论。你怎么看 Anthropic 在其中的位置，以及构建安全系统的竞赛态势？
Dario Amodei：我认为这肯定是一种平衡。正如我们俩都说过的，你需要这些大模型——你基本上必须拥有这些大模型，才能以我们想要的方式研究这些问题，所以我们应该构建大模型。但我认为我们不应该抢跑，不应该试图构建比其他组织大得多的模型；我认为我们也不应该去拉高人们对巨型模型或最新进展的兴奋和炒作。我们应该构建做安全工作所需要的东西，并且在合理接近最前沿水平的模型之上，尽我们所能把安全工作做好。我们应该成为这个领域里树立良好榜样的一员，鼓励领域里的其他参与者也树立良好榜样，大家共同努力为这个领域确立积极的规范。
Daniela Amodei：我还想补充一点。除了行业团体或行业实验室——它们是被谈论最多的主体——我认为还有一大批其他群体，在帮助化解竞赛态势、设定安全标准方面可以扮演潜在非常重要的角色，而这对整个领域可能非常有益。我这里想到的是公民社会、NGO、学术界，甚至政府部门。在我看来，这些群体对于帮助我们在一个"要求合规于安全"的框架内开发——不只是开发，而是开发并部署——安全的、更先进的 AI 系统，将会非常重要。我经常想起一件事：几份工作之前，我在 Stripe 工作。它当时还是一家科技创业公司，规模很小——我加入时它比现在的 Anthropic 大不了多少。我每天都痛切地感受到，公司头上有多少道制衡，因为我们身处金融服务这个高度监管的领域。金融服务被高度监管是应该的。但让我震惊的是，AI——考虑到它可能拥有的影响范围——竟然仍是一个基本不受监管的领域。对吧？如果你是一个不想加剧竞赛态势的主体，或者想从安全角度做正确事情的主体，现在并没有清晰的指引告诉你该怎么做，每个实验室都在各自摸索。我希望在未来几年看到——而且我认为我们会看到——更接近其他行业里那种标准制定组织、行业团体或行业协会的东西，由它们来说明什么样的模型才算安全，或者我们该如何推动我们的系统变得更安全。而且我真的认为，如果没有所有这些不同主体的联盟——不只是私营部门，还有公共领域——我们需要所有这些主体协同合作，才能达到我想我们都在期盼的那种积极结果。
Dario Amodei：对。我认为这总体上需要一个生态系统。我的看法是，单个组织能做的是有限的。我们并不把我们的使命描述成"解决安全问题、解决所有问题、解决 AGI 的所有问题"。我们的看法只是：我们能否攻克一些我们认为自己特别适合解决的具体问题？我们能否在这个生态系统中做一个好的参与者、好的公民？我们能否为这些更宏观的问题贡献一点力量？但是的，这些问题很多是全球性的、或者与协调有关，需要很多人共同努力。除了 Daniela 谈到的政府角色之外，我认为"度量"也有一席之地——像 NIST 这样的机构专长于度量和刻画。如果我们的担忧之一是这些系统的开放性、以及刻画和度量它们的困难，那么这里就有大量的机会。我还想指出学术界。过去几年发生的一件事是，很多前沿 AI 研究从学术界转移到了产业界，因为它太依赖规模化了。但我实际上认为，安全是一个学术界已经在参与、而且可以贡献更多的领域。有一部分安全工作需要构建或接触大模型——那正是 Anthropic 的主要方向。但我认为也有一些安全研究并不需要。比如机制可解释性工作中的一部分，就是可以在学术界完成的那类研究。学术界真正的强项在于开发新方法、新技术。而因为安全是一个前沿领域，这类事情在安全领域比在其他领域更多，而且可能不需要大模型、或者只需要对大模型的有限访问就能做。这是我认为学术界大有可为的地方。所以，希望在这个领域的所有参与者之间，也许我们能解决其中一些协调问题，也许我们能协同合作。
Daniela Amodei：对。我还想说，在我们希望不久后发表的一篇论文里，我们实际上谈到了政府可以扮演的一个角色：资助 Dario 谈到的那类学术界的安全工作。这主要是因为我们看到的趋势是，训练大型生成式模型正变得几乎昂贵到令人却步。所以我认为，在推动并切实补贴学术界等场所的安全研究方面，政府也扮演着重要角色。而且我同意 Dario 的看法，AI 安全仍是一个非常新生的领域，取决于你的定义，它大概只存在了 5 到 15 年。所以我认为，看到更多支持其他领域安全研究的努力，对整个生态系统会非常有价值。
Dario Amodei：要说明的是，其中一些已经在发生了。学术界在做，独立的非营利研究机构也在做。而且取决于你对"安全"的定义有多宽——如果你把一些短期问题也包括进来，那么已经有非常非常多的人在研究它。但正因为这是一个如此宽广的领域：有今天的问题，有人以指向未来的方式研究今天的问题；有经验路径，有概念路径；有可解释性，有对齐——要做的事情太多了，我觉得我们永远欢迎更广泛的人群来研究它，欢迎具有不同心态和思维方式的人。
Lucas Perry：稍微退回来问一个简单的问题：那么 Anthropic 的使命是什么？
Daniela Amodei：好。我们之前谈过一点，但那个"官方版本"的使命是：构建可靠、可解释、可控的 AI 系统，让人处于其中心。对现在的我们来说，这主要是通过研究来实现的——通过生成式模型研究和 AI 安全研究——但在未来，这也可能包括各种不同类型的部署。
Lucas Perry：Dario 刚才提到，这并不包括解决所有的对齐问题或其他 AGI 安全问题。那这些是怎么摆放的？
Dario Amodei：我想表达的是：要解决的事情非常多，而一家公司解决所有这些问题的可能性很低。我确实认为，一切与短期和长期 AI 对齐相关的东西都在我们的范围之内，都是我们有兴趣研究的。而且我认为押注越多越好。这与我们稍后可以详谈的一点有关：你希望对这个问题拥有尽可能多的相互正交的视角，尤其当你想构建非常可靠的东西时。所以是很多不同的方法。我不认为我们的视野比"对安全的经验性聚焦"更窄，但与此同时，这个问题如此宽广，我们想说的是：一家公司拿出完整解决方案的可能性很低——甚至"完整解决方案"本身是不是正确的思考方式都值得怀疑。
Daniela Amodei：就这一点我还想补充：我们所做的、并且希望对整个生态有帮助的一件事，是发表我们的安全研究。这正是出于 Dario 谈到的那种多样化效应。我们只是一家特定规模的公司，拥有特定技能组合的特定人群，所以我们在安全研究的某些领域有特定的强项。我们的希望是，我们做的一些安全研究不仅对别人有帮助，还能被其他组织拿去改造，适配到他们各自正在研究的领域。所以我们希望做出从安全角度看足够可泛化的研究，让它在其他场景下也有用。
Lucas Perry：那我们转到研究策略上来——我们其实已经谈了不少，尤其是围绕大模型的这个焦点。你能解释一下，为什么你们选择大模型，作为"向更高智能水平扩展"的经验探索对象，同时也作为探索安全与对齐的场所？
Dario Amodei：好。我想此前的讨论已经覆盖了相当一部分，但一些关键点是：这些模型非常开放，因此它们提供了一个实验室。这些模型今天就存在一些我们可以着手解决的问题，而它们与我们明天将要面对的问题相似。模型可以行动的范围很宽，它们相对有能力，而且能力与日俱增。那正是我们想身处的区间，那些是我们想解决的问题，那是我们想进攻的区间。还有前面那一点：即使在今天的模型中你也能看到突然的转变。如果你担心未来模型中的突然转变，那么当我在缩放定律图上从一亿参数模型看到十亿、百亿、千亿再到万亿参数模型时，缩放图的前半段——从一亿到千亿——能告诉我们很多关于缩放定律最后一段事情可能如何变化的信息。我们不应该天真地外推、断言过去会和未来一样。但我们已经看到的早期现象，与我们已经看到的后期现象本身就不同。所以，也许我们可以在"我们已见过的规模区间上发生的变化"与"未来可能发生的事情"之间做类比。模型在一个数量级的跨度内很快学会了算术；它们学会理解某些类型的问题；它们学会扮演不说真话的角色——如果模型足够小，它们是无法理解这件事的。那么，我们能否研究这一切发生的动力学：需要多少数据才会发生？发生时模型内部机制上发生了什么？并把它当作一种类比，让我们有能力去理解模型进一步扩展时、以及架构改变时、以不同方式训练时会发生什么。我谈了很多"扩大规模"，但我认为扩大规模不是唯一会发生的事。模型的训练方式会发生变化，我们想确保我们构建的东西对此也有最大的机会保持稳健。关于研究策略我还要说一点：拥有几种不同的——我不太想说"几种不同的押注"——拥有几种彼此不相关或正交的问题视角是有好处的。如果你想构建一个高度可靠的系统，或者想压低某个特定坏事发生的概率——这里的坏事既可以是今天模型出的问题，也可以是未来模型可能出的更大规模的问题——那么非常有用的一点是拥有正交的误差来源。比方说，我有一个方法能抓住模型做的 90% 的坏事，很好。但常常会发生的是：我又开发了一些别的方法，而如果它们与第一批方法太相似，它们抓住的是同样的那 90% 的坏事。那就不妙了——因为我以为我有了这么多技术，然而 10% 的坏事依然漏网。你真正想要的是：一个方法抓住 90% 的坏事，然后一个正交的方法抓住完全不相关的另外 90% 的坏事。如果两者不相关，那么只有 1% 的坏事能同时穿过两道过滤器——只有 10% 中的 10% 能漏过去。所以你拥有的正交视角越多，你就越能压低失败的概率。可以类比自动驾驶汽车：当然，那些系统必须有非常非常高的安全率才能不出问题。我对自动驾驶了解不多，但它们配备了视觉传感器、配备了 LiDAR，它们有不同的算法来检测——比如前方有不能撞上的行人之类的。所以对同一问题拥有独立的视角非常重要。我们的不同方向——奖励建模、可解释性、刻画模型、对抗训练——我认为其全部目标就是压低失败概率、拥有对问题的不同视角。我常称之为"P 平方问题"：如果你有某个方法能把错误降到概率 P，那很好；但你真正想要的是 P 的平方——因为如果 P 是个小数，你的错误就会变得非常罕见。
Lucas Perry：既然聚焦于大模型，Anthropic 是否把自己的研究策略视为某种"平凡对齐"（prosaic alignment）？
Dario Amodei：我们也许不太用那种方式思考问题。我的理解是，平凡对齐大致是指对"长得像今天的系统"的 AI 系统做对齐。但在某种程度上，这个区分对我来说从来都不是特别清楚。因为你可以用神经模型做各种各样的事情，也可以把神经模型和非神经的东西混合起来：你可以把大语言模型和推理系统混合，或者和推导公理、命题逻辑的系统混合，或者让它使用外部工具、编译代码等等。所以我从来不太确定我理解"平凡"或者"像今天这样的系统"的边界到底在哪里。我们当然在研究某一类包含今天系统的系统，但我不知道这个类别被设想得有多宽。我确实认为，未来的 AI 系统有可能与今天的样子非常不同。我想对某些人来说，这促使他们想要更通用的安全路径、或者更概念化的路径。而我的看法是：未来的系统确实可能非常不同，但在那种情况下，概念性思考和我们当前的经验性思考都会处于劣势，而且至少是同等的劣势。而我倾向于认为，即使架构变得非常不同，我们今天做的经验实验本身也蕴含着一些通用的母题或模式，它们对我们的帮助，会胜过去猜测明天的系统长什么样。可以这么说：我们今天开发的这些系统拥有许多能力，它们是"完全达到人类智能"所需能力的某个子集。无论具体架构如何，我们学到的关于如何对齐这些系统的东西，我猜想是可以迁移的，而且比"思考明天的系统可能长什么样、我们能做什么完全通用的东西"这种练习更能迁移。我认为两者都可能有价值，但我们只是在押我们认为最令人兴奋的注：通过研究今天的系统和架构，我们学到的东西将给我们最大的机会，去应对明天的架构截然不同的情形。话虽如此，我要说：transformer 语言模型和其他模型——尤其是叠加了强化学习或各种改造后的交互方式之后——如果从宽理解，天哪，它们能做的事情在不断扩大。我的赌注是：它们不需要改变那么多。
Lucas Perry：那我们稍微转到你们最近的一些研究和论文上。你们在对齐、可解释性和社会影响方面都发表过重要论文，其中一些你们已经顺带提过。能不能多讲讲你们发布的研究和论文？
Dario Amodei：好，那我们一个一个来。先说可解释性。我可以先从这个领域的理念讲起。基本想法是：这些模型正变得越来越大、越来越复杂。当你有一个复杂系统，而你不知道它在变得更强大或处于新情境时会做什么，要真正把握它可能做什么，一种提高胜算的方式就是从机制上理解这个系统。如果你能看进模型内部，说："嘿，这个模型做了坏事——它说了种族主义的话、支持了暴力、说了有毒的话、对我撒了谎——它为什么这么做？"如果我真的能查看模型内部的机制，然后说："它这么做是因为训练数据的这一部分"，或者"是因为有这么一个回路，它本想识别 X，却把它误识别成了 Y"——那我们的处境就好得多了。而且，如果我们理解了机制，我们就更有能力回答：如果模型处于一个新情境、做出更强大的行为，或者如果我们构建了这个模型更强大的版本，它们可能会以什么不同的方式表现？很多人都在做可解释性，但我认为我们比较不寻常的地方在于：不只是问"模型为什么做了某件具体的事"，而是尝试看进模型内部，尽可能多地逆向工程它，尝试找出普遍的模式。我们发表的第一篇论文由 Chris Olah 领衔——他是可解释性的先驱之一——聚焦于从小模型入手（我们很快会有一篇新论文，把同样的方法更近似地应用到更大的模型上），尽可能完整地逆向工程这些非常小的模型。我们研究了一层和两层的纯注意力（attention-only）模型，从中找到了一些特征或模式，其中最有意思的叫"归纳头"（induction head）。归纳头是两个所谓注意力头的一种特定排布。注意力头是 transformer 的组成部分，而 transformer 是语言模型和其他多种模型所使用的主要架构。这两个注意力头以这样一种方式协作：当你要预测序列中的某个东西时——比如"Mary had a little lamb, Mary had a little lamb, 某某某"——当你处在序列的某个位置时，它们会回头寻找尽可能相似的内容，回头寻找序列中较早出现的相似线索并尝试做模式匹配。有一个注意力头负责回头识别"好，这是我应该看的地方"，另一个则负责"好，这是之前的模式"，并提高与之最匹配的那个候选的概率。我们能非常精确地看到它们在小模型中运作。我们的论点——在即将发表的第二篇新论文中我们能够提供一定支持——是：这就是模型进行模式匹配的一种机制，甚至可能是它们进行所谓"上下文学习"（in-context learning）或"少样本学习"（few-shot learning）的机制——那是自 GPT-2、GPT-3 以来模型就具备的能力。这就是可解释性。要我继续讲下一个，还是你想就这个再聊聊？
Lucas Perry：好，在你讲下一个之前，你能不能再解释一下：解释当前的模型有多难？或者说到底难不难？
Dario Amodei：嗯，难不难见仁见智，而且 Chris Olah 能比我们俩讲得更细。但从外部观察、以及在 Anthropic 内部督导这项工作的经验来看，通常是这样的：每当你开始研究某个想要解释的特定现象时，一切看起来都极难理解。有数十亿参数，有所有这些注意力头——到底发生了什么？每一处都可能不一样，你完全不知道是怎么回事。然后到某个时刻，会出现某个洞见或一组洞见——你该问 Chris Olah 这具体如何发生、他如何找到正确的洞见——它几乎为某个特定现象提供了一块罗塞塔石碑。这现象常常是狭窄的，但比如这些归纳头，它们无处不在：小模型里有，大模型里也有。它们并不能解释一切，我不想过度吹捧它们，但那是一个反复出现、以相同方式运作的模式。而一旦你看到这样的东西，一大片此前说不通的行为就开始变得说得通了。当然有例外，它们只是近似成立，还有非常非常多的东西有待发现。但在解释模型这件事上，我们的希望并不是给巨型模型的千亿权重逐一编制一部巨大的图谱，而是存在某种描述长度更短的模式，反复出现。可以类比大脑或细胞：如果你只是把大脑切开，你会觉得"天哪，这太复杂了，我不知道发生了什么"。但随后你发现存在神经元，神经元无处不在：它们有电脉冲，它们与其他神经元相连，它们按某些模式组织起来，而那些模式不断重复。有些东西是特异的、难以理解的，但也存在这种模式性。所以，也许可以类比生物学：复杂性很高，但也存在底层原理，比如 DNA 到 RNA 到蛋白质，或者一般的细胞内信号调控。我们的希望是，至少存在一些这样的原理，而当我们看到它们时，一切都会变得更简单。但也可能不会。我们在一些情形中找到了它们，但也许随着模型变得更复杂，它们会变得更难找。当然，即使在现有模型里，也有非常非常多我们完全不理解的东西。
Lucas Perry：那我们接着聊对齐和社会影响吧？
Dario Amodei：通过训练来对齐模型——尤其是偏好建模——是好几个组织都在做的事情。DeepMind、OpenAI、Redwood Research 以及其他一些地方都有这方面的工作。但我认为我们的总体视角是"方法不可知"的：就是问，我们能做的所有让模型更符合"好"的事情有哪些。我们的总体启发式——它不打算是一个精确的定义——就是有益、诚实、无害。这只是一个宽泛的方向：我们能做哪些事情，让今天的模型更符合我们希望它们做的，而不是做那些我们都认同是坏的事情。在那篇论文里，我们过了一遍很多不同的做法，尝试了一堆不同的技术，往往是非常简单的技术：比如直接给模型加提示词，或者在特定提示词上训练（我们称之为提示蒸馏，prompt distillation），为某个特定任务构建偏好模型，或者用互联网上的一般性回答构建偏好模型。然后看这些做法在毒性、有益性、有害性等简单基准上表现如何。所以那其实就是一个基线：把我们能想到的所有最"笨"的办法都试一遍，看能不能让模型在某种一般意义上更对齐。我们未来的工作会在此基础上推进。社会影响那篇论文大概会在一周左右后发表。如我提到的，它叫《Predictability and Surprise in Generative Models》。基本上，我们在那里阐述开放性这个问题，并讨论技术和政策两方面的干预手段，以便更好地应对这种开放性。我认为社会影响方向的后续工作会聚焦于如何分类、刻画，以及在实践层面过滤或防止这些问题。我认为这很典型地体现了我们希望参与政策的方式：我们想拿出某种技术洞见，然后表达这个技术洞见，并探讨它对政策制定者、对这个领域的生态系统的含义。在这里，我们能够画出这样一条线索：存在这样一个二分现象——这些模型缩放得非常平滑，却有出人意料的行为。平滑的缩放意味着人们有很强的动机去构建它们，我们也确实看到这在发生；不可预测性则意味着，即使从财务或核算角度看构建它们的理由很充分，也不代表我们很好地理解它们的行为。这个组合有点令人不安。因此我们需要各种政策干预，来确保我们从这些东西中得到好的结果。我认为社会影响方向会朝这个大方向走。
Lucas Perry：关于可解释性的那次发布，你们随论文一起发布了一些工具和视频。能说说为什么这么做吗？
Daniela Amodei：好，我来说吧。这要回到我们之前谈过的一些东西：除了自己做安全研究，我们的一大目标是帮助更广泛地壮大安全领域——各种类型的安全工作。我们最终希望我们做的一些工作能被其他组织采纳、甚至扩展。所以我们选择发布论文之外的其他东西，因为这有望触达更多对这些主题——在这里是可解释性——感兴趣的人。我们还发布了：我们的可解释性团队制作了大概 15 个小时的视频，是对他们那篇《A Mathematical Framework for Transformer Circuits》论文研究的更深入讲解。团队试图把它做成一个系列讲座。想象一下，可解释性团队的某个人受邀去大学做讲座，也许讲一个小时、触达一百个学生；而现在这些是公开的视频，如果你有兴趣更深入地理解可解释性，你随时可以在 YouTube 上观看。作为那次发布的一部分，我们还放出了一些工具：我们发布了关于 Garcon 的说明——那是我们团队开展研究所用的基础设施工具——还有 PySvelte，一个示例库，用来创建可解释性团队闻名的那类交互式可视化。让我们非常受鼓舞的是，我们已经看到其他研究者和工程师在摆弄这些工具、观看这些视频。我们已经得到了很好的反响，我们的希望是，这会带来更多人做可解释性研究，或者在其他地方基于我们的工作继续构建。
Dario Amodei：对。补充一点，放到更大的视野里看：安全内部的不同领域处于不同的成熟度。像对齐、偏好建模、奖励建模、基于人类反馈的强化学习——这些是同一件事的不同名字——那个领域已经有好几个机构在做不同的努力。我们在其中有自己的方向，但从几年前我们几个人参与主导的最初那篇《RL from Human Preferences》论文开始，它现在已经分化出多个方向。所以我们不需要去号召整个领域朝那个大方向努力，我们只是对其中什么令人兴奋、如何最好地取得进展有自己的看法。那个领域处于稍微更成熟的阶段。而可解释性——虽然很多人在做神经网络的可解释性——但我们这种特定流派：尝试在回路层面理解这些模型内部发生了什么、尝试从机制上绘制并拆解它们——我认为世界上做这个的更少，我们做的更独特。这是好事，因为我们为安全提供了一个新的视角；但如果这种局面持续太久，那就是坏事了，因为我们希望这些东西广泛传播，我们不希望它依赖于某一个团队或某一个人。所以当事情处于那种较早的成熟阶段时，发布工具、降低其他人和其他机构入场的门槛，是非常合理的。
Lucas Perry：所以你的意思是，你们正在做的可解释性研究是独一无二的。
Dario Amodei：嗯，我只想说它处于更早的阶段。我不认为还有其他大型的、有组织的努力聚焦于——我称之为机制可解释性，尤其是语言模型的机制可解释性。我们希望有，而且确实有一些人开始思考这个方向，这也是我们发布工具的部分原因。但是，尝试从机制上绘制和理解大模型——尤其是语言模型——内部的原理，我认为在更广泛的生态里做得还比较少。
Lucas Perry：嗯，我对这个领域其实一无所知，但听到这个我还是有点惊讶。我本以为产业界部署了那么多大模型——比如 Facebook 或其他公司——他们会有兴趣解释自己的系统。
Dario Amodei：对，我不想给人误导的印象。可解释性是个大领域，有大量的工作在研究"这个模型为什么做了这件特定的事"、"这个注意力头是否大幅提高了这个激活值"。人们有兴趣理解模型中导致某个特定输出的特定部分。所以这个空间里有很多工作。但那种特定的研究纲领——"这是一个大型 transformer 语言模型，我们来尝试理解驱动特定行为的回路是什么？组成部分是什么？MLP 如何与注意力头交互？"——那种总体的机制逆向工程路径，我认为比较少见。我不想说完全没有，但确实少见，少见得多。
Lucas Perry：哦，好的。那我换个话题、转个方向，探索点别的。如果大家没能从播客标题猜出来的话：你们俩是兄妹（姐弟）。
Lucas Perry：这挺出人意料的——我想不出还有哪个 AGI 实验室主要是由一对兄妹在运营。所以，和自己的手足一起工作是什么感觉？
Lucas Perry：你们从小到大关系一直都好吗？
Daniela Amodei：好问题。那我先说吧——当然，我对 Dario 的回答也很好奇、很期待。开个玩笑。说真的，我觉得非常好。也许先讲一点我们的历史或背景会有帮助：Dario 和我一直非常亲近。从我们很小很小的时候起，我们就一直有一种特别的纽带，都特别想让世界变得更好、想帮助别人。我的职业生涯最初是做国际发展的，离 AI 领域非常远。我之所以对那个领域产生兴趣，部分是因为那是 Dario 当时的兴趣所在。Dario 那时在读一个技术领域的博士，并没有直接做这方面的工作，但我比他小几岁，所以我非常想了解他正在研究或感兴趣的东西，把它当作一个可能产生影响的领域。他其实是 GiveWell 很早期的粉丝，我记得是 2007 还是 2008 年，我们——
Daniela Amodei：对，那时我们都还是学生。我记得我们坐在一起——我们都从学校回家了，我从大学回家，他从研究生院回家——我们会聊到深夜，聊这些想法。我们还在上学的时候，就都开始向研究疟疾预防等全球健康问题的组织捐小额的钱。所以我认为我们一直有这个统一的最高目标：想做一些要紧的事、重要而有意义的事。而我们的技能一直非常不同，所以能把我们各自擅长的东西结合起来，希望能把一个组织运营好，我觉得真的很酷。对我来说，这是一段很棒的经历。现在我觉得自己坐在这里，紧张地想 Dario 会怎么回答。开玩笑的。但我们人生的大部分时间里，我们都想找一件能一起做的事情，而我们能在 Anthropic 做到这一点，真的太棒了。
Dario Amodei：对，我都同意。我要补充的是：经营一家公司需要极其宽广的技能范围。想想大多数工作：我的工作是得出这个研究结果，或者我的工作是当医生。但我认为经营公司的独特之处——而且公司越大、越成熟，这一点越是成立——是你必须做的事情范围极广。有人闯进办公室怎么办，是你的责任；研究议程是否说得通，也是你的责任；如果集群里的一些 GPU 行为异常，得有人在 GPU 内核或者 GPU 相互通信协议的层面弄清是怎么回事。所以，有两个技能互补的人来覆盖这整个范围，实在太好了。让一个人覆盖整个范围似乎非常困难。我们各自思考自己最擅长的部分，两者相加，希望能覆盖我们需要做的大部分事情。当然，我们也总是尽量招聘我们完全不懂的专业方向的人。但这让我们能在"快速行动"的同时不把东西搞坏，容易了很多。
Lucas Perry：太棒了。你们俩就像一个"执政官"组合，协同创造着一个很棒的组织。
Daniela Amodei：那就是梦想。对，那就是梦想。
Lucas Perry：在这一切之下，Anthropic 有一个使命宣言，你们是兄妹，你们说你们在价值观上高度一致。我想知道，在这一切之下——你们说你们都热衷于互相帮助、为世界做好事——你们能不能多讲讲这种更发自内心的初心，它如何最终把你们引向并创建了 Anthropic？
Daniela Amodei：好，我来试着回答。我不确定这是否正是你想要的，但我会朝几个方向说说，然后 Dario 肯定也有好答案。也许我就讲讲我个人走到 Anthropic 的历程，我的背景是什么样、我是怎么走到这里的。我刚才讲过这是我和 Dario 的共同点之一：我的职业生涯是从国际发展开始的。我在 Washington DC 的几家 NGO 工作过，在东非为一家公共卫生组织工作过，参与过一场国会竞选，也在 Capitol Hill 工作过。所以我曾经更像是那种经典的——我在以前工作中的一位朋友常这么叫我——经典的"行善者"（do-gooder）：努力缓解全球贫困，努力在政府层面推动政策变化，努力让好的官员当选。我当时觉得我所投身的那些事业深具重要性，直到今天，我依然非常支持在那些领域工作的人，我认为那些事业无比重要。只是我觉得我个人没有产生我所期望的那种影响力。经过一系列辗转，我进入了科技行业。我之前提过，我入职了一家叫 Stripe 的科技创业公司，我加入时它大约 40 人。在那里，我真正有机会看到一个运营得非常好的组织是什么样子。我看着它扩张、成长，身处一个新兴领域。在那段时间里，有一件事对我来说变得非常清晰：在科技行业工作，这个行业对经济、对人际互动、对我们日常生活方式的影响有多大。Stripe 是一家支付公司，不是社交媒体之类的。但我认为，科技有这样一种特性：相对少数的人，人均对世界产生非常大的影响。而这种影响可以是好的，也可以是坏的。从那里出发，对我来说有一个相当顺理成章的跳跃：哇，如果我们把这一点外推——不再是社交媒体、支付或文件存储，而是某种强大得多的东西，一整套高度先进的人工智能系统——那会是什么样子？谁在做这件事？我一直是一个相当执着于"在我的技能约束下、在我能为世界增添价值的地方，尽我个人所能做尽可能多的好事"的人。所以对我来说，转到 AI 领域工作——早年如果你看我的简历，你会问"你怎么会走到这里？"——但其中有一条一以贯之的故事线或主题。我的希望是，Anthropic 正处在这样一个交汇点上：用务实、科学、经验性的路径去真正深入理解这些系统如何工作，希望帮助把这些认识在领域内更广泛地传播开来，并尽一切可能，推动这个领域朝一个更安全的、理想情况下全面稳健、积极的方向发展——就 AI 可能带来的影响而言。
Dario Amodei：对。我这边有一个平行的故事：我本科读物理，研究生做计算神经科学。我想，吸引我进入神经科学的是两样东西的混合：其一，就是想理解智能是如何运作的——那似乎是最根本的问题。而且，塑造人类生活品质和人类体验的很多东西，都取决于大脑中事物实现方式的细节。所以我觉得在那个领域，有很多医学干预的机会可以改善人类生活的品质——理解精神疾病之类的东西——与此同时，还能理解一些关于智能如何运作的东西，因为智能是我们拥有的最强大的杠杆。在那些年里我想过进入 AI 领域，但我感觉当时它并不真的行得通——那还是深度学习真正奏效之前的年代。然后大约 2012 或 2013 年，我看到了 Google Brain 出来的结果，比如 AlexNet，看到它们真的行了。我看到了 AI 的两面：其一，这可能是理解智能的最佳途径；其二，我们能用 AI 构建的东西——通过解决科学和健康领域的问题、解决人类尚且无法解决的问题——让智能先以针对性的方式、再以更通用的方式匹敌并超越人类，我们能否解决那些重要的科学、技术、健康、社会问题？我们能否做点什么来改善这些问题？如果 AI 真的运作良好，它似乎是我们拥有的最大的杠杆。但另一方面，AI 本身又伴随着所有这些短期和长期的隐忧。所以我们也许可以这样看待自己：我们努力解决这些隐忧，从而让 AI 的正面效益最大化。
Lucas Perry：嗯，非常感谢你们俩分享各自的视角和历程。我想你们给 GiveWell 捐款的时候，我还在读初中，所以……
Daniela Amodei：天哪。Dario，我们真是太老了。
Dario Amodei：是啊，我到现在还把 GiveWell 想成一个互联网上某个角落里的新组织，没人知道它，只有我——
Daniela Amodei：这个超级流行、广为人知的——
Dario Amodei：只有我这种在网上读各种奇怪东西的人才知道它。
Lucas Perry：对我来说，我走进生存风险（x-risk）领域、走进 FLI 的很大一部分历程，也与 EA 社区——有效利他主义——有关。所以这让我意识到，我读初中的时候，那些种子就已经……
Dario Amodei：对，那时候还没有这样一个社区。
Lucas Perry：那我们转到机器学习方面吧。让我想想怎么问最好。我们已经聊了很多：Anthropic 强调通过计算和数据来扩展机器学习系统，同时在扩展这些大规模系统时投入大量对齐与安全方面的用心和工作。对这种路径的一些批评，把"从现有模型扩展到 AGI"比作往火箭里加更多燃料——这并不意味着你已经准备好把火箭降落到月球上，也不意味着火箭瞄准了月球。这也许正呼应你们之前谈的系统开放性——那是你们有兴趣研究的东西。那么，对于"通过扩展所能获得的能力存在上限"这个论点，你们会如何回应？之后我还有一个后续问题。
Dario Amodei：好。实际上，在某种意义上，我们在某种方式上同意这个论点。我认为所谓"缩放假说"有两个版本。一个版本——我称之为稻草人版本或不那么精致的版本，我们不持这种观点，我不知道是否真有人持有，但大概有——就是认为：我们有 100 亿参数的语言模型、有 1000 亿参数的语言模型，也许造一个 100 万亿参数的语言模型，那就是 AGI 了。那是纯粹的缩放观。那绝对不是我们的观点。哪怕是稍作修改的形式——比如"也许你只需要改改 transformer 里的激活函数，除此之外什么都不用做"——我认为那也是不对的。你可以直接看出来：它的目标函数是预测下一个词，而不是完成人类做的有用任务；它局限于语言，局限于单一模态。所以有一些非常显而易见、很容易想到的方面，说明单纯扩展这个东西不会把你带到通用智能。话虽如此，这个假说更微妙的版本——我认为我们大体上确实持有——是：缩放是"真正能构建出 AGI 的那个东西"的一个巨大的组成部分。没有人认为你只要把语言模型放大就行，但当你这么做时，它们肯定会变好，在它们之上构建其他东西也会更容易。举例来说：你先做出这个大语言模型，然后用与人类交互的强化学习，在一百万个不同任务上微调它、让它遵循人类指令——这时你就开始得到某种更有能动性的东西，你可以把它指向不同的方向，你可以对齐它。如果你再加上多模态，让智能体可以与不同模态交互；如果你再加上使用各种外部工具与世界和互联网交互的能力——但在这每一项之内，你都会想要扩展；在每一种设置下，你把模型做得越大，它在那件事上就会越好。所以在某种意义上，火箭燃料的类比是说得通的。实际上，火箭最需要操心的就是推进：你需要足够大的发动机和足够多的燃料，火箭才飞得起来，那是核心。但当然，是的，你还需要制导系统，你还需要各种各样的东西。你不能只是把一大桶燃料和一个发动机放在发射台上，就指望一切正常。你需要真正造出完整的火箭。而安全本身恰恰印证了这一点：某种程度上，如果你连最简单的安全工作都不做，模型甚至连"以最简单的方式完成指定任务"都做不到。此外还有许多更微妙的安全问题。所以火箭这个类比在某种意义上是好的，但我认为它更像是一个支持缩放的论点，而不是反对缩放的论点：它说明缩放是一种原料——也许是一切之中的核心原料。尽管它不是唯一的原料——缺了别的原料你到不了目的地——但当你把所有正确的原料都加齐之后，那个整体本身又需要被大规模地扩展。这就是我们的视角。没有人认为把一堆燃料和一个发动机放在发射台上就能得到一枚飞向月球的火箭，但它们仍然可能是火箭的核心原料。推进、摆脱地球引力井，是火箭必须完成的最重要的事情，而做到这一点你需要的就是燃料和发动机。当然，你需要把它们与正确的部件连接起来，你还需要其他原料。但我认为这个类比对缩放来说其实非常贴切：你可以把缩放看作也许是核心原料，只是不是唯一的原料。所以我预期我们会提出新的方法和改造。我认为强化学习、基于模型的强化学习、人类交互、广阔的环境，都是这里的组成部分。但当我们拿到这些原料之后，无论我们造出的是什么，我们还需要扩展它——多模态也好——我们同样需要大规模地扩展。所以缩放是核心原料，但不是唯一原料。我认为它单独就非常强大，与这些其他东西结合时更强大。
Lucas Perry：你刚才的说法之一是：人们并不认为仅靠扩展现有系统就能到达 AGI。而之前你谈到存在那些相变，对吧？系统参数量上升一个数量级，你就会得到某种新能力，比如算术。那为什么我们不能就这样不断提高参数量的数量级，不断得到更聪明的东西呢？
Dario Amodei：好。首先，我认为我们确实会不断得到更聪明的东西，但问题是：我们能否一路走到通用智能？我其实并不排除这种可能，我认为它是可能的，但我认为可能性不大——至少在实践意义上不大。有几个原因。今天我们在互联网上训练模型时，训练的是互联网上全部文本的平均。想想国际象棋这样的话题：你训练的是所有谈论国际象棋的人的评论，而不是国际象棋世界冠军的评论。我们真正想要的是超越最顶尖人类专家能力的东西，而如果你在整个互联网上训练，那么对任何话题，你得到的大概都是该话题的业余爱好者——有一些专家，但大部分是业余爱好者。所以即使生成式模型完美地建模了它的分布，我也不认为它能得到"在所有事情上都比人类更强"的东西。这是一个问题。另一个问题——或者说有好几个问题——是我不认为你覆盖了人类做的所有任务。互联网覆盖了其中很多，但就是有一些任务和技能——尤其是与物理世界相关的，比如具身（embodiment）和交互——如果你只是抓取互联网，是覆盖不到的。最后我认为，即使只是匹配互联网文本的表现，你可能也需要一个真正巨大的模型才能覆盖一切、匹配这个分布，而分布的某些部分比其他部分更重要。比如你在写代码，或者写一部悬疑小说，少数几个词、几处关键可能比其他一切都重要。完全可能有一份 10 页的文档，其关键就在两三句话里，改动几个词就会改变产出的含义和价值。但"预测下一个词"这个目标函数对此一无所知，它对一切一视同仁。所以如果模型足够大，是的，它们能把这些做对，但那个极限可能非常极端。因此，那些改变目标函数、告诉你该在乎什么的东西——我认为强化学习是一个重要例子——大概是让这一切真正正确运转所必需的。我认为在"模型足够巨大"的极限下，你可能会惊人地接近目标，我不确定，但那个极限可能远超我们的能力。你能造的 GPU 就那么多，甚至还有物理极限。
Lucas Perry：而且它们随着时间越来越少、越来越难拿到，或者说非常昂贵。
Dario Amodei：它们在变得更昂贵，也更强大。我认为总体的价格效率在提升，但没错，它们肯定也在变贵。
Lucas Perry：如果你能够把一个大规模系统扩展到在数学或计算机科学上达到业余水平，那么把这种能力反过来指向系统自身、进行递归自我改进，难道不会有利于这个系统的成长吗？一旦达到业余水平，那不就已经是"逃逸速度"级别的智能了吗？
Dario Amodei：嗯。确实存在一些训练技术，可以理解为对模型进行"自举"（bootstrapping），或者说利用模型自身的能力来训练它。比如 AlphaGo 就是用一种叫"专家迭代"（expert iteration）的方法训练的，它依赖于向前推演并与模型自身的预测比较。所以只要你有某个连贯的逻辑系统，你就可以做这种自举。但自举本身就是一种训练方法，落在我刚才说的范畴里：你先造出这些纯粹的生成式模型，然后你需要在它们之上做点什么，而自举就是你可以在其上做的事情之一。当然，也许你会到达这样一个点：系统自己做决策、使用自己的外部工具来实现自举、造出更好的自己——所以这个过程的终点有一天可能是那样。但那不是我们现在能做到的。
Lucas Perry：产业界有很多实验室在研究大模型。而 AGI 实验室也许只有寥寥几家，我能想到 DeepMind，不确定还有没有别的……OpenAI。此外还有像 Future of Life Institute、Machine Intelligence Research Institute（MIRI）或 Future of Humanity Institute（FHI）这样对 AI 安全感兴趣的组织。MIRI 和 FHI 都做研究，FLI 做资助并支持研究。所以我很好奇，在产业界、非营利领域和学术界之中，你们如何看待 Anthropic 的定位？也许从你开始，Daniela。
Daniela Amodei：好的。我们之前稍微谈过这个，但我真的把这看作一个生态系统，而 Anthropic 处于生态系统中一个有意思的位置——但我们是生态系统的一部分。我认为我们的强项、我们做得最好的事情——我喜欢把所有这些不同的组织看作各自都能带来有价值的东西，取决于在那里工作的人、他们的领导团队、他们特定的聚焦研究押注、或者他们正在实现的使命与愿景——希望它们都有潜力为我们谈到的更广泛的生态带来安全的创新。对我们来说，我们的押注就是我们谈过的那个：用经验的、科学的路径做 AI 研究，尤其是 AI 安全研究。我们的安全研究，我们已经谈了很多不同的聚焦领域：可解释性、对齐、社会影响、用于经验预测的缩放定律。我们对未来的很多设想或期望是，我们能够把这些领域做大，并可能拓展到其他领域。所以我真的认为，Anthropic 为这个生态系统增添的——或者说我们希望增添的——是这种以严谨科学方法做 AI 安全基础研究的路径。
Dario Amodei：对，一句话就说到位了。如果你想在生态系统中给我们定位：这是一种经验性的、迭代式的路径，放在一个完全聚焦于对安全下注的组织里。有像 MIRI 那样的组织——或者程度稍轻的 Redwood——它们要么不做经验研究，要么与经验主义的关系和我们不同；然后有在更大公司内部做出色工作的安全团队，比如 DeepMind、OpenAI 或 Google Brain 里的安全团队——它们是大组织内部的安全团队；还有很多研究短期问题的人。而我们填补的位置是：研究今天的问题、但目光投向未来，秉持经验主义、迭代式，并且在这样一个组织里——我们做的每一件事都是为安全这个目标而设计的。
Lucas Perry：Anthropic 的一个特点是它是一家公益公司（public benefit corporation）。我不太清楚这种结构究竟是什么，可能很多听众也不熟悉。你能不能讲讲这对 Anthropic、它的工作、投资者以及公司的发展轨迹意味着什么？
Daniela Amodei：好，当然。这是个好问题。什么是 PBC？我们为什么选择做公益公司？先说一句：在创立之初考虑要成为哪种类型的公司实体时，我们做了相当多的调研。最终我们决定选 PBC，有几个原因。我认为最主要的是，它让我们在如何组织这家公司上拥有最大的灵活性。而且——回应你问题的后半部分——我们其实非常幸运，找到的投资者和员工总体上都非常认同公司的这个总体愿景。那么，什么是公益公司？我们为什么选这种结构？它与 C 型公司（C corporation）——你能遇到的任何标准公司实体——相当类似。这意味着我们可以选择专注于研发（我们现在做的），也可以选择部署工具或产品，包括未来出于营收目的的部署，如果我们想的话。但 PBC 与 C 型公司的主要区别在于：在公益公司里，如果公司为了实现其公益使命而没有把股东的财务利益最大化，我们享有更多的法律保护，免受股东（追责）。所以这首先是一个法律层面的事情，但它对我们还有一个很大的价值：能够恰当地为投资者和员工设定预期——如果财务利润与为世界创造正面价值发生冲突，法律上已经明确后者优先。再说一次，我们真的很幸运：投资者、想来为我们工作的人都说，哇，这其实是 Anthropic 一个非常正面的特点，而不是需要绕开的东西。总之我认为它最终就是与我们的目标最契合的选择。
Lucas Perry：通常来说，像 Anthropic 这样的公司对股东负有信义义务（fiduciary responsibility），而因为它的结构是公益公司，公共利益可以压过信义义务而不产生法律后果。是这样吗？
Daniela Amodei：对，正是如此。股东不能来起诉公司说"嘿，你们没有为我们最大化财务回报"——如果那些财务回报与公司的公益价值发生了冲突的话。我试着现想一个例子：假设我们设计了一个语言模型，而我们觉得它不安全，它产生的输出不符合我们希望从语言模型看到的样子——出于安全原因、毒性原因或任何原因。在一家普通的 C 型公司里，可能有人会说："嘿，我们是股东，我们想要你们把它产品化所能创造的财务价值。"而如果我们说："实际上，在选择把它推向世界之前，我们想先对它做更多安全研究"——在 PBC 里，我们在这类情形下基本上受到相当充分的法律保护。再声明一下，我不是律师，但这是我对 PBC 的理解。
Dario Amodei：对。一种有用的整体看待方式是：法律结构是一方面，但我认为这些东西往往更重要的意义在于，它们是一种表明你的意图、为组织将如何运作设定预期的方式。这类事情往往关乎各利益相关方的预期：确保你给出正确的预期，然后兑现这些预期，让没有人对你的所作所为感到意外，让所有相关方——投资者、员工、外部世界——从你这里得到他们所预期的东西。这常常才是这里最重要的事情。所以我认为我们想传递的信号是：一方面，公益公司是一家营利性公司。我们可以部署产品。那是我们可能选择去做的事情，而且它在"学习如何让模型更有效"、在迭代方面有很多好处。但另一方面，使命对我们真的很重要，而且我们认识到这是一个不寻常的领域，充满了各种各样的——用我的话说——市场外部性：短期的、长期的，与对齐相关的、与政策和政府相关的，比典型领域多得多。这和造电动车或造小商品不一样。这就是我们想传递的信号。
Lucas Perry：你认为这种结构对 Anthropic 研究成果的商业化可能意味着什么？
Daniela Amodei：我认为，公益公司的价值之一还是在于它灵活。它本质上是一家 C 型公司，与你能遇到的任何标准公司实体相当接近。所以除了我们刚才谈到的那一点之外，这个结构对产品化、部署、创收之类的决策其实没有太多影响。
Lucas Perry：Dario，你刚才说这和造小商品或电动车不一样。它与小商品不同的一点是，它可能带来巨大的经济横财（windfall）。
Lucas Perry：除非你造的是真正好的小商品，或者能解决世界问题的小商品。那么，Anthropic 如何看待强大 AI 系统可能带来的巨大经济收益？你们认为 C 型公司性质的 AGI 实验室在让这些横财得到善用方面应扮演什么角色？
Dario Amodei：好。可以这样想：假设我们能避开对齐问题和其他一些问题，那么 AI——或者 AGI、TAI（变革性 AI），随便你怎么称呼，或者就说随时间越来越强大的 AI——将带来巨大的经济收益。再想想我没有一一列举的所有其他问题：今天的短期问题、公平与偏见的问题、长期的对齐问题、政策和地缘政治上可能遇到的问题。假设这些我们都解决了，那么仍然存在这个经济问题：这些收益的分配是均匀的吗？在这一点上，和在其他方面一样，我认为这些收益不太可能全部归于一家公司或一个组织。我认为这件事大于任何一家公司或组织，是一个更广泛的社会问题。但我们当然愿意尽自己的一份力。这是我们一直在思考的事情，我们也在着手建立相关的项目。目前我们还没有可以分享的内容，但这件事确实一直在我们心上。