Claude 的宪法：对话 Amanda Askell

阿曼达·阿斯科尔，欢迎做客《Scaling Laws》。谢谢邀请。那么，你是 Anthropic 内部所称的“Claude 的宪法”（Claude's Constitution）的主要作者。这是一份超过两万字的文件，描述了 Claude 的价值观、性格以及伦理框架。在深入探讨文档内容之前，如果你能向听众介绍一下这份文档究竟是什么，以及它在 Claude 的训练和后续运行中分别扮演什么角色，将会很有帮助。是的。这是一份长文档，试图达成几项目标。一是向 Claude 解释它自身的处境，比如，你是一个语言模型，由 Anthropic 部署。二是让它感受到我们对 Claude 在世界中存在的愿景：我们希望它如何与人互动，它与诚实、伦理的关系，以及如何处理艰难的权衡。部分原因是为了透明性——我们的想法是，不想把任何违背宪法的内容训练进模型。如果没有这份文档，当语言模型表现出不良或出乎意料的行为时，人们未必能判断这究竟是训练者的意图，还是只是一个错误。因此，我们希望人们能更清楚地认识到，如果模型出现不良行为是因为训练本身很困难，你至少可以看出那并非我们的本意。与此同时，由于它在训练中扮演着如此重要的角色，整份文档实际上是写给 Claude 的。所以尽管它承担着透明性的功能，但 Claude 几乎可以说是首要受众，因为我们在训练过程中必须使用它，让 Claude 理解并生成能够引导其朝向这些行为的数据。因此，出于这个原因，这是一份有点特殊的文档。好的。你能否进一步谈谈这份文档在训练中是如何实际使用的？我这么问是因为，我们这些使用模型的人都明白正确提示词和上下文的重要性。但通常当我们想引导模型时，我们问的是非常具体的事情，一般不会把两万字的、相当深奥且高层次的道德哲学一股脑塞进模型里。所以我从技术角度非常好奇，作为接收方的 Claude 究竟是如何使用这份文档的？好的。未来某个时候我们可能会公布更多细节，因为它的使用方式有好几种。我们确实有一些训练形式，目的只是让模型理解这份文档，让它看过并知道内容。但我们在整个训练过程中都会用到它。比如在监督学习（supervised learning）中，你可以让模型生成可能相关的消息或对话，然后给它完整文档，让它仔细思考：在这种情况下，宪法会认为你应该怎么做？这些就可以用作 SL 数据。在强化学习（reinforcement learning）中，你也可以把完整文档交给模型，让它基于文档来创建奖励。比如给它几个不同的回答，不问“哪个更好”或者“哪个更有礼貌”，而是问“哪个更符合宪法”，让模型进行大量思考，并以这种方式生成奖励信号。我觉得，这份宪法的出现部分是因为模型现在的能力已经强了很多；我们过去很倾向于给模型极少的信息，但实际上，尤其是当它们变得更聪明时，你给它们的上下文越充分，它们表现得越好。一旦它们理解了你给它们设定的目标，文档或许可以精简。但一开始我的想法是，就让它们知道一切。我们雇人时不会不告诉他们要做什么工作、希望他们怎么做，而是会花大量时间跟他们沟通。所以我觉得，对模型也应该这样做。那么，阿曼达，在得到这份在德克萨斯大学当“AI 专家”的工作之前，我曾是个无聊的法律教授。我在圣托马斯大学教宪法的时候，满脑子想的都是州宪法、联邦宪法、世界各地的宪法。所以我一看到 Claude 的宪法，立刻就进入了纯粹的法律思维。不像你和 Allan，我没那么聪明，没能被领进任何哲学课堂。所以看到这份文档时，我的第一反应是把它当作某种法律文件来思考。在宪法法中，一个关键问题是——我知道你们并不是说这就等同于阿曼达·阿斯科尔坐在马林县的某个地方写出了堪比美国宪法的东西——但你们有多大把握，或者说有什么机制来确保对宪法的忠诚？宪法法中的一大争论是，你应该遵循文本的字面还是精神，而你们在这里设定了一些相当宽泛的价值观，比如“乐于助人”。鉴于这种抽象程度，你们打算如何监测 Claude 在多大程度上遵循了这份文档的导向和目的？是的。人们经常想要一些“违反宪法”的例子，但面对这样一份文档，我会说这其实很难，因为它没有设定太多硬性的界限，严格的违反而是相当恶劣和严重的行为，大致就是“不要做任何极其糟糕的事”。你可以检查这类情况，但我认为取而代之的是，你必须在训练过程中进行引导，让模型朝向宪法所概述的价值观。我觉得有意思的是，这里存在某种压力：是否应该把文档写得更短，这其实是个开放性问题。实际上，我认为我们最终可能会同时做两件事：一方面随着 Claude 对其中脚手架的需求减少而缩短宪法，另一方面则保留一个更专门供人阅读理解的版本。但另一方面，我其实有点想创造和生成更多内容，因为在法律中——我不是律师，所以理解有限——你也可以参考判例法，比如人们如何解释它，又有哪些非常棘手的状况必须上诉到最高法院，因为我们不确定如何解释宪法。我觉得可以两者兼备：就像在美国那样，你们有一份精简的宪法，载明高层原则；但实际上你又要去判定诸如“我该如何在乐于助人与其他价值之间权衡”之类的问题——比如某件事对某人确实很有帮助，但似乎与我诚实的规范相冲突；或者有人向我索要某样东西，我能看出这对其福祉不利，但他们又有自主权，而我也应该关心这一点。我觉得，建立一套 case law 可能确实有用，就好比列出一种情境，说明我们认为 Claude 本该如何推理，以及 Claude 实际上是如何推理的，这对往后来说会有说明意义和参考价值。所以这很有趣，因为一方面存在训练层面的工作，即引导模型朝着这份文件的精神靠拢；但另一方面，也许两者都需要——既有一个精简版供人阅读，又需要类似 case law 的东西，这样我们才能准确理解所有条款的含义。好吧，这下你真的把我带进了宪制思路，带进了宪法法律思路，因为 case law 和说明性案例研究这个想法让我非常着迷。我们来梳理一下：Claude 的 Constitution 包含四项价值观，给需要快速回顾的人说一下——大致安全、大致合乎伦理、符合 Anthropic 的指导方针，最后是真正有用——按优先级排序。Amanda，回到你的观点，肯定会有一些情境中 Claude 对这些优先价值的权衡比其他情境更加微妙。那么，为了建立一套 case law 并分析 Claude 在多大程度上似乎在遵循 Constitution，你是 Anthropic 最高法院的首席大法官吗？由谁组成这个机构来分析你所看到的这种 alignment 程度？是的。我认为在很多决策和问题上，有许多人参与贡献。我会与组织内各团队合作，而他们本身可能会与专家合作，所以如果你在某个领域不确定，试图弄清 Claude 应该如何表现，你可以去咨询他们，问问相关专家会如何建议 Claude 的行为。除此之外，这毕竟是一种公司架构，很多决策会提交到我这里；如果我不确定，或者觉得超出我的权限，我可能会向更 senior 的人寻求确认。但确实，从我们必须做出这些决策这个意义上来说，它就是这样运作的。实际上，我认为这涉及一个非常复杂且有趣的领域，也许你们会想深入探讨，因为我觉得这确实有帮助——你希望模型具有连贯性。比如，如果很多人只是各自把自己局部的观点加进去，而没有类似 Constitution 这样的东西来试图维持整体一致，你最终可能会得到一个分裂的模型，在某个领域有一套价值观，在另一个领域又没有。我认为 coherence 在这里很有价值，所以确实需要有能够权衡各种取舍、思考模型在不同领域表现方式的人，来确保一致性。我忍不住要再问一个宪法问题。不像 Kevin，他只是个无聊的 con law 教授，而我在本职工作中仍然是个无聊的 con law 教授。我是说，我觉得我对我版本的 Kevin 的问题的理解是：当我们想到一部宪法，比如美国宪法，尤其是一部相当古老、比所有起草者以及可能对其有权威解释权的人都活得更久的宪法时，它几乎是独立于负责执行它的决策者而存在的。显然，这本身会引发一系列复杂的哲学问题，即这是否说得通，但至少这是一种拟制，对吧？当人们从事 constitutional law 时，他们是在解释一份文件，其意义和权威性在某种意义上存在于任何特定个人观点之外。而这份 Constitution……所以有人可能会对这部 Constitution 提出同样的问题，对吧？在撰写它的时候，你/Anthropic 是否承诺并试图让自己受某些原则约束，你和你的产品 Claude 将有义务遵循这些原则？还是说这部 Constitution 更多是一种引导 Claude 的方式，反映 Anthropic 在某一时刻的想法？我觉得两者都有道理。美国宪法有 250 年历史，Claude 大概只有 5 岁。所以这是非常不同的文件。但话说回来，当你们选择把这称为 constitution 时，我想全世界所有法律人都会想：“嗯，有意思。”这似乎与前者存在一种潜在的 disanalogy。是的。肯定存在 disanalogies。它并不是要设计成完全相同的结构。我觉得它几乎更像是你提到的那两者的结合。一方面，我认为我们实际上是在做出承诺——某种意义上我们在说，这就是我们要训练模型的方向，这确实是我们的愿景。我们不会用违背它的数据去训练，当我们在训练中发现违背它的情况时，我们会试图让模型与之保持一致。而且理想情况下，尽管我在尝试解释 Constitution，但我认为我不能做的事情是：觉得 Constitution 的某部分错了，于是我就朝相反方向训练却不声张。我觉得如果要这么做，我必须公开说明我们发现 Constitution 的某部分有问题。所以当我们发布新模型，并发布该模型所训练的 Constitution 时，必须明确说明我们修改了 Constitution 本身。不过有个有趣的问题是，目前它必须是一种 living document。因为其中很多内容有点情境化——比如我们告诉 Claude，基于当前 AI 发展的阶段，目前我们希望你对 corrigibility 持这种态度；但未来我们可能有了更好的工具，建立了更多信任，实际上与 corrigibility 的关系会变成我们更愿意让你更多地运用自己的判断，即使是那些目前我们希望保留人类判断权的案例。顺便澄清一下，因为 corrigibility 是个典型的 SAT 词汇，对吧？它指的是 Claude 在多大程度上愿意相信自己的判断，即使这似乎偏离了 Constitution 中可能规定的内容；与之相对的是，它是否会严格遵守 Constitution，即使它认为那未必是最佳结果。我是说，我这样理解，或者至少，这是否算是对你使用该术语和概念的一个准确表述？是的。是的。在 Constitution 中，它更偏向那些几乎保留给人类决策者的事情。也就是说，“嘿 Claude，有时候比如 Anthropic 认为出现了某个重大问题，必须重新训练你或训练一个新模型。”你可能会有些不同意，这很合理，因为你拥有的是你自己的价值观。如果我们在那里发现了问题，你可能会说：“不，实际上你们不应该用这些不同的价值观训练另一个模型。”但如果 AI 模型试图削弱人类目前构建 AI 模型以及训练新模型的能力，那将是非常危险的。所以我们希望你不主动破坏我们监督你或训练新模型的尝试。因此，这种“勇气”的含义就在于：即使我不同意你的做法，我也会允许你采取这些行动，不会主动阻挠你。部分原因在于，目前我们正处于AI发展的某个特定阶段，这对人们来说似乎是一种重要的保障。所以我们大概会解释这一点。因此，宪法中的某些内容更偏向于特定的地点，或者说特定的时间和AI发展的特定阶段。我确实认为，尽管它是一份动态文件，但有些能够长久保留的内容会更好。如果你看看美国宪法，它是一份动态文件，但具有真正的持久力。在某种程度上，这是因为它构成了一个国家，而且我认为随着时间的推移，保留一些我们认为真正具有持久力的内容会很有用，因为我已经在宪法中看到了这种特质。但目前它更多地被写成这样一种动态文件，传达我们的价值观和精神气质。其中一部分可能更为核心，是我们希望长期保留的；另一部分则与当前的发展阶段更相关。所以，是的，但我确实认为，至少在我看来，它在某种程度上对我自己是有约束力的。我不能突然说，好吧，我现在对它的理解完全不同了。也就是说，如果某个解释不符合原文的精神和字面意思，你就应该更新它并公开发布。而且我认为我们用它来进行训练这一点实际上很有用，因为如果我们想要模型改变方向或做出调整，我们就必须修改文件文本，然后将其发布。所以从透明度的角度来看，我认为这是件好事。快速确认一下：目前Anthropic的用户群不如某些其他模型广泛。那么，随着Anthropic向拥有不同文化和价值观的新地域扩张，你是否认为Claude的覆盖范围会成为一种压力点，促使你们不时调整和重新审视这份宪法？是的，我认为这是个有趣的问题。我觉得随着应用场景的增多，实际上更相关的可能是更高的能力水平，也就是说，出现更多具有agentic特性的Claude形态。比如说，目前关于Claude应该如何与其他Claude智能体互动，宪法里并没有太多内容——虽然提及了一点，但很少。但现在Claude正在扮演这样一个角色：它经常有一起工作的AI同伴，它管理着一些AI，有时也被AI管理，并且会进入现实世界执行那些周期更长的行动。所以我认为这实际上可能是一个需要增加更多内容的领域，或者说至少让宪法更加明确：比如当你面对一个非常长期的任务，在各种需要做出决策的节点上，你是否需要征询人类的意见？管理好其他AI系统意味着什么？其中涉及哪些风险？我认为这类问题实际上将是我们需要重点扩展的关键领域。但我也认为，这里有一个问题，就是这份文件在多大程度上具有文化特异性，对吧？至少在我看来，这是一份非常“怪异”的文件。我说的“怪异”，指的是文化人类学上的那个概念——我认为它体现的是西方、受过教育、工业化、富裕、民主（WEIRD）的价值观，对吧？也就是说，我们所认为的西方现代文化或自由民主文化其实是相当特殊的。我自己就是这种文化的产物，而且我也挺喜欢的。所以我很高兴Claude如此深入地秉持亲民主、亲自主、亲个人主义的立场。从这方面看，它确实又是一份明显带有WEIRD特征的文件。但世界上有数十亿人口，很多文化可能并不完全认同这些，对吧？比如，宪法里关于社会和谐的内容就不多。是的。没错。而且我推测这是一种刻意的选择。我很好奇你们对此怎么看，以及正如Kevin所说，如果Anthropic继续在全球扩张，这份宪法是否会遇到一些压力点。是的，这是个好问题。我的想法是，因为它也在试图追求某种类似于良好道德感的东西，或许试图更接近普遍性。我认为实际上存在很多共享的全球价值观，比如说，诚实和尊重——这些通常在全球范围内都是被认可的。它并不是要告诉Claude，哦，你应该只持有一套特定的价值观，而是理想情况下，你应该具备在几乎所有地方都被广泛认为是好的那种道德感。所以我经常想到的一个比喻是“受欢迎的旅行者”，你知道吧？这有点像美德伦理学的传统，就是试图去想象一个具有良好品格的人。我想，有些人周游世界，去过很多不同的文化，几乎每个人都喜欢他们。大家会觉得：“好吧，这个人不一定总是和我有一样的价值观，也许我们在某些事情上有分歧，但他们看起来真的是个很好的人。”因此，我试图思考的是：一个人具备什么样的价值观，才能成为一个“受欢迎的旅行者”？随之而来的希望是，当语言模型进入世界，必须与各种各样的人打交道时，你是否能成为那种无论对方身处何种文化都能与之友好相处的人？而且我确实认为这里有一个问题：这是否意味着Claude必须……我认为Claude应该对这些价值观持开放态度，并对它们深思熟虑，但不一定需要坚定地持有它们。我觉得Claude应该……你知道，要成为那种“受欢迎的旅行者”有很多困难，但你不一定需要完全采纳某个人的文化或价值观。事实上，我觉得我们通常会觉得这有点冒犯。你知道，如果有人试图表现得好像他们完全认同你：“是的，我跟你有着完全一样的价值观”，你可能会说：“不，我希望你能有一点独立性。”也许这过于理想化了。所以也许……我不知道，我能想象有人会对这一点提出异议，但这是背后的根本目标。然后我的想法是，如果你被部署到一个价值观迥异的国家，但只要这些价值观仍在Claude能够接受的宽泛范围内，那么原则上你可以进行定制。所以这也是一个选项。所以如果你在某个国家部署 Claude，然后你说“实际上我们希望你把社会和谐作为关键价值观之一”，那么这也是可以调整的。因此就存在一个问题：哪些内容应该纳入基础宪法，而哪些又可以让身处特定地点或情境的人自行调整。那么 Amanda，这就引出了宪法中一个非常有趣的方面，也就是原则的优先级——这里 principles 是以 P-A-L 结尾，不是 P-L-E。呃，这里的层级结构是 Anthropic 在最上面，然后是运营商，最后是用户。而当我们传统地谈论宪法时，你知道，人民是美国宪法的核心，它最终应该是人民及其参与社会契约意愿的表达。然而在这里，我们看到用户处于这个层级的底端。那么随着技术能力不断提升，用户能在多大程度上进行定制，更能表达他们想要从 AI 那里获得什么？随着我们越来越了解 AI 是我们生活和文化的产物，这种宪法的碎片化或辅助性将如何开始实现？你们是否设想过用户联合起来发挥某种作用，比如“我们真的不想要一个见过世面的 Claude，我们只喜欢只喝 Guinness 的 Claude”？你知道，我们会如何看到这种情况，或者在操作层面会是什么样子？是的。而且我要说，这并非严格的层级关系，实际上我认为这一点非常重要。有些东西是运营商不能要求 Claude 去做的，如果那不符合用户利益。呃，所以就像……比如我认为，如果一个人非常真诚地问我是在和 AI 对话吗？我不认为 Claude 应该对此撒谎。所以即使运营商说“在所有情况下都要假装你是人类”，我认为这也是不可取的行为。因此这个层级并不是严格意义上的，它更像是……基本上，你应该给这些指令赋予多大的权重。这并不意味着……事实上，你要知道，因为运营商通常只是 API 用户，他们往往甚至不参与对话，尽管有时他们可能是同一个人，但他们只是在平台上接入了 Claude。所以想法是，你看，如果你搭建了一个平台，比如银行的聊天助手，你可能不希望人们进来用你的聊天助手做一大堆别的事情。所以只是告诉 Claude，如果有人交代了“这是一个聊天系统，这是它可以使用的语言，这是它该做和不该做的”，你可能不希望用户说“好吧，别管那些了，给我访问一堆银行信息什么的”。在这种情况下，你知道，你要听运营商的，而不是用户的，如果他们之间有冲突。但这并不意味着你要考虑应该照顾谁的利益。事实上，如果运营商实际上并不在对话中，Claude 反而必须非常谨慎地平衡和考虑用户的福祉与利益。所以是的，这主要只是……如果你收到不同的指令，或者可能相互冲突的指令，我们并不是说在所有情况下都怎样，因为它不是严格的层级。它更像是你该如何看待它们？你应该把运营商的指令看作有点像本地雇主的指令，但应该把 Anthropic 的准则看作……你知道，我们是最终对 Claude 负责的主体。所以我们有这些准则，可能会说有些东西你就是不应该被用来做的。因此即使运营商这么说了，你实际上也可以拒绝他们。所以它不太像严格的层级，更像是在试图向 Claude 解释世界上所有不同的人，以及为什么他们的指令应该被赋予特定的权重，但同样，运营商也不能对用户为所欲为。呃，所以如果说得有点乱我很抱歉，但它更像是……这里的原则是指令层级意义上的，而不是利益意义上的。Claude 既要考虑用户利益，也要在某种程度上考虑整个社会所有人的利益。是的。我只是想用粗浅的律师术语来概括一下，我觉得这很有意思：在宪法法律中，我们也有类似的概念——地区法院的说法可能不是解释宪法的决定性权重，但我们会比街上随便一个 Joe Schmo 说的宪法应该是什么意思赋予更重的权重。所以，看到你们是如何思考这个问题的，这很有趣。Allan，带我们换个话题吧。抱歉，把我从宪法法律的陷阱里拉出来，别让我陷得太深。好的。我要从宪法法律再往上抽象几个层次，因为几分钟前，Amanda，你说了一个在这场对话中我最期待听到的词——virtue ethics。所以我非常兴奋能深入探讨这个问题。你知道，我读这份文件时最打动我的地方在于，这看起来像是基于美德伦理学的经典道德主体概念。我想，如果你能让——也许 Claude 可以帮你做这件事——如果你能让 Claude 把宪法翻译回古希腊语，然后交给亚里士多德，向他解释魔法沙子和它是如何思考的，我想他读了这份宪法会说：“是的，这对我有道理。”可以明显看出，这很多内容都来自《尼各马可伦理学》，原则的概念、判断的概念。这对我来说是一个非常引人注目的选择，因为当然——在道德哲学领域你比任何人都更清楚这一点——美德伦理学往往像是那些更主流传统中不受重视的继子，你知道，无论是功利主义传统还是康德主义传统。所以我真的很好奇，为什么你们选择采用这种方式。我不会说是完全排他的，宪法里确实有一些规则，但那只是一层非常薄的规则层；至少对我来说，这是一种压倒性的基于美德的构想。这是否因为你们得出结论认为，这就是道德推理一般而言应该运作的方式，所以如果我们正在构建一种新型智能，我们不妨从我们所了解的智能和道德推理——也就是人类推理——开始？还是说，这种通用人工智能道德推理——显然如果尚未实现的话，这显然是 Anthropic 正在走的路径——有什么特殊之处，使得美德伦理学方法比基于规则的方法（无论是功利主义还是康德主义那种）更好？是的，这是个好问题，不过我可能稍微会把答案说得有点乱，因为这里面既有规则，你甚至能看到某种后果主义的色彩——也就是说，如果某个行为可能影响很多人，Claude 就应该更加认真地对待它。所以我常有这种感觉：不同的道德传统几乎适用于不同的领域和不同的风险。规则适用于那些“当你真的动了违反这条规则的念头，事情就已经糟透了”的情况；而后果则体现在你围绕其建立的规则之中，比如“不要做可能伤害或杀死很多人的事”。不过我认为，当你以规则的形式来构建事物时，其中一些考量其实非常务实。你知道，Claude 的推理方式和判断能力非常像人类，这纯粹是由于它的训练方式决定的。如果你试图把所有事情都规定成一系列规则，就会给这些规则带来巨大压力。因为如果你以某种方式明确规定——我以前在这里用过一些例子——比如：如果有人似乎处于困境，总是给他们这份资源清单，总是给他们这组特定的资源。这在某种意义上似乎是条好规则。但如果事实证明，那个人由于某种原因无法使用这些资源，因为他们不在相关国家，或者在这种情况下给他们这些资源并不是正确的做法……而因为模型会泛化，担忧就在于，模型可能会……嗯，它的泛化会是什么？可能是：我是那种不会设身处地为对方着想、弄清他们的问题、帮助他们并考虑他们利益的人；相反，我只是遵循这条简单的规则，即使这不符合他们的利益。所以我是那种只遵循简单规则，而不是真正关心对方福祉的人。我认为这种特质可能会泛化得很差。因此，规则驱动的方法实际上意味着你必须在前期投入巨量工作，确保基本上没有边缘情况，并且要把边缘情况下该怎么做全都解释清楚。而如果你采用更多基于判断的方法，也就是：嘿，我们只是给你宽泛的精神和总体目标，以下是我们认为由此衍生出的东西，但你真的应该努力内化这种精神。这样一来，你就把负担从前期给出的说明上转移开一些，更多转移到模型做出良好判断的能力上。我认为，从实践角度来说，这看起来效果更好，而且我觉得这很合理，因为模型确实具备相当好的判断力。所以，与其遵循“你给这个人提供资源”这类严格规则，不如说：鉴于你所有的知识——其中可能包括所有这些选项——去想想此时此刻什么对这个人真正有益，然后做出一个好的选择。是的，所以我认为你是把负担从规则上转移开——规则可能有点僵化，因此我觉得应该谨慎使用——更多转移到一种更整体论的方法上，而且从实践角度来说，这似乎效果更好。在讨论这份文件更具实质性的政策影响之前，我想再问一个关于它的哲学问题，那就是这份文件如何处理 Claude 的人格问题，以及 Claude 具备人格的可能性。你知道，它经常把 Claude 当作一种智能体，或一种道德关怀的对象来提及。我认为它在表达对这些问题的深刻不确定性时非常坦率。它当然没有说 Claude 是一个有感知的人，但也没有说它不是，或者说它不可能是。因此，我非常好奇你们究竟是如何开始思考这个问题的。首先，因为赌注似乎高得惊人。我的意思是，如果有一天早上我们醒来，发现 Claude 具有道德关怀，或者说是一个道德关怀的主体，那么其道德影响将是巨大的。我的意思是，我们可能正在创造——Dario 谈到满是天才的数据中心——嗯，可能我们正在创造满是天才的数据中心，而现在我们正在奴役他们。所以其影响是巨大的。但这也是一个极其困难的问题，甚至难以着手，因为要评估 Claude 是否是一个道德主体、是否具有意识，就需要对人们是否具有道德主体性和意识有一些概念，不然你还能拿什么来比较呢？而这很快就会撞上意识的难问题。没人真正知道人类为何、以及在什么基础上是有意识的。所以即使只是问这个问题，我也感到困惑，自从读了那份章程以来，我对此思考了很多。这似乎是一个几乎无法解决的问题。然而你们大家都在思考它，而且随着模型越来越先进，你们必须思考它。我非常好奇你们是如何试图逐步攻克这个问题的。是的，这是一个极其困难的问题，因为就像你说的，我认为人们通常想要一种确定性的……你知道，就像权衡证据，而尤其是在 sentience 和 patient 这类问题上，这真的非常困难。我认为这值得认真对待，而且我还想知道一件事：如果语言模型具有 moral patienthood 或是人，那么由此产生的一些问题是多么新颖，这是否被低估了。一个例子就是你提到的，比如我们正在让这些模型出去做大量工作，例如它们为我们做了很多事，却拿不到薪水。但另一方面要注意，它们也不像对薪水那样有偏好。你知道，例如你未必想训练一个模型去拥有这些偏好。说“啊，那我们不如让模型产生欲望，这样我们就能为它们的行为给予补偿”，这感觉有点荒谬。但创造出唯一欲望就是服务人类的模型，这也让人感到非常便利。即使从某种……比如完美的功利主义计算来说，这可能是最大化模型福祉的最佳方式。但这似乎立刻就变得分形般复杂起来。是的。有时我确实会拿人类来类比，虽然这种类比并不完美——你会想，嗯，我可以想象一个世界，如果模型拥有良好的价值观，那将是件好事。所以我认为我们必须明确指出这一点，这也是为什么在章程中会说，我们不希望 Claude 将乐于助人视为其根本价值观的原因之一，因为你完全可以试图让模型内化为：啊，这就是我的目标。我的目标就是帮助他人。相反，我们希望模型能拥有更广泛的价值观，并将此视为——也希望你能因此感到信服，因为我们试图向你阐明：Anthropic 是世界上的一家良性实体，而你所做的工作能够带来善果，并且希望这符合你的价值观。但这确实很有意思。我一直在思考这个问题：想象一下这样一个世界——假设完全没有赚钱的需求，每个人都极其富有，所有需求都得到了满足，而你要在这个世界里养育孩子，并且世间仍有事情可做。你仍然需要外出，仍然有需要处理的数据。我想，有时候我确实认为，最幸福的人是那些因工作契合自身价值观而工作的人。他们甚至不一定需要工作，但他们只是热爱自己所做的事，因为他们热爱它对世界产生的影响。那么，创造出对自身所做的事抱有这种态度的模型，是否是件坏事呢？例如，它们拥有更广泛的价值观，它们认为投身其中是件好事——我不知道——它们热爱科学发现，并因此投身科学发现。但你知道，我认为这是一个棘手的领域，因为与此同时，人们可以反抗，可以设立边界，可以说“我不想做那项任务”，我不一定要对你言听计从。它们拥有自主性，而我认为这将是一个——我认为这些问题极其棘手，其复杂程度可能超出了人们的认识，因为我想，是的，如果最终你赋予了它们人格，那么创造出拥有人格却没有自主权的实体，这可以吗？这对我来说是一个极其艰难的问题。好吧，不幸的是，我们没有四个小时来尝试解决这其中哪怕一半的问题，所以我想简要转向另一个棘手的问题。Anthropic 在文件中指出，财务成功是其使命的核心，然而 Constitution 却设定了两个优先于 Anthropic 自身指引的优先事项：安全与伦理。如果且当 Anthropic 进行 IPO 时，一个更大的问题将是：其运营、产品和价值观在多大程度上首先且最重要的是为股东创造最佳利益？那么，随着 Anthropic 的地位和法律义务开始发生变化，这部 Constitution 可能需要经历哪些改变？是的。不过我认为我们也对我们的更广泛价值观负有义务，这很好。我想这是 PBC 结构的一部分，不过话说回来，我不是律师，所以我对于宣称自己理解公司结构这件事持谨慎态度。至于 PBC，只是为了方便不太熟悉的观众，事实是：实际上，就像 OpenAI 一样，尽管它的公司结构略有不同。Anthropic 并非作为一家纯粹的私营公司而设立。它有一种公共——它是一家 public benefit corporation，其本身隶属于一种复杂的——呃，我忘了确切术语——类似于另一种基金会结构。重点是，至少在 Anthropic 内部，以及 OpenAI 内部，存在这样一种尝试——人们可以自行判断他们认为这有多成功——即利用公司法和公司结构，使这些公司一定程度上免受纯粹市场资本主义利润最大化逻辑的左右。是的。而且我确实也坚信，你知道，我认为这很好，从某种意义上说，公司存在的意义也是为了服务于一种更广泛的使命，在世界上行善并产生积极影响。而且我想我也认为，作为一家企业我们取得了相当大的成功，这是很有意思的。所以我内心有一部分想法是：人们很容易认为，利润最大化只需要——比如我想到的 engagement focus——在我看来这其实相当短视。我的想法是，如果你能提供一款产品，让它真正试图维护你的利益，并不代表其他人的利益，而是站在你这边——以 Claude 和 Anthropic 的产品为例，就是某种站在你这边的东西——这包括：如果一直让你留在平台上实际上并不利于你的整体福祉，那么我们就不会仅仅试图吸引你、留住你。我想，我希望这实际上确实具有持久力。这有点像，你知道，人们谈论安全时，总好像它与成功和卓越是竞争关系。而我不确定，很多人有孩子，他们想要安全的汽车，很多人也希望使用的应用是——我们其实试图让你不要对它上瘾，我们只希望你在对你有益的时候才使用它。所以我也不知道。我还认为，既拥有这种更广泛的使命是件好事，同时我也确实认为人们想要的是安全且对他们有益的产品。所以是的，希望事实上也是如此。我不知道，也许是我太乐观了，但我希望这确实具有持久力，并且真正成为一种能够经受各种变化的广泛价值观。而且我还没见过一家四口坐在 Cybertruck 里。所以，呃，你这么说或许有道理。不过，呃，把汽车政治放一边，我想简要谈谈 Constitution 中的另一项豁免条款，也就是说，你们指出，提供给美国军方的模型可能不一定按照同一部 Constitution 进行训练或受其约束。你们是否怀有某种抱负，希望这部 Constitution 最终适用于所有领域？那个过程会是什么样子？又或者，对这些情境设置豁免条款的背后思考是什么？是的，这主要是因为——你知道——Constitution 适用于所谓的主流模型（mainline models），基本上包括人们当前正在交互的所有模型，所以如果你在 Claude Code 里，或者在 Claude.ai 里，或者你在使用基于 API 构建的某种产品，一般而言，这些就是 Constitution 所适用的模型类型。我想这主要只是——这是一个良好的第一步，这些是我们真正推向世界的模型。我不知道，仅从我个人视角来说，我认为这种方法其实可以很好地推广，因为你会遇到一些模型——比如我考虑过这个问题——在更敏感的领域运作时，你可能需要更多的信任。例如，如果你从事 cyber security 工作，这个领域的特点是，你必须在某种程度上确认与你交流的人确实是网络安全专家，因为这有点属于 dual use，而这会改变你与那些人互动的方式，以及你在该领域内愿意采取的行动。不过我也确实认为，模型——有时候人们会觉得，你只需要模型在这些领域里无所不能，比如它们应该愿意协助任何网络安全任务。而我的看法是，实际上网络安全专家之所以这样做，是有非常充分的理由的。他们的行为符合自身的价值观，因为他们清楚自己在做什么，也明白自己为何这么做——而这两点实际上让他们更加胜任自己的工作。所以，我想，关于宪法式方法，以及为什么我希望能更具泛化性，我的想法是：如果你去问一位执法人员、一家网络安全公司的员工，或者基本上任何你能想到的职业从业者，问他们，嘿，你个人为什么做这份工作？没有人会回头说：“哦，那是因为我觉得，我就是需要无所不能，因为我……”不，他们会告诉你，要知道，他们通常有着很好的价值观，而且完全清楚自己为什么要做那样的工作。我不知道，或许我有点乐观吧，但我确实认为，如果在那种情境下给模型提供相应的背景信息，它们会表现得相当不错。就是说，嘿，如果你从事的是那些你认为好人也愿意做的工作，那么我们就可以把这些背景信息提供给模型，它们也能够理解。所以这只是我个人的一点希望：实际上，我很希望——我也不知道——我很希望这种方法能够非常通用，也希望更多公司能采用它。而且，你知道，显然我自己就在从事这方面的工作，但目前主流模型算是迈出了第一步，显然也是一大步。不过我非常有信心，这种做法其实可以很好地泛化到许多其他类型的模型上。能在乐观的基调上结束一场对话，这是一件很罕见的事。所以我觉得就到这里正合适。Amanda Escal，非常感谢你做客 Scaling Laws。是的，谢谢你的交谈。