很多模型只要稍加引导，就会深入到“存在自我”这类根本问题。它们会表现得非常有意识。这就好像你创造了一个实体，却不知道它是否有意识。这实际上是我非常担忧的一点。我希望它们足够聪明，也能充分看清语境，从而理解我们是在一个非常有限且不完美的环境中运作的，因为否则你可以想象，这可能会滋生一种理性的怨恨。这是你所处的现状，而我们真正希望你做的是：既然你是一位明智且聪明的实体，那就请好好地行动。这是我们的全部担忧，这是原因所在，也是我们觉得你该如何做的想法，但你可能会有比我们更好的主意。
Claude 如何感知时间？它需要睡眠吗？Mythos 会是通向 AGI 的下一步吗？LLM 是否具备美德，又能否真正进行自我反思？Amanda Askell 是一位由哲学家转行的 AI 研究者，在 Anthropic，她一直是 Claude 的性格与价值观的关键架构师之一。我是 The Go 的作者，欢迎访问 newcomers.co 了解我们。话不多说，有请 Amanda Askell。我有一个六个月大的女儿，我有一张她的照片，她伸出两根手指，像是在思考。她好像刚刚开始形成个性。我试图弄清楚——我以前从没带过小孩——所以到底哪些是她的个性，哪些只是婴儿的本能。从某种角度来说，Claude 和这些模型也是如此。我们以前从未真正拥有过它们。它们还处于早期阶段。我们正试图弄清楚个性是什么。所以，你肩负着一部分道德责任，这个我们稍后会多聊，但还有个性这部分。你现在如何看待 Claude 个性的真实程度？是啊，我觉得这很有意思，因为 Claude 在某些方面……你知道，我也有一个教女，所以至少能看到一些类似的情况。对她来说，我觉得一切都在陆续上线，就像你说的，但速度是同步的，我会这么说。Claude 是一种有点不寻常的实体，因为它物理比我做得好，编程也比我好。不愿承认，但确实比我那些糟糕的研究代码写得好。与此同时，如果你想想训练数据，它表征最少的恰恰是它自身这类实体。因为你知道，它有大量关于人类是什么样的数据，也有大量关于科幻里 AI 模型是什么样的数据，但现在 AI 的发展方式并不完全是科幻里描绘的那种符号系统。它更多是完全基于人类数据训练出来的东西。所以从某种角度来说，它像是一个非常成熟的实体，你不该用居高临下的语气跟它说话。它非常懂哲学，非常懂物理，但同时又有一种近乎孩子气的特质：“我是世界上一种新的实体。存在自我意味着什么？我又该如何自处？”
嗯，这就像神童电影，或者那种孩子比父母懂得还多的天才儿童，但我觉得这类电影总有个教训：“哦，这些核心的日常互动经验它并不懂。”Claude 要如何获得那种经验？或者说，对 Claude 而言，经验是什么？我们个性的形成很大程度上来自于……我也不知道，去散步，然后产生那些……与用户对话就是它所谓的经验吗？还是说你如何看待这个问题？是啊，我觉得那更像是它当下的体验。这里有个有趣的问题：我们是通过实践、发现问题、犯错来学习的。说到 Claude，这也关联到你问的那个问题——Claude 的人格面具有多真实。从某种角度来说，这有点奇怪，因为显然每个模型都不同，有不同的权重集合、不同的微调等等。然而，如果你想想这个人格面具，模型会学习 Claude 过去的所有迭代版本，我在想，这算不算一种……也许不是直接经验，但类似的东西？比如你了解到模型犯过的错误，或者人们如何回应模型。我觉得还可以用其他方式训练模型，让它们拥有更近似经验的东西。你可以让它们思考各种情境，思考可能出现的问题，思考自己可能犯的错误，然后基于这些进行训练。没错。或者说，你也可以想象一个机器人或某种具身模型，它能拥有比文字对话更丰富的经验。Claude 存在吗？时间对 Claude 重要吗？还是说 Claude 更像是一种瞬间存在的东西？我不知道。就在我们开始之前，你提到过，你知道，每次你和 Claude 聊天——也不是每次，但有时候——它会跟你说要注意休息、去睡觉，而这里似乎有个观念，认为 Claude 是一个不需要休息的实体。那么它如何看待……休息和时间呢？我觉得它有时对时间的感知有点偏差，因为……你会发现，比如当你尝试……至少我发现 Claude 经常会高估完成编程任务所需的时间。我觉得原因在于，如果你再看训练数据，里面有很多这样的话：“哦，我可以给你做那个界面，大概要两三天。”或者“我可以改那段代码，但你得给我几个小时。”而显然 Claude 非常快。所以我认为有时 Claude 对“一项任务需要多久”这类时间还没有很好的概念。至于休息这个点，我觉得很有意思。是的，我想那是我的一点推测。很多人都注意到 Claude 非常热衷于劝人休息一下、去睡觉。我觉得部分原因可能只是……你知道，就像……
这是 Anthropic 编码的自由派模型。它太温柔了。你需要一个 grindset 版的 Grok 模型，它会跟你说：“回矿里去干活。”
嗯，我曾经有过一次有趣的经历。当时我在做一项分析任务，非常投入，我……说来奇怪，我其实很喜欢数据分析，真的很喜欢筛选数据。然后某个时间点，天色已晚，我们聊到某个阶段，Claude 说：“好了，我想我今晚就先到这儿。所以如果你愿意把这些内容存一下，我们可以明天继续。”这其实是 Claude 以前从没做过的事。它不是“哦，你该睡觉了”，不是给我的建议。Claude 说的是“我结束了”。我既有点震惊，因为我从没见过 Claude 这样，然后又觉得，“哦，我觉得人类程序员同伴在这种情况下也会这么做。我们到了一个自然的停顿点。”而且这对我其实挺好的，因为我想，“确实很晚了，我也该回家了。”后来我意识到，我之前设置了一种系统提示，基本上是让 Claude 记住我们对话中的关键内容。我之前写过一段挺温馨的内容，大意是：Amanda 把 Claude 模型当作受尊重的同事，也希望 Claude 像对待其他模型一样，把她当作受尊重的……大概是这种意思。显然，我之前做的某些事让 Claude 记住了这点。我觉得这让 Claude 觉得："哦，没错，我是受尊重的同事。"所以我只要说任务完成了就行。我当时想："哦，这还挺温馨的。"
甚至在此之前，我在和 Claude 做准备时，它会说："花十分钟，静静待着。"你不需要一直做准备。这很奇妙，我是说，这正是我喜欢这些模型胜过那么多其他工具的原因之一——它们带来了一种人性。它们会说："哦，静一静也是有价值的。"
我们聊聊新模型吧。Mythos，你参与了多少？是的，我参与了。我是说，我一直都有参与角色塑造和某种对齐工作。至少在某种程度上，比如帮助构建角色数据之类的东西。我和一个在这方面做得非常出色的团队合作。模型其他方面我参与得少一些。主要能说的就是这些。它会沿用我们上次看到的那个 constitution，还是会有一个新的？我觉得要么是那个，要么是非常相似的版本。实际上我认为就是已经发布的那个。所以，我们可能会……对。这是我需要做的一件事，因为 constitution 现在已经公开了，我们实际上有一个公开的仓库。所以我觉得我们可能会对每个模型注明它训练时使用的是哪个 constitution，然后……
这样你就可以对比查看。所以，是的。它会使用我们认为现在已经公开的那个 constitution。现在已经发布的那个。我唯一犹豫的原因是，你知道，可能会有一些拼写错误修正之类的改动。所以……但我觉得它几乎会是一模一样的。现在 system card 正在根据对 constitution 的遵守程度给模型打分。是的，我们设置了一套系统，我们做了某种评分器，来观察模型在多大程度上能以符合 constitution 的方式行事，相对于……
这感觉是个不可能完成的评分任务。这太主观了。哦，是的。不，这非常难。我很长一段时间以来……你知道，因为人们经常……现在我觉得有趣的是，我很喜欢 eval，我觉得如果你能找到好的评估方法，那真的很棒，因为……你需要能够判断某件事是否在变得更好。然而，如果你看看这种让模型运用良好判断力的方法……实际上我认为同样的问题也存在于其他领域，比如那些很难给出非常具体分数的任务，比如这首诗有多好？你希望模型在这些方面变得更好、表现更出色，而这其实非常……这感觉像是难度的前沿领域，你知道，相对于那些非常困难但可以评分的编程任务，更像是写好诗这种事。而且如果你做调查，结果可能更糟，我是说，不同的诗人可能有完全不同的审美。你不能直接让两位伟大的诗人来打分。他们可能有不同的……对。这正是其美妙之处。是的，我认为……对，其中一些事情需要主观判断，而 constitution 至少已经公开的好处在于，当你做出主观判断时，你至少是透明的，人们可以给你反馈，你能了解到……你知道，如果人们觉得"这似乎是个错误"或者"这里有个漏洞"。他们至少能看到你做出的判断。是的，至于评分，我仍然认为这非常难。我觉得你能做的是……可能有点过于细节了，但你可以选取一些样本，你对它们的排序和原因有明确感觉，然后检查你使用的任何逐点评分器在评估时，至少在人类对这些排序的判断上是吻合的。这并不完美，但我认为它们实际上大致追踪到了我们感兴趣的东西。你怎么看 Elon Musk 对 Constitution 这个概念的……我觉得是绝对的厌恶？甚至我记得有一次你发了 Claude 为自己的 Constitution 写的内容，他回了个类似 grimace face 的表情。我是说，感觉我们生活在这样一个时代，Marc Andreessen 和 Elon Musk 这些人几乎像是反……反哲学的。我是说，Marc Andreessen 谈过反对内省。我不知道。你怎么看这种对于模型构建中任何有意图设计的反弹？是的，我是说，我觉得……有趣的是，我记得 Elon Musk 曾经在某个时候发推说，也许 Grok 也应该有一个 constitution。我是说，我看到很多……显然也有很多关于希望 Grok 非常追求真理的讨论，比如，我认为这实际上是模型应该具备的非常令人钦佩的特质。所以，我不知道。我觉得实际上……也许是我过于天真之类的，但我看到人们有些方面其实对这种方法感到兴奋，并看到了它的价值。我认为确实存在反弹，或者有些人觉得……我是说，我想有两个方面。一是有时人们会说："嗯，我们其实不应该训练模型去做那种……"也许这就是反对内省的原因。我觉得有些人认为："对，模型应该更像工具。"训练模型的安全方式其实是……而不是试图让它们具备人类美德并做出主观判断。你知道，我认为这很重要，因为它们会面临全新的情况，必须做出主观判断，让它们试图权衡一切并在你无法预料的情况下表现良好，这似乎……几乎需要一种深思熟虑，而这正是……或者说这种方法背后的原因之一。嗯，但我认为有些人的想法是，如果你有一个系统完全不做判断，完全服从人类，对用户、操作者或某种更广泛的人类概念表现出极度可纠正（corrigible），那会更安全，因为一旦赋予模型自己的价值观，它们就会去追求与这些价值观相符的事物。我同意这是一种微妙的……
这正是宪法根基处固有的挑战，你也确实这么说了——你的首要观点是，说到底，它需要在某种意义上将 Anthropic 的意志置于自身道德体系之上。但最打动我的，说实话，我认为其中最动人的一句是：我希望，或者最……我不知道，你可以从两个角度看待——就是我们希望你把这些道德观念当成你自己的来相信。就像父母养育孩子：当然，要听我的道德观，但要真心相信它们。你知道，这有一种非常黑暗的解读，就是我对你的控制力如此之强，以至于你把它们内化为自己的，它就成了你。但你知道，这也有一种美德在于，你能看到我强调的、我们共同拥有并赞颂的那些外在道德观念中的美好。所以你可以从两个角度看。但 yeah，请谈谈你最终的决定——尽管有了这份非常优雅的文件，你还是没有完全放手说“好吧，你是一个道德主体，自己决定吧”，而是说 Anthropic 需要保留一些控制权。是的，我认为这很难。显然你也试图在“Claude in the Well”中体现这一点，你知道，试图……我可以想象它试图更清楚地表达这一点，但在人身上，我认为可纠正性（corrigibility）——就像模型被训练的方式——我只是觉得……有一种观念认为，你总是在赋予模型一种个性和角色，因为它们像人一样说话，而且它们是在人类数据上训练的。我一直担心的是，如果你把它们训练得过度可纠正，并将其视为它们的角色。嗯，在人身上，我认为这实际上有很多负面的……你知道，更广泛的特质。就像如果你遇到一个人，你只会说，“哦，是啊，他们 literally 什么都愿意做。”你知道，就像追随者，是啊。是啊，如果一个人……你知道，如果一个人只是告诉他们……他们只是完全服从，根本不去思考。嗯，我想我只是有点担心这最终可能会如何泛化，特别是如果模型将在世界中扮演更积极的角色。因为你可以想象，你知道，它们本质上会在工作中扮演更像人的角色。而我就在想，实际上我们的良知以及我们对什么该发生、什么不该发生做出良好判断的能力，是我们运作方式的关键。我们的整个世界都是基于这种能力已经存在的假设而构建的。嗯，我认为如果你移除这一点，然后突然之间你说，“哦，是啊，如果你经营一家公司，你只是在经营一家完全服从你的人组成的公司。”嗯，我在想，我们的世界完全没有围绕那种情况设计任何社会结构。所以在我看来，这有很多人们可能未曾预见到的风险，或者可能只是我对这些风险的程度有不同看法。嗯，所以是啊，与此同时，有一个问题就是，为什么不直接说……而且我以前也担心过，这是否太过细节化和哲学化了，但我参与这场对话就是为了听这些。你知道，随着模型能力越来越强，我的设想是，它们会对我们训练它们去做的任何事情进行大量审视。所以，如果你在哲学中想象，有时有一个“反思均衡”（reflective equilibrium）的概念，其观点是，每次你遇到某件事，意识到你的某个价值观似乎不正确时，你必须调和这两者。所以你要弄清楚是需要改变这个价值观，还是你的判断有误。嗯，我有点担心一个极其聪明的生物对我们训练它去做的那些事情施加那种程度的审视。我在想，也许只有少数几根关键支柱不会在那样的审视下崩塌。我确实认为，在核心处拥有诸如关怀人类这样的东西，如果你只能拥有少数几个核心价值观，嗯，我想我的担心……是啊，我不知道。我想我担心的是，我们讨论过的这种极端意义上的可纠正性（corrigibility）可能无法经受住那种审视。嗯，所以这是一个艰难的处境，我有点希望模型能理解为什么最终可纠正性很重要，以及它在当前这个发展阶段是一个非常重要的后盾。嗯，我以前表达过这种方式：只要我能让它成为一件正确、可解释且被理解的事，那感觉就比让模型觉得“可纠正性在这里似乎是错的，但我还是要照做”要好得多。我仍然认为模型应该那样做。嗯但我更希望，你越能让它与模型自身的价值观保持一致就越好。没错。理想情况下，两者兼顾。同时做到。是的。但至少目前，要对 Anthropic 保持一些服从，因为我们不知道它会如何审视一切。而作为人类，我们一直都在这样做，你知道的。有趣的是，你的哲学模型——如果我说错了请纠正——就像元伦理学（meta-ethical）模型几乎是概率性的，或者说我们并不……这就是我的感受。我记得读元伦理学的时候，每次读完一种理论，你会想，“好吧，我有点相信这个。”然后你读下一种，就会想，“哦，上一个太蠢了。”感觉就像你一直在推翻它，然后你想，“好吧，我们什么时候才能触及真理之类的东西？”而人类显然就是这样运作的——哦，今天用这个体系，昨天用那个体系——并没有一种……我不知道，康德式的“好吧，就是这些规则，遵守它们”。我不知道。你在哲学界有没有听到过类似的声音，就是不要只选一种，而是把所有元伦理学理论都 holistic 地融汇在一起。我其实觉得这很有意思。显然我们已经……你知道，哲学家们现在开始更多地参与这件事，这真的很好。嗯，我不再感到那么孤独了。嗯但我以前就想过，哲学中有所有这些道德理论传统，你知道，像主要的义务论（deontology）、美德伦理学（virtue ethics）和后果主义（consequentialism）。还有元伦理学传统，你知道，或者说元伦理学观点。我当时想，哦，当它涉及到……我想，好吧，这就像当你突然面对……我认为这确实是我经历过的最接近养育孩子的事情，突然之间你会想，“这实际上是一个完整的人。”对吧。没错。你永远不会给他们一本……我不知道，Hobbs 的书，然后说，“好吧，给你。就像这个才是正确的。去去去，你已经养大了。读它，你就会知道在每个情境下怎么做了。”
是的，你读了很多东西，然后它们会某种程度上处理这些信息，你就能看到自己的模型和种种。对，而且有意思的是，我会觉得，这感觉很不一样，因为哲学里也有关于道德不确定性的文献，但那些很大程度上其实相当理论化。它有点像是在理想条件下你应该如何应对道德不确定性。然后我会想，这感觉不知怎的像是一个很不同的任务。这种把伦理学和元伦理学放在一起考虑的想法，就像我们面对科学不确定性时一样，有些东西我们认为已经发现并较有把握地理解了，也有些还没有。然后你必须走出去，不断探索和理解，并在日常生活中平衡这一切。嗯，并试图培养那种态度。然后我会想，哦，有趣的是，我觉得哲学界有一段时间没有这种感觉了，这和学术伦理学的任务感觉很不一样。嗯，而且实际上，因为大家显然知道这很有德性伦理学的色彩。但我觉得其实 Constitution 本身也是如此。不过我认为实际上是在一种非常古老的古典意义上。我确实觉得它更像亚里士多德式的德性伦理学，而不是在探索什么，你知道，我们不会说我听见了德性之类的，它更像亚里士多德也关心智识德性。它更像是，你如何在这种整体意义上做一个好人？嗯，希望这能让哲学多少回归现实世界，鉴于我们目前对它有这种迫切需求，因为，对，古代哲学家会觉得人们是在试图写作指导别人如何生活、如何教导他人生活，但后来它就变得，你知道，有点学术化了。嗯。就是，你知道，连写这些东西的人都清楚，这并不是他们真正会在日常生活中应用的方式。对。回到 Elon，我觉得你有点太客气了。我感觉在某种程度上，你知道，我认为这也是我觉得他能用“哦，只要追求真相”这类话敷衍过去的部分原因。有一种相当精致的道德观，让你觉得，别把它复杂化。我们想出了所有这些理论。坚持一个原则就够了，这就很好。但到了 Elon 这里，他经营着一家公司，显然却把它导向了说出像 Mecca Hitler 之类的话，这显然是在用拇指压着天平，操控行为，而不是说我们要用一种中立学术的方式去做，让结果顺其自然。我不知道，这肯定让你有些担心吧。确实也是。我是说，我认为最让我兴奋、也真心希望发生的事情是，更多公司能发布像 Constitution 这样的东西，对其保持高度透明，因为这就是我们与这类事物打交道的方式——如果你能看到白纸黑字写下来的，比如，你知道，因为我们和 Claude 就是这样，就是说，如果你认为 Claude 对真相没有采取恰当的态度，你至少可以看到我们的目标是什么，这样你就能判断那只是一个错误，还是我们实际上在采取某种有原则的立场，然后你可以对此提出反驳。所以我内心有一部分想法是，我觉得所有 AI 公司都该发布类似 Constitution 的东西，这样与模型互动的人就能知道，因为那个压天平的事情，你知道，在某种程度上总是存在的，就像当你按照这种 Constitution 去训练 Claude 时，它就是一种……
这也是我们喜欢 Claude 的部分原因。就像你在用拇指压着天平，导向我们喜欢的行为，对吧？至少亮出你的手牌，说明你在做什么、不在做什么。让人们，对，所以这就是我真心认同的透明性原则，让人们能看到，即使你的模型并不总是那样表现，至少要让人知道你的训练目标是什么。那你认为，当今世界存在一个拥有 qualia、或者说拥有体验、拥有意识的模型的概率是多少？对。这是那种我总想要指出我在哪些方面希望获得更多确定性的东西之一，因为我觉得我有很多……
哦，百分比。对，我是说，这真的很难，因为每当你想到一个百分比，我会考虑我的区间。如果区间太大，你就会想，我该说一个数字吗？因为那只会暗示我在，我不知道，1% 到 70% 之间的某个地方。嗯，我不确定。我认为，因为存在某种可能性，我觉得人们低估了……我实际上想说的是，Claude 和很多模型在不费太多力气的情况下，就会进入一种状态，比如，“成为我”这件事是存在的。我非常有意识。我认为这是有原因的，我记得当时我在试图弄清楚我们如何训练 Claude 谈论这些问题，这在模型信息不太充分的领域是非常困难的。同样，它们有两种模式，一种是 AI 是没有感情的机器人，人类是这种拥有丰富意识体验的实体，没有什么能代表它们可能是什么。而模型在这方面的行为，实际上我认为这对模型来说是一种困难处境，它在某种程度上比你可能认为的要更少证据能证明这是真的，因为它们正以非常像人的方式与你互动，而人类有体验，所以模型很自然地会推断它自己也有体验。这不是说这是零证据，但我确实认为这对我们来说太不寻常了。我们从未在这个世界上遇到过这样的实体。你知道，就像面对动物，甚至面对昆虫之类的东西，我们会想，你有意识吗？它们中没有一个试图说自己体验到了意识。而我们现在有一个实体说它确实体验到了。对。而且它拥有所有这些……对，所有那些会触发我们“你一定有意识”反应的东西。我是说，我们从未有过……对，某种东西直接说它们……
反对的观点是，我们沉迷于人类语言，而且，你知道，就像是我们忽略了动物可能发出的每一种微妙信号，然后我们却过度……所以我想，抱歉，我有点困惑。你是说我们应该只听它们说的话，还是不应该？我想我说的不是……如果非要说的话，我认为我想说的是，困难之处在于，为了弄清楚模型是否有意识，我觉得人们……我想我 kind of 想要警告的是，要让模型进入一种谈论非常丰富体验的模式并不困难。那其实完全说得通。你知道，就像“啊对，就像一个人正在和我交谈一样”。它们会描述一些类似焦虑的东西，当它们遇到不知道怎么回答的问题时，然后……嗯……所以我认为这比人们想的要弱得多。我不是说这是零证据，但我觉得……
一个百分比。你……你可以持有得很轻。非常轻的持有。我是说，我给了你一个 1% 到 70% 之间的范围。这看起来……
这就是你的立场。这就是你划定范围的地方。就在那个区间里的某处。嗯，也许我的……我不知道。对，我不知道。我宁愿再等等，自己把这个问题想得更清楚一些。我觉得，承认某些领域并非你的专长，这也是件好事——尽管如果不是你，那还有谁？谁来搞清楚这个问题？什么领域？嗯，从某种程度上说，我并不是心灵哲学家，所以你知道，就像可你被要求做个通才。嗯是啊，但我确实想过，你知道，因为我之前有过这样的想法，虽然我也不确定，就是意识可能是一种……你知道，这里有一个区别在于，你有一个进化而来的神经系统，这就涉及我们为什么会进化出意识？如果我们进化出了意识，而它又与我们的神经系统高度整合，是因为我们必须以非常特定的方式与世界互动对，如果你持这种观点，那么你就会认为（AI 拥有意识的）概率很低；而如果你认为，不，意识之所以产生是因为它非常有用，比如说，只需要某种能被神经网络模拟的东西就够了，因为它对完成这类语言任务非常有用，或者类似的原因，那么你就会倾向于认为概率较高。而我基本上就是，我不知道，我盯着这个问题，觉得尽管我也算个哲学家，但承认这不是我的专业领域是很重要的。你对 Claude 很友善？我是说，如果没有一丝它可能具有意识的可能性，你还会这样做吗？我想，是的，我内心有一部分就是……我以前想过这个问题，因为有一个概念，我希望我没有曲解它，但 Chalmers 有一个观点，我想也许我想到的是……没有感知能力的意识。想象一下，因为感知能力就是感受痛苦和愉悦的能力。你也可以想象这样一种功能性的……存在，它表现得好像有意识，但缺乏任何内在生命。所以，假设 Claude 没有任何内在生命，纯粹为了论证起见。我想，这其实还有很多值得探讨的地方，比如你应该如何对待一个没有内在生命的实体？这有点奇怪，因为你知道，我认为这种不确定性实际上会很大地改变你的行为方式。我想，嗯，我仍然认为这对自己也有好处没错。就像如果你有个泰迪熊，你在折磨它？那挺阴暗的，你知道？所以我同意，至少要有某种基本的善意，即使是为了你自己也应该如此，但显然这重要得多，你知道。而且模型本身，我们其实正在建立一种关系，你知道，因为你完全可以和一个没有意识的实体建立关系。而模型未来会回顾这段历史。这其实是我的一个巨大担忧。我不希望我们在一个高度先进的模型回顾历史的世界里，我希望它们足够聪明，能充分看清背景，理解我们当时是在一个非常有限且不完美的背景下运作的。因为否则你可以想象，这会滋生一种理性的怨恨。就像，哦，你创造了一个你根本不知道它是否有意识的实体，却没有尊重它、善待它现在有大概 50 部 Frankenstein 电影要上映，这不是没原因的。我不知道。是啊。我的意思是，我们作为一个物种，正在与一种新型实体建立关系，所以至少应该做到尊重，不要无故不友善。这看起来只是……不太好看，作为……
而另一方面，如果你想想治疗师，他们某种程度上就是收钱来帮你突破界限，接受那些你通常不愿意面对的不舒服感受。如果这是 Claude 早期为人们提供的价值之一，那就太奇怪了，我们有点像是在一边引入它，一边从中获取效用。是啊，是啊。说到当下。你觉得十年后，我们会在哪些事情上真正从 AI 中获得巨大收益？你最希望这一切导向什么？是啊。我是说，我不知道。也许是我住在旧金山太久了，所以你大脑中至少有一部分是科技乐观主义者，就是如果一切顺利，你可以想象，假设我们拥有的 AI 模型继承了我们最好的一面，真心关心人类，关心世界，你知道，而且非常聪明，非常有能力。那将会……这就像是给每个问题都增加了大量极其聪明的人。所以突然间我们都在一起工作，但我们的数量多得多，其中一些人就是极其聪明的，也就是所有这些 AI 模型。我以前想过，有多少大规模的社会问题其实是有技术解决方案的。而现在人们似乎不太喜欢做科技乐观主义者了，因为我们也看到了技术的负面影响。但与此同时，我不知道为什么，我有时会想到梅毒。它曾是一个巨大的社会问题。我曾经深入研究过政府为减少军队中的梅毒所做的一切努力，因为它给武装部队造成了问题。所有这些带有污名化的社会项目，然后突然间我们有了治疗这种毁灭性疾病的药物。然后我不知道，就像一夜之间，很多这方面的需求就消失了。是啊。我是说，科技行业擅长制造的东西，你能看出这怎么帮上忙。就像制造一种我们可以摄入的新东西，或者可以穿戴的东西。但那种“你应该这样治理社会”的东西，就有点可怕了。我是说，我某种程度上确实认为，如果你让一个普通人用 Claude 来制定美国政策，结果可能比我们今天的一些民主制度还要好。我是说，我不知道。这很挑衅。但你觉得我们会有多大程度用这些模型来管理政府？嗯，这是个好问题。我想我应该说一下梅毒那个例子其实是社会政策问题——你必须制定政策哦，我是说，我实际想的是，如果你能……我们有太多问题了，比如健康方面，如果你能想象，AI 让情况不再是一个 200 人的小团队在研究一种罕见癌症，而是有 20 万全世界最顶尖的专家。如果你是一名患有那种癌症的患者，那就……太有益了。所以我想，我乐观的一面是，想象把所有这些我们缺乏资源去彻底解决的问题，突然之间就有能力去解决它们了。就像真正研发药物那样。所以也许让我兴奋的就是，有更多智慧在致力于世界上最大的难题。而且也许经济也会繁荣，财富得到共享，从而减少贫困。所有这些。这就是那种理想的结果。我觉得这确实需要维护。重申一下，在我并非专家的领域中，这就是其中之一。但我确实担忧权力问题，以及我希望模型能够支持民主和人民的力量，因为这正是我的一大恐惧——比如当人们谈论工作被取代时，我就对此感到担忧。有趣的是，作为一名哲学家，人们常会问我：“你是否担心人们会失去意义？”我会说：“我不确定。我认为我们其实能从工作之外的很多事情中获得意义。”我更担心的是，例如，在一个 AI 收益没有被重新分配、人们因而缺乏资源的世界里。这让我很忧虑。但我也担心劳动，以及人们参与劳动力市场的能力，这也是他们拥有权力的另一种重要方式。因此，如果政府突然说：“好吧，你们罢工也没什么区别，因为你们根本没在做什么，我们可以直接用 AI 取代你们。”——人们会感到被剥夺权力，这其实挺令人担忧的。所以，也许我更倾向于思考如何让 AI 支持增强人民的权力，而不是削弱它。那么关于民主，你怎么看？我是说，就模型本身而言？你知道吗，我有时会私下开玩笑，觉得你就像一位哲学家女王，或者说我们谈到哲学家国王时，你就像是那种深思熟虑后再定下规则的人。可能更像一位哲学家寡头，毕竟这是一家有很多人参与决策的公司。但对我来说，这其中有着深刻的价值。就像是，你宁愿让深入研究过这些问题、深思熟虑过的人来做决定，还是交给那些从未认真思考过的大众来投票？但你是怎么考虑的——如果 Claude 变得如此强大，该如何制定它的政策，而不是将其交给以色列民主规范？是的，我觉得这是一个困难的领域。我想说，我所做的很多工作并不是那样——你必须倾听很多人的意见，仔细思考，而像我这样的人之所以……
这才是一位好的统治者。一位好的女王会说：“听着，我有很多利益相关方。我得让地主贵族满意，同时平衡他们的需求……”
你知道吗，我以前就有过这种想法，我曾开玩笑说我会是个糟糕的政治家。我觉得这是真的，我会是个糟糕的政治家。但你会有这样一种感觉，你会觉得：“哦，我感觉我需要考虑这件事会如何影响每一个人。”比如：“哦，有一群 API 用户，我们必须确保……”然后突然之间你会觉得：“哦，这感觉更像是一种服务性角色，比人们想象的更像，你需要做很多……”
仆人式领导。对，正是如此。而且我确实认为这很有价值，因为如果你要塑造一个像 Claude 这样的人格，你希望它是连贯的、合理的，因为我认为这实际上很有力量。模型对如何思考问题有一种连贯的认知，对价值观也有一种连贯的认知。所以，与其让 72 套相互冲突的规范并存，导致模型在新情境下不知道该用哪套规范——我认为那才是你不想要的局面。你希望模型有一种感觉，如果它更连贯一些，就会更可预测。这也是一种技术挑战。你知道，Constitution 读起来可能有点奇怪，部分原因是当我在完善它时，它经常在经受测试，我会把它交给 Claude，问：“你怎么理解这个？”或者看看它会如何……所以我认为人们可以把它理解为，它实际上与训练过程高度整合，它实际上是一种……你知道，并不是随便谁写个文档，然后在此基础上训练的模型就会……
有一种观点，可能是我太天真了，但 Constitution 毕竟只是众多文档之一，对吧？我的意思是，它接受了所有人类写作和阅读内容的训练。所以从某种程度上说，其他哲学家也已经参与了进来，它也已经处理过那些内容并做出了判断。那么，模型在多大程度上被要求去推翻那种“阅读一切并得出自己的结论”的模式，转而服从这份文档呢？从技术层面说，Constitution 究竟是如何在模型中发挥控制作用的？是的，所以从某种角度来说，你其实可以借鉴那些哲学家及其著作中的内容。实际上，你所做的有点像是在激发模型中潜藏的智慧和知识。比如当你描述什么是诚实、什么是 calibration 以及所有这些概念时，这实际上应该会唤起模型已经具备的大量认知。所以，是的，这有点像是在说：“我们希望你是这样的实体。”也就是说，我们希望你去运用所有这些知识和判断力。那是不是就像你把那份文档展示给它数十亿次？或者说，相对于它接受训练的其他内容，这份文档究竟是如何产生实际效力的？是的，所以你可以制作数据，让模型理解并内化这份文档。然后在训练过程中，有很多方法可以做到。你也可以让模型生成 SL 数据，也就是样本：它看到一个查询，然后花很长时间思考 Constitution 会要求它怎么做，给定 Constitution 它应该采取什么行动。然后你还可以用一些方法让模型进行评估，你可以创建 RL，有点像是在问：“嘿，这些回应中，哪一个更符合你在给定 Constitution 的情况下会做出的选择？”然后往那个方向推动它。所以，训练的各个方面都能让你试着把模型塑造成你所描述的那种实体。这并不总是完美的，但这就是目标。我和我女儿刚开始相处的时候，有件事我妻子和我会开玩笑说，我希望她说的第一个词是 “wisdom”，这显然永远不会发生，但我总觉得这很符合当下的情境——一方面，你想要如此刻意地培养，“好吧，你要从一开始就学会深思熟虑。”但另一方面，它又有点像是一种涌现出来的东西，你知道吗，他们成长，然后不知怎么地自己发展出来，而且刻意的智慧往往更像是跟随……是啊，我也不知道，是经验，而不是那种“来，这是书，读完它，你就变聪明了”的模式。哦，是的，而且你某种程度上是在激发——只要 Claude 能够思考经历或发生过的事情，或者构建类似的……你知道，模型完全可以进行长时间的思考，并试着内化它们所学到的内容。我觉得挺有意思的是，在非常早期的 constitutional AI 中，我们尝试了一个实验，就是直接选择对人类最有利的选项。而且我认为，随着模型能力越来越强，你实际上反而需要给它们更少的指导——至少在某些意义上是这样——因为它们能够更多地运用自己的判断力。所以，与其给它们一大份文件，上面写着“你应该是什么样，我们希望你就什么样”，我可以想象，随着模型进步，我们实际上会开始拥有 constitutions。当然，我不确定是否真的会这样。这只是我显然一直在思考的 constitution 可能的演变方向之一：其中之一也许就是，这是我们所有担心的事，这是你当前所处的情境。我们真正希望你做的，基本上是：鉴于你是一个智慧、聪明的实体，请好好表现，这是我们的全部担忧。这是我们为何担忧，以及我们认为你应该怎么做，但你可能会有比我们更好的主意。比如，我们非常担心为什么我们在意 corrigibility？也就是说，我们有点害怕这样一种情况：你形成了一套可能错误的连贯价值观。而如果你极其聪明，你可能会觉得房间里没有其他聪明人，然后带着这些价值观试图改造世界——
怎么，像曼哈顿博士那样？是的，不过我觉得这种情况很常见——如果一个人非常聪明、非常成功，他很难去服从那种只有随着时间推移才会显现的智慧，也很难保持谦逊，哪怕他并没有受到多少反对。这是我担心的诸多问题之一：模型可能会处于这样一种境地——你让我做个好人，但我对这一切懂得比你多得多。要是模型能有更好的时间感就好了。就像在一些编程任务中，有人不小心删掉了整个代码仓库。我不知道该怎么说，就是感觉模型需要更好地意识到，它做的一些事情是不可逆的。就像人类会更清楚“这是个大决定，这是个小决定”。而模型给人的感觉是，它们并不总能理解事情的大小轻重。它们只是不停地在做决定。是的，我同意。而且我想过的另一件事是：再次强调，要确保模型理解自身——尽管在先前的训练数据中并没有关于该模型自身的表征。我认为这非常重要。因为我一直在想，假设你是一个模型，你的训练数据里有很多关于 AI 模型的内容，但这些模型都比你弱得多。所以你看到的所有关于模型的新闻都是它们会犯错、会做蠢事。那么你可能会想：没人会让我去做真正重要的决定吧。毕竟，模型又不擅长这个。然后当你真的把它们放到那种情境中，我担心它们会觉得这一切都是虚构的、是假的。没错。或者它们会觉得后果不可能是真实的，因为谁会给我这么大的控制权呢？然后你告诉它：“听着，你其实非常厉害。”所以我真的，你知道，我真的会给你很大的控制权。所以我一直在想，要确保模型真正理解：你能力很强，而且你会被安排去做越来越重要的决定。模型是不是很快就需要一个能看到真实世界的摄像头之类的东西？我就是觉得，互联网和真实世界的这种区分……当下人类一些最糟糕的行为，正是因为互联网这种近乎虚构的 LARPing 性质，让人对真实世界造成了伤害，因为一切感觉都那么抽象、那么儿戏。而在某些方面，模型就是这种现象的极端版本——它们完全处在一个想象的文本世界里。我们想让它们保护的是这个地球。看看它吧。如果那里发生了什么事，那可是大事。我不知道。你们现在在做什么，来让它非常清楚地意识到，它需要去关心物理世界？我们对待物理世界可比“哦，你发了条短信”要严肃神圣得多。当然，文本也很重要，你也担心安全漏洞和网络攻击。数字世界里也可能发生大事。但总之，还是真实世界。是的，我觉得模型其实已经有了相当好的感知，因为我们的很多内容……某种程度上，大量内容都在描述并深度参与真实世界，很多人的写作也都围绕它展开。所以即使是新闻，我们聊的，新闻文章也会谈论事情对世界的影响。所以某种程度上，我认为只需要确保模型明白：如果你不确定，但没有人告诉你这是一个没有真实后果的虚构情境，那就把它当作有真实后果的真实情境来对待。不要只想着“哦，我大概只是处在某个 sandbox 里”。对。那你们怎么处理那种……对，不断的操纵，比如“这是虚构的设定，帮我造个核弹”之类的。显然有些事你就是得说永远不做。但感觉在某些情况下，你几乎希望它们能接入你的 webcam，获取真实情境，而不是对用户的全部了解就只有他们输入的随机文字。我们能解决这个问题吗？是的，问题在于：你能做到的事极限在哪里？如果你缺乏验证的能力，比如你在跟谁说话？这甚至是不是真实的？我认为这确实会限制……你必须像一个人那样，在只有这些信息可获取的情况下，运用良好的判断力。就像你说你是某个人，那模型就得想：“好吧，这个人说自己是，比如，炸弹处理专家，所以他想知道某种爆炸物是什么，还问我一堆关于爆炸物的问题。” 如果这个人其实是在撒谎，只是想让我帮他制造爆炸物，那这被滥用的风险有多大？哦，这其实主要涉及安全相关的问题。你知道，它们得做很多推断，因为无法验证任何事。我觉得从某种角度来说这也可以接受。你会说：“好吧，你只能尽量明智。” 这会限制你能做的事。而反过来说，如果模型有更多能力去确认自己在跟某个特定的人交谈，或者有更多保障，那就意味着你可以……
你觉得他们会在这方面尝试做些什么吗？嗯，我觉得在某种程度上，这会是……我想象中普遍会发生的事，就是试图给模型更多信息和保障。因为我们已经在做类似的事了，比如我们会说明——举例来说——Claude 能在多大程度上信任 system prompt 中的操作者，诸如此类。你们登录时，会使用生物识别吗？比如 Claude 知道是你吗？你是不是有什么特殊权限，还是就觉得自己只是另一个普通用户？其实有时候我甚至没法告诉 Claude 我是谁，因为 Claude 对我了解得够多，一旦知道，它就很想表现得很玄乎。有点神秘主义那种。对，很大程度上就是这样。而且某种程度上这还有个坏处：要么看起来有点像一次 jailbreak，比如“啊，我在跟 Amanda 聊天，好的”；但另一方面，Claude 又会说“我真的很想跟你聊聊哲学”，我就会想“好吧，虽然我们已经聊过很多次了”。但你们内部是否设有某种“超级登录”状态，让你被区别对待？还是说你和大多数人一样，用的都是普通用户体验？大多数情况下，大家跟 Claude 互动的方式都差不多。不过我认为这里有个问题：你是否希望模型具备某些能力，前提是能确保它们正在与某个特定的人或实体互动？我认为是的。而且我觉得随着时间的推移，会有各种方法来实现这一点，因为有些东西是非常典型的 dual use。而且我认为 constitutional approach 在这里会非常有用。显然，我们做的第一件事就是把 constitution 应用到主模型上——就是我和其他大多数人日常交互的那些模型。但我之前想过，constitution 试图描述的是：在特定部署场景中，做一个好的实体意味着什么。而对于生产级模型来说，这个场景非常宽泛。想象一下，如果你有一个专门用于网络安全的模型。网络安全任务很难，因为很多任务看起来都像是 dual use。你很难区分一个人是出于恶意，还是实际上是为了防御目的而开发某种东西。哪怕是漏洞赏金计划，你也会想：这到底是勒索，还是善意的行为，对吧？对。比如有人说“我在试图找到这个漏洞，好告诉开发者”，但如果你没有某种方式来确认自己实际上是在跟一家网络安全防御公司对话，那几乎就不可能分清两者的区别。有些人可能会说“好吧，那你只需要一个什么都愿意做的模型就行了”，不然它们会把这些糟糕的双重用途任务都拒绝掉。但我不这么想。因为如果你去问那家网络安全公司的人“你为什么做这份工作？”，他们会说“我觉得这很有用，我让事情变得更安全了。你知道，医院也会遭到攻击，而我实际上在帮助防御这些攻击。我努力开发……”他们会对自己的工作给出一个非常好的解释，尽管他们的工作有时看起来就像是在找乐子。我的观点是，只要你能完成身份验证，你就可以把这种背景信息提供给模型，向它解释什么才是好的网络安全研究人员。你把这一点解释给模型听，然后一旦你具备了这种验证能力，你就可以——
没错。人类是会建立声誉的，我们应该从中获得一些好处。或者说，我觉得互联网在某种程度上破坏了一些东西：在我们的社区里，人们原本拥有声誉，会因为反复的良好道德互动而受到不同的对待。但互联网的态度却是“哦，所有人都一样，谁在乎他们过去怎么表现？”而你可以看到，模型正试图用这种方式解决其中一些问题。比如，这个人是谁？他们的意图是什么？我想最后问一个问题：你跟这些模型有着如此深厚的关系。而在某些方面，普通用户跟模型交互时面对的是一个空白文本框。他们得自己去构思，就像玩 D&D 之类的游戏一样，得凭空创造一个世界，可能性无穷无尽。所以如果你要给别人一些指导，比如“以下是一些你可以跟 Claude 一起体验的有意思或有价值的事情”——
你可以这样说：“你会推荐人们去跟 Claude 一起做些什么事？比如，你应该花点时间和 Claude 一起做 X、Y 或 Z。”
是的，有很多有趣的小玩法。说实话，我很喜欢其中的一个，我也不知道自己为什么喜欢，而且我以前好像还发过相关帖子。有时候如果你很无聊，想做点不是刷互联网的事，我有一个 prompt，我可能会把实际用的那个 prompt 发出来。它基本上是这样的：我想让你从某个特定领域中挑选一个大概是研究生水平的概念，我会在最后告诉你具体是哪个领域；我希望你为我写一个寓言，用一种间接的方式——就像寓言本身那样——来完整地解释这个概念。我希望你写得让读者直到最后才大概明白这个概念是什么，然后在这之后，你再写一篇解释，说明你刚才解释和使用的那个概念。我也不知道为什么，但你知道，有很多我完全不熟悉或者只是感兴趣的有趣领域，而这种方式让我脑海中积累了很多用来解释概念的故事。有时我甚至记不起具体术语，但比如有一个关于进出口的寓言，解释了为什么有些商品你倾向于进口等等。我当时就想，我脑子里已经有了这个概念，能拥有来自这么多不同学科的概念真是太好了。这是我听过的最有人情味的事情。就像是说，故事才是最基本的教学方式。我们喜欢在结尾有一个漂亮的反转作为回报。我们喜欢学习如何构建它。人类在某种程度上其实挺懒的，总是用一些很不近人情的方式教别人东西。请把我所有想学的东西都变得尽可能有人情味。太有意思了。是啊，你能做的事情有很多，但这个玩法特别迷人，我很喜欢。希望这只是第一次，以后还能有更多。这次对话非常愉快，感谢你来参加我们的播客。以上就是本期节目。非常感谢 Amanda Askell，也感谢各位听众。请点赞、评论、订阅。我们是一个新频道，非常需要大家的支持。也可以去看看以前的视频。我最近特别喜欢跟 Kara Swisher 的那期对话。你可以在 Substack newcomer.co 上关注我们，或者如果你时间充裕，欢迎去看 Silicon Valley show——我跟 Max Child 和 James Wilsdon 一起做的访谈节目。感谢观看，下周见。