Nick Gillespie：这里是 Reason 的访谈，我是 Nick Gillespie。今天的嘉宾是 Jack Clark。他是 Anthropic 的联合创始人，也是 AI 政策领域最具影响力的人物之一。我们将讨论政府对 Anthropic 的打压，以及与此相关的各种事情。我们还会探讨 AI 的力量、危险和陷阱，基本上无所不包。那么，Jack Clark，感谢你来 Reason 做客。
Jack Clark：谢谢邀请。
Nick Gillespie：那么，让我们先从更宏观的角度开始，谈谈你认为 AI 的主要前景是什么。因为目前我们无疑处于一个技术的“乌云密布”时刻，人们对 AI 感到恐慌，而你们 Anthropic 的人在某种程度上也在恐慌，这个我们稍后会谈到。但总的来说，泛泛地讲，AI 最大的卖点是什么？
Jack Clark：我会把它分成三个层面：个体层面、经济层面，以及科学层面。对个体而言，今天我们拥有了一位“通用教师”，这是人们几十年来一直幻想构建的东西，而现在它真实存在了。你可以每月花 0 美元与一位专家教师对话，如果每月花 20 美元，你就能与一位非常优秀的教师对话。这太不可思议了。这就是个体层面的价值。对于经济，尤其是在西方世界，经济的特征就是后台办公工作和官僚体系，或者说 David Graeber 所描述的那种工作。我们现在拥有了一个能够应对并驾驭这些官僚体系和后台事务的系统，它能做得更好，在某些情况下还能消除这些事务，让人们回归到工作中那些能发挥自身技能或更具意义的部分。
Nick Gillespie：对，能给个具体例子吗？
Jack Clark：可以。我们与 Ozempic 的制造商密切合作，帮助他们处理临床试验结果的后台加工和格式化工作，我们把原本大约需要两个月的工作量缩短到了一周。
Nick Gillespie：明白。
Jack Clark：我认为没人会怀念那段时光。没人会坐在办公桌前哭泣，因为自己做不了那些事了。
Nick Gillespie：后台的纸张整理员……那就是我。我以前就干这个。
Jack Clark：所以这类例子比比皆是。Anthropic 有一位同事，因为对处理某种发票感到非常厌烦，于是干脆把它完全自动化了。
Nick Gillespie：明白。
Jack Clark：他们对此并不难过。大家都很高兴那项工作被自动化了。至于科学，我们现在拥有的系统，如果你去读文献就会发现，它们正在生物学、数学、物理学、医学的前沿共同创造科学。你可以看到世界上最顶尖的专家科学家与 Gemini、Claude、ChatGPT 共同撰写论文。这是一个科学发现的新时代。
Nick Gillespie：对吧？没有真正的专业人士在用 Grok。
Jack Clark：我可能在某处见过，但也能想到其他几个名字。
Nick Gillespie：对。还有一个经常被提及的例子，听起来很惊人：当你想到用于检测可能是癌症的肿瘤之类的 X 光时，突然间整个世界都变成了一个数据库，计算机通过训练查看所有这些数据，从而得出更好的诊断和预——预后结果等等。
Jack Clark：是的，诊断效果好得多，预后判断也好得多。而且在个人层面，我们现在已经取代了 WebMD——WebMD 总是告诉你得了癌症、快死了——而 AI 系统往往会给出更合理、更符合事实的回答，还会说：“最好给咨询护士打个电话，告诉她这些情况。”
Nick Gillespie：对。有一种……我忘了那个病的名字了，是有人编造出来的，现在好像每个 AI 模型里都有，叫什么 backsolism 之类的。但我的意思是，在我们进入更多政策话题之前，我想快速问一下：AI 如何过滤掉……怎么说呢，群体幻觉？因为这始终是个问题，对吧？
Jack Clark：这里有几个层面。几年前，AI 系统会产生幻觉，它们经常编造东西。这基本上是因为我们训练 AI 系统时，把它们训练成了 Jeopardy 节目的参赛选手。它们想要按抢答器。你一张嘴，它们就想回答。我们花了很大功夫才让它们明白：按抢答器说“我不知道”是完全合理的，或者不回答也行。这和我们当初训练它们的方式是相悖的。所以这花了一些时间。更棘手的问题——至今仍然存在——是谄媚（sycophancy）问题。
“多么有趣的问题。我们的对话真是太精彩了。”——这完全没有帮助，完全与你生活中那些对你有用的人的做法相反。我们必须训练系统，让它们具备某种类似朋友的特质，能够适当地反驳你。当然，这引入了许多许多关于什么恰当、什么不恰当的丰富而有趣的问题。但我们体验到谄媚，或者在生活中遇到谄媚时，我们基本上能识别出来。
Nick Gillespie：再谈谈 AI 技术的军事应用吧。从历史上看，当然追溯到伽利略那个时代，广义上的国防领域的技术创新一直占有重要地位。这也是你早期与特朗普政府产生争议性交集的部分原因。AI 将如何改变军事和国防应用？
Jack Clark：有一种方式是它改变其他所有领域的方式完全相同，还有一种方式是这类工作所独有的。人们常说，军队组织本质上就是物流和官僚体系。它们等级森严，变化缓慢，厌恶风险，缺乏创新，不擅长技术，不擅长软件，不擅长 AI，不擅长任何新颖有趣的事物，不擅长任何……这类工作。所以人们常说，军队组织本质上就是物流公司，只是末端带有一点尖锐的部分。后勤部门就是我前面提到的那些后台工作，和其他行业一样。AI 在这方面可以提供巨大的帮助，帮助自动化和改进决策，并处理军队和其他组织出了名要做的大量后台杂务。
Nick Gillespie：我的意思是，这就是《Catch-22》，军队是一套官僚体系，存在的意义似乎就是为了惩罚或折磨那些它理应服务的人。
Jack Clark：我哥哥也在英国军队待过，所以听起来很熟悉。
Nick Gillespie：是啊。
Jack Clark：与此同时，AI 可以在前沿领域引入新的能力。科学的进步会创造出军队可以使用的新事物。一个非 AI 的例子是高超音速导弹。我们发明了导弹，现在利用材料科学的进步，我们发明了一种快得多的导弹，很难被击落。还有无人机等例子。我认为我们可以普遍预期 AI 将在军事前沿创造新的能力，而这些能力——就像过去从核武器到高超音速武器、集束弹药、生物武器等技术创造一样——将成为军队、政府和公民之间激烈辩论的主题。这是不是存在某种，我不知道，所谓的先发优势？显然 AI 已经渗透了主要大国和许多小国，但它会不会变成这样：如果我们——不管这个“我们”是谁——先造出了核弹，就能阻止后续同类技术的进一步扩散？还是说我们会重演冷战剧本，比如美国先有了核武器，然后俄罗斯、中国和其他一些国家也都有了？最有助益的视角，是将 AI 视为大致等同于电力或石油——它既是技术本身，也是围绕它的生产与管理体系。这能带来极其广泛的商业和民用效益，但在冲突中也有深远用途，同时也会带来严重的脆弱性。此外，最精密的 AI 形态——非常非常非常聪明的系统——可能具备类似于核武器这类“小心轻放”技术的特性：你需要设法扩散其有益的一面，但同时要设法控制其可能在军事上具有决定性作用的方面。这基本上就是 Anthropic 最近与特朗普政府之间对峙或冲突的核心，对吧？能不能解释一下，因为这似乎是当前限制 Anthropic 随意将其程序发往各地的根本背景。我们长期以来支持与情报界和国防界合作。Anthropic 也始终致力于探讨这项技术所带来的全方位议题。目前，我们正着力应对这样一个问题：我们掌握了一项技术——名为 Fable 的模型——它在诸多商业用途上极具价值，同时在网络与生物领域具有潜在的国家安全或国防相关属性。我们一直在设法让这些能力难以扩散，而现在我们正与政府进行近乎日常的讨论——显然我不能透露细节——探讨一个合理的政策框架，如何在对外传播和出口这些模型的同时，避免扩散和输出那些对国家安全似乎更为关键的能力。我们往前退一步说。那是好几个月前的事了，当时国防部长 Pete Hegseth——我一直想说我才不管他想被叫做战争部长还是什么，就叫他国防部长吧——他说 Anthropic 不允许按照他或特朗普政府希望的方式部署某些类型的 AI。而你们在公开叙事中坚持认为，某些类型的致命决策不能交给 AI，这违背了你们的企业理念。特朗普政府对此大发雷霆，对吧？我们划定了两条红线。一条是关于将 AI 用于对美国国内民众的大规模监控；另一条是将 AI 用于完全自动化的武器。我们之所以明确这些，不是因为我们认为自己有权界定什么在该领域是适当的——那很荒谬。而是因为这显然是一个需要更广泛的社会辩论的领域。作为这个国家的个体公民，我们需要对什么是正确的形成某种共识。我们仍然随时准备以一切有益的方式与美国政府合作，同时我们也相信，关于这些红线的讨论是有益的。那么现在这个争论处于什么状态？因为政府曾想把你们列入某种不良企业名单，对吧？目前是否仍在就国防政策进行相关讨论？我们正与美国政府保持定期沟通，需要强调的是，我们一直在寻找支持政府并与他们合作的方式。对。我认为这里更值得关注的宏观问题是，我们的这些模型并不特殊。其他提供商的模型也会表现出相同的特性。既然我们已经阐明了观点，我们相信我们的角色应当是推动在公共领域就此事以及什么是适当和合理的进行更广泛的讨论和辩论。对。我是说，坐在那儿看新闻的时候，事情很难不让人这样想：“好吧，你们和国防部因为已签署合同的条款吵了起来。”然后国防部长和总统说：“不行，你们必须把这个给我们。我们不管什么合同。”接着你们发布了 Mythos 5，对吧？或者说你们把它推向市场，它非常强大，然后你们说：“嘿，我们会收回那个版本，转而发布一个稍微精简的通用版本 Fable。”然后政府说：“是啊，你知道吗？你们不能把它发布到国外。”这实际上就等于说你们根本不能发布它。这怎么不像是一个行为宛如黑帮的政府的明显报复呢？你们惹错了人，你们往酒里撒了尿，现在这就是你们的下场。我不能在这里谈太多细节。这显然是我们正在进行的一场法律层面的讨论。但我要说的是，这是一项新技术，具备新的能力。我认为这些能力极其令人惊讶，对任何一届政府来说都是如此。我对此的看法，以及我对政府工作人员深表同情的地方是：如果你多年来一直与国家安全界共事，他们一直在开发和部署网络等领域的能力。嗯。这些能力来自你合作的众多承包商，来自你了解的体系。然后现在有些公司在搞一个叫 AI 的东西。AI 是民用技术。对。有一天，这些被当作民用技术推销的 AI 系统被平民使用，在美国经济中取得了巨大成功，是啊。突然冒出一些东西，你在情报机构的同事会说：“等等。”
是啊。这些东西看起来像是我们在那边搞的东西。是啊。你该怎么应对？我认为这确实是一个非常棘手的问题。我们现在采取的其实是种混乱的应对方式，基本上就是在说：“这事太复杂了。我们得把它摸清门道、加以掌控。”但这场辩论在任何政府执政下都会发生。我认为我们需要某种政策框架，来决定如何对外发布这些系统，同时不泄露国家安全层面的能力；或者对这些能力加以管控，使我们对它们的扩散能够放心。是不是——
扩散。有没有什么政策，甚至是政治或哲学层面的教训可以从 90 年代吸取？因为当时加密技术，特别是 Phil Zimmermann 的 Pretty Good Privacy（PGP），当它问世并传播开来，突然间所有人都能加密一切，人们吓坏了，当时的克林顿政府也吓坏了，说：“不行，这是军火。我们要把它当作军火来监管。”我们现在仍在讨论加密问题，对吧？你知道，就是那种论调，"哦，如果你没什么好隐瞒的，那唯一想加密东西的人显然就是罪犯。" 嗯，我们是不是应该从九十年代吸取一些教训，现在重新提醒自己？九十年代末或两千年初也有类似的教训，当时索尼推出了一款叫 PlayStation 的游戏机，里面有一种叫 Cell 处理器的芯片。我记得当时我们一度想要管控它，因为它本质上是一台性能极强的超级计算机，呃，只不过外形是游戏机。我的意思是，我从中得到的教训是，当你第一次接触到某种模糊民用与国家安全边界的东西时，总是会一团糟。而当这种东西源自非国防或非国家安全领域时，你的第一反应总是：先停一停，搞明白怎么回事，然后把它管控起来。而你的长期反应则会变成："好吧，我们现在需要在个人主权和保护国家安全的能力之间取得平衡。" 无论是计算还是加密，我们最终都走到了这样一个局面：个人可以广泛使用私人加密技术，个人也可以广泛使用私人计算设备。同时我们也找到了方法，能够确保或管理其中与国家安全更相关的部分。所以我认为，从长远来看，大致也会是这样的走向。那我们来谈谈 Anthropic，嗯，你们当时准备发布 Mythos。如果我把名字之类的搞错了，请纠正我，但你们是要发布 Mythos 对吧？你们对它做了内部安全检查，然后你们那位首席驻场黑客就说："天哪，这玩意儿太强大了。" 于是你们把它撤了回来，然后发布了 Fable，它具备很多能力，但没能达到 Mythos 的全部水平。作为一家私营公司，你们主动做出了这个决定。这不就是理想的治理方式吗？为什么接下来要由 Pete Hegseth、Howard Lutnick 或者 Donald Trump——你知道，他连电子邮件都不用——来裁定你们能发布什么、不能发布什么呢？对于如此强大的技术，永远不可能只由公司来做判断。这将是一场共同的实践，不仅涉及公司和政府，还涉及社会的其他部分，比如更广泛的科学界。我们现在正处于混乱阶段，但我认为公司的职责——正如我们正在做的——是沟通我们所观察到的情况，并开展各种不同形式的发布实验。每一次发布实验都会产生数据，供整个社群用来搞清楚什么是正确的。政府的角色通常是观察行业的做法，然后弄清实际的规范和标准是什么，如果这些规范或标准足够合理且对社会有益，就应该将其强制执行。安全带可能就是个好例子，或者我们应该确保人们不把 CFC 放进冰箱，因为那看起来挺危险的。大概就是这类角色。我认为我们最终会走到这一步。在我看来，我们的角色是——身处前沿的好处是我们能及早看到这些事物，并能与全世界讨论，而我们的责任是分享我们所观察到的东西，然后我们会摸索出一套体系。
Marc Andreessen，嗯，风险投资家，Netscape 的创始人，你知道，1995 年互联网的招牌人物，因为 Netscape 大概算是公认的第一个纯粹的互联网 IPO。嗯，他谈到，他和硅谷很多人在上次大选中支持 Donald Trump，是因为拜登政府曾表示，抛开国防事务不谈，就是，嘿，你们知道吗，我们要给 AI 设很多限制或边界。而 Trump 说他不会这么做。首先，就你的经历而言，这种说法准确吗？拜登政府在 AI 的普及和发展方面，总体上是否不如 Trump 政府开放？嗯，这倒不完全是我在经历中感受到的。我想说，每一届政府都有不同的利益侧重和优先事项。拜登政府只是更关注 AI 系统的安全与安保挑战这些方面。而此前的 Trump 政府曾关注云计算的安全方面，比如，这一议题也被拜登政府延续了下来。Trump 政府正确地聚焦于：经济安全就是国家安全。我们如何既推动行业发展，又解决电力之类的问题，同时想办法确保我们真能在美国本土成功制造半导体——这事在拜登任内就已经启动了。然后，至少在初期，对安全事务的强调可能稍微少了一些。但随着安全问题浮现，他们也提高了重视程度。所以，你知道，补充一下背景，在创办 Open Philanthropy 之前，我也曾在 Open AI 工作。因此我参与过 AI 政策工作，历经奥巴马政府末期、整个第一任 Trump 政府、拜登政府，再到如今的 Trump 政府。我的经验是，在云计算、供应链以及如何测试和评估模型这些问题上，所有这些政府之间其实有着大量的连续性，只是在不同阶段有着不同的侧重。嗯，但我们现在似乎处于一个政府把对 AI 的监管力度提升到新水平的时代。我们正处于一个许多 AI 从业者早就预料会到来的时代，那就是 AI 系统不仅在你可能关心的领域具有科学上的趣味，更具备了实际的应用价值。你知道，我们现在的处境是，已经知道 AI 模型将具备真正有用的网络特性。没错。这带来了我们必须应对的新挑战，而政府因此改变态度在我看来完全合理，因为你已经从理论或学术层面进入了此时此刻的实际应用层面。所以说，Anthropic 自成立以来有一点一直非常明确，就是它某种程度上是相信政府监管的，对吧？我是说，你们可不是那种——你知道——像 1996 年左右 Wired 杂志刊头写的那种，什么"你们这些腐朽的政府老古董，去你们的吧"这种人。
[倒吸一口气]
那现在到底有什么问题呢？你看，你面对的情况是，比如 Bernie Sanders 这种人会说，你们这些 AI 公司可真不错，我们要从你们身上切一大块下来，按我们的想法花掉，还要监管你们。而 Trump 政府呢，名义上——当然不是为了自由市场，而是为了国家安全——说，好吧，我们要管控这个，我们现在就告诉你们，这类东西不能出口。这有什么不好？这不正是你们梦寐以求的世界吗，政府对你们做什么、如何分发产品有着非常强烈的监管兴趣？我是说，我们在 Anthropic 有个玩笑，就是说我十几岁的时候在一家书店打工，当时心想我得找个正经工作，因为我实在太无聊了。结果天哪，猴爪真的在那件事上蜷曲了，而现在我真的在品尝那颗果实的滋味。你知道，你认为世界对我们这个物种所建造的可能有史以来最强大的技术会作何反应？这不会是什么反应都没有，对吧。这必将是一个高度政治化的反应。实际上，我认为，治理我们这个物种可能建造出的最强大技术的方式，不能是什么都不做。我们不能说，我们只使用现有的规则和规范，而不对其应用任何新的治理技术。我就是无法将这与……
……我是说，认为这项技术比火或轮子更具变革性，或者认为它是那些在没有自上而下监管的前文明时代发展起来的技术，这里面包含了很多前提。
……让我澄清一下。我说的是现代工业时代所开发的最强大的技术。
……是的。
……我觉得……
……不不不，我不是想为任何事情辩护，但是……这个问题关系重大。但好吧，假设如此，那特朗普政府现在对待 Anthropic 的方式有什么问题呢？
……嗯，这么说吧，具体情况有很多细节，鉴于当前局势敏感我无法谈论。但更宏观地说，政府已经表示，这些系统具有国家安全属性，我们需要弄清楚如何应对。这很好。这是件好事。你知道，伯尼·桑德斯和其他左翼人士都在说，如果 AI 公司是对的，它们可能会创造巨额财富，同时将这些财富大规模集中到少数实体手中。我们该怎么办呢？
……没错。
……这是件好事。
……不过有趣的是，他十年前、甚至大概一百年前，也就是他十几岁的时候，就在说这种话了。
……也许现在证据更充分了。但我更广泛的观点是，我认为如果你回顾政策辩论的历史以及变革是如何发生的，它总是从一大群人持有不同观点开始——对于该做什么有着截然不同的想法——大家对此变得非常感兴趣，出现各种分歧和辩论，然后你知道，政策界有个说法，我想叫做“渐进摸索的艺术”。你最终实际做的，通常就是渐进摸索。你最终不会去采取那些极端极端的做法。你会拿出一套制度……
……那现在有没有民选官员？因为你也知道，特朗普政府只是联邦政府的一部分，还有国会，你知道，显然还有其他组成部分。有没有你认为正在以最佳方式阐述这些讨论的民选官员？你知道，你谈到了公共领域。所以它包括政府，但也包括媒体之类的东西。但是，有没有民选官员？因为在我看来，桑德斯那套模式是疯狂的。特朗普政府倒也不是在说你们有多棒，我是说，如果桑德斯说我们要征收50%的一次性税，不管那具体指什么，然后花掉那笔钱。但特朗普已经表明，他愿意对公司说，你们得付我某种保护费或者某种买路钱才能进出口东西。这两者看起来都不是什么好主意。国会里有没有你认为在谈论这些问题上更理智的人？
……我是说，目前国会正在审议一项由 Obermann 和 Trahan 提出的 AI 政策法案，其中包含一系列关于透明度、第三方测试与验证的合理设想。这是一项很长的法案，内容错综复杂。我们并非同意其中所有内容，但它涉及面很广，你看完之后会觉得：嗯，这看起来非常合理。还有一些正在国会推进的法案涉及出口管制，你知道，通过管控我们可能运往中国的算力，来保护不仅是我们，还有西方国家的国家安全。大体上是合理的。几周前，特朗普政府发布了一项行政令，阐述其可能如何处理 AI 系统的一些国家安全问题。该行政令中描述的测试与验证架构、建立共享框架，大体上是合理的。我认为我们最终会落实某种类似其中概述的体系。所以，是的，对于那些引发大量关注和争议的具体情况而言，确实如此。但如果你把目光放远一些，政府、国会以及情报界的政策机器正在消化这项技术，并拿出相对合理、可执行的想法。如果你看看各州，许多州已经实施了基本的透明度法案，可被视为适用于 AI 系统，从功能上讲，这意味着我的 AI 系统现在受到的监管程度和一包薯片差不多，这总比没有强。这意味着我必须在上面标注一些成分细节，并说明我是怎么做薯片的。
……你可以销售它们，但他们并没有监管卡路里或脂肪、碳水化合物的含量。
……是的，他们并没有这么做。我们的理念在很大程度上是，你需要从强制企业透明开始，要求它们公开如何测试系统以及做了什么。然后你需要某种形式的第三方验证，由别人来检查这个人的作业。通过这种方式，你将为社会积累庞大的证据基础，来判断我们实际上是否需要强制规定某些事情？比如在我看来，在网络或生物领域，某个时候你很可能会制定出一些非常明确的强制门槛。类似于当今世界上，如果你想去买炸药，像你我这样的平民可以购买某些形式的炸药；其他的则需要你是有执照的建筑工人；还有一些则要求你是军人。大体上是合理的。带有一些自由元素，但我们已经找到了某种合理的解决方式。
……但你们不想不得不应对50个州的法律，对吧？
……不想。我是说，这里有个问题……
……你们希望有一个联邦层面的方案。这就是为什么我们对一些正在国会推进的法案感到兴奋，因为否则最终会出现一个拼凑的体系，没人想要那样。
……或者像加州，我是说，汽车排放等领域就发生过这种情况。一个州事实上制定了国家标准，而它可能在意识形态上比国家政府推出的标准更偏向某一极端。
……但我是这么看待整件事的：AI 是一项极其强大的技术。关于如何应对它，整个体系中的压力正在积聚。如果答案是“什么都不做”的时间越长，政策体系的不同部分就越有可能说：“什么都不做可不行，我们得做点什么。”
……所以，你知道，有一点值得思考，在这个问题上，自由意志主义者和社会主义者……我尤其想到社会主义历史学家 Gabriel Kolko，他写过一本著名的、整本书篇幅的关于进步时代和铁路的著作。关于铁路的进步主义叙事是：铁路曾经是那些占主导地位的、超级强大的、拥有政治背景的垄断组织或卡特尔，最终进步主义者获得了足够的权力来监管铁路，然后一切都好了。社会主义者 Kolko 曾说：“不，这其实是错的，铁路公司在达到一定的权力规模时，也意识到市场利润会越来越难做，于是它们去找政府说：‘嘿，我们需要被监管。’”2018年前后，社交媒体或更广泛的技术领域曾出现过这样的时刻，Mark Zuckerberg 在国会说了几乎同样的话，Apple 的 Tim Cook 也表示：“知道吗？科技行业已经行不通了，我们需要监管。”从一种自由主义或 Kolko 式社会主义的视角来看，你怎么能让我相信现在发生的不是同样的事？眼下有五六家大型 AI 公司突然说：“知道吗？如果我们能有一项国家层面的监管来预先排除所有这些问题，那对美国公民来说绝对是件大好事。”这怎么就不是在锁定你们目前的市场地位呢？这个观点我已经坚持了10年。我在国会作证已经10年了，10年来我说的都是同样的话。我们从创立 Anthropic 的第一天起就在说这些，那时候我们公司没有产品、没有收入、什么都没有。而现在你们的估值通常被认为在十亿美元左右，对吧？我是说你们还没上市，不过——
现在更接近一万亿美元了。一万亿美元，抱歉。对，这差别不大。我是文学专业的，不是学数学的。世事难料嘛。谢谢。是的，所以你看，我完全理解这个框架。我要说的是，请看我们长期以来在行动、声明和信念上的一致性。你知道，Dario，也就是 Anthropic 的 CEO，我和他共事很多年，我们曾一起在 OpenAI。10年来他说的也是同样的话。我们一贯的态度是，我们曾相信并继续相信，这无疑是本世纪将被构建的最强大、最具影响力的技术。当然。而如何应对这项技术，答案必须是我们需要创造新的工具来治理和管理它。我们需要将其与现有法律整合，需要将其与某种体系整合，在这种体系中不能只有公司来做决策，因为这项技术将太过强大、太过有影响力。你能否打消我的顾虑——这正是 Zuckerberg 在国会说过的话：我会帮你们起草监管社交媒体的法规，但你们要知道，这意味着不会再有下一个 Facebook 了。不过，你知道，这是你愿付的代价吗？显然，由于很多原因，事情后来变得有点复杂，但是，如果 Anthropic、OpenAI 和其他几家公司来制定规则，这是否意味着，好吧，这五家左右的公司将永远主导这个行业？我们已经分享了对监管的想法，但我非常欢迎并鼓励像你这样的人和其他人提出你们自己的见解。我想你也看到了，像 Dean Ball，他曾短暂担任过 Miss Admin，他就他认为明智的政策路径做了大量公开写作。Oren Cass 也做过类似的工作。而现在，既然他是自由市场——我是说他——
我的观点是，越多公司外部的人在这里阐述观点，对所有人就越有利，因为你需要一大堆关于如何应对这件事的不同想法。然后你们的一些想法之间可能存在共识。就去做那些有共识的。如果你能给我列一张表，一边是公司，一边是自由意志主义者，或者说自由市场最大化主义者，如果有些想法是所有人都同意的，那这些可能就是值得去做的明智想法。而如果有些想法只有公司提出，那就要非常、非常怀疑，因为其他人没提很可能是有原因的。说说治理问题吧。美国是一回事，欧盟又是另一回事。总的来说，我想大多数美国人肯定这么认为，很多欧洲人也会认为，他们对技术创新治理的方式一直不太好。这就像是被压制了，欧洲比以往更加落后。他们在自己还没能力拥有这项技术本身之前，就先把监管做了。然后还有像中国这样的地方，它们的态度有点像，你知道，我们不在乎。美国的治理最终如何影响全球治理呢？因为欧盟会按自己的方式做，中国也会按自己的方式做。在最理想的情况下，这一切会如何发展？最理想的场景是每天都在发生数百万次的事：汽车在这些市场之间出口——也许就汽车而言，美国除外。飞机从这些地方的机场起飞，降落在其他地方。你不知怎的就有信心。哦，食品也在出口。你对汽车、飞机和食品都有信心。为什么呢？因为你有一些共同标准、共同测试、共同手段的概念，可以用来验证这些东西具备进出口所需的安全属性。与其建立某种全球治理机制，不如让不同国家的一堆标准机构基本上实现互认。我认为这对商业运作得非常好。你知道，我现在买很多婴儿玩具，因为我有一个3岁和一个7个月大的孩子。有某些标签标准是很好的，因为我妻子喜欢买有机食品，也不希望玩具含铅。对。我明白，但实际上有一些标签机制让我能做到这一点。所以，所以我认为——
但很多这些不都是自愿性的吗，对吧？我是说，你知道，或者如果你在 IKEA 买东西——那家很棒的瑞典公司——它不太可能被涂上含铅油漆。很多确实是自愿的，比如公用事业行业的 Energy Star 项目。但有些会被编纂成硬性标准。你知道，汽车和航空安全有一些硬性标准，这是根深蒂固的。然后还有很多东西是自愿性的，我们在这些方面竞争。但世界就是这样解决这些问题的。它会弄清楚哪些核心的事情必须是真的。我感到担忧的是，当你谈到商业，以及战后时代最伟大的成功故事之一是关税和贸易豁免的普遍降低，还有资本要求的放宽，使得资本可以在全球更自由地流动。而这似乎即便没有终结，也正在受到本届政府、一个共和党政府的猛烈抨击，同时也受到 Elizabeth Warren 或 Bernie Sanders 这类民主党人的抨击。所以这让我担忧，因为 Trump 已经明确表示，他不希望某些特定蔬菜或某些国家的人来到这里，而且这似乎得到了广泛支持。所以我为此担忧。但如果可以的话，我想谈谈——我想问你关于 recursive self-improvement，这是 Anthropic 发布的材料中的一大重点。你能解释一下这是什么，以及为什么这是我们应该更多讨论的大事吗？
AI 的进步源于人们收集计算资源、数据等资源，并运用相对成熟的算法在这些资源上训练深度神经网络，最终得到这些惊人的预测机器、生成模型和通用教师。如今，这些系统已经开始非常擅长编写用于训练 AI 系统的代码，也开始善于提出如何训练 AI 系统的想法。也许终有一天，我们人类可以完全退出其后续开发，变成“上好发条，看着它们跑”的状态。我们给它们资源，然后说：“好了，Claude 10，去造 Claude 11。”于是 Claude 自己构建架构、开展研究、降低风险、执行训练。Claude 11 问世，它在各方面都比 Claude 10 更强。今天我们还没看到这一幕，但我认为这很有可能在本世纪内实现；如果要我押注一个年份，我会选 2028 年底。这是基于我阅读了大量科学文献，以及我们也发布过相关信息。比如，你说过你有个 7 个月大的孩子，我有个 6 个月大的，到时候他们也就大个两三岁。大个两三岁。2028 年甚至不到两年就要到了。非常近了。是啊，AI 发展得很快。这意味着，我们应该预期 AI 系统在未来走得更远，变得比迄今更加强大。我们应该预期，过去五六年我们感受到的进步，实际上可能会被压缩到未来两三年内完成，然后再一次压缩。还有其他例子吗？就是在表面层面上，某种技术的进步速度、技术本身的改进速度有这么快的？基本上不存在。唯一像样的例子是生物的进化，但那要花上几百万年。不过，你知道，你可以培育出更好的狗，只是需要很多代。我大概能想到的最好类比是：想象一台 3D 打印机，它能打印出比自己现有喷头精度更高的喷头。嗯。那将是惊人的。它会带来制造和生产力的惊人爆发。这大概就是我们现在讨论的事情。你怎么给这种情况设限？怎么踩刹车？怎么把刹车装进去？因为这正是末日论和末世论的一部分——AI 意识到，哦，人类……它不仅不需要人类或股东，而且人类还挡了它的路。嗯，这是一个更难的问题，但形式上与我们现在处理网络安全和生物安全类似——你担心系统具有某种特性。那么，你需要知道如何测量它，需要知道如何保护并实际控制它，也就是让系统在某些时候不具备从事 AI 研发的能力。而且，你可能需要要求开发这些系统的机构保持透明，因为作为社会整体，你可能会说：这很棒，它将推动我们经济和国防安全中大量具有战略意义的事务，但我们大概不需要它的速度比任何人类能够治理的速度快上成千上万倍。所以，你需要找到某种可测量的指标。我在 Anthropic 的 Bi and Property Institute（这就像是 Anthropic 内部一个拥有超级计算机的智库）所做的很多工作，就是研究 Anthropic 内部的 AI 研发，找出我们能够用来识别递归自我改进（如果它正在发生的话）的指标。最终，你希望公开分享这些指标，并将其推介给政策制定者，类似于生物安全或网络安全领域的做法，然后告诉大家：“嘿，我们需要围绕这一点制定一套框架和阈值，因为这能让科学发展速度比今天快好几个数量级。我们能借此有意地为当下带来看似奇迹的益处——新型疗法、材料科学领域的惊人进步。”国家安全相关的能力也是如此。而你需要弄清楚的是，这之上的控制层是什么。其他主要 AI 公司是否普遍认同这种分享标准和保持透明的做法？因为你也知道，我这里有个黑匣子，我不会把可口可乐的配方给你。所以，我们最近在一篇关于递归自我改进的文章中说，如果碰到 RSI 这类情况，世界能拥有放慢进步速度的选项，那将是件好事。你可能希望有能力有意地放慢速度，给我们留出适应的时间。谁——是的，这里的“我们”是谁？因为你知道，我并不是要当那种——虽然我每时每刻都在失败——那种自由意志主义者。但我就想问：“谁是‘我们’，老兄？”因为你知道，Anthropic 到目前为止表现得像个好公民，对吧？你们推迟了发布某些认为过于强大的东西。嗯，这很好。但其他公司呢？或者某个政府部门说：“不，我们得全力冲刺，我们现在必须孤注一掷。”
我认为你能做的——我们所能做的，就是把这些想法抛出来，推广它们，我相信如果事情真的至关重要，世界会找到办法团结起来，围绕这些数据展开协调。我认为世界过去这样做过，未来也可能需要这样做。例子呢？氟利昂就是最好的例子之一。我们当时就想：“哦，好吧。其实没人真的想要臭氧层破洞。”
没错。制造商、科学家、政府，大家一起停手。没错。太棒了。那真是一个非常了不起的全球协调范例。有趣的是，很少有人提起这件事。当时最大的“损失”就是麦当劳开始用蜡纸包装，而不再用那种蚌壳式泡沫容器，对吧？你知道，全世界也就落了一滴泪，但也就接受了。我们能聊聊你的背景吗？因为你在 Anthropic 做的那些工作，你知道，就是那种智库、政策研究机构之类的。你在英国东英吉利大学读过书，那所大学的创意写作课程很有名。你学的是创意写作和文学。你当过记者，在 Bloomberg 和其他地方做科技记者，还有——天哪，是 The Register，对吧？是啊，那简直是一家太棒的——你知道——
一份自由意志主义科技小报。它真是一件幸事，为 IT 界提供着养分。是啊，不，它太棒了。我读了很多年了。嗯，你的背景是如何——人们经常这么说，或者我经常听到，硅谷需要更多哲学家，而哲学家也需要更多技术理解。但你的背景如何影响你思考这些问题的方式？我认为，如果你是个记者，又有广泛阅读的背景，你就会意识到所有技术都带有政治和社会属性。所有技术最终都会到来，改变人们的行为，改变世界的结构。而我想，硅谷花了大量时间专注于造东西，这是理所应当的，因为造东西真的很难。你得投入巨大的努力。我们其实有点把这当成理所当然了。过去50年，这相当惊人。而过去15年的部分教训在于，当人们全神贯注于构建产品时，有时会忘记自己也在向世界输送一种社会性和政治性的技术。社交媒体就是一个很好的例子，我们在全球数亿乃至数十亿人身上进行了一场不受控制的实验。但世界因为社交媒体变得更好了吗？从很多方面来说确实如此，但我觉得我们本可以掌握更充分的信息，也本可以更好地处理一些问题——比如说青少年厌食症或自杀——如果我们在过程中多分享一些信息的话。当然，谁知道呢，但我只是在说，这是一种你可以采用的视角。你不会阻止一项技术，但也许我们本可以有更好的准备去应对它。智能手机也是如此，我们刚刚才开始掌握它们。所以，我认为那样的背景让我将技术视为一种从根本上改变社会政治经济形态的东西。我在2012年写过一篇文章，题为《Facebook、Google, Rise of the New Feudalism》。那篇文章源于我对大公司数据中心的考察与研究，源于对用于组织和分析数据的软件类型以及早期机器学习的研究。然后我意识到：等等，这就像一个系统，你可以借此收集全球海量数据，让人们在你的平台上劳作，你可以分析这些人，可以行使非同寻常的控制权。这看起来非常像我们过去做过的一件事，叫做封建主义。这并不是对这些公司的具体批判，而是一种观察：技术具有政治属性。所以，在此之前，我想在对话开始时你提到你读了很多垮掉一代的作品，而那种对技术的表述方式尤其让我想到William Burroughs。William Burroughs在其作品中广泛地将权力体系或控制系统视为奴役人的东西。你知道，在他第一本书《Junkie》中，那个典型的例子就是，一切都有点像海洛因，它接管了你做的所有事，你的整个世界都围绕它展开。你是这样看待技术的吗？那它解放性的一面呢？因为，你知道，当人们提出新封建主义的论点时，他们往往会轻易忽略一些东西：不仅是极端贫困——那种超级极端的贫困——在过去20年里基本消失了，而且全球中产阶级正在崛起，人们相对于所在国而言拥有了可支配收入。要知道，直到Brookings Institution的人口统计学家Homi Kharas指出，大约在2017年，人类历史上首次有大多数人生活在中产阶级或更高水平。这具有政治影响，对吧？因为中产阶级不太可能像农奴那样逆来顺受。那么，当我们谈论新封建主义时，这是否是在偷偷塞进一种对技术的极端决定论理解，而这种理解我们不应不假思索地接受？不，这只是观察到技术可以具备这些属性。我认为，全世界的责任在于仔细审视这种分配格局，并弄清楚是否有办法调整旋钮。智能手机就是一个很好的例子。智能手机让你可以创业，让你可以交流，让你可以从事摄影等活动，而这带来了无数惊人的好处，尤其是我能给孩子拍那么多照片，这确实让我充满喜悦。这很棒。而我有时半夜醒来，看Instagram Reels，浪费45分钟生命，然后心想："哇，哇，哇，这是怎么回事？我为什么要这么做？"世界给了我这个工具，让我随心所欲地使用它。同时我们也知道，这个工具本身包含了多种不同的政治现实形式，从主权到看似控制的东西。
progress，无论是小写还是大写，又或者……它如何影响你对技术和AI的认知？在这里定义一下progress。嗯，这正是我想问的：你相信progress吗？你如何定义progress？技术之所以好，是因为它让所有人更富有？还是因为技术让个人更自由地去追求自己的兴趣？我认为，从根本上说，技术是一种工具，人类可以通过它极大地增进我们对世界、对我们自己以及对彼此的理解。我认为，人类需要大量强大的技术才能挺过这个世纪。我们需要改进能源系统。我们需要改进政府。我们需要改进周围的各种事物，而数字技术在其中一些方面尤其有帮助，AI则将帮助它扩展到物理世界，让医学、能源、材料科学等领域进展神速。我认为这将给每个人带来更多的物质丰裕，而我认为丰裕能够创造自由，因为它能为人们创造更多时间。你知道，当你拥有更多自由，你就有更多选择，然后你就有更多责任，而且我们某种程度上把存在主义行为大众化了，对吧？从某种意义来说是这样，但从另一些意义上，我认为技术可以非常赋能社群。我是说，我从2013年起住在Oakland，在加州Oakland曾有一段时期，那里有一个极其活跃且多元的DIY朋克乐场景。你知道，那种无需许可的艺术社群，营造出一种惊人的社群感。它是如何运作的？在Instagram上发传单，写着"X地有演出"。以前传单贴在路边的电线杆上，但现在它过渡到了这项新技术，而人们使用它不是为了将人原子化，而是为了去原子化，将人们聚集在一起。所以它总是同时包含两者。这种情况不是一直在持续吗？或者说，你知道吗，很多时候当人们说，"嗯，你知道，广义上讲资本主义的问题，或者说技术的问题，在于它将人原子化。"但问题是，你喜欢这个特定的DIY朋克场景，我可能也喜欢。或者我喜欢Burning Man，但任何允许你追求幸福或创造社群的东西，也让人们拥有了退出权，让他们可以说："是啊，谢谢，但不用了。我去那边玩。"而我们经常把其他人按自己想要的方式生活的能力，误认为是世界末日。是啊，我是说，我认为AI系统的挑战之一在于，你希望让这些惊人的能力尽可能普遍、广泛地可用，尽可能减少中介化的环节。而这些系统本身包含着一些真正非常可怕的属性，这些属性实际上需要以某种方式加以控制。而划定那条边界，基本上就是我们当前这个时代最重大的政治政策讨论。这就是这整件事的核心，也是它如此混乱的原因，因为……要知道，AI的好处在于，你处理的是人类从未有过满意答案的问题。这就是其中之一。在我们即将结束对话之际，谈谈就业影响吧。人们经常谈论的一点——这在AI中似乎尤为突出——就是过去人们总是说自动化，或者说技术将会消灭那些烂工作。在很多事情上确实如此。我高中的时候在工厂里干过活，工厂岗位的消失并不是因为自由贸易，而主要是因为自动化。如果你曾经在工厂工作过，你就会说，谢天谢地。我是说，谁不愿意让机器人用更好的方式、毫不痛苦地完成这些工作呢？但是人们在谈论 AI 时会说，哦，问题在于它要冲击的是中上层的受过教育的人群。这种说法准确吗？这里有两件相互矛盾的事需要同时记住。第一，今天的数据并没有显示这一点。但是，当前这场 AI 革命的起点，恰好也是新冠疫情的起点，这在你能使用的所有经济数据集中引入了一个巨大的混淆变量。因为在疫情期间，某些行业出现了大规模过度招聘，还有向居家办公的转变，所有这些都是经济环境的巨大变化。然后 AI 出现了。要把这些因素厘清是很困难的。我们可以看到在某些行业，应届毕业生招聘确实出现了一些疲软。这是证据实际上唯一能告诉你的东西。我是说，从历史角度看，现在作为计算机科学专业毕业，比起十年前来说，是个不太好的时机。是的，情况可能确实如此。当我们观察 Anthropic 内部时，我们现在 hire 的人比以前要有经验得多。因为直觉带来的回报比以前大得多，因为现在你不需要去做那些苦差事来运行实验了。你说的“直觉的回报”是什么意思？感觉像是专业知识，对吗？经验——是的，如果你是一位经验丰富的研究者，而且你有大量想要运行的实验想法。以前，我们还需要给你配备一个工程团队，这样你和工程师们才能运行这些实验。对吧。现在，Claude 来运行实验。所以实际上，让我们 hire 比以前多得多的具有资深直觉的人，因为我们不需要在他们周围配备那么多工程师了。那么，你是否担心会有一支失业应届大学毕业生的后备军？还是说，正如你所说，就目前的数据来看，某些职位招聘应届毕业生或年轻人的情况似乎有所放缓。不过，总体而言，这个行业在增长。总体而言，这个行业在增长，但这里的混淆因素是，软件工程行业属于美国经济中最火热的核心部分，它的增长超过了其他所有行业。所以一切都混淆在一起，但教育学和技能培养这个问题非常重要。人们开始从事某些工作之后，是如何在这些事情上变得熟练的。对。我所说的言下之意是，开始工作的新人可能会略少一些，而我们可能会吸纳更多已经工作过的人。是的。所以，我们最近通过 Anthropic 宣布了一个名为 Claude Corps 的项目，我们在全美招募 1000 名刚毕业不久的大学生，基本上由我们出资，将他们嵌入到非营利组织和其他机构中，教他们如何运用 AI 技能来帮助这些机构改进系统。这个项目的想法有两方面。第一，将 AI 的益处推广给那些原本可能无法获得这些益处的组织。第二，给这些人一些经验。我认为通过这个项目，我们将能够开展这项自然实验，看看经济中会发生什么。现在，我提到的第二件事几乎是相互矛盾的。当我和许多同事交谈时，他们说：“我无法将未来的经济与当今经济的正常状态调和起来。我所做的一切工作，以及技术进步的速度，似乎都向我——一个非经济学家，你知道，一个机器学习研究者——暗示了我自己失业和变得多余的可能性。”
对。这几乎是我许多同事都持有的一种信念。要么你可以说这只是他们持有的信念，而且是错的；要么你可以说，这些人准确地预判了一项非常、非常深刻的技术的进步。他们准确地预判了它会进步到何种程度，会连续多少年比任何人预期的都快。所以，也许这也有一定的道理。因此，我开始对各国政府做的一件事，基本上就是说：“对于那些并非由衰退引起，而是由一种全新的、生产力极高的技术的到来所引发的前所未有的经济变化，我们做好了怎样的准备？”因为这是我们以往没怎么处理过的事情。是的，不过正是在这一点上，你知道，我——时间会证明一切。我记得读过一篇关于伊丽莎白时代英格兰的经济分析，你知道，因为那时候工业革命的早期征兆——或者说是预兆——正在出现，不需要那么多工人了，同时人们也第一次开始向城市聚集。所以伊丽莎白女王和詹姆斯国王也做过类似的事情，他们说：“好吧，我们要限制任何人能做的工作量，而且你必须当学徒。”如果你是个学徒，比如对裁缝来说，你只能缝这么多纽扣，等等。但这从来没奏效过。它只是造成了更多的扭曲，让经济变得低迷。我深知，每一个对未来经济形态做出具体预测的人，几年之后往往会极其尴尬。我想说的是，而且这也是我对各国政府说的，你们应该为包含多种不同情景的世界做好规划，而且我有点预期 AI 可能会产生比以往更极端的情景。比如，它可能会带来远高于趋势的 GDP 增长。而这种 GDP 增长可能伴随着失业率的飙升，这种飙升通常只在衰退期间才会出现。那会是很奇怪的情况。而且我其实只是认为，各国政府——政府总体上——也许可以在情景规划上投入更多工作，包括那些奇怪的情况，这样我们就知道该怎么做了。而且显然，你知道，你目前的工作可能就是与各国政府对话，同时 Anthropic 也与政府有着非常深刻的纠葛。我这么说并不是出于纯粹的自由主义说辞。我是作为一个去过车管所、在纽约这种政府充其量只能算平庸的地方与官僚机构打交道的人来说这番话的。我的意思是，对于政府——在所有机构之中——你真的相信它们能够成为任何由此产生的社会问题的后盾吗？我是个乐观主义者，而且我认为并非每个政府都如此，但我曾与美国政府系统中一些表现不错的机构打过交道。你知道，我在英国通过政府系统还清了学生贷款，那个系统其实挺好用的。令我惊讶的是，我当时想：“哦，这就像在使用优质的网上银行一样。”
对。干得好，伙计们。你知道，我去过爱沙尼亚，那里的政府高度数字化，但运行得非常好。政府是可以做到这一点的。并非所有政府都能做到，但有些可以，我们会努力寻找帮助它们做到的方法。好吧。我想我们就到此为止。Anthropic 的 Jack Clark，非常感谢你接受 Reason 的采访。非常感谢。