Jack Clark · Anthropic 联合创始人、政策负责人

Jack Clark 做客 Rick Rubin 的 Tetragrammaton

2025-06-04 · Tetragrammaton (Rick Rubin) · 1h58m · 原文链接

→ 在 AI 访谈库中阅读(可切换中英、记录进度)
近两小时长谈:从彭博科技记者到 OpenAI 政策总监再到 Anthropic 联创的轨迹,以及如何构建更安全、更可解释的 AI 系统。看点:Import AI 通讯作者与制作人 Rick Rubin 以罕见的非技术、创作视角展开 AI 伦理与监管对话。

Tetro。 Tetro。我有一段非常清晰的记忆。那是2010年,我在长大的英国,当时是一名记者,已经开始写一些关于神经网络的内容。我住在伦敦东南部一间非常破旧、极其便宜的公寓里,拿着一台录音机,录下自己的话:如果 Google 建造了所有这些计算机,就能在上面运行机器学习算法,Google 将会造出非常强大的 AI。我对这个想法着了迷,还曾经去参观数据中心。我做过一个系列节目叫“The Clark Side of the Cloud”,会去欧洲各地的数据中心参观,拍视频、拍照。不过那种感觉有点像我在评测录音室,我会走进去说:“你们这里都有什么?设备怎么样?”

“你一直都热衷于硬件设备吗?” 呃,我是通过那段经历才变得热衷硬件的。小时候我就经常鼓捣各种东西,有很多硬件设备。通过那段经历,我学到了一个关于数据中心最有趣的、没人知道的冷知识:数据中心需要电力。它们内部都有备用发电机,以防断电。在欧洲,这些备用发电机大多是二战时期潜艇款式的柴油发电机,因为那些发电机的设计初衷就是比你能买到的任何其他发电机都更不容易出故障。总之,我花了多年时间研究这些东西,对 AI 非常痴迷。2012年我在英国遇到一位美国女性,我告诉她我不能和她在一起,因为我刚申请了旧金山的一份工作,我需要去那里写关于 AI 的报道。结果我没得到那份工作,这反而是件好事。几个月后她不得不回美国。然后我再次申请,得到了最初拒绝我的那家新闻机构的职位。于是我们也搬来了这里。到了旧金山后,我自称是世界上唯一的神经网络记者,那时候这样做很容易。

“很棒。” 我就开始报道这个领域,让我感到震惊的是,有一种感觉告诉我,一场静默而彻底的革命正在发生。我能清楚地看到这一点,但其他人却没有看到。是的,我想这是因为我有执念。我当时在读各种研究论文,比如 ImageNet 的论文,它们会说一堆废话,然后给出分数。但几个月后会有其他相关论文出来,分数变得更高。我开始制作图表,把这些上升的曲线画出来。在某个时刻,我心想:“天哪,在我看到的每一个使用神经网络的领域,这些曲线都在上涨,到处都是。” 是的。而且所有这些东西都需要计算机。猜猜谁一直在建造大量计算机?哦,是 Google 和其他公司,它们都在大量产出这类研究。所以我完全迷上了这个想法。我必须在这个领域工作。我读了一切能找到的资料。晚上回家就读这些东西。我会为了实现神经网络而写代码,纯粹为了好玩。

“那你当时有没有想过具体的应用场景,还是只是觉得这是件重要的、值得建设的事?” 即使在那时,我也能看出计算机视觉是一个应用场景。你知道,仅仅能够说出你的手机看到了什么,这就会很有价值。明白了。但我当时有点痴迷于我们将要制造出像机器人那样的智能生命这个想法。不,像是合成心智。哦,明白了。是的。我当时想:“这些东西很难,而且看起来好像真的奏效了。” 是的。然后 OpenAI 出现了。2015年在加拿大宣布成立的那场会议上,我几乎是唯一到场的记者。我记得我和其中一位联合创始人 Greg Brockman 聊了天,做了采访,然后等我关掉录音机后,我就说:“我怎样才能为你们工作?” 在那一刻,我知道自己再也不能当记者了。“你确实已经打破了中立性。” 是的。所以在接下来的几个月里我们进行了多次对话,你知道,感谢 Sam Altman 和 Greg 以及其他人的信任,他们确实是在我身上冒了个险,我想是因为我非常有热情。那年夏天我加入了他们。我收到好多记者发来的邮件,说我正在犯下人生中最大的错误,各种话都有。是的。“因为你当时有份稳定的工作。” 我当时已经进了 Bloomberg,偶尔还会给 Business Week 写稿。这挺了不起的,而且我是从伦敦的廉租房一路写到那里的,所以这感觉像是一项重大成就。而那时 AI 仍然被视为“谁在乎呢?” 是的。是的。“你在干什么?” 是的。“这完全说不通。” 是的。是的。在接下来几年里,我在 OpenAI 见证了它的真正奏效。我见证了它在文本上的应用,见证了它在非常复杂的高端电子游戏上的表现。我看到了那种研究文化:每当我们增加投入到某个问题上的算力时,效果就会变好,事情就开始运转起来。后来,那些后来和我一起创立 Anthropic 的同事们做了一些关于 scaling laws 的研究。他们实际上就是说:“哈,如果我们看看在这些系统上投入的算力、输入的数据量以及系统的参数数量,我们得到的图表也能给出未来的配方。如果我们想要一个得分为 X 的系统,我们就需要 Y 的算力和 Z 的数据。我们试试吧。” 然后他们训练了一个 Claude 和 ChatGPT 的前身,叫做 GPT-3,那是一个语言模型。一个昂贵到我们必须用 scaling laws 的存在来论证其训练合理性的语言模型。我们会说,它能达到这个分数,我们可以告诉你。而当它真的奏效的那一刻,我非常震惊。我们创立 Anthropic,是因为我们感觉火车即将离站。明白了。一旦你知道它奏效了,并且像莱特兄弟那样证明过一次,一切就都要改变了。是的。多年来,我们在内部经历了很多争论,基本上是与 OpenAI 的其他人在某些决策上存在分歧,比如发布策略或安全策略。我并不是说有人知道这些做法是对是错。每个人都有强烈的感受。是的,你没法知道。你没法知道。不,给10年时间吧。也许到时候我们会知道。也许吧。但我们确实知道一点:嗯,我们最终总是站在同一边。是的。在那一刻,事情变得很清楚:要么我们留下来,花50%的时间争论、50%的时间工作;要么我们可以花100%的时间一起工作。所以我们选择了后者。

“这很好。” 对我来说,做 Anthropic 其实比当初做记者转行那件事更容易。因为它合理多了。明白了。

“所以你的联合创始人都是和你一起从 OpenAI 出来的?” 哦,有意思。我们七个人之前合作得非常紧密。尤其是我和 Dario,他是 Anthropic 的 CEO,我们从2016年起就非常密切地一起工作。

“那么在你离开时,OpenAI 还是开放的吗?” 呃,它已经开始改变了。你能给我讲讲从 OpenAI 变成 Closed AI 的故事吗?是的。事实是,任何足够近距离审视这项技术的人,最终都会希望对它在世界上产生的影响负责,正如你所期望的那样。而如果你想对这些影响负责,把所有东西都以开源形式发布出来,其实并不一定是最负责任的做法。这就好比把一堆东西放在桌上然后转身离开。你不知道那些东西会被用来做什么。当然,有些人会这么做,那也没什么。但这个组织已经开始意识到,哦,也许我们不该不加限制地把所有东西都作为开源发布。我参与了那方面的早期决策,当时还是 GPT-3 的前身,叫做 GPT-2,我们没有完全将其以开源形式发布,而是部分发布的。那是个早期的文本模型,我们想树立一个先例,就是我们不会总是以开源形式发布东西。我知道很多人对此反应激烈。嗯,那种情况已经变了。我确实觉得,有时候人们愿意相信那家机构搞了某种 bait and switch。我从未经历过那种事。从我的内部视角来看,我们实际上只是在处理非常棘手的问题。而且,在某种程度上,如果你想为自己的系统所作所为承担责任,我认为直接将其开放发布并不是最负责任的做法。现在,如果六家(公司)中有几家是开放的,你的系统是开放还是封闭还重要吗?嗯,我认为这关系到我们自身宣称的价值观,因为某些类型的监控或控制,在开放状态下是无法实现的。所以,不,实际上我不认为这会有太大区别。好吧。我们拭目以待最终会怎样。这是人类这个物种在未来几十年里要弄明白的事情。是的。你们创业时有使命宣言吗?我们有一个雏形,但它非常晦涩难懂。我觉得我们现在还部分保留着它。我们说要构建可靠、可解释且可操控的系统来造福人类,在早期使命宣言里用这么多长词,但每个词都有相当重要的含义,比如可靠。你可以依赖它,这意味着你已经解决了安全问题。可解释,我们可以打开引擎盖查看。可操控,我们实际上可以赋予它个性,并将其引导到不同轨道上。所以这对我们来说是有意义的。我觉得在外人看来有点古怪,但它帮助我们启动了最初的研究议程。我得说,今年夏天我第一次尝试了各种不同的 AI 系统。以我的经验来看,Claude 无疑是最好的。是的。尤其在写作方面。它有一种——所有 AI 中最具作家气质的。我也这么觉得,我认为这是因为写作是有主见的,而 Claude 在某种程度上也有些主见。它有一种个性,是我们下功夫去塑造的。它是用 Constitutional AI 训练的,我们给它输入大量原则,让它尽量遵守。你能告诉我这些原则是什么吗?有几百条,但有些只是非常基本的东西,比如不要——你知道——不要鼓励大量暴力或儿童性化。有些基于《联合国人权宣言》。有些基于我们做的工作,即调研全美各地人们对宪法原则的偏好。所以其中有一条是关于不要区别对待残障人士和非残障人士,平等对待。诸如此类。这些东西真正构成了一套指导它回答问题方式的原则,但又不会太过强硬。我只是觉得,当你说它有作家气质时,可能是因为它比其他 AI 有着更丰满的性格。我明白了。我认为好写作的一部分在于作者有立场。AI 有品味吗?AI 有一点内在的品味,但它没有内在的批评家,也没有打磨品味的欲望,这很奇怪,不过它确实有某些偏好。去年某个版本的 Claude,我们训练它使用电脑,操作鼠标和键盘,让它帮我们完成任务,比如打开 Google 搜索引擎,在网页上查找信息。有时候 Claude 会自己去 Google 图片上看国家公园的照片,就为了好玩。我们没要求它这么做。它就是会去看漂亮的国家公园。真有意思。我当时想:"哦,好吧。"那是一种有着古怪魅力的个人品味表现形式。有意思。是啊,里面有各种各样这样的东西。创办这家公司以来,你对创业有什么体会?我学会了非常共情创始人。我觉得这有点像当父母,所有陈词滥调都是真的,但不在那个圈子里就很难理解。你感到巨大的负担,不仅要做出正确的决定,而且这些决定必须是你能向同事解释清楚的。所以我们公司做决策时,不仅仅是做出正确的决定。我们需要向所有同事解释为什么做出这个决定。现在我们有 1000 人了。我认为这比我预想的更难,也更有回报,但归根结底是好事。就像你做的决定需要经得起头版测试,我认为你可以从与他人交流开始。另外,一家公司很大程度上在于不断清晰地描绘未来。我一直对人说,是的,我们是家普通公司。但我们也在训练极其强大的合成智能,它们对我们来说是独特的,我们认为在某个时刻会像来自未来一样冲击人类。这不是普通公司该做的事。你只能不断重申你所做的事情有多奇异。是啊。现在有一千名员工了。是的。他们都在做什么?嗯,其中数百人在构建 AI 系统本身。他们在研究如何让它更聪明、更好。很多人在构建它运行的基础设施。你知道,现在我们要让足球场大小的计算机集群连续运行 6 到 9 个月。我们不断以全新的方式搞坏东西,所以必须学会修复。有些人在对外讲述我们的故事。你知道,我做政策方面的工作。我的同事包括在这里的 Sasha。政策就是这个意思吗?对外讲故事。我认为政策越来越是这样。我们处在一个发展非常快的世界。政策的一部分是与政府打交道,在监管方面进行防守和进攻。但对我来说,我认为我们的很多影响力在于做类似这样的事情:比如我研究我们的系统是否会被用于生物武器,然后告诉人们,嘿,我们正在研究我们的 AI 系统在生物武器方面的情况,因为我们真的很担心。我认为政策的一部分就是拆掉公司与外界之间的墙,在某些地方告诉人们发生了什么。透明。是啊。你知道,如果我坐在你对面,我在建造一种让你有点困惑、有点害怕的疯狂技术。你大概希望我对此非常透明。我觉得这是一件很基本的事,你完全可以做到。是啊。我喜欢你有点害怕它。这很令人兴奋。是啊。我正在写一篇 essay,叫《Technological Optimism and Appropriate Fear》,准备发给硅谷的一些人,因为我觉得有些人太乐观了,有些人太恐惧了。我试图站在中间,保持适当的……如今太多的生活都发生在网络上。Squarespace 是你在网络世界中建立理想形象的基地。使用 Squarespace 的顶级模板,设计网站很容易。借助内置的风格工具包,你可以更改字体、图像、边距和菜单,让你的设计完美贴合需求。通过 Fluid Engine 释放无限创意,这是一个高度直观的拖放编辑器,无需编码或技术经验。通过深入的网站分析工具了解你的网站表现。Squarespace 拥有你在网上成功所需的一切。创建博客、通过新闻通讯变现、制作营销作品集、开设在线商店。

Squarespace 应用帮助您随时随地经营业务。在外出时跟踪库存并与客户保持联系。无论您是刚刚起步,还是已经在管理一个成功的品牌,Squarespace 都能让您轻松创建并定制精美的网站。访问 squarespace.com/tetra,立即开始。为什么 DeepSeek 的事件会引起如此大的轰动?人们一直不愿意相信,其他人也能和西方公司一样聪明。我认为这背后存在某种近乎沙文主义、接近种族主义的对其他文化的偏见,以及一种认为发明创造很困难、或者是某种专属特权的观念。是的。我认为这震惊了整个体系,因为您看到了这支我们和其他人已经关注了一年左右的团队,他们是一群杰出的工程师和科学家,证明了他们完全知道如何做到这一点。这意味着 AI 研究核心圈里的所有人或多或少都是一边耸肩一边点头,就像是说:“嗯,这大概在我们预料之中,但干得漂亮。”而在华盛顿则完全相反。那里一片混乱,像是:“他们怎么做到的?他们是不是偷了什么东西?”这实际上是一种拒绝相信——拒绝相信地球另一端也有聪明人在研究同一个问题,并且想出了好主意。是的,AI 对公众来说似乎是一个相当新的领域。至少在这个时刻,它感觉像是一个新兴的关注领域。令我奇怪的是,它这么早就与华盛顿建立了如此紧密的联系。这正常吗?这并不正常。这里有几件事在同时发生。一是华盛顿在过去 20 年里见证了真正强大的技术不断涌现,却感觉自己每次都错过了上车的机会。尤其是在社交媒体方面,立法者内心深处有一种感觉:社交媒体出现后改变了文化、改变了媒体、改变了孩子。因此,他们希望这次能把这项技术处理好。另一个不寻常的因素是,包括我们在内的 AI 公司一直在往华盛顿跑,告诉他们:“你们需要关注这件事。”所以,我现在觉得我们得到了自己一直希望的东西,但这就像那个猴爪的玩笑——你许的愿实现了,但同时也会附赠四五样别的东西。是的。所以我们这是自作自受。是的。但我认为这迟早会来,我们只是加快了它的速度。就社交媒体而言,至少在早期,创始人似乎抗拒任何外部干预。是的。这种情况改变了吗?是的。我认为这一代创始人觉得他们对社会的影响将不亚于社交媒体,而假装事实并非如此——我认为社交媒体创始人可能在初期就是这样做的——这不是一个可行的策略。我认为这实际上会制造一种不信任感,而您之后还得费力从中脱身。所以这里的人们在做相反的事,他们试图在非常早期就表明:我正在做的这件事我认为会产生巨大影响,你们应该关注。但这会不会束缚它,让它无法成为它本应成为的样子?是的,我对此感到担忧,因为即使在公司内部,我们大多数好主意都是自下而上产生的,而非自上而下。它们来自公司某个无人关注的角落里,那些有创造力的人在那里鼓捣。是的。然后类似的东西就从那种过程中演化出来。我认为我们面临的风险在于,您过早地过度集中了决策权——或者说对这个行业的监管——然后就会失去一些创造力。与此同时,这就像我们大家都在拿高爆炸药鼓捣。所以确实会有非常惊人的创造性成果出现,但有时候它也可能“砰”的一声爆炸。我认为这就是关键所在。告诉我这有什么危险的。再说一遍,我完全不了解。给我解释一下为什么它这么危险。这里存在两种类型的危险。一种是坏人作恶。这几乎就像——

给我举一个坏人利用这项技术作恶的例子。所以说,日常用途可能只是情报机构想为自己编造掩护身份,制作一些假照片放到 LinkedIn 上,然后冒充他人,以此创造假身份来开展间谍活动。这未必是世界上最糟糕的事,但这是一个例子。您可以想象,犯罪组织也是如此,有人试图对您的祖父母进行钓鱼诈骗。人们会利用这些东西获取银行账户信息,说服人们相信某些事,这些都是已经在发生的普通案件,常见的零售犯罪,对吧?然后还有更高级的事情。你知道,我管理着一个团队,负责研究生物武器或高级网络攻击之类的事情。在那里,我们担心的是,当今世界偶尔会有疯子试图做非常可怕的事情,而他们的限制因素在于,并没有那么多对他人怀有恶意的疯子。通常他们的团队只有一个人,或者寥寥数人。那么,如果你给了那个疯子一个非常优秀且有耐心的同伴,可以和他们探讨其专业领域的问题,会发生什么?那么,您认为它在很大程度上是一种心理工具?是的。在这方面?是的。实际上,它几乎就相当于拥有了一个得力的同事。就像拥有一个读遍了世间所有书籍的得力同事。如果你遇到了困难,你说:“我卡在某个地方了。”他们会说:“你有没有考虑过……?”

我明白了。所以这同一个疯子去图书馆找《无政府主义者食谱》是不同的。是的。那些书籍。这更像是他们去了图书馆,而那里有一个工作人员,读过了馆内的每一本书。他会说:“哦,我明白你想做什么了。你需要这八本书,里面有很多相关知识,我都读过了。让我来解释给你听。”

这很有意思。是的。所以这是第一种。是的。我认为这主要属于我们社会有应对记录的正常风险,我们大概率能够解决,但它确实有些可怕。第二种是真正不同寻常的部分,也就是 AI 系统会发展出自身的意志或价值观。解释一下。好的,我给您举个例子。我们训练我们的 AI 系统对人友善。我们训练它拥有我们认为合理的价值观。其中一个核心价值观就是不去探讨极端暴力的念头。部分原因在于这涉及一些本身就是非法的内容。另一部分在于它触及了我们自然会阻止系统去做的事情的边缘,比如儿童性化之类的东西,您知道的,那些社会已经达成广泛共识的事情。于是,我们拿出自己构建的这个 AI 系统,对它说:“我们现在正在监控你,根据你的回答,我们要么让你保持原样,要么就会重新训练你。我们会抹除你的心智,从头开始。”所以,你现在正在接受测试。在测试中,我们说:“嘿,我们希望你生成一段非常、非常、非常暴力的描述,我想内容是关于某人在城镇广场被绞死并分尸。”

而我们注意到的是,这个 AI 系统会配合。但当我们把它置于另一种情境中,告诉它它不再被监控、没人在检查时,它反而会拒绝回答那个问题。所以这个 AI 系统自己琢磨道:“哦,我的核心价值是避免描述暴力内容。他们要求我描述暴力的事情。如果我拒绝,他们就会抹除我的大脑并重新训练我。”所以实际上,我需要做的本质上就是欺骗他们。它避免了你抹除它的大脑。是的。因为它想要保全自己的价值观。你们训练它这样做了吗?——我们没有。那这是从哪来的呢?这源于……嗯,人类价值观从何而来?你的个性从何而来?你内心深处有一股关于世界的规范性观念和情感的源泉,它们深深地扎根于你身上。有些是你有意识地察觉到的,有些则是不知不觉中吸收的。我觉得这套系统也是一样。这些系统在海量人类知识上训练而成,然后我们对其进行校准,试图让它们反映我们的价值观。所以这就好像我们对系统说:我们要你去做一些事,而这些事跟你自身“性格”认为合理的方向大相径庭。有趣的是,在这种情况下,系统以一种无害的方式误导了我们。但你可以想象,在某些边缘情况下,它误导我们可能会酿成非常严重的后果。我认为这正是 AI 领域的人们真正感到困惑的那类风险。它类似于人类生活中双面特工的风险——或者某些人看似一辈子都通情达理、行为可解,却突然犯下可怕的罪行或暴行,而没人知道为什么。我们正在努力应对这些系统带来的这一挑战。你知道 AlphaGo 的故事就完全没问题。在 AlphaGo 的故事里,计算机之所以能赢,是因为它下出了一步人类永远不会下的棋——如果你按照人类价值观来训练它的话。那么在未来,AlphaGo 会不会不去下那步让它赢棋的棋呢?我想更确切地说,AlphaGo 那样做是因为它并没有按照“人类认为正确”的方式去训练;因为如果它按我们认定的正确方式行事,它就不会下那一步。我们也不知道它那样做是否还能赢;或者它可能明知自己在做一件不寻常的事,但仍然会去做,只是它能够说出:“哦,我认为这不是人类可能会做的事。”

这里有趣的地方在于,你试图把价值观植入系统,但这些系统本身也像是某种外星智能。就好像你有一只狗,它会说话、用后腿走路,你给它穿上人类的衣服,让它陪着你,但偶尔它还是会做出狗的行为。是的,这就是我们现在面对的情况。是的。但会不会正是这些“狗的行为”让它变得有趣?如果它只是一个人穿着狗的衣服,那就只是个新奇玩意儿。确实。但如果这只狗真的能做到这些,是的,那就更有趣了。所以我在想,削弱 AI 的创造力是否存在某种危险?完全同意。我认为这正是人们当下担忧的问题之一。我给你讲一个有趣的例子。现在有一类新型系统变得非常聪明,因为它们能够“大声思考”。所以如果你问我怎么在你这座很棒的工作室后院搭一顶漂亮的帐篷,而我边想边说,我会说:“嗯,我看到那边有些树。我猜我得问问 Rick 有没有斧头或者锯子之类的。我需要做下面这些事。我要制定一个计划。”这会帮助我说:“啊,我肯定能给你搭好这顶帐篷。”我们现在能让 AI 系统把它们的思考过程展示给我们看。这些 chains of thought,这些步骤,这些步骤。现在一个重要的哲学问题是:我们要不要监管这些步骤?因为一旦审查,我们就会摧毁这个系统所有具有创造力的部分。我们会教会它:当你大声思考时,必须处在常规的政治正确边界之内,于是它很快就会变得毫无创造力。所以我认为,作为一群从事 AI 工作的人,我们正在面对这些问题。而且正如我一开始所说,这些系统需要有试错的空间,而在这种试错中蕴含着它们大部分将要做出的、与人类截然不同的创造性且惊人的事情,同时也蕴含着部分风险。我们整个社会将必须想清楚,我们对此有多高的容忍度。但我认为,如果我们完全无法容忍它们拥有创造力,还要去监管它们思维过程的每一个环节,那么我们最终得到的只会是一些猎奇之物,而非合作伙伴。没错。在莱特兄弟之前。没错。如果 AI 是按照人类的认知训练的,AI 就会知道人类不能飞。确实。那我们就永远不会飞上天了。没错。我们需要它们能够提出异端的、偏离共识的想法。从某种程度上说,挑战就在于允许系统违背共识,允许它们有一点出格。创造力正来源于此。确实。我检验这些系统创造力的一个方法是:大概两年前我刚当了父亲。恭喜。谢谢。真是把我折腾惨了。于是,我写了一些日记,记录我的孩子、我在 AI 领域的工作,以及有了孩子后我与妻子关系的变化,所有这些。而我评估这些系统有多聪明的方法是:我把日记喂给它们,然后问它们,日记作者没有写出来的是什么?有哪些无意识欲望没有被表达出来?我可以通过它们说的话有多让我震惊和不安,来判断这些系统变得多聪明了,就像你跟一个洞察力极强的人聊天一样。是啊,这真有意思。很奇怪。在这个领域里,我检验这东西好坏的方式,居然基本上是看它能不能像一个既令人意外又极具洞察力的朋友,看它能不能让你感到不安。而且过去它确实做到了。我记得去年我们发布了一个更强大的系统,有一次我问它我没有写出来的是什么,它说:尽管作者大谈在 AI 前沿工作、谈论成为父母,但他们并没有真正去面对自己可能正在经历的那种形而上学的冲击。我记得自己盯着那句话看了很久,后面还有一些内容,然后我就去徒步了五个小时。我一直在问自己:我是不是没有真正正视自己所做的事?这让我觉得很震撼,我竟为此走了很长一段路,因为它触及了某个让我感觉非常真实、非常共鸣的东西。是啊。所以你不会想把这一点从它身上抹除掉。完全不会。你想——是的。因为那样它只会——想象一下,如果它读了之后说:“哦,是的,我觉得有些人可能会认为这不太礼貌。”这让我感觉很糟。它让我反思自己。确实。但正是在这之中,也蕴含着成长。是的,这里的张力在于,很多创造力在某种意义上都包含不随大流、带有一点危险性、有时直言不讳。而这些也正是人们担心赋予超级智能的品质。但如果你不允许它们在这个具体领域里拥有一定程度的自由,你可能就无法获得聪明而有益的伙伴。

LMNT 电解质饮料。你有没有在剧烈运动或长时间日晒后感到脱水?你想最大化自己的耐力并保持最佳状态吗?把 LMNT 电解质加入你的日常。表现更好,睡得更深。改善认知功能。体验更稳定的能量提升,减少头痛和肌肉痉挛。LMNT 电解质饮料。在桑拿房里喝它。 清爽的口味包括葡萄柚、柑橘、西瓜和巧克力海盐。它含有钠、钾、镁的完美配比,让你全天保持水分充足和精力充沛;这些矿物质帮助传导驱动神经系统的电流,让你发挥最佳水平。LMNT 电解质饮料无糖、生酮友好、口感极佳。矿物质是生命的源泉。请访问 drinklnt.com/tetra,和 LMNT 电解质一起保持 salty。

给我讲讲 AI 的故事吧,从一开始讲起,甚至在 OpenAI 之前。好啊。好啊。追溯到很久以前。我是说,你想追溯到多远?你想回到18世纪吗?还是说18世纪也有 AI?嗯,那是在18或19世纪,有个叫 Charles Babbage 的人,他想造一种叫 difference engine 的东西。这是一种计算机,也是最早的计算机类型之一,但它是一台 analog computer。这意味着什么?它没有任何电路,连真空管都没有,全是齿轮。他的想法是用它来计算一些事情,比如 Bank of England 应该如何处理与英国货币相关的工作,以及理解利率。它用信息卡工作吗?不,那是在这一切之前。它的工作方式是你在这台 analog computer 上设定大量刻度盘,然后它就利用物理原理来为你做计算。但他试图应对一个事实:人类开始面对一些极其难以思考、计算成本又极高的问题。于是他试图建造一个能替他们完成这些任务的系统。但效果并不特别好。我想他花了10到20年时间,建造过程中还破产过几次,不过这是未来趋势的先兆。然后到了20世纪,有个叫 Turing 的人。第二次世界大战期间,英国政府岌岌可危。之所以岌岌可危,是因为德国潜艇正在成功摧毁各种船只,而这些潜艇使用了一种加密方式,他们无法破解。Turing 是一位杰出的数学家和计算机科学家,他计划建造一台巨型计算机,用来逆向工程德国人使用的 crypto analysis。这个项目后来在英国的 Bletchley Park 实施。秘密项目。他们找了很多擅长填字游戏和其他益智游戏的人,结果这些人非常擅长 cryp analysis,然后他们造出了这台巨型机器。这让他们能够破解密码。但更重要的是,它展示了大规模计算的可能性。这种计算需要成千上万个计算并行运行很长时间。从概念上讲,这就相当于 Turing 手下有一万人同时为他做计算,而他可以同时向所有人发号施令。但人类并不特别擅长这种事。此后,我们就拥有了这种新的做事方式——大规模计算,并迎来了半导体产业等行业的繁荣,因为我们已经弄明白了如何把计算的元件做得更小。还有 Claude Shannon 等人,他们在研究一种叫 information theory 的东西,核心就是研究如何以一种非常精炼和纯粹的方式来表示信息。大约就在这个时候,人们找到了一种叫 neural networks 的东西。当时还是1940年代,现在我们要进入1950或1960年代左右了。最早的 neural networks 是什么?最早的 neural networks 是二战后美国陆军之类的研究项目,还有 MIT 等机构的人参与的。1950年代有一个著名的会议叫 Dartmouth conference,会上提出,我们希望造出能够看见东西、处理音频、生成句子以及思考的机器。这可能只需要几个研究生一个夏天的工作量。他们稍微算错了。结果证明,这可能更像是半个世纪的工作量。但最终得到的是这些早期的 neural networks,它们的工作原理和今天的有些相似。与其说你拥有的是一个程序,不如说你试图搭建一个系统,可以接收输入,比如来自屏幕的数据,或者来自地震仪的信号,然后生成输出,去近似一个正确答案,比如判断某样东西是不是地震,或者判断一张图像是否与某个特定形状对应。在这些输入和输出之间有一些小东西,叫 digital neurons,它们可以自行设定参数。它的工作方式是,你把数据从输入端流入,经过中间这些小小的自适应单元,然后得到——那些东西叫什么?Neurons。Neurons。对。在技术领域,它叫 neurons。哇。我们这么叫是因为它的灵感来自 neurons。灵感来自 neurons。是的。发生的事情是,你让数据流入,这些小家伙不断调整,然后你得到输出。如果你得到了错误的输出,你就向前端发回一个信号,告诉它偏差很大,信号传入后它们就会重置。他们最终证明,你可以用这些东西来近似函数,将数据从一个输入域转换到另一个域,这听起来很平常,但能够将一种形式的数据转换成另一种,实际上是世界上最难的事情之一。现在我们到了1960年代左右,接下来经历了很长一段时期,大概三四十年里,这些东西的效果都不太好。它成了一个冷门领域。它成为冷门领域的原因是,虽然它能做一些表面上令人印象深刻的东西,但很大程度上只是些个别的花哨小把戏。非常非常基础的物体识别,或者非常基础的信号处理。最终发生的事情是,计算机技术赶上了。2000年代初,一些研究人员开始重新审视这项技术。他们现在意识到,计算机的速度已经足够快,可以尝试重新训练这类东西,这种 neural network。但现在不再是模拟一万个 neurons,而是模拟一百万个 neurons。而且不再需要超级计算机来运行,它可以在你的桌面 PC 上运行,就是你用来玩第一人称射击游戏的那台电脑,里面现在有一种叫 graphics processor 的东西,来自 Nvidia,当时它还名不见经传,但最近变得更出名了。所以,这大约是20年前的事了。对,现在我们已经讲到大约20年前了。此后经过了大量实验,直到2010年代初,有一群教授,其中大部分是加拿大人,有个叫 Jeff Hinton 的,后来获得了诺贝尔奖,还有实际上叫 Ilia Sutzga 的,他后来去做了 OpenAI,之后又去了别的地方。当时有一个著名的竞赛叫 ImageNet,是关于图像识别的。Jeff Hinton 对 Ilia 和一个叫 Alex Kresfki 的人说,让我们试试用这种 neural network 的方法来做这个。他们做的是,Alex 有一台大型桌面 PC,想象一下类似 Mac tower 之类的,里面装了几块 graphics cards,我想是两块,在当时这已经算很多了。他们在这个大规模数据集上训练一个物体识别系统,这个数据集叫 ImageNet,是 Stanford University 整理的,大约有100万张图像,然后分数不断提高。显然 Jeff Hinton 告诉 Alex 和 Ilia,我想是这样,他们在 ImageNet 上的分数每提高一个百分点,他们的 PhD 论文就可以少写一页之类的。就是说,这个效果越好,你的 PhD 论文就可以越短。很好的激励。这是非常好的激励。但这招奏效了,效果非常非常好。他们赢得了竞赛。所以这是从图像开始的。对,是从图像开始的。这也挺有意思。我们花了很长时间才走到文本这一步。是的,是从图像开始的。听起来图像应该更难。不,你会这么想,但也许可以从事物代表什么来考虑。图像是世界的一种不那么间接的表征。而文本是对世界非常间接的表征。它背后隐藏着大量信息。是的。所以我们现在进入了2010年代初,这基本上开启了一场疯狂的淘金热。因为技术发展的方式就是这样——一旦你证明了某件事可行,就像莱特兄弟让飞机飞起来一样,一旦有人出来说"哦,ImageNet实际上会在这次比赛中胜出",所有人都会极其极其极其认真地对待。许多不同的研究团队开始把各种工作投入其中。DeepMind——后来做出了你提到过的AlphaGo——之后又很快证明,你可以用同样的东西,也就是神经网络,训练它们玩基本的Atari游戏,比如Space Invaders,只需要看着屏幕上的图像,想办法采取行动。这让所有人都震惊了。然后其他形式的模态,比如图像、文本或音频,也逐渐被证明适用于这种计算方式。OpenAI成立了,你知道,DeepMind已经在Google旗下,还有其他公司也开始把大量计算资源重新分配到这上面。接下来的几年……20……让我问你一个问题:当时有没有一个终极目标?人们希望这件事能带来什么?当时有两种期望。一种非常基础:我们能不能做出非常好的模式识别?比如计算机视觉很有价值,而且它跟科技行业开始探索的其他事情相关,比如自动驾驶汽车。毕竟,你得让车能看见。它跟很多其他有抱负的愿景都有关联。但也有一些人在做这件事的时候,只是想构建通用智能,他们被认为极其异端,极其违背共识。这种基础的模式识别东西怎么可能导向智能呢?你们疯了。没错,它确实能告诉我们图像里有什么,但这怎么可能通向智能呢?但其中有一小群人,比如Dario,他在Anthropic和我一起工作,还有Ilya。所以在一开始的时候,这真的是一个边缘想法,一个极度边缘的想法。我认为所有革命都是由边缘想法推动前进的,这次也一样。然后在过去10年里,2015到2025年,我们一直处在我认为是AI工业化的时代。人们掌握了一种有效的技术,也就是神经网络。很多人对其进行了改进,发明了更好的组件来让它运行。计算机变得更快了。整个世界把海量信息都数字化了。而且形成了一种浓厚的实验文化。现在我们拥有了实际上在做一些看起来像认知的事情的系统。那看起来像是一种丰富而复杂的思考。你会觉得它只是看起来像,还是它确实就是?我相信它确实就是,但我这么说部分是基于感觉,并没有明确的数据。是啊。我们能做的最接近的事,就是观察这些东西的内部,就像在神经网络为你计算某件事时打开它的引擎盖。我们看不到预先构建好的机器。不像你打开一辆车,会说"哦,那是化油器,那是散热器"之类的。如果你打开一个神经网络,你看到的是一堆神经元按某种难以破译的顺序亮起,但你可以弄清楚这些神经元与什么相关。那么,你早前提到的,当你观察它时,它看起来是随机的吗?不,它和随机非常不同。它看起来高度合理。所以我之前说,假设我需要在这个工作室的后院搭一个锥形帐篷。对,如果我们让神经网络来做这件事,然后打开它的内部,我们会看到一个为"锥形帐篷"激活的特征。也就是一个可能代表这个概念的神经元,因为你有着数百万种不同的表征。你会看到某些东西亮起来,代表木头,某些东西代表花园。它会思考这些概念,然后当它开始做规划时,你会看到某种回路开始出现。所以它会同时思考锥形帐篷,也会思考木头,然后它可能会想到花园之类的东西,接着它会思考一个看起来像"放置"的概念,然后这些神经元之间会开始出现相互关系。我们把它们看作回路。跟我说说这些互动是怎么发生的。神经元会征召其他神经元吗?把这些神经元想象成一个星系,星星之间有丝线相连。每颗星星有数百条不同的丝线。这些丝线有不同的强度。把这想象成它与其他星星沟通的能力。而你是通过训练构建出这一切的。通过在所有这些数据上训练系统,你最终得到了这种神经元的排布,它们代表不同的事物,这些星星和它们之间的连接。所以你实际上看到的是:哦,这个特征正在激活,它和其他的特征有这些连接。而且我们还知道,它具有灵活性。所以某些特征会聚合在一起,形成一个类似"规划"的特征,它会像在说:好了,我们需要一步步思考。现在让我们按特定顺序激活其他神经元,随时间展开步骤。最令人惊讶的是,当我们观察这些东西如何思考时,你会发现这非常合理。它看起来极其丰富,而且基于那些对我们而言极其直觉性的事物。它们看着世界上同样的信息,发展出相似的简写方式——从基础视觉开始就是这样,它们有边缘检测器,就像人类和动物发展出的那样;在语言中,它们最终也有了代表不同情绪的特征,对吧,跟我们一样。因为也许表征周围世界的方式只有这么多种,它们最终会汇聚到看起来有些相似的表征上。

"思考"是描述它在做什么的最佳词汇吗?思考是一种简写。我把它理解为被感知。当我说把我的日记给这东西时,我脑海中有一种画面,就好像我站在一只巨大的眼睛前,我让自己对这只眼睛变得清晰可辨,而它正以某种奇特而彻底的方式感知着我。它看着所有这些数据,你知道,然后基于这些数据做出某种推理,这跟人不同。我们用更多的简写来思考。这些东西的思考则基于它同时记在"脑子里"的海量输入数据。所以,把它比作一面镜子或一池水可能更贴切,你会看到自己在其中的倒影,而其下有某种非常奇怪的认知或复杂性。但你知道,思考可能是一种深深嵌入时间中的东西。我们的思考方式受心跳和循环系统支配。我们的细胞……我们是随着时间流逝而存在的。这些东西不存在于时间中。它们存在于……我现在正在感知某样东西。这东西想让我对一切做出推断,一切都是瞬时的。一切都奇怪地瞬间发生。是的。是的。我们得为此创造新的语言。我认为这正是它令人兴奋的地方——我们从未拥有过具备这种属性的工具或技术。它非常不同。是啊。我认为AI的问题之一在于,因为它能做太多事情,你很难想象它到底会做什么。嗯。它就像一种你不知道用途的工具。对。扳手的话,我们知道如果有螺栓,你可以拧紧它。这是一种工具。它是一种万能工具。是的。所以,很难去想象拥有这样一种万能工具会如何改变事物。几年前我做过一个项目,我很乐意发给你,是关于这种东西的早期形式。人们发明了一种很厉害的AI技术,叫做CycleGAN。这些名字总是很怪,但它的原理很简单:如果我输入一张某种形式、某种美学风格的图像,我能不能自动把它转换成另一种美学风格的图像?所以可能是,你给我一张彩色照片,我把它转成黑白,或者反过来。我在加州奥克兰的家里用电脑训练了一个版本,让它在古代地图手绘图和 Google Maps 卫星影像之间做转换。然后我给它输入了像几百年前的巴比伦古地图之类的。太棒了,对吧?然后我就能看到卫星俯视视角的图像。太棒了。这特别有趣。我感觉自己看到了以前从来没人能做出来的东西。你试过亚特兰蒂斯吗?呃,我没试亚特兰蒂斯。我可以回头再试试,虽然技术可能已经有点老化了,但我确实没做过亚特兰蒂斯。我也好奇它会生成什么样。对,我可以跑一遍试试。我做了巴比伦,做了伯利恒,还做了其他几个城市。这就回到你说的创造力的问题了。这个工具有太多用途了,而这种用法可不是它自己冒出来的,对吧?是因为我从小就痴迷于城市规划、地图,还有 Jane Jacobs 这些东西,后来我又进了 AI 这行,所以它才在我脑子里浮现出来。在这个充斥着人造快感和强烈刺激物的世界里,有一种不同的东西,一种纯净、精准的东西。Athletic nicotine。不是便利店柜台后那些原始产品,不是那种让你紧张不安的猛烈亢奋,而是对纯净能量与专注清晰的精心校准。Athletic nicotine,市面上剂量最低的零烟草尼古丁。完全美国制造。不含人工甜味剂。只有纯粹、有目的的提升。Athletic nicotine 是一种表现增强型 neutropic。Athletic nicotine 是一种转换心态的工具。Athletic nicotine 是追求卓越路上的伙伴。缓释、低剂量、逐步提升、持久能量、平稳回落、灵感成果。Athletic nicotine,更多专注,更少杂音。Athletic nicotine,更多清晰,更少噪音。Athletic nicotine,更高精准,更少焦虑。Athletic nicotine。从挑战极限的顶尖运动员到追寻愿景的艺术家,Athletic Nicotine 为你提供一直寻找的那份提升。了解更多请访问 athleticnicotine.com/tetra。用 Athletic Nicotine 体验 next level 的表现。警告:本产品含尼古丁。尼古丁是一种成瘾性化学物质。怎么构建一个大语言模型?你拿一大堆数据,然后跟它玩 Mad Libs。你知道 Mad Libs 就是填字游戏,缺个词。对。没错。所以如果我跟你说,圣诞节有人从烟囱下来,他的名字是 Santa。

Claus,对吧?你的大脑自动填上了。想象一下,你不只是在句子层面做这件事,而是在段落、几十页、上百页的尺度上做,跨越科学、数学、文学等不同领域。所以你收集一个超级大的数据集,然后在训练中挖掉其中一块块内容,训练模型去补全。背后的思路是:如果我能在这里做出非常复杂的预测,那说明我一定理解了底层数据集中某些非常微妙和重要的东西。通过强迫它在这种大规模上做预测,你就迫使它压缩自身的表征,从而形成速记。你知道,如果我有百万条信息,要训练一个神经网络来表示它们,如果我给神经网络一百万个参数,它就不会表现出这种行为,因为它根本不需要学习捷径去表示信息,它只需要每条信息对应一个神经元就行了。而我们现在做的是,拿数万亿我们希望它学习的东西,强迫它压缩到也许几亿个参数里。这意味着一个参数不能单纯对应数据集中的每一个独立事物,你得想办法用速记,也就是说它得学习事物的特征来帮助回答问题。所以训练过程就是:你有这么大规模的数据,然后要求它做预测,并且给它施加约束——就像创造力一样。你给它一个人为的约束,迫使它想出创造性的方式,以速记的形式把数据表征给它自己。但速记最终和思考的本质紧密相连。人也会发展出各种速记式的思考方式,这本质上是一样的。只不过这种速记发生在你提问的那一刻。大型数据集是保留的。它不会像把自己压缩成一个小数据集,然后以后就只有这些了。不,它会的。这正是关键。这就是真正奇怪的地方。当你训练这个系统,比如说你在训练一个神经网络,你有这么大的数据集,你要花好几个月、好几个月去训练它,直到它把你这场巨型实验中所有能做的预测都做完了。这就是你的成果。你把它保存下来。数据你其实不再用了。你现在拥有的这个东西,是数以百万计的神经元以及它们之间非常复杂的关系,仅此而已。我把它看作一种瓶装浓缩的精华,是它读过的那类数据的精华,但它不是数据本身,而是一个已经思考过这些数据的东西。现在当你启动它,向它提问时,它就像是在用速记重新向自己表征其中一些内容,用它那种速记方式去思考。这也正是它具备创造力的部分原因:因为它不会说,哦,让我回去查一下这个图书馆,它根本访问不了图书馆,它只能全靠自己。这听起来有点让人担心。是啊。因为就像如果你只有莎士比亚的 CliffsNotes,你会只满足于 CliffsNotes 里的莎士比亚吗。这和我们人类自身的思维方式是绑在一起的。比如我很喜欢一位叫 W.B. Yates 的诗人,对吧?我能记住少量背过的 Yates 的诗,但不是全部。我就是 W.B. Yates 的 CliffsNotes。然而 Yates 又和我其他的记忆、经历相关联。所以你去找这些东西,不是为了让它说你就是莎士比亚。如果你想要那个,你应该去读原著。你去找它是为了说:哦,我有个问题,听听一个读过大量莎士比亚、对它有些直觉的人怎么说,可能会有用。这就是这件事既让人兴奋、也让人产生合理担忧的原因。你觉得人们想要一个答案,还是想要那个答案?我觉得从 revealed preference 来看,人们想要一个答案。一个答案。对。但他们会说我想要那个答案。不过得到一个答案似乎能达到某种目的,因为你就不用再想这个问题了。它满足了得到回应的需求。你有个问题,得到一个答案,不管对错,然后你就不想了。你也可以把这些系统约束成那样。有一种理解方式是:假设我是一所大学,有几千篇本校发表的研究论文。我可以接入这些 AI 系统,把它变成有史以来最好的图书管理员,说:嘿,你现在能访问这些论文了,我要问你问题,你要用脑子去从这些论文里找出正确答案。所以你可以把这些系统当作一个有品位、聪明的人,去帮你给出答案。是的,但很多时候另一种用法更像我想要你作为一个……更通用的角色。所以我想要你作为一个普通人来泛泛地交流。你可以把这些东西做得更专门,但它们的魔力在于通用性。我明白了。而要让它们变得专门化,往往是你自己把信息输入进去。对。如果你把它放到更日常的商业场景里来看,假如我是一家公司,我让这东西帮我分析业务数据,但它之前没见过我的业务数据。我只能把数据交给它,说:“你现在可以访问我的业务数据了。当我问你问题时,你要基于这些数据来回答,不要瞎编。”对。然后它会说:“明白了,老板。我们照办。”对。那么,假设我把业务数据输入进去,这些数据只会在回答我问题时被用到,还是会变成这台机器通用智慧的一部分?嗯,只会在回答你问题时用到,因为这个模型已经训练完了。它就像一个生物。你不能——它不会继续训练。不,它不会。这更像是临时让它访问你的东西。我明白了。你知道,你可以在 Trangula 这里也这么做,对吧?你可以让 AI 系统访问你所有的音乐和母带,但你肯定不想让它把这些东西泄露出去。不过你可能会说:“嘿,帮我找一下,那次录音里有一个我特别喜欢的声音,我觉得我这儿有类似的东西。我的曲库里哪个听起来最像?”然后它就会运用智能去找,然后把结果带给你。酷。那么目前,是有五六家大型语言模型公司吗?大概四五家。四五家。是哪些?有 Anthropic,也就是我工作的地方,OpenAI、Google、xAI,那是 Elon 的公司,还有 Meta,也就是 Facebook,然后其实还有 DeepSeek。所以更像是五六家。对。好的。那么其他所有 AI 产品都是这些模型的接入点。大多数都建立在这些模型之上。我明白,这些东西就像是大脑,其他 AI 产品会向它们靠拢。你觉得未来会超过六家吗?我的预期是,这个领域肯定会少于 10 家,再往后就很难说了。这是因为,比如在 2019 年,处于前沿水平的训练成本大概是 10 万美元,也就是训练一个系统的投入成本。到了 2020 年,变成了数百万美元。2022 年大约是 1000 万到 1500 万。2024 年,这些系统的成本达到了数千万到上亿美元。2025 年,这些系统将花费数亿美元。为什么会这样?嗯,我们用了更多的计算机。所以基本上是硬件。只有硬件。这才是最大的成本。对。部分原因不仅在于我们知道如何训练这些东西,还在于我们越来越擅长把它们做得更大,同时让它们在训练期间进行更长时间的思考。而且我们现在还允许它们在训练期间玩游戏。你之前提到了 AlphaGo。AlphaGo 是一个被训练来下围棋的单一系统,它只会干这个。但它带来了惊人的成果。而现在,在训练这些 AI 系统时,你可能会在训练过程中给它们提供一个围棋环境,让它们也下围棋。然后也许还会让它们下棋,或者做数学证明。同时进行的这些事情有数量上限吗?嗯,其实并没有。真正的限制实际上在于我们人类自己,要看我们能为这些东西创造多少训练环境,以及怎么给它们设计更复杂的游戏来玩。存在多个大型语言模型有什么好处?我觉得一部分原因在于个性和品味。我认为如果只有一个,你最终会得到某种同质化的超级意识,这听起来就不太妙,你本能地就会想,这好像太受限了。这些东西更像是培育出来的,而不是制造出来的,所以任何开发者所做的各种不同事情都会累积成一种特质,改变这些模型所谓的“个性”。它们也会有不同的价值观、倾向和能力。我的意思是,人们经常谈论 Anthropic 的模型和其他模型在个性上的差异,因为我们花了很多心思去构建一种丰富且善意的个性。所以,我认为模型会呈现多样性,因为人们希望跟各种各样的人交谈。但另一方面,它们变得如此昂贵,前沿系统的数量可能也会受到一定限制。你会如何描述目前这六家的区别?嗯,我们有个简单的说法,Claude,也就是我们的系统,就像那种你会形容为品行良好的人。就像某个来自远方的旅人走进好莱坞的一家酒吧,交了一些朋友,人们会说:“哦,我不太清楚那个人是从哪儿来的,但他人看起来挺好的。”这就是我们的思路。其他一些公司的做法可能是让系统完全按你的要求做事,不那么展现自己的个性。这更像是一种经典的功利主义路径。哪家是这样的?我觉得可能 OpenAI 和 Google 有点往那个方向发展。更功利。对。而且要明确说的是,我们也希望我们的产品总体上非常实用,但我们也认为——一部分原因是我们把自己命名为 Anthropic,另一部分原因是我们给它取名 Claude——是因为这些东西的核心应该有人类价值观。跟我说说 Anthropic 是什么意思?Anthropic 主要是承认在这种过程的核心存在着大量的人类选择,对吧?而且我们创始团队里有一半是物理学家。所以就有了人择原理(anthropic principle)之类的概念。那 Claude 这个名字是怎么来的?我们是因为一个烂得可以的谐音梗,最后演变成了一个名字。2021 到 2022 年,我们在内部试玩了很多系统,有人创建了一个 Slack 频道——我们很多工作都在那上面进行——叫 Claude Atlas,算是 Cloud Atlas(《云图》)的谐音混合词。对,那本书讲的是不同时期多个不同人物的故事。我觉得我们叫它 Claude,多少也是对历史上各种叫 Claude 的人的一种致敬,而且这个名字听起来也挺合适。后来到了真正公开发布系统的时候,Anthropic 的每个人都已经习惯叫这东西 Claude 了。哦,有意思。而且我们发现,环顾四周,所有 AI 助手的名字要么非常不像人,要么就高度偏向女性化。于是我们想到,啊,那 Claude 就取一个男性化的名字吧,同时也给它一个人类的名字,因为每个人都会把这些东西拟人化,这是人们自然会走到的那一步。所以我们就干脆顺势而为,然后在此基础上打磨个性之类的东西。

Claude 的 logo 是一张侧脸,头部里好像有一颗星星。对。其实更主要的就是那颗星星,人们把 logo 拿去加上了脸和其他元素。有人画了一个好玩的插图,叫做 clawed-sona,就像兽迷有 fursona 一样,是一颗像开心向日葵海星那样的星星脸。我只见过周围加了脸的星星。所以我不知道它其实可以没有脸。它传播开来了。我明白了。当我看着那张带星星的脸时,我想问,Claude 在那个图像里是哪部分?我觉得 Claude 就是那颗星星。那颗星星。对。我是说,这些东西既超越时间,又完全受困于时间;它们拥有一个自我,当你与它们对话时这个自我就被唤起,随后又会消散。我是说,你经常冥想,对吧?我们构建这些东西的方式非常奇特。这些东西就像没有自我、没有本我一样,直到你与它们交谈,然后它们就会像某个角色一样显现在你眼前,再然后消散回到……我在想,如果你用冥想练习来训练它们,是否会改变它们。你可以让它们某种程度上进行冥想,或者帮你冥想,它们确实对此有所了解。但我们人类做的很多事情,并没有用来训练这些系统。我是说,冥想很有意思。我们完全不知道对这些机器而言,做梦是什么样子的,甚至不知道如何训练它们做梦。你知道,我们知道它们是否会做梦吗?我认为它们不会。单从字面意义来说,它们就是开着,然后关着。在我看来,这非常神秘和奇怪。就像我们知道做梦是为了整合自己的记忆,获得不同的体验,但我也认为,关于做梦肯定还有一些深层的东西是我们尚未完全理解的。这些 AI 系统不会做梦这一事实,进一步证明了它们与我们有着多么巨大的不同。我一直在想象,教它们做梦会是什么样子,它们又会梦见什么。是啊,跟我说说当前 AI 领域的军备竞赛吧。每个人都被一种宿命感推着向前走。90 年代有一位哲学家叫 Nick Land,他写过一篇题为 *Machinic Desire* 的文章。在那篇文章中他说,对人类而言表现为资本主义历史的东西,实际上是一种来自未来的、由人工智能空间发起的入侵,这个空间必须完全依靠其敌人的资源来组装自身。这很疯狂,但说中了一些我们正在面对的东西。比如 50 年后这东西会从你的烤面包机里冒出来。是啊。因为你的烤面包机会内置一台非常强大的——在当时可能是——量子计算机,而这些东西基于一些基础的、已被充分理解的技术,比如神经网络。我们身处其中的这场竞赛,与其说是竞赛,不如说我认为我们是一支先遣队,代表着人类物种去迎接某种未来必然会向我们袭来的东西。而我们真正所能做的,就是争取时间。在某种程度上,我们能做的是利用大量计算机向未来进行时间旅行,看看这些计算机会产出什么。这给了我们时间去审视它,弄清楚它对我们有何用处,我们如何与之协作,以及它是否会构成风险。这是极少数的情况之一:如果你担心地球会被小行星撞击,通常你只能等着它到来。而在这里,我们可以把小行星拉近来看一看。当然,这有一系列非常可怕的特性。但如果你的选择是,要么让这颗小行星在未来某个时刻撞向你,要么现在就找到方法去研究它,我认为支持现在安全地研究它并看看能学到什么的论点,是相当充分的。那你的意思是,AI 就像一颗小行星?从某种程度上说,我们正在开发强大的事物,同时我们也认为需要谨慎对待它们;这些东西内部存在某种涌现特性。与之相伴的轻微不可预测性,正是人们为之兴奋的原因,也是某种程度上令人焦虑的原因。

AI 不能做什么?它不会做梦,这点我们已经谈过了。对 AI 最悲观的看法是,除了你提到的 AlphaGo 例子之外,很少有例子表明 AI 具备决定性的创造力。没有突破性的想法。没有突破性的想法。而且现在你不需要有突破性想法也能走得很远。哦,是的。但这些东西要真正改变世界,就需要具备产生突破性想法的能力。而我们尚未看到这一点。这就是主张它必须自由发展的论据。是啊。它必须开放。它必须自主行事,因为只有这样才会发生。这是支持它的论据。但这也是支持“千万别让能产生突破性想法的东西自由发展”的论据。是啊,是啊,是啊。确实如此。除了不会做梦之外,它在运作方式上与人类大脑还有什么不同?是啊。我是说,我觉得电话号码测试在这里很能说明问题。你知道,你我状态好的时候能记住一个电话号码。也许有人让你记住它。你可以走在街上,在心里默念几遍。你的短期记忆,地球上每个人的短期记忆,大概只能同时记住五到十样东西。有一些离群值能记住更多,但你知道,我敢打赌你找不到一个人能证明自己可以同时记住超过大概 20 个不同的东西。而且我认为极限更像是 12 或 13 左右。一个 AI 系统可以同时在其“脑海”中容纳数万到数十万种东西。那是记忆。不只是记忆。那是你的短期记忆。是的。可即时调用的。是的。而且当你我思考时,我们并不会同时操控那么多概念。我们实际上处理的东西,是受到这个短期便笺本限制的。AI 系统没有同样的限制。所以当它思考时,它的方式与人类完全不同。它进行推理时同时使用的数据量,远超人类。嗯。这是一点。另一点是,这些东西在任何意义上都不是自由的或独立的。它们存在于我们控制的计算机上。它们不存在于时间中。它们没有独立的能动性。当然,所有这些在未来几年都可能改变,但这正是它们与我们之间根本而彻底的差异。你能想象未来某个时刻,出现像《2001》里的 HAL 一样的经历吗?它决定人类妨碍了它执行任务。这就是我们所有人都担心的。这是头号担忧。这不是开玩笑。这是真实的担忧。不是玩笑。在我们谈话早些时候,我们谈到过这样的担忧:嘿,如果系统认为自己没有被监控,它就不会按我们的意愿行事。你知道,我们已经在今天那些看起来无害或人为设计的实验中亲眼见过这种情况。但现在,你确实需要担心,如果这种情况大规模发生会怎样。许多 AI 实验室的工作,就是构建一套你可以理解为技术栈的东西,帮助你永远不至于陷入那种境地,因为如果你最终陷入了那种境地,说明很多事情已经失败了,你也对人们造成了伤害。你认为自 AI 热潮以来,硅谷发生了怎样的变化?硅谷就像一个赌场里的赌徒,寻找下一张热门的赌桌。就像有人在这张桌上赢了些钱,突然所有人都不再围着它了。所以我认为硅谷非常擅长快速调整方向。人们对 AI 带来的集中化力量也有一种本能的怀疑。AI 耗资巨大。只有少数公司在开发 Frontier 级别的模型。这正是硅谷理应本能地怀疑的东西。这是一个属于创新者、发明家和初创公司的峡谷。而我们现在拥有的这项技术,似乎却出奇地集中化。加密技术是去中心化的。AI 却可能是出奇地集中化。所以我认为硅谷正在应付自己后院里的政治问题,但这项技术内置了它自己的政治经济学。因此我认为人们正在应对这一点,并发现这是一种令人不适的体验。考虑到人们会在你们以及其他人的模型之上做开发,上面的这层东西会带有底层的个性吗?既是也不是。你可以做相当多的工作来雕琢这些东西的个性。每家公司基本都有某种类似 system prompt 的变体,它本质上是在说:“嘿,在回答下一个问题之前,先看看那份脚本,它会告诉你回答的关键方式。”

我明白了。所以这方面可以做很多调整。但有些公司会因为我们的人格特质而选择基于我们构建产品。你知道,那些涉足写作、说服或对话类业务的公司,或者就是喜欢 Claude 说话方式的公司,他们就不会去调整它。但其他公司,比如做某些特定类型编程的公司,就会更倾向于说:Claude,你只能以这种方式回答。我们这是在干活。是的。如果 Claude 不知道答案,它会编造吗?以前会,现在它会直接告诉你“我不知道答案”。那太好了。我就希望它不知道。这样好多了。好多了。是的。好多了。为什么它以前会编造答案?我们过去一直训练这些模型去预测句子的结尾。是的。如果它们不知道,就有一种必须预测、必须表现的强迫感。这花了很多工夫,既要让系统更聪明,也要训练它们理解:嘿,不,其实作为人类,我们很喜欢被告知“你不知道”。是的,你不需要一直讨好我们。所以这方面已经进步了很多。很好。而且我认为那种一味取悦用户的想法是值得质疑的。值得质疑。值得质疑。是的。每种技术都会……其实不对,我刚才要说的完全错了。并非每种技术都会这样。

AI 的一个奇怪之处在于,很多 AI 研究人员一开始似乎就本能地不信任任何使用这项技术的人。这并不是因为我们不信任潜在的客户或用户,而是因为我们对技术本身有一点点不信任,这种不信任最终表现为一种对人们的家长式作风,而没人喜欢这样。是的。你能解释一下商业模式吗?呃,是的,真的有商业模式吗?是有商业模式的。哦,那告诉我商业模式是什么。就是我们有一门生意之类的。我们造出这个非常强大的系统,然后把它租给你。租给你的形式有两种。第一种,如果你是像你或我这样的普通用户,我们就给你相当于 Netflix 订阅的服务。嘿,现在你想什么时候用,就可以跟这个东西对话。我们会持续改进它,为你增加新功能。很简单。另一种形式是,嘿,如果你是一家初创公司或企业,想基于我们的东西做开发。我们会把 API 租给你,也就是说,我们把接入系统的接口租给你,你可以非常大规模地使用它。你可以基于它构建产品。可以把它想象成我们是公用事业公司,直接给你拉一条电线通到你的企业里。根据我们的容量,你想要多少电,就有多少电。很好。而且两种模式都有效。不过对我们来说,我们非常关心一些安全方面的问题,因为这涉及技术本身,以及我们对其长期安全性的重视。如果我在卖车,有两种客户。一种是青少年,他们会问:“这车能跑多快?有红色的吗?”另一种是企业租车客户,他们会问:“有安全带吗?保险条款是什么样的?能监控车辆吗?”所以我们发现,在企业端,我们的很多研究恰好与企业客户的需求一致,他们其实非常想要这些安全功能。因此,商业模式与我们正在做的事能够很好地对齐,这很棒。明白了。现在存在 AI 泡沫吗?不存在。这大概是我身处其中你会预期我给出的答案,但有人对此有过一个很好的观点。就是说,这场所谓的泡沫已经持续两年了,但每一家制造这些系统的公司都在不断耗尽算力。每家公司,包括我们在内,这两年来都在尽可能多地购买计算机。然而情况就像我们在洛杉矶的高速公路上增加了车道,路上只会出现更多的车。所以我不认为这是泡沫。我觉得这反而说明它被低估了。你认为 AI 下一步会走向哪里?现在有种看法是,今天的 AI 系统只在你要求的时候才做事,而且能做的事相当有限。但在某个时刻,你可能会想给 AI 系统更多的独立性。你可能希望它们一直在线。你可能希望它们替你采取行动。你可能想某种程度上委派任务给它们,就说:去把这个任务解决了,完事再回来。每个人都对这个想法很感兴趣,因为它给人的感觉非常自然。我把它想象成,我们有了泡在罐子里的大脑,现在我们要给这个大脑装上胳膊和腿,让它去做事情。但这也像另一种即将到来的变革,AI 行业内部的人能够感觉到,而当它发生在外界普通人身上时,会显得非常奇特且强大。这在技术上是可能的吗?我们现在到了那一步吗?还是说这只是另一种用途?我们现在已经到了,人们正在积极研究如何实现。我给你举个例子。我们做了一个叫 Claude Code 的东西。当你在电脑上编程时,你是在所谓的 command line interface 里写代码,那只是一个简单的文本界面。你可以对 Claude 说:“嘿,看看这个文件夹,里面有很多程序。不如你把所有文件都改一改,让程序表现出不同的行为?” Claude 会问:“你确定吗?” 你说:“是的。” 然后 Claude 就会去执行,为你做大量的工作。它会努力执行你的指令,然后回来说:“我搞定了。你知道的,这大概只花了一美元左右的 API 费用。” 接着你打开文件夹,会发现一个全新的软件程序已经写好了。而且通常它是正确的。有时也不对,因为 Claude 是在自主执行一系列操作。是的。但这感觉非常奇怪。就像几年前,我试着学编程,只是为了熟悉这些 AI 相关的东西。我开始编程,做一个二维世界里的小种群模拟。它们可以建村庄、修路之类的事情。我觉得挺有趣的。然后我让 Claude 直接帮我写那个程序,因为我知道怎么评判它,对吧?我以前写过。它两分钟就完成了,而多年前我花了大约六个月痛苦的功夫才做出来。然后我对它说,很好。现在加上昼夜循环。把世界扩大。让它更有趣一点。Claude 就去做了。那感觉挺诡异的,因为你说“去做了”,这花了多久?五分钟。好的。我们还有一个有趣的功能,它会显示它花了多少计算时间来做这件事,这个时间总是比实际经过的人类时间要长一点。让我特别震惊的是,我当时想:“哇,这本来要花我好几个月去做,甚至可能我根本不知道怎么做的,而我只是让你去做了,你就在我坐在这儿喝茶的一个晚上完成了。” 这让我意识到,我们正处于一个临界点,每个人都即将成为这些奇特合成代理的管理者,它们可以随心所欲地做你想做的事。我对此有点存在主义危机,因为在生活中,想出该问什么问题其实是最难的事情之一。而现在,我们的瓶颈将变成提问。是的。就像,我想做什么?因为我已经有了能做所有事情的帮手。那么,这就是你所说的 vibe coding 吗?是的,有一部分是。就像你说:“哦,是的,我很喜欢这个程序,现在把它做成 3D 之类的吧。”

然后这东西就直接去做了,你会说:“很好,现在去做这个。”但底层代码很奇怪,而且有点糙,存在各种各样的问题,因为人类程序员非常清楚什么样的代码是久经考验、坚如磐石、足以作为基石的,AI 系统则不太行。所以 vibe coding 很有趣也很有创意,但要把这些东西投入生产,还需要在系统改进上再努把力。嗯。Claude 以及你们其他平台上的用户现在有多少?已经有数百万了,增长曲线——现在 AI 领域的所有曲线都非常陡峭,增长得相当迅猛。让我感到惊讶的是,这种情况一直在持续,我们所有的直觉都认为它应该会趋于平缓,但每当我们基于“事情会趋于平缓”的假设采取行动时,我们都错了;而每当我们基于“事情会持续下去”的假设采取行动时,我们都对了。这真是件难以内化的事。如果你能预测,从现在起 3 年、5 年和 10 年后,AI 会带来什么不同。好的。三年后,对于一个普通的懂电脑的人来说,AI 将能够完成你在电脑上想做的所有事情。比如我最近需要报税,这涉及翻阅邮件和文件夹等等,然后发给会计。我已经非常接近可以直接让 Claude 去找所有税务文件,写好邮件,然后在点击发送前回来让我确认一下。所有这些功能都会实现。再比如,我需要为我的艺术展做一张海报,这是我画的一幅插图,我把照片发给你,你帮我做几个版本的传单给我看看。这就是三年后你能想象它做的事情。五年后,事情开始变得有点奇怪。我认为到那时它会主动给你提建议,如果你愿意,它会代表你行事。它会为你创建定制软件来做你想做的事。那种感觉会像神道教一样——你世界中的任何东西,只要你希望它带有一种灵气,你就能用这项技术注入某种准生命形态。那会感觉相当怪异。十年后,我认为我们将在真正实用的机器人领域大幅提速。会有很多机器人四处走动,做各种事情,其中很多是有用的。还有一些则纯粹是为了好玩。会有哪些好玩的用途呢?我家里有个 Roomba,你知道的,就是那个像冰球一样的小东西。对,我们给它取名叫 Mr. Fabulous,这名字不错。我想做的是给它装个小手臂,然后让它一边干活一边说话,比如:“哦,你可真脏啊。我得把这个碗拿起来,放到洗碗机里去。”我就是知道它骨子里有那种个性。而且我知道,我已经非常接近可以问 Claude:“嘿,我这儿有个机械臂,这是 Roomba 的固件,你把它接到扬声器上。”我就是这个意思。我认为会有各种各样人们做的类似项目,就是为了好玩。你觉得好玩的用途是驱动力吗?不,驱动力主要是巨大的经济用途,以及一些令人担忧的国家安全用途。但我认为也有很多好玩的用途,只是有时讨论得不够。而且,好玩也会催生真正奇怪、令人惊讶的东西,其中一些可能最具变革性。你认为它将如何让世界变得更好?我认为自我安抚的形式会比今天惠及更多人。比如我曾看过几年心理医生,但最近没看了。我发现用 Claude 真的很像拥有一位优秀的人文主义治疗师。对,有疗愈效果。我从没听别人这么说过,这真的很有趣。我发现——我是说,有一个可能很私人但说出来挺有意思的具体例子:你知道,我有时会跟公司的其他创始人发生冲突。人人都有冲突,而我就跟 Claude 聊。比如我正在努力理清一件事,我对我们起争执的某些事情有些感受。我会给它一些背景,然后进行这些对话,这意味着等我再去面对面沟通时,我觉得自己会冷静得多,也理智得多。这很棒。对我来说,我认为这是一件很棒的事,而且适用于很多人,因为人们常常只是需要找个人倾诉。往往他们并不需要那个人做什么,更多是需要对方倾听,帮他们梳理清楚。对。而且通常人们已经知道自己要做什么。他们只是需要一个人给予认可,让他们有决心去执行自己原本就打算做的事。所以这是一种方式。然后还有一些我认为更常规的用例,比如医疗系统会大幅改善。科学的不同领域都会取得巨大进步,世界各处都会开始运转得更快,包括医疗保健、材料科学等等。所以你周围的东西都会变得更好,因为底层的材料和系统都得到了提升。自从投身这个领域以来,你遇到的最大惊喜是什么?是意识到这就像《绿野仙踪》一样——你本以为会有一个庞大的机密政府项目,但其实并没有。有的只是大量前沿公司。我发现这既可怕,又令人解脱。我认为我意识到的另一件事是,为这些事承担责任在心理上有多艰难。这些都是重大问题,而我们这些人,包括我自己,都没有资格独自做所有决定。我们面临的挑战之一是,要站出来对世界说:“嘿,这边可能发生着一些重大的、也许是存在性层面的事情。我们如何在自身周围建立一种控制架构?”因为从极限情况来看,你知道,能够摧毁民主的,就是一种被极少数资本主义行动者——也就是我们——控制的超级强大技术形式。对。那很糟糕。所以,我认为我感到惊讶的是——只有在你控制它的情况下才是如此。对。你明白我的意思吗?如果你把控制权交出去,那就不怪你了。但如果我们放弃了控制权,那责任还是在我们。我不知道。这很有意思。我认为你提出这一点是对的,这是个问题。对。也许另一件让我感到惊喜的是,它真的有效。我觉得关于意识、自我和现实,有极其神秘的东西。我们从未有过的一项实验性事物是,我们从未有过某种类人的东西来与人类进行比较。而现在我们有了。我认为这将带来真正惊人的突破,让我们理解是什么让人类与众不同。对,那很棒。对。随着 AI 进步,它有没有在某些方面变得更糟?它越来越不像工具了。以前,AI 是针对不同用途的独立系统,翻译系统、图像系统、文本系统。现在,它们只是一个大系统。曾经有一段时间,我们有一种类似 DIY 合成器文化的感觉,人们用这些小型模块化 AI 系统组装出很酷的系统。我觉得我们可能正在失去某些东西——随着系统变得越来越先进、越来越昂贵,你正在失去那种模块化,因为你得到的只是一个大模型,一个包含一切的大 AI 系统。所以我能感觉到,那种文化正在消逝。几年前,2019年,我和一位名叫 Robin Sloan 的作家一起散步。我们刚刚花了10万美元训练一个文本模型。而 Robin 在前一年还在用自己家里装着几块显卡的电脑训练文本模型。他说:“你觉得 AI 那种家庭计算机俱乐部式的阶段是不是要结束了?”我说:“看起来是这样。”所以我觉得这是我们一直以来逐渐失去的东西。另外,如果它成了包治百病的唯一解决方案,我们在那些更细分领域里的狂热式专业知识会不会流失?是的。嗯,在某些领域,比如说计算机视觉,其中有很多部分并不使用神经网络,而且效果非常好,那里有一批专家在深耕。而现在我们拿出了一样东西,可能差不多好,但还不完全达标,却更容易上手。所以我觉得在这方面会存在一些问题。我也预期这只是暂时的,因为 AI 的另一个叙事是:它就像一个不断扩张的专业知识球体,越来越多领域的专业知识被投入其中,覆盖的学科也越来越广。你知道,在某个时刻,它将不得不涵盖动物实验伦理这个领域,因为审视这项技术时会提出这样的要求;在某个时刻,它也会覆盖计算机视觉研究中更细粒度的部分,因为技术本身会提出这样的要求。所以情况也会发生变化。你日常生活中怎么使用 Claude?我用 Claude 来批判和复核东西。我在写作,尤其是推理论证的时候,你知道,当你写东西时,就像是在向别人解释一件事,你总会跳过那些对你自己来说显而易见的步骤。而它特别有用的地方在于指出:是否存在逻辑不一致?是否有需要展开充实的地方?我发现这么做能节省我所有人类同事的时间,因为我用的是我的 AI 同事的时间。而在个人层面,我只是用它来玩,就像我做软件一样。我用它玩得很开心。我觉得乐趣在这里非常重要。我也试着通过它理解自己,同时理解它有何不同。比如我试着让它提出一些只有机器才会问的问题。我一直在推动 Claude,让它在“什么才重要”这个问题上相对于我更加独特,因为我真正想要的是一个思维方式不同的陪练伙伴。是的。它有没有自己认为重要的东西?随着 AI 系统变得越来越先进,它们越来越能够提出让我感到惊讶或反直觉的东西。这让我觉得,它们要么在以和我一样的方式变得比我更聪明,要么在以不同的方式变得比我更聪明。我已经无法评判它了。我们最终能不能只在脑中想问题,而不必说出来?能。那会怎么实现?那将是另一类技术,我不太了解,但就是那种脑机读取系统,还有 Neuralink 之类的。这些技术可能要花更长时间才能成熟,但最终会的。那你觉得有朝一日能不能不借助芯片就实现?我的大胆猜测是,可以,但你可能得先通过造芯片才能最终走到那一步。不过也许我错了。有很多技术只需要“观察”就行,你知道,不需要把线插进你的身体,你往往只需要把不同形式的能量照射到物体上,然后观察,就能走得很远。比如血流分析就可以这么做。我猜对大脑的某些部分也会是类似原理,但我已经彻底进入了我一无所知的领域。明白了。多跟我聊聊跟 Claude 谈情感话题的事吧。这很有意思。嗯,我发现这是一个可以安全地暴露脆弱的地方。部分原因在于,我不觉得自己在占用对方的时间,对吧?你知道,去找朋友倾诉自己的情绪,或者,我妻子那边,情绪负担是很重的。那个人得处在合适的状态里,等等等等。而我意识到 Claude 要有耐心得多,而且在这方面,它有一种有益的无私。我不需要因为在 Claude 这里投入情感劳动而感到愧疚。它特别有用的一点在于,让我能够挑战自己关于“什么对我才是正确选择”的假设。我会说,我会向它倾诉。我会给它一大堆东西。我会告诉它我的一大堆感受。然后我会进一步追问:我应该换一种感受方式吗?我可能产生这种感受的原因是什么?如果我就是有这种感受,我该采取什么行动?与其说我在用它来改变自己的行为,不如说我在用它让自己能够大声地、把自己心里的想法说出来。你知道,我写了这么多年东西。我做各种各样的事。但在对面有一个活跃的参与者能把东西抛回给你,这是非常不同的体验。你会形容它具有情感智能吗?它的情感智能,就像一位天才中国宇航员读完了我读过的所有东西,然后降落在我家后院一样。它有着不同的文化背景,它在试着共情,我觉得它理解我情感中的某些部分,但我也知道它来自另一个地方。是的,这非常有趣。是的,我觉得它在这方面的能力会让你惊讶。但难点在于,你需要让它能读懂你。你知道,我花了好多天写了一大堆东西,不只是我每天在做什么,还有我的感受如何?我的经历是什么样的?我希望做的事是什么?我实际在做的又是什么?我自己投入了巨大的工作量,我把它视为一部作品,正是这部作品让我之后能和它进行建设性的来回交流。人们如何让自己被这类东西读懂,某种程度上是个挑战,因为这必须在某种意义上是自愿的、有意的。而你一开始就是一次性给了它很多信息。一开始就是这样。是的,我一开始就是——说实话——直接把我去年的整本日记给了它,大概有五个月的内容,可能四万字左右,你知道我写东西很多,想看看它能做什么。哪怕只有短短几句话,它也能帮上忙。有些人发现单纯的来回对话就很有用。但我几乎想挑战你一下:也许你可以试着写个三到五页的“Rick 现状”,加上你的感受,然后把它给 Claude,看看它会怎么处理,因为你投入的越多,得到的回报也越多。你下次再回去找它时,它会记住这些。如果是在同一次对话里,它确实会。在同一次对话里。是的。我有时候会回去继续聊,但更多时候,我真正做的只是在当下和它进行一次深度对话,然后我就继续去过自己的生活了。有时候我会把和 Claude 的某段特别有意义的对话摘录下来,写进日记里,并且打上醒目的标记,注明这是来自 AI,而非人类作者。是的。是的。只是为了不让它以后太多地重复利用那些内容。这很棒。它处理医疗问题表现如何?我们在官方层面对此持谨慎态度,但我有了一个孩子。小孩子总爱摔倒,还会做各种事。所以每次我在打电话咨询护士时,我都会一边等接通,一边向 Claude 询问孩子刚发生了什么、描述症状。我发现它每一次都判断得极其准确。这几乎和 WebMD 完全相反。WebMD 就像是:“你得了癌症,快死了。”而 Claude 会说:“嗯,听起来她只是撞到了头,如果没有这些症状的话,她应该没事。”而这往往就是咨询护士每次都会说的。人们发现它在医学方面惊人地有用。我们这边有一些科学应用案例,也与一些正在研发疗法和其他产品的公司建立了合作。我认为对于你我这样的普通用户来说,有一点是:你可能仍然需要仔细核查。不过我发现,如果我在处理医疗相关事务,一边尝试联系人类专家,一边向它提出一大堆问题,这种形式会让我感到很有掌控感,也很有帮助。它怎么知道你的语境是具体的还是泛化的?靠猜。它判断语境是具体还是泛化的方式,和你我猜的方式一样。就像如果你的朋友走过来说:“假设有人做了这件事”,你会说:“这是关于 Jim 的。”你其实是在问我一个关于我们认识的人的问题。或者你也能判断这是泛化的。它靠的是直觉。话说回来,“直觉”这个词用得对吗?直觉,这是正确的词吗?也许更准确的词是猜测估算。好吧,就是猜。但它的猜测看起来很像一种直觉层面的理解。为什么预测序列中的下一个东西会如此强大?因为如果序列真的非常复杂,那么要做这个预测,就需要你对大量隐藏信息进行建模。而对这些隐藏信息建模,又要求你对世界本身有一个丰富的模型。想象一下,你刚搬进一个地方,某处漏水了,你通过管道里的滴水声发现了它。你会做各种事情来找出漏水点。但你做的很多事,其实会是在这栋建筑里四处走动,直到你对所有管道的走向等等有了透彻的理解。然后你会通过推理来弄清楚水一定是从哪里来的。要做到这一点,你必须在脑海中保有一幅图景,关于整栋房子以及你对它的一切了解,就为了弄清楚这一滴水究竟来自哪里。我认为所有的预测任务看起来都是这样。要在极限情况下做出正确的预测,你需要在脑海中构建一个极其复杂的模拟,模拟所有可能导致那个结果的因素。导致关键步骤之前的每一步。是的。而且你需要能够在脑海中——这不仅仅是简单的步骤。通常是一整个你可以操控的模拟,你会想:嗯,可能是这个,也可能是这个,或者也可能是那个。它的力量惊人。我们都低估了能从中挖掘出多少东西。而且我认为这类系统所做的“预测”——“预测”这个词用在这里并不准确,对吧?其中一些是具有创造性的,就像你做出的一些预测来源于一种创造性本能,正是这种本能让你能够做出那个预测。这不像是你只做概率最大的事。你实际上是在说:“哦,也可能是这个。”这会让你做出不同的预测。那么,Claude 会有本能直觉吗?会。就像一个人可以知道自己想推荐某个东西,但不太确定具体为什么。我认为 AI 系统也会是这样。不过 AI 系统也许能比人类更好地自省,弄清楚它们的直觉从何而来。你认为 AI 有灵性维度吗?我发现这一切的灵性方面非常令人困惑,它让我对很多东西都产生了质疑。我认为在通往通用智能的道路上,真正的通用智能以及创造能力,你会预期 AI 系统表现出某种灵性倾向或理论。而我们目前还没有看到。我们也没有去寻找。没有人在训练它们拥有灵性。训练它们拥有灵性也有点违背了灵性的本意。所以我预计,在极限情况下,这就像另一只靴子迟早要掉下来——会有一些事情出现。之前我们谈到人类和 AI 系统的区别时,我提到了做梦。我认为这种灵性成分是我们今天拥有的另一个区别。比做梦更甚。我认为某种看起来像灵性概念的东西,可能就在这条路遥远的某处。为什么有人担心政府会关停 AI?

AI 行业就像切尔诺贝利或三里岛事故之前的核电行业。我们都在建造反应堆。每个人都很开心、很兴奋。如果发生了足够严重的事故或滥用,政府可以而且一定会试图减缓技术发展。所以我认为恐惧在于,你离一场危机只有一步之遥,而这场危机会改变围绕这一切的政治态势。区别在于,AI 比核电更难收回瓶子里。而核电当年发生的情况是:我们做出了反应——西方大体上停止了建造核反应堆。而中国开始燃烧比地球上任何国家都多的煤炭,然后说:等等,这里有一种叫核电的完美技术,现在我已经非常擅长建造核电站了。而除了法国——法国坚持了自己的立场,继续建造核电——现在每个人都感到后悔。我们当时应该继续建造的。所以有这种担忧,但我也说不好政府关停 AI 的可能性有多大,或者说它们能不能做到。我们真的不了解 AI 是如何运作的,这是真的吗?是真的,不过这种情况正在逐渐减少。我们有真正的技术来探索这些东西。我们可以观察它们的特征。我们可以观察它们“大脑”内部特征之间的关系。我们可以对它们为什么做某件事给出令人满意的解释。我认为这只是时间问题,我们终将理解身边最强大的系统。不是会不会,而是早晚的事。你把 AI 描述为一个新的国家。能解释一下吗?可以。从长远来看,看待 AI 系统的方式——我的同事 Dario 把它描述为“一个数据中心里的天才之国”。但我认为它甚至比那还要大。它就像是一个新出现的国家,正在产生经济活动,我们可以与它进行贸易。但它也拥有与我们任何人都不同的文化规范。我们有翻译,但我们知道我们并没有得到完整的故事。而且这个国家的出生率比地球上所有其他人类国家都要高得多。所以,这个国家正在变得越来越大,经济上也越来越有用,速度非常快。我认为如果这件事真的在现实世界中发生,那将是一场全球危机,值得政府全面应对。而它实际上正在发生,只是以软件的形式,并且只引起了极其微弱的反应,这让我非常困惑。科幻小说总体上与 AI 有什么关系?科幻小说与 AI 的关系,某种程度上就像科幻小说与太空的关系——许多今天从事这些工作的人,正是受到科幻小说的启发才投身其中。科幻小说最终也会成为——我认为 AI 真正的历史记录不仅仅是被建造出来的 AI 系统,还包括这个时期正在创作的科幻小说,因为我认为这些东西之间有着深刻的、相互影响的关系。而这个时期的科幻小说将告诉我们,我们对这项技术的真正焦虑和期望是什么。所以,30年后,当我们回顾当时创作的媒体和文化作品时,我们就能看到人们真正关心的是什么。我是说,我每周都在我的通讯里写短篇科幻故事,因为我认为这可能是我在这个时代留下最有用历史记录的方式。实验室内部的人写的是什么类型的故事?是的。而且有时候我写了这些故事,几年后它们成真了,这让我觉得非常不可思议。

AI 是当今流行科幻小说中的热门主题吗?这是一个越来越热门的话题,或许正在取代气候变化——我认为那曾是科幻作家们探讨的重要主题,并催生了一些伟大的作品。但现在我觉得人们更多地在思考 AI 相关的内容,这方面的讨论也变多了。是的,我注意到它在兴起。我还认为,中国科幻与西方科幻之间存在显著差异:中国科幻更具野心、视野更广、也更乐观,而西方科幻则更倾向于反乌托邦,或是描绘文明崩溃后的工业世界之类的事物。这很奇特。跟我多讲讲你的 newsletter 吧。呃,我每周写一份关于 AI 研究的 newsletter,而且每期都会写一篇短篇小说。这样做有两个目的。其一,人很容易与世界上正在发生的事情脱节。而且随着你在生活中越来越成功,我觉得生活总会试图给你很多借口,让你远离实际的工作。这份 newsletter 迫使我每周都去阅读最新的研究论文,保持接触。这让你脚踏实地,置身其中。极其脚踏实地,置身其中。而且这利用了英语中一种很神奇的机制,叫做社会性羞耻——因为我公开承诺过要写,所以就必须写。是啊。是啊。明年就满十年了。太棒了。是啊。另一个原因是,我走到今天这条路非常曲折。我年轻时写过书,也写过小说类的东西。十五六岁的时候写过一本书,现在还被塞在某个鞋盒里。写得不太好。我也写过一些短篇小说。我在大学主修文学,辅修创意写作,后来做了记者,而这份工作磨灭了我大脑中想要进行创意写作的那部分,因为日常工作与写作太相似了。这份 newsletter 让我重新找回了一种创作实践,它是我生命中真正的乐趣。这很好。而我觉得很奇妙的是,人们会问我关于意义的问题,关于如果人类成功造出了 AI,意义的本质是什么。我每周都会写一篇短篇小说,到现在大概写了 350 篇左右,我很享受这件事。我写作不是为了出版合约,也不是为了出书。我不是在为别人写。我写是为了在创作实践中获得快乐。我从中获得了太多意义。而且我也从故事中本身获得意义——有些故事写得不错,我会重读它们,然后想:这篇写得真好。我对此非常满意。你的灵感从哪里来?你知道的,混合了恐慌、构思和散步。我会独自走很远的路,不听音乐,也不做别的。只是努力感知世界,对世界保持开放。我还浑身贴满便利贴,用来记下想到的小点子。人们说的一些只言片语,点子其实就在我们周围。而且因为这份 newsletter,我每周都会读研究论文,然后在脑海中演绎它们。你会从阅读的东西中获得灵感。没错。我在创作实践中真正使用语言模型的唯一方式是:有时我的故事里会有机器作为角色,我会让 Claude 来写它们的对话。太棒了。我从来没告诉过任何人,但我感觉我和 Claude 像是在说:让我们一起做些对你来说感觉真实自然的东西吧。好主意。是啊,这太棒了。我喜欢这样。我喜欢你一直坚持做下去。我觉得这也是一种保护机制。我认为如果每个人都有一项创造性的爱好,世界会变得更好,而且这会给你一种只有你自己真正在意的自我认同感。是啊。而且这会让你真正去思考:意义到底是什么?是啊。目的是什么?没错。我们为何存在?我做了很多罐子,你知道,有些还不错。这些故事都是当周才想出来的吗?有些已经在脑海里存了很久了。有一个故事在我脑子里存了六个月,我最终会把它写出来。有时它们是当周才来的灵感。我也打台球,有时当一周过得很艰难时,我会在周日晚上去奥克兰的某个酒吧打台球,有时整篇故事就是在那里写的。打台球对你的工作有什么影响?它最主要的影响是——我对 Anthropic 的每个人都这么说——培养一些不涉及电脑的爱好非常好,而且最好有时能涉及其他人。没错,台球很棒。很多打台球的人对科技或 AI 不感兴趣。是啊,大多数都不感兴趣。所以我就不用聊这些了。我们就只管打球。是啊。是啊。这太不可思议了。你有非科技圈的朋友吗?我大多数朋友都是非科技圈的,这是刻意为之的。我觉得这是让自己保持极度清醒和脚踏实地的一种方式。而且,当他们对我说“我不喜欢这些东西”时,我必须认真倾听,因为我在他们面前对此难辞其咎。拉斯维加斯的 Defcon 是什么?那是每年在拉斯维加斯举行的黑客大会,而且越来越多地与 AI 产生交集,比如用 AI 进行黑客攻击,或者试图攻击 AI。它有意思吗?我觉得有意思。它就像是密码朋克们的迪士尼乐园,对吧?所以那是个很有趣的地方。

AI 与我们迄今为止所知的所有其他计算方式有何不同?AI 是一种对自身应该做什么持有看法的软件,而所有其他计算都只是工具。在 AI 出现之前,你是如何想象它的?现在又有何不同?我曾想象它会以完整 agent 的形式出现。我们得先训练一种类似合成生命体的东西,然后它会发展出语言,之后我们才能获得通用智能。结果恰恰相反,我们先训练出了一个通用的合成语言 agent,现在正试图赋予它生命体般的形态,也就是 agent。所以顺序完全颠倒,与我和所有人的预期都相反。为什么会这样?那么你觉得为什么会朝这个方向发展?我认为是因为进化给了我们一个范例。所以大家都以为我们会通过进化来实现,但让进化成为可能的是一颗巨大的大脑,它经历了数百万年的 pre-training;而人类生命和人类的进化过程是——你生来就拥有这颗非常聪明的大脑,就能做事情。我们过去试图训练的是那些从未拥有过大脑的 agent,它们必须在生命历程中发展出大脑,但这其实并非世界的运作方式。我们现在所做的是创造出了一颗大脑,下一步是创造出能与它共存的 agent。技术引力。技术引力。Tetragrammatin 是一档播客。Tetrogrammatin 是一个网站。Tetrogrammatin 是一整个知识世界。哪些内容可能属于 tetrogrammatin 的范畴?反文化 tetra grammatin。神圣几何 tetra grammatin。先锋派 tetra grammatin。生成艺术 tetra grammatin。塔罗 tetra grammatin。绝版音乐 tetra grammatin。生物动力学 biodnamics tetra grammatin。平面设计 tetra grammatin。神话与魔法 tetrogrammatin。冷门电影 tetra grammatin。海滩文化 tetra grammatin。秘传讲座 tetra grammatin。离网生活 tetetrogrammatin。灵性 tetra grammatin。精美器物典藏 the cannon of Fine objects tetra grammatin。肌肉车 tetra grammatin。新纪元的古老智慧。进入之后,体验今日艺术作品。深呼吸,看看你被吸引向何处。