好的,我们直接进入正题。几周前,Anthropic 举办了你们的 Code with Claude 活动。你们发布了 Claude 4。你还提到了一点当时没引起太多注意的事情,即你们正 somewhat 从聊天机器人转向这些 agentic AI 编程系统。你能谈谈这个决定吗?以及 agents 和 AI 编程助手如何更符合 Anthropic 的使命?是的。我想,当我们在 2022 年首次开发 Claude 时——当时我们只是一家研究公司,没有产品——我们的动机是打造一个对话式 agent,因为我们意识到,我们所做的很多事情都可以通过与人交谈、请他们做事、然后观察进展来涵盖。这显然演变成了 Claude,也就是一个聊天机器人。你可以访问 claude.ai 与它对话。但我认为,愿景始终是随着 AI 不断进步、越来越好,挑战将在于让 AI 完成耗时更长、更复杂的任务。从根本上说,我认为我们完成事情的方式不仅仅是给出答案,而是利用工具走出去,获取完成任务所需的信息,执行任务,迭代。如果你是程序员,你写代码,运行代码,看看是否可行。如果像我一样,第一次通常跑不通,会有 bug。你发现这些 bug,然后修复它们。因此,我认为 AI 能力和 AI 实用性的自然增长,来自于能够为你做越来越多事情的 AI agents。所以我觉得那种你只是问个问题、得到答案、然后结束的范式,感觉非常受限。因此,这不太会是我们未来关注的重点。但我认为,你们的许多竞争对手,比如 OpenAI 和 Google,正在竞相打造大型 AI 聊天机器人平台,成为人们上网的第一站,某种程度上取代 Google,甚至社交媒体。他们中的一些人对这些消费级应用有着非常大的愿景,而感觉 Anthropic 并没有在那个赛道上竞争。是的,我想说在很大程度上,我们正试图帮助企业和个人整合 AI,并以尽可能有用的方式使用 AI。我认为拥有这样一个静态平台确实感觉有点受限。话虽如此,我认为我们并不知道 AI 将走向何方。因此,我认为给开发者提供工具,让他们以各种不同方式整合 AI,感觉才是前进的方向。我认为 Claude Code 就是一个很好的例子。我们最初把它作为一个内部工具,供 Anthropic 的工程师和研究人员使用,借助 Claude 提高自身效率。然后我们把它对外发布了。显然主要用户是开发者,但我甚至看到有人用 Claude Code 做一些令人惊讶的事情,几乎像操作系统一样。因此,我认为我们都在试验使用 AI 的最佳方式。我想我们会继续试验,并希望持续赋能开发者去试验,并用 Claude 进行构建。说到 Claude Code,你们确实已经成为 AI 编程领域的领导者。你们的 AI 模型让 Cursor 这类应用声名鹊起。他们确实受益于使用你们的模型。但现在有了 Claude Code,感觉 Anthropic 和这些 AI 编程应用之间存在一些紧张关系。你们在跟那些基于你们模型的公司竞争吗?我认为,我们很多业务都是建立在 API 之上的。我们真的希望客户尽可能成功。我想,正如我所说,我们内部一直在尝试 Claude Code,我们决定把它发布出来、公开它,是因为它感觉至少可以展示你能把 agentic 能力推到多远。这是我们在研究侧一直在试验并大力投入的方向。我认为我们的目标真的不是与客户竞争。我们的目标只是确保人们在探索 AI 的各种可能性。我总是鼓励大家尝试构建一些目前还不太好用的 AI 应用,因为——我的意思是,我们创立 Anthropic 是因为我们预期 AI 会越来越好。我们认为这会带来安全问题,对此有顾虑,这也是我们如此关注安全的原因。但正因为这种趋势,因为 AI 进步如此之快,我认为很多现在用模型还不太顺手的事情,在三到六个月内就会可行,这是一种真正走在曲线前面的方式。嗯,你们的一位客户 Windsurf 这周对你们不太满意,因为他们说 Anthropic 收回了他们之前拥有的部分直接访问权限。Windsurf 是类似 Cursor 的竞争对手,但规模小得多。据报道他们也被 OpenAI 收购了。从 Windsurf 那里收回直接访问权限背后的逻辑是什么?是的,据我了解,在 Windsurf 上你其实可以自带 API key,继续使用 Claude,对吧?但这更贵,也更复杂。这是我的理解。是的,可能会更复杂一些。我想,正如你暗示的,我们在供应方面确实一直相当受限。我们希望在未来几个月大幅增加 token 的可用性,让 Claude 的 token 持续供应,但我们真正想做的是支持那些未来会持续与我们合作的客户。你认为他们未来不会持续与你们合作?嗯,这话是你说的,不是我。我不知道。我认为如果我们把 Claude 卖给 OpenAI,那会很奇怪。那会很怪异。但你知道,那笔交易还没宣布,而且我认为从短期来看,很多初创公司和开发者都看到,Anthropic 可以直接切断访问,因为也许你的初创公司今天没有和 Anthropic 竞争,但未来可能会。感觉 AI 编程是你们大力投入的领域之一,所以我想到了你们与 Cursor 的关系,它的规模大得多,非常依赖 Anthropic,但他们现在也在构建自己的模型。那么,你怎么看这段关系?我是说,感觉未来这也可能激化矛盾。我想我不认为会这样。显然,很多很多公司都在为各种不同的目的训练自己的模型。我预计我们会长期与 Cursor 合作。我希望如此。他们一直是很棒的客户、很棒的合作伙伴,也是很棒的 Claude 新模型测试者。所以,是的,我真的认为,如果你把我们与许多其他 AI 公司相比,我们对 API 业务投入很大,我们希望人们能够用 Claude 并在 Claude 之上构建应用,我们绝对不想限制这一点。我们不是想与客户竞争,而是想赋能他们。明白了。另外我很好奇,你在那篇 scaling laws 论文中真的是一位非常有影响力的人物。你是一篇重要scaling law论文的核心作者。过去一年里,关于scaling law的持久效力存在诸多疑问——究竟可以向这些模型投入多少compute和数据并持续获得收益,以及我们将在多大程度上依赖reasoning。你认为如今继续为AI模型增加compute和数据的价值何在?是的,我认为scaling在pre-training和RL这两个层面都在持续带来回报。过去一两年里,我们在RL方面看到了很多进展。我想,也许在场各位都是专家,但我们训练AI模型的方式是:先进行pre-training,教模型模仿、理解并预测人类撰写的文本及其他数据中的下一个词;然后用RL对它们进行fine-tune,既包括基于人类反馈的RL,也包括训练AI去完成诸如编写能通过测试的代码等任务。我认为这两者都呈现出清晰的scaling law。大约五六年前,我和其他许多人所做的研究工作集中在pre-training方面,它展示了非常明确的经验趋势:如果你把AI模型做得更大,给它们更多数据和compute,它们就会变得更好。我认为这一趋势仍在延续。现在的问题是,是否有足够的compute?是否有足够的数据?我认为目前还是有的,但我确实觉得最终——尤其是数据——这些将成为约束条件。而在RL方面,你可以走得更远,我认为RL远未被充分挖掘,甚至可以说连“接近充分挖掘”都谈不上。在RL这边,你实际上是在用reinforcement learning训练模型,强化它们去做有用且安全的事,避免犯错。显然,这正是你会想要持续scaling的方向,因为你希望让AI变得更有用,而不仅仅是更擅长自动补全。因此,我认为过去五六年里有大量证据表明,在RL中,你可以随着compute的增加实现清晰的近似对数线性scaling。所以,我认为这是一个重要的投资方向,同时还要运用新技术,比如constitutional AI的进展,以及更复杂的agentic环境来训练AI,使其变得越来越好。是的。我的意思是,就pre-training scaling而言,我见过那些被喂了更多数据的更大模型,你知道,它们在创意写作等方面更出色,在一些难以量化的任务上也表现更好,但在核心benchmarks上,它们并不像某些reasoning模型那样亮眼。我很好奇,从你的角度来看,你认为通过scaling reasoning是一条通往AGI的可靠路径吗?感觉它在掌握特定任务和技能方面效果好得多。是的。我想,至少对于难题来说,reasoning显然是一种让模型获得更强能力的绝佳方式。你在测试时给它更多compute,就能得到更好的回答。所以我当然认为这将是关键要素之一。我觉得在某些方面,agentic capabilities可能甚至更重要。也许两者都重要。我的意思是,当我们执行任务、开展工作时,并不会经常退后一步,花上一个小时思考下一步该做什么。我们做的很多事情是在实验:尝试某件事,观察环境反馈,比如我们是否犯了错?写的代码是否通过了测试?写的段落是否通顺,还能不能改得更好?所以,我倾向于认为scaling agency、search、tool use等能力对此同样至关重要。但毫无疑问,我认为reasoning能让我们把那些未必处于pre-trained模型前沿的模型,在解决难题方面变得更强。我的意思是,pre-training scaling的一个问题在于,现在所有AI lab都受到了严重的compute约束。很难再把规模提升一个数量级。你们今天的compute约束有多严重?我是说,回到你提到Windsurf时说的,你们并没有无限的compute。是的,我认为它正在非常快速地扩展,对吧?我的意思是,我认为AI已经处于指数增长轨道上有一段时间了,而且这一趋势仍在延续。显然,你从新闻中也能看到,AI领域的融资正在不断攀升。这是因为AI释放的价值。随着AI模型变得更智能,这种价值也在同步增长。越来越多的应用场景,客户可以越来越多地集成AI。这意味着反馈循环变得更快。所以,总的来说,我们每年的compute供应量都在以显著的整数倍增长。这还将持续下去。我们基本上刚刚开始解锁新Trainium 2集群的容量,这个集群非常庞大,而且还在持续扩展。这将使我们能够为客户释放更多compute,并用于训练下一代Claude。是的。你提到了Trainium 2。我想聊聊你们的一些合作伙伴。你知道,Amazon是重要的一家。我想和你谈谈你如何看待Alexa,以及Claude可能以何种方式出现在非你们自有的界面中。看起来Claude正在为Alexa+以及他们的新款Alexa的某些部分提供支持,对吗?是的。这其实在一场联合活动上宣布过,Claude正在为许多Amazon产品提供支持,包括Alexa。总的来说,正如我们之前讨论的,我们很高兴Claude能够为来自许多不同公司和开发者的各类产品提供能力。是的。有传闻称Apple可能会与你们合作。你认为这会发生在下周的WWDC上吗?我没法对正在进行的工作置评,但我们始终乐于与许多不同的公司和合作伙伴开展合作。我们也与Google合作,Google也很棒。不过说到Apple,我真的不太喜欢跟Siri对话,但我喜欢跟Claude对话。我很希望能跟Claude对话,而且我敢肯定我不是第一个向你提出这件事的人。但我很好奇,当你考虑与Apple、Amazon、Google这类公司合作时,将Claude整合进他们的语音助手存在哪些困难?为什么我们至今还没有看到?这是个好问题。我认为这可能取决于各种不同因素。首先,显然如果你是一家初创公司,你可以极快地行动、发布和迭代,但如果你是一家拥有数亿用户的巨头公司,动作往往会慢一些。我认为很多语音助手——泛泛而言——不仅仅是语音助手,不只是你与之聊天的对象。它需要被整合进更大的工具和应用程序生态系统中。你得能调用某些东西来访问你的日历;如果它是一个实体助手,你也许还想能用它来开关家里的灯。因此,要在集成到这些助手中的数十、数百、数千种不同工具和应用程序上实现极高的可靠性,我认为是很复杂的。这需要投入,而且期望非常高。你不想让客户失望。所以我认为这类集成很复杂,但这又回到了工具使用(tool use)和智能体能力(agency)的重要性上。在幕后,语音助手也许需要成为一个智能体(agent)。这也许是我们应该专注于这类能力的另一个原因。我是这么认为的。我想问你一件事,你们的首席执行官 Daario Emiday 今天早上在《纽约时报》发表了一篇专栏文章。标题是“别让 AI 公司逃脱责任”,有趣的是,我们也正考虑用这个标题来命名这场圆桌。但我想问你这篇文章的事,因为他在文中反对特朗普关于各州监管 AI 的 10 年禁令。你们为什么要在这一点上跟特朗普政府正面冲突?我的理解是,如果你读了那篇专栏文章,它在很多方面对政府为确保 AI 更安全所做的大量工作给予了肯定,比如防止专制政府获取 AI。我认为这实际上只是一个州权问题。我觉得,如果一个州想要监管自动驾驶汽车,那么它应该有权这么做。也许某家自动驾驶汽车公司在亚利桑那州测试了车辆,然后想在密歇根州部署。也许密歇根州担心那辆车不太会在雪地里开,就是那种使用场景。我不是专家,也不是政策人士,但我认为这类事情可能会被阻止。因此,我认为很多人——我觉得 Dario 并不是批评这项立法最高调的科技 CEO,但是的,我们确实希望政府能够快速行动以应对 AI。我们认为 AI 正在飞速变化。我们认为各州是我们国家与产业互动、监管等各种可能形式的试验田之一。因此,考虑到 AI 发展的速度,为了让政府以所需的速度采取行动,我们认为灵活性非常重要。是的。他谈到的一点是 AI 模型提供商需要有透明度,你们还点名了 OpenAI 和 Google,以及你们自己,说你们有过一些透明的做法。你认为 AI 实验室应该建立什么样的透明度标准?是的。我们有一项 responsible scaling policy,说的是我们希望认真思考未来 AI 可能带来哪些风险。我们希望务实地评估 AI 模型是否真的构成了那些风险,还是说为时尚早,然后我们希望落实各种缓解措施。我认为,你可以对 AI 公司提出的一点是,让它们公开讨论自己在考虑哪些风险、做了哪些评估、在部署模型前做了什么样的安全测试,以及它们有哪些缓解措施。至少这——作为一个最低限度——能够让公众、监管者、学术界和其他 AI 开发者了解存在哪些风险、进行了哪些评估,以及缓解措施有多 robust。所以我认为,我不是政策人士,也不是立法者,我心目中没有具体的政策提案,但至少这种透明度看起来是一个很好的第一步。而且正如你提到的,Google 和 OpenAI 也有类似的政策,但我认为,如果所有先进的前沿 AI 开发者都这么做,那将是明智之举。而且我认为政府要求我们这些公司这么做、不让我们逃脱责任,也是合理的。你担心特朗普政府的报复吗?我的意思是,这届政府是出了名地会让那些与他们意见相左的人不好过。我们正努力与各州政府、联邦政府等密切合作。我不是政策团队的,我不了解任何细节,但总的来说,我们一直在帮助他们在 AI 领域推进美国的利益。明白了。说到透明度,本周早些时候,Reddit 起诉了 Anthropic。他们声称你们用 Reddit 的数据训练了 AI 模型,而且你们没有获得授权,这是他们的说法。他们说 2024 年 7 月,Anthropic 表示会停止用 Reddit 的数据训练,但之后继续抓取了他们的网站超过 10 万次。这是真的吗?我无法对正在进行的诉讼发表评论。我可以说的是,Anthropic 投入了大量精力来认真遵守 robots.txt 中的请求和行业通行做法。但总的来说,很多出版商都对 Anthropic、OpenAI、Google 以及每家公司提出了类似的指控,他们说你们在训练这些模型并赚取数十亿美元。我觉得你们公司估值达到了 600 亿美元甚至更高,靠的就是互联网上这些免费的内容。我认为 Reddit 是在提出自己的主张,即这样做是不行的,你们必须为此付钱给他们。你认为一般来说,当人们用他人的内容训练 AI 时,这些内容创作者是否应该获得报酬?正如我所说,人们可以通过 robots.txt 来阻止 Claude 和 Anthropic 访问或抓取他们的数据。我们尊重这一点。不过更普遍地说,我认为 AI 训练属于 fair use。这不是复制,也不是再现数据,我认为这就是我们为什么认为在公开的网页数据上训练 AI 模型是合法合理的,对于那些开发者通过 robots.txt 要求我们回避的数据,我们也会回避。但如果与此同时 Reddit 与 Google 和 OpenAI 签订了六七千万美元的合作协议,《纽约时报》也与 Amazon 签订了协议,如果有些公司在付费获取训练内容的权利,而同时另一些公司在免费抓取,这怎么可能是 fair use 呢?这看起来似乎有点——
嗯,正如我所说,我们遵守 robots.txt。如果——这就是我们的政策。如果我们被要求不要抓取数据,那我们就会照做。明白了。那场诉讼中有一点,我就此带过,但 Reddit 的说法让人觉得,可以这么说,Anthropic 一直是 AI 行业里那个谨慎的表亲。但他们认为事实并非如此。而且我认为随着 Claude 4 的发布,很多人觉得你们推出了一款存在诸多安全顾虑的模型。有些问题显示,在某个场景中,Claude 4 勒索了一名试图将其下线并替换为其他模型的开发者。对于那些认为 Anthropic 不再像以前那样谨慎的人,你怎么回应?我不认为有什么改变。而且我认为这回到了你提到的透明度问题上。我们的——你问我们希望看到什么?我们是这样——你提到的那个场景并不是现实世界中真实发生的事。我们进行了成千上万乃至数万个 red teaming 案例,我们团队实际上将其称为 weird teaming,也就是试图找出各种奇怪的场景,看看模型在这些场景下是否会做出有问题的行为,以便我们标记出来,并在未来加以改进。随后,我们撰写了一份 120 页的 system card,记录了各类这样的案例,以此来鼓励其他人保持透明,展示他们的模型在做什么,并鼓励他们自行开展测试。所以我认为我们会继续这样做。但保持透明也会让我们面临更多批评。我们还会开展许多其他类型的安全测试,比如针对我们的 responsible scaling policy 的测试,我们在这方面也制定了缓解措施。这可能会让我们招致更多批评,但我觉得我们会坚持下去,因为我们认为人们应当了解 AI 模型是如何表现的,也应当被鼓励去对其他提供商的模型进行自己的测试。最后一个问题。Anthropic 成立并运营至今已有好几年了,我好奇的是,你创立这家公司是为了关注 AI 安全。那么,你在竞争对手公开部署的产品中看到的情况,是否更加坚定了你创立 Anthropic 的使命?让你想说:“没错,这确实不安全,这就是我们存在的意义。”
是的。我认为 AI 的能力越来越强,因此安全风险也越来越突出、越来越真实。总的来说,我为我们保持透明而自豪,也为我们率先推出类似 responsible scaling policy 这样的机制而自豪。我认为很多竞争对手也想做正确的事,但如果我们率先做了这样的事,就会树立一个标准。这是其他人可以试验、迭代和效仿的东西。而且我认为我们会继续这样做。我很高兴我们迄今已经做到了这些。好了,时间到了。Jared,非常感谢。好的,谢谢。谢谢。好的。