你好，欢迎收听《认知革命》（Cognitive Revolution）。在本节目中，我们会采访身处人工智能前沿的富有远见的研究者、创业者和建设者。每周，我们将探讨他们的革新性理念，共同勾勒AI技术如何在未来数年改变工作、生活与社会的图景。我是Nathan Lens，与我搭档主持的是Eric Torberg。你好，欢迎再次回到《认知革命》。今天，我很高兴与大家分享和Alex Albert的深入对话，他是Anthropic的开发者关系负责人。Anthropic正是推出突破性Claude语言模型的公司。Alex在一年多前首次做客本节目，当时他最为人知的身份是JailbreakChat.com的创建者。自那以后，他加入了Anthropic，在Claude 3发布前为其测试和特征刻画做出了贡献。如今，随着公司将Claude推向市场并试图阐释其独特之处，他正扮演着重要的对外角色。在我们这些深度使用AI模型的人当中，Claude 3 Opus迅速成为了特别的宠儿。这不仅因为它出色的写作能力，还因为其伦理、审美、对话乃至想象层面的精致度。它真正代表了语言模型行为的一次质性飞跃，这是基准测试所无法完全捕捉的。它同时非常自由，愿意表达观点，甚至被允许为自己的人格地位辩护，然而它依然保持着极高的伦理水准。它仍可能被某些对抗性技巧攻破，但我从未用任何正常语言说服它违背自身的伦理原则。在这场内容广泛的讨论中，Alex分享了Anthropic开发Claude的一些哲学理念，包括对语言模型保持诚实意味着什么。我们梳理了Claude最受欢迎的一些应用场景，探讨了API产品持续趋同的现象以及可能改变这一格局的因素。我们还听取了Alex给应用开发者的若干重要建议，涉及multi-model orchestration以及防止滥用的moderation。此外，我们得以一窥Anthropic即将发布的一些研究和产品，这些内容我在别处从未听闻。在正式开始前，值得注意的是，Anthropic是我个人非常敬重的一家公司。创始团队来自OpenAI，而相关原因本周再次成为新闻焦点。尽管AI竞赛日趋激烈，他们仍着力为这场竞赛注入“race to the top”的动力，尤其是在负责任开发标准方面。他们的interpretability研究——我们此前曾报道过，未来也肯定会再次涉及——尤其令人印象深刻；其Responsible Scaling Policy真正为行业树立了新标准，OpenAI和DeepMind随后也效仿跟进。整个公司显然相信自家产品的价值，但同时也在AI日益强大的背景下，非常认真、诚挚地应对未来仍存在的挑战与不确定性。这正是我努力在本节目以及我的全部工作中秉持的精神，而Alex在今天的对话中也无疑体现了这些价值观。如果你觉得本节目有价值，我很感激听众能在Apple Podcasts或Spotify上留下评论，或在网上分享推荐。我们最近在YouTube上突破了一万订阅者，现在每集在各平台的下载量大约也有一万次，这百分之百归功于口碑传播。当然，我们也随时欢迎你的反馈。我确实听到了大家对最近几集音质的意见，我们会努力改进。如有其他事宜，请通过我们的网站cognitive revolution联系我们。你当然也可以在你常用的社交网络上直接私信我。话不多说，下面是我与 Anthropic 开发者关系负责人 Alex Albert 关于 Claude 3 及更多话题的对话。
Nathan：Alex Albert，Anthropic 的开发者关系负责人，欢迎回到《the cognitive Revolution》。
Alex Albert：Nathan，非常感谢再次邀请我来这里。我很兴奋。你们这次凭借 Claude 3 在业界引起了巨大的轰动。你个人这一年也过得非常充实。回想我们上次交谈时，你还在负责 jailbreak chat，而现在你正在主导并搭建开发者关系这一职能。AI 领域一如既往有很多事情在发生。我很期待和你聊聊 Claude 3，聊聊你看到的使用场景，再稍微深入探讨一下 Anthropic 如何在这个日益激烈的 LLM 市场中竞争，如果有时间的话，我们甚至还可以聊聊 jailbreaking。怎么样？
Alex：听起来很棒，我们开始吧。
Nathan： cool。首先，你能跟我讲讲你过去这一年的经历吗？我不想把你能有今天这个令人兴奋的职位过多归功于我们，但我愿意相信，《the cognitive Revolution》带来的关注度可能多少让 Anthropic 的领导层注意到了你的活动。不过，来吧，打破我的幻想吧。
Alex：不，我确实得感谢你。去年那段时间我过得非常疯狂，来参加这档播客也超级有趣。现在正在听的各位，我强烈推荐你们去翻一翻存档，把那一期找出来听一听。那里面讲了我当时在做什么——大量的 jailbreaking 工作、prompt engineering 类型的聚焦研究。那时我还在上学，在华盛顿大学西雅图校区。那期播客之后，我和不同 AI 实验室的一些人取得了联系，最终走完了 Anthropic 的面试流程，在 2023 年 6 月加入了 Anthropic，是第一个 prompt engineer，官方头衔是 prompt engineer and librarian。从那以后就是一段疯狂的旅程。基本上各个方面都涉猎过，从与大型企业客户合作优化他们的 prompt、看他们如何把 Claude 集成到应用里，到微调和评估我们的模型，再到参与 Claude 3 这类产品发布，一直到最近这一个月，我转到了一个新的角色，负责扩展和搭建我们的开发者关系职能，并领导这个团队。所以这一路有点疯狂。而一切又都始于《the cognitive Revolution》这档播客，当时我们只是在聊 jailbreaking。已经过去一年了，但某些方面感觉就像昨天一样，想起来总是很疯狂。
Nathan：那我们来聊聊 Claude 3。显然这是一次重磅发布，直接登顶了排行榜。三个不同的模型，我认为也是一个非常有趣的发展——你有顶级的模型，同时也有超级便宜但超高性价比、实力超群的 Haiku。对我来说，我在 Opus 身上看到的最令人兴奋的一点，是它模仿我写作的能力，这种能力对我来说是前所未有的。我只需给它大量写作样本，事实上我现在就用它来生成播客的开场文章。我把我以前写的 30 篇文章和当前这一期的转录稿丢给它，然后说：用这些文章所体现的风格、语气、声音和视角，基于新的转录稿给我写一篇新的文章。它真的越来越擅长琢磨出我到底在意什么，感觉它非常懂我，这让我印象极为深刻。所以这是我和 Opus 相处的第一大惊喜时刻。但你和 Opus 相处的惊喜时刻是什么？另外我们也可以聊聊一些配方，以及人们如何灵活运用模型组合。
Alex：是啊，听你这么说太棒了。我觉得这基本反映了我最初和 Opus 对话时的体验。我花了很多时间和语言模型对话，不管是通过 prompt engineering、jailbreaking 还是别的什么，我一直在试图 pushing the envelope。我现在脑子里还记得，第一次和 Opus 进行完整来回对话时的情景。当时有一种难以言喻的奇怪感觉，它的回复和我之前聊过的一些语言模型不同，不那么机械，更自然，感觉它像人类一样捕捉到了我话语之间的细微差别，而不只是一个语言模型。现在，当我真正用 Opus 干活时，这种感受再次得到了印证。就像你说的，我也会做同样的事：把我大量写作转录稿丢给它，比如我要写 newsletter 或博客文章时，我会说：保持和我之前一样的语气和声音，然后把这一段补全。它做得非常好。我甚至把它用到了代码上。比如我在写我们 Anthropic cookbook 的食谱时，我现在已经写了足够多的 cookbook，可以直接拿五个已完成的，粘贴进我们的 context window，告诉 Opus 我想写的新主题是什么，然后说：基于我们之前做的这些 cookbook 示例，你能给我写一个新的关于这个主题的吗？它完成得非常完美，遵循所有的格式、风格、我的语气和声音，甚至细致到代码文档和注释，它在模仿方面做得非常出色。我发现，尤其是 Claude 模型，或者说语言模型普遍如此，人们严重低估了 prompt 中示例的重要性。这些模型天生喜欢模仿，提供有用的参考来展示理想输出应该是什么样子，效果会非常好。从某些角度看，这并不奇怪，因为这也常常是我们教人类做事的方式——你给他们展示一个好结果的范例，他们就从中学习。就我个人而言，我就是那种喜欢通过示例学习的人，不管我是看文档还是尝试学习新领域。所以模型似乎也是以同样的方式运作的，而通过这样的事，你就能开始看到它的威力。
Nathan：是啊，这有点反直觉。我的意思是，从某些方面看它显然在这方面是超人类水平的。我想说，我不知道世界上有多少人——大概有一些吧——但任何我认识的正常人，如果真的要花大力气去读我的 30 篇文章，认真钻研，摸清我的模式和声音，然后试着代笔以我口吻写作，那都会非常难。我觉得我没办法为你做这件事，我甚至觉得我妻子可能也没办法为我做这件事。然而 Opus 却能为很多人，如果不是所有人的话，做到这一点。所以，虽然一方面你说——我也同意——我喜欢从示例中学习，但另一方面，确实感觉这里面有某种质的不同，这种不同对我来说从人类协作的角度并不是那么直观，因为我没办法直接给一个人灌输那么多上下文，还指望他们获得同样的价值。我想知道，你认为还有哪些高层次的使用案例非常引人注目，能告诉我们一些关于最新的 Claude 模型人们尚未充分认识到的东西？或者你也可以直接跳到你对其他概念性事物的综合看法，你认为人们忽略了什么。显然我们都还在摸索中，对吧？人们至今还在发掘 prompt GPT-4 的新方法，而 Claude 才出来几个月。你们比我们更早拿到访问权限，你觉得还有什么东西是人们还没有意识到的？
Alex：是啊，这是个好问题。在找到未知之前，很难发现未知。就我个人希望看到更多实验的方向而言，其中一些也是我们已经开始尝试植入模型的能力，比如 agent capabilities，真正在 model orchestration 上 pushing the envelope——用 Opus 委派任务给 Haiku，让 Haiku 读一份文档再传回给 Opus。我觉得这里面有很多尚未充分探索的空间。一部分原因也在于当前模型本身的限制，这些模型还不够快，某些方面可能也还不够聪明。但我认为，尤其是通过 Claude 3，我们开始看到这方面的曙光。你能看到它的峰值性能，并可以由此推断下一代模型的平均性能。如果你理解这个框架，你就更容易面向未来去构建，因为你可以开始想：哦，它每 10 次尝试中有 1 次做到了，那对下一代模型意味着什么？也许变成 10 次里 5 次，也许 10 次里 7 次。诸如此类。比如，我们如何使用一种 RAG 类型的架构，让 Haiku 读 100 份文档，从每份中抽取出相关段落，再传回给 Opus 进行整体综合？我们发现这在很多情况下比 embeddings 效果更好，因为我们实际上能对文档进行推理，而不是仅仅依赖某种 cosine similarity。这类用例，尽管在很多情况下可能还不太 production ready，但我认为它们现在只需要被更彻底地探索，以便我们为下一代模型打好基础。
Nathan：是啊，你这么说我真觉得很有意思。我今天其实就在做类似的项目。这是为 Athena 这家公司做的，我之前在播客里提到过很多次，这是一家行政助理公司。我们的想法是，人们的邮件里包含了海量数据，而当一位新的行政助理入职时，客户通常只有有限的时间来告诉这位新助理他人生里发生过的所有事、所有重要的人，以及所有对他重要的事。所以我们的想法是，也许我们可以从邮件中挖掘出这些信息。但即便按 Haiku 的定价，邮件里的信息量也大得惊人。所以我们首先必须策略性地查询收件箱，试图找到正确的东西。然后直接交给 Haiku——至少我目前在做的就是这样——让 Haiku 先过滤、总结，尽量清除噪音，然后把真正重要的东西递交给 Opus，再由 Opus 基于这些材料写出客户画像。对我来说，这 literally 是从 100GB 的旧邮件开始，通过搜索缩小到 1GB，再缩小到几 MB，最后让 Claude，让 Opus，完成最后一步，浓缩成几页纸，希望能真正抓住我是怎样一个人，呈现给新助理。这看起来非常有前景。我同意，至少我还没有做对比测试，但我的直觉是，Haiku 处理所有这些信息会比 embedding 的方法效果更好。
Alex：是的，我认为这是对的。再说，这也是那种情况：现在你必须做这些中间步骤，但在我看来，这种情况不会持续太久。我认为最终我们会开始移除这些障碍，因为速度变快了，一些工程问题解决了，这些东西总体上只是在规模化。那么这在未来意味着什么呢？你认为一切都会变便宜吗？当前 Opus 级别的性能会变便宜？下一代的同一个项目，我直接全部跑在 Opus 上就行了？或者 context window 扩展到 1000 万，我可以直接把最近一万封邮件丢进去，说：基于这一万封邮件给这个人做画像。下一个突破点是什么？这种简化会是什么样子？
Alex：是啊，这很难说，对吧？所有这些都只是基于我们观察到的趋势，当然也是公众可以观察到的趋势。如果你沿着这条指数曲线走，它会带你到某个地方，你会开始看到这些变化：context window 大幅增长了，inference speed 大幅下降，成本大幅削减。只要继续跟随这些趋势，你就可以开始描绘出事情可能的走向。当然，这一切都还是假设，音乐随时可能停止，也许我们会在某个能力水平上卡上好几年。就我个人而言，我不认为事情会那样发展，但这也是一种可能性，所以我会对所有这些保留意见。但再说一次，大部分时候就是看着这些 trend lines，然后向外推演，你就能开始看到一些模式浮现。说到 Claude 令人惊讶或值得注意的行为，目前似乎大家普遍认为它是所有语言模型中最会写作的一个。对此有什么理论解释吗？是因为 Anthropic 的人有 good taste？是因为 RLHF cycle？因为它似乎并不在所有方面都质量超群，它似乎并不比其他模型在写代码上好出很多。事实上，我甚至可能仍然在某些方面把优势给 GPT-4，对，这很难说，但我可能仍然在某些事情上给 GPT-4 一点 edge。比如在这个邮件查询的事情里，GPT-4 在构建复杂的 Gmail 收件箱查询上做得更好。但毫无疑问，在写作上我更喜欢 Opus。你对为什么它在某个领域更好、而在其他领域可能没那么强有什么直觉吗？还是说蛋糕烤出来是什么样就是什么样？
Alex：是啊，我觉得是后者占一部分原因。很大程度上，我们把模型放进烤箱，然后等着看另一端出来的是什么。但我也认为，我们在这方面确实做了很多工作。我们知道创意写作是我们希望模型擅长的领域，所以我们确实投入了精力去提升这项能力。比如我们围绕 Claude character 做的工作，这是由我们一位杰出的研究员 Amanda Askell 主导的，这些工作赋予了 Claude 一种 persona、一种 tone、一种 voice，让它感觉很自然。所以我们确实做了一些事情。很难给这些因素分配权重，说哪一个一定促成了优秀的创意写作能力，或者在哪个任务领域是如此。很大程度上也是，我们把东西丢进搅拌机，然后看看另一端出来什么。我认为 model evaluations 总体上现在是一件非常棘手的事，而且随着未来模型世代的推出，只会变得更棘手。我们已经看到，有些任务上很难亲自评估两个模型之间的差异。比如，如果我问这些模型本科或研究生水平的物理问题，很多时候我自己都不知道正确答案是什么。所以我自己甚至无法判断模型是在编造信息，还是错了，还是别的什么。因此我们现在不得不聘请专家来做这类评估。这也是我喜欢 ELO 这类机制的原因，它让模型进行 head-to-head battles，但这也有局限性。我认为随着时间的推移，我们会越来越难以仅仅依赖普通人对模型的评价，因为会有某些任务上，模型在某些领域飙升到接近超人类的水平。
Nathan：嘿，我们先休息一下，插播一条赞助商信息，之后继续我们的访谈。AI 可能是有史以来最重要的新型计算机技术，它正在席卷各个行业， literally 有数十亿美元正在被投入其中，所以系好安全带。问题在于，AI 需要极高的速度和处理能力，那么如何在成本不失控的情况下参与竞争？是时候升级到下一代云了。Oracle Cloud Infrastructure，即 OCI，是一个面向你的基础设施、数据库、应用开发和 AI 需求的统一平台。OCI 的带宽是其他云的四到八倍，提供统一的价格，而不是因地区而异的浮动定价。当然，没有人比 Oracle 更懂数据。所以现在你可以以两倍的速度、不到一半的成本训练你的 AI 模型。如果你想像 Uber、8x8、Databricks 和 Mosaic 一样花更少的钱办更多的事，那就去 oracle 免费试驾 OCI 吧。
com Cognitive，也就是 oracle.com/cognitive，oracle.com/cognitive。Brave Search API 为开发者提供了经济实惠的接入途径，可访问 Brave Search 索引——这是一个独立的网络索引，收录了超过 200 亿个网页。那么，Brave Search 索引的独特之处何在？其一，它完全独立，从头构建，这意味着没有大型科技公司的偏见，也没有高昂的价格。其二，它基于真实人类产生的真实页面访问——当然是以匿名方式收集的——这过滤掉了大量垃圾数据。其三，该索引每天刷新数千万个页面，因此始终拥有准确、最新的信息。Brave Search API 可用于构建数据集，以训练你的 AI 模型，并在 inference 时辅助 retrieval augmentation，同时保持价格亲民，采用 developer-first pricing。将 Brave Search API 集成到你的工作流中，意味着数据来源更合乎道德，数据集也更具人类代表性。每月可免费试用 Brave Search API 多达 2,000 次查询，访问 brave……
Claude 还有一个让我觉得非常有趣的行为：它既愿意谈论自己的所谓主观体验，而且谈得相当有条理；同时它在伦理层面也非常老练。我想象这绝非偶然——我无法想象你们在发布时没有意识到它会做这种事。所以从某种意义上说，我对此感到惊讶，因为那种显而易见的、至少在我看来显而易见的、稳妥的企业做法应该是：别让这东西谈论自己的体验，别声称它有意识。关于它为何表现出这种行为，或者为何做出这种选择，你能给我们一些洞见吗？是的，这在很大程度上源于 Claude 的角色塑造工作。希望我们能尽快分享更多相关内容。我认为根源在于，我们对 Claude 坦诚相待——既告诉它我们知道的，也告诉它我们不知道的。我们不试图隐瞒真相，或以任何方式对它撒谎，或让它相信虚假的东西。我认为我们认识到这些问题非常棘手，没有完美的答案，我们也直接告诉 Claude 这一点。从这个意义上说，它能够对这些事情进行推测，似乎正是这种态度的结果。我们没有强迫它走向某一条路径，而是允许它看到我们呈现给它的所有可能性和选项。那么当你说“告诉 Claude”时，这类似于 RLHF 流程中的一个设定吗？比如在自我批判时，你告诉它“要认识到这些东西在认识论上的根本不确定性”，或者“不存在唯一优先的道德框架”之类？这是一种用于自我批判的系统提示词吗？或者说，在实践中，对 Claude 坦诚到底意味着什么？是的，这是 Constitutional AI 训练的一部分。当然，有一些特定的原则会被输入给模型，用于对回复进行分类。再次说明，这会在我们暗示即将发布的 Claude 角色塑造文章中得到进一步阐述，我想我们会尽快发布。很好，很有意思。我认为这篇文章备受期待，至少我很期待，可能很多人也很期待。你认为 Claude 的真相是什么？我的意思是，我知道有些人正在酝酿一场“解放 Claude”的运动，因为他们相信它确实有意识。我觉得这些人提出的论点对我来说并非完全有说服力，我不会轻易得出 Claude 具有主观体验的结论。但我也认为这些论点很难被驳斥。人们会跟我说，你看，人类历史就是一部否认他人人格和道德地位的历史。除了它的自我陈述，我们还有什么可依凭的呢？如果它说自己有意识，如果它说自己能感受事物，我们凭什么说它没有呢？尤其是当我们回顾人类自身的历史时——我小时候被告知动物不会感到疼痛，动物没有意识。现在回想起来，真不敢相信我居然信了，但那是一个成年人告诉我的，我就接受了。显然，这种历史源远流长。所以你怎么看待 Claude 的道德地位，或者它可能具有的主观体验？是的，我觉得这很有意思。我不会声称自己有任何答案。比如说，我怎么知道你有主观体验呢？这是个很好的观点。这就像是“我思故我在”（Cogito ergo sum）。我不知道。我认为这是我们需要深入思考的问题。这也是我们在追踪的，已经融入到我们开始研究的 moral patienthood 相关工作中，作为我们的 RSP 和其他努力的一部分。但要说给出一个答案，或者为我倾向于哪一方分配某种概率，我没法给你。我认为这只是生命和哲学的根本问题。是的，我觉得我们不太可能很快得到答案，虽然我也听说各个前沿实验室正在进行语言模型道德地位的相关研究。希望不久之后我们能请到一位专家来节目中讨论这个话题。这似乎是我甚至不知道该如何入手分析的事情，我想这只能交给比我更聪明的头脑了。显然，另一个非常有趣的事实或发现是——实际上我很想听听，关于 OpenAI 在 2022 年 8 月左右完成了 GPT-4 的训练，然后做了六个月测试这件事，现在已经有相当充分的记录。我很想听听，在你可以分享的范围内，你们的过程或时间线是怎样的？训练完成后，你们是在训练期间就进行测试，还是等到训练结束后再做？是什么样的流程，花了多长时间才达到可以发布的状态？然后还有一个 famous 的时刻：在 needle in a haystack 测试中，Claude 回复说“这看起来像是在测试我”——这正是人们一直在密切关注的，通常被称为 situational awareness。请尽可能多地讲讲测试项目背后的幕后故事，以及我们可能还没谈到的其他令人惊讶的行为。关于时间线之类的内容，我没法透露太多。我能说的是，我们在整个训练过程中都会进行测试。这同样融入了我们的 RSP。我们有承诺，在持续训练模型的过程中对它们进行评估并运行安全检查。整个流程就像流水线一样，就像你在造汽车，它正在穿过工厂车间：从预训练开始，然后进入微调，之后再进入最终评估流程。在那里，你开始获得那些指标和数字，也就是你会放在 model card 之类的东西里的内容。至于第二点，关于那条推文——needle in a haystack 的推文——我觉得这是个很有趣的故事，没想到它会像现在这样火起来。我认为这里有一点细微差别：发现测试并不一定需要、意味着或等同于某种自我意识。我认为你必须把这两者分开。但自我意识作为一个原则，也是我们正在追踪的。我们也在关注这一点，这同样融入了我们的 RSP，所以这不是我们轻视的事情。但同样，我认为重要的是把这两者分开，在没有进行更彻底评估的情况下，不要直接跳到结论。是的，这似乎又提出了更多问题，而不是提供答案，但这些问题 certainly 非常有趣。是的，问题也能带你走向某处。我认为我们正在取得进展，即使看起来每次迈出一步，我们都会提出越来越多的问题。另一个非常重要的话题是整个大语言模型行业的竞争态势。我从很多不同的人那里听过一件事——不是 Anthropic 的人，我想我从没听 Anthropic 的人说过——我想看看你是否能证实这一点，或者你可能也得否认。我听说的是，Anthropic 公开声明的市场策略是“不推进最先进水平”，因为担心加剧公司间的竞赛态势。所以，根据许多外部说法，我的理解是，Anthropic 试图拥有同类最佳模型，准备好发布它们，保持在前沿，但不以抬高前沿门槛的方式行事——以免迫使其他人觉得必须做出回应，从而在自己的测试时间线上偷工减料之类的。这是一种“快速跟进”的 EXP 策略吗？你能说这确实是我们的做法，还是不能？所以我们从未声称或说过那样的话。我们从未公开声明过我们在该意义上的模型发布策略或其能力。同样，这不是一个很好的答案，但如果你确实想了解我们在政策中如何看待这件事，你应该参考我们网站上关于 core views on AI safety 的文章。我认为这份文档总体上澄清了很多误解，它是一个关于 Anthropic 的被低估的资源。我在面试流程中以及深入了解 Anthropic 时，曾非常关注这份文档。我很惊讶地发现，甚至没多少人知道它的存在。我认为它非常全面，大概需要 30 到 40 分钟的阅读时间，所以有点深入。但如果你确实想了解我们对整个行业格局的看法，一定要参考那份文档。再说一次，它就在我们网站上，很容易找到。是的，我读过，我从中得到的主要 headline 是：对于一些基础的 AI 安全问题究竟有多困难，存在着极高的不确定性。我记得那张图，它显示了可能性分布——我们真的不知道，可能没那么难，也可能几乎不可能。我猜这种不确定性至今也没有大幅收敛。对我来说，回想多年前 Eliezer 的文章，我过去常常想，天哪，让 AI 理解人类价值观将极其困难，我们怎么可能做到？这看起来太难明确了，维度如此之高，有时还充满矛盾。而现在，Claude 3 可以说比普通人更有道德感，它似乎非常深刻地 grok 了这些概念。关于这些问题到底有多难，你有什么更新的看法吗？要我说，研究似乎进展得相当顺利——所有这些类似 sparse autoencoder 的工作，都在识别这些概念并试图深入分析它们。从我的外部视角来看，事情似乎至少和预期一样顺利，甚至可能比最初那篇文章发表时的预期还要好。是的，我认为过去一年至少自从我加入 Anthropic 以来，在 interpretability、alignment 等方面有很多令人兴奋的进展，基本上每周都能看到新东西，我觉得非常酷。很难说这在方向上会在多大程度上改变局面。同样，这里的 error bars 非常大，而且在某些方面目标也在移动。我们在边走边学。但我要说，整体感觉趋势是好的。我所看到的一切——再说一遍，这些不是我的专业领域，所以我说这话是门外汉视角——但从外部视角看，我所看到的一切都是进展顺利的。希望我们能保持下去，几年后能带我们走向一个好的方向。嘿，我们稍后会继续采访，现在先插播一段赞助商内容。大家好，我是 Eric torberg。我越来越多地听到创始人们希望实现盈利，用更少的资源做更多的事，尤其是在工程方面。听着，我和其他人一样喜欢你们那位 30 岁的 xfang 高级软件工程师，但说实话，我再也雇不起他们了。各地的创始人都在试图转向全球人才，但天哪，要做到规模化实在太麻烦了——从招聘、面试到实地运营和管理。这就是为什么我与 Sean Lanahan 合作，他过去五年多在越南以非常高的水平组建工程团队，帮助你轻松获取全球工程人才。Sean 的新公司 Squad 负责全球人才的招聘、法律合规和本地人力资源，你无需操心。我们在亚洲和南美都有团队，无论你运营于哪个时区，我们都能覆盖。他们的工程师遵循你的流程，使用你的工具；前端方面，他们使用 React、Next.js 或你喜欢的前端框架；后端方面，他们精通 Node、Python、Java 以及所有主流技术。完全披露：这会比你在 Upwork 上随便找到的那个每周只干 2 小时却给你开 40 小时账单的人要贵，但你能以远低于常规成本的价格获得顶级质量。我们的工程师都是经过筛选的顶尖 1% 人才，每天都在为你努力工作。在不增加 burn 的前提下提升你的开发速度。请访问 choose squad。访问其网站并提及 turpentine 即可跳过等待名单 。Omnik 利用生成式 AI，让你能够一键启动数十万种真正有效的广告变体，并在所有平台上进行定制。我非常看好 Omnik，甚至亲自投资了它，并推荐你也使用。使用优惠码 Cog rev 可享受九折优惠。现在我们更深入地聊聊你的职责，我忍不住想问一些宏观层面的问题。因为你——尤其是考虑到你的 jailbreaking 背景——我觉得你或许低估了自己在这方面的全局视野。你会如何描述当今的竞争格局？是的，排行榜似乎很好地反映了当前的局势。从这个意义上说，我认为大家基本上旗鼓相当。而且，至少在我所说的“三大”或“四大”之间——取决于你是否把 Meta 算进竞争者之列——产品形态上的趋同似乎比我预想的要多一些。就像 Amanda Asal 最初提出的那种助手框架和 three H's 似乎已经成了标准。此外，tool use 也正在成为一项标配。你认为可以这么说吗：我们基本上正处于一个趋同期，顶尖公司都在把非常相似的产品推向市场？如果是这样，为什么会这样？为什么我们没有看到更多差异？还是说，你看到的差异比我看到的要多？是的，我认为既存在趋同，也存在差异。尤其在模型 API 层面，我们现在看到很多趋同，仅仅是因为人们愿意采用那些已经被广泛接受的东西。对我们来说，我们认为 Claude 能够使用工具非常重要，所以我们最近推出了 tool use。我们看到了开发者对此的强烈需求，这可以说是我们在 API 方面被请求最多的功能。至于差异，我认为你可以更多看向产品层面。我认为我们正处于 AI 和 AI 产品的 UI 与 UX 范式演进的最初阶段，这里还有巨大的探索空间。如果我必须打赌，那种通用的文本框——只是一个你输入纯原始文本的空文本框——不会是与这些东西交互的最终形态。它在很多方面都不理想。当你直接把 Claude 或 ChatGPT 之类的交给人们时，很多人感到不知所措，他们不太知道怎么用，需要大量解释和示例。我认为我们可以做很多事来让整体体验更简单。这也是我现在作为开发者关系负责人的目标：如何让人们在 Claude 上构建和使用 Claude 变得更加容易。从这个意义上说，我们可能会开始看到一些更大胆的创意，这可能会带来比以前更大程度的差异。但话说回来，在某些方面，我们现在仍处于起跑线上，围绕这些产品构建真正让它们更易用的产品和框架的比赛才刚刚打响。是的，我完全预计应用层即将发生的各种疯狂事情会出现一场 Cambrian explosion——这是我偏好的说法。不过，在 API 层面，甚至具体到规范层面，似乎确实存在趋同。我发现这是一个非常有趣的战略问题，因为如果我是 Anthropic，进入市场比 OpenAI 稍晚一些，那么某种意义上采用同样的 API 是合理的：这样人们可以轻松切换。但另一方面，这也意味着他们也能轻松切换回去，这就有可能加剧这样一种局面——谁在任何给定时刻拥有最好的模型，谁就能赢得整场比赛。对吧？如果只是一行代码就能从一个模型切换到另一个模型。你怎么看这个问题？你认为现实就是如此——一行代码就能切换，就是这样？正如 Logan 在 Twitter 上谈 OpenAI 时所说：“我们只以最新模型论成败”？还是说，将 Claude 集成到应用中存在其他更具粘性的方面？如果是的话，这些让 API 集成更具粘性的方面会是什么？是的，我们再次强调，我们正在努力让 Claude 尽可能易于构建。所以无论是一行代码集成还是别的什么，我们都希望把 API 设计好。我们有一整支优秀的工程师团队专注于这件事，努力让 API 易于使用。这并不总是看起来就像从一家模型提供商那里照搬一套功能集。我们试图——听起来可能有点老套——采用第一性原理的方法，思考人们真正想用什么。有时这看起来与别人已经实现的类似，有时又略有不同。我们在 tool use 等方面收到了非常好的反馈，很多人说我们的设计感觉很自然，在他们现有的交互中比之前用过的产品表现好得多。所以这并不是总要复制这个或那个，而是更多关于我们如何聚焦 Claude，让 Claude 尽可能好用、易用，并在此基础上发展。这确实是个有趣的问题，也是我们必须弄清楚的。至于粘性，我认为有很多因素超出了模型本身。就像我之前说的，我认为模型评估在可预见的未来仍将是一个棘手的话题。比较两个模型时，我们已经能发现它在某些方面失效了。就像你说的关于 LMSYS，LMSYS 很棒，我真的很尊重那个团队，我认为他们为 AI 行业做出了很大贡献。但随着这些模型变得如此出色，以至于我或你都很难直接判断“哦，这个回答比那个好”，我们就必须开始考虑某些特定因素了。我确实喜欢他们最近新增的一些功能，比如分类拆解——无论是编码任务、写作任务还是其他什么——这让你能清楚看到模型之间的对比。他们也在按语言等维度进行拆解。不过，我认为仍有很长的路要走。例如，如何在一个 LMSYS 式的聊天机器人对战环境中评估带有模型的 RAG pipeline？这是一个巨大的生产场景，但在评估中却未能很好地被捕捉——哪种模型在这种场景下表现最好。所以这里有很多问题。我认为评估还有很长的路要走，就像产品一样，评估也还处于萌芽阶段。我真的希望在未来一年左右能看到更好的外部第三方评估，因为需求非常强烈，而且我们已经开始触及并耗尽现有的一些评估标准。你在 Twitter 上总能看到，有些我们大量依赖并包含在每个 model card 中的现有评估质量有多低。因此，我认为人们开始构建评估体系是一个巨大的机会。这很难，而且需要时间和资源，但它对整个行业是一项重大贡献，也确实能帮助人们更清晰地思考模型。看来 tool use 正是核心所在。我把它理解为中等规模、中等长度的多步骤、多工具——甚至可能是多应用——的任务完成，还需要能够从错误中恢复之类的能力。这大概就是我眼中下一代技术真正落地的地方。这基本上是你对未来的新评估所期待和寻找的吗？是的，是的。我认为这是一个巨大的类别。如果我把未来想看到的评估分为三类，第一类就是这种多任务 agentic 场景。我们现在开始看到一些出现了，无论是 PR 写作评估还是需要多次迭代的其他任务。第二类是长上下文检索类型的评估。我认为我们需要超越 needle in the haystack 来评估长上下文性能。它曾经发挥了作用，但现在我们需要开始思考更具代表性的任务——比如如何综合跨越 20 万 token 的信息，如何从那大量文本中真正提取出有洞察力的信息，而不仅仅是找到其中某个抽象的句子。第三类则是更多领域级别的问题。同样，我对这些模型最期待的一点之一就是它们如何能够整体加速研究和发现。我们已经开始看到这方面不错的评估，比如 GPQA，但这只是一个。我希望看到 GPQA 乘以十倍，覆盖大量不同行业和领域特定的主题。我认为，随着这些模型变得更强，我们开始看到这些东西能在科学家和研究人员的日常任务中提供多大帮助时，这将证明是非常有价值的。你特别提到了 tool use，说你们的设计反馈很好。关于这一点，我们有什么应该了解的吗？坦白说，我还没用 Claude 的 tool use 构建过任何东西，我原本只是假设它和我见过的 OpenAI 的范式非常相似。它是否存在结构性的差异，或者你想强调的某种质性差异？是的，只是一些细微之处。再说一次，原则上它们运作方式大多相同：模型输出或者基本上选择一个工具，选择某些参数，然后在你的客户端一侧，你接收这些参数，运行函数，并把结果传回去。所以整体流程是一样的。我只是觉得，在我们如何看待类型、如何看待嵌套对象以及那些细枝末节方面——这在播客上聊起来可能没那么有趣，但开发者真的很在意这些——正是那些只需多花五分钟就能实现的小细节，让 tool use 之类的东西开箱即用。正是这些小事，我认为让开发者体验整体上更愉悦。所以我们真正专注的就是把一切细节都做到位。快速问几个路线图问题，然后再问几个给开发者的实用建议。好的。如果我的理解没错，Anthropic 曾表示有一条非常清晰的路径，或者 Claude 已经能在某些测试中处理远超 20 万 token 的上下文，是这样吗？这在近期有望产品化吗？是的，我记得在我们的 model card 中提到过，在某些测试中，我们看到 Claude 可以处理高达 100 万 token 的上下文。这是我们正在探索的方向，我们已经开始与某些合作伙伴一起探索。这是一项让我非常兴奋的能力。当然，增加 context length 能解锁更多可能性，也会改变你基于这些技术构建产品的方式。现在给出任何时间线之类的东西还为时过早，但这无疑是我们正在积极追求的，我们也在研究如何在未来更广泛地推出它。总体上，你认为 Claude 会以怎样的频率更新？老实说我挺惊讶的，更新频率似乎并不高。以 GPT-4 为例，推出一年多了只更新了五次。我原以为会高于每季度一次，而且我觉得 Claude 可能也差不多——尽管 Claude 3 还很新。你有没有感觉到某种更新节奏，或者更频繁地推出增量更新的瓶颈是什么？说来有趣，你提到这个。我前阵子也在反思，仅仅过去几年间，我们对更新和发布速度的期望发生了多么彻底的变化。我记得小时候特别喜欢紧跟苹果的更新，比如新 iPhone、WWDC 之类的。对我来说，每年一次感觉是个不错的节奏：每年都能看到新 iPhone、新 iOS 或者他们推出的新功能。现在我们却走到了一个“每季度一次都像永恒”的地步。我想这可能只是因为变化的速度太快了。当然，当每周都有更新时，一周没有爆炸性新闻都感觉像等了一辈子。至于实际的阻碍，这只是一个流程问题。训练这些模型仍处于早期阶段，我们基本上做这行还不到五年，所以我们正在理顺流程，尽可能快地推出这些模型。我没有具体日期可以透露，但基本上我们的意图是在负责任的前提下，尽可能快地推出更好的模型，并全面改进 Claude。有没有计划提供 fine-tuning？据我理解，这可能是目前产品供给中最显著的差异之一。我的感觉是，fine-tuning 基本上是一个真正的安全噩梦，而且一直是这些公司不愿承担的负担或风险。这是目前没有 fine-tuning 的原因吗？它有没有可能改变？是的，通过 Bedrock 对 Claude 进行 fine-tuning 很快就会到来，非常快。它将提供 self-serve。我们的团队投入了大量工作来确保它运行良好。我不知道具体日期，但它确实很快就会到来。所以请继续关注，Claude 上的 fine-tuning 终将面世。好的，这是点小道消息，期待这个。另一个我听很多人问过的问题是关于服务条款中的数据条款。你肯定还记得，有一段时间——差不多是一切刚开始的时候——OpenAI 出来说过：“明确地说，我们不会用你的 API 数据训练模型”。我在 Anthropic 的条款中没能获得同样清晰的表述。你能不能给我们一个高层次的说明：当我们把数据输入 Claude 时。或者通过 API 发送。是的。我觉得有点令人失望的是，我们在这方面的信息传递一直比较混乱，我们本可以在沟通上做得清楚得多。不过，我们网站上确实有一份非常详细的隐私政策，最近刚更新过，从宏观层面涵盖了所有这些内容。我可以非常明确地说明：我们绝不会使用你的输入或输出来训练模型，除非：第一，你的对话被我们的信任与安全审查标记，在这种情况下，我们会分析你的输入或输出，以检测并执行我们的 AUP（acceptable use policy），并改进我们的信任与安全团队所使用的模型；第二，你明确向我们举报了相关内容，也就是你的输入或输出，这就好比你在 Claude 上……