2023 年我刚加入时，没人会把 Anthropic、Claude 和编程放在同一句话里。我想回到 Anthropic 创立之初。我记得当时心想，天哪，这些人根本没机会，OpenAI 遥遥领先。当时，我看到人们开始把这些模型不仅用于代码自动补全，而是实际编写长篇幅代码， 这让我们看到了一个机会，可以针对这方面训练 Opus 3 变得更强。那就是转折点。
我总会想起一年后的 Opus 45，那是在寒假期间，大家都放假在家，可以写代码的时候。
Opus 45 的神奇之处在于，我们不仅拥有了一个模型，还拥有了一个载体——一种像 Claude Code 这样出色的产品体验。如果没有 Claude Code 这样的产品，Opus 45 就不会有那个高光时刻；而如果没有 Opus 45，Claude Code 也不会获得如此迅速的采用。我想聊聊产品经理这个角色正在发生怎样的变化。对我的团队来说，创造用户价值的方式是找到正确的用户反馈。关于 evals，我们团队实际上有句话：evals 就是新的 PRD。这是 Gary Tan 一直在谈的事情。如果你现在每年愿意在 token 上花 10 万美元，那你就过上了 2028 年人们将要过上的生活。你必须像对待像素一样认真对待 token。你必须利用模型来想出好的、更好的、更出色的点子。这一点无可替代。如今人们需要对 AI 工具抱有更大的野心，因为它们的能力太强了。我经常问团队一件事：假设 Claude 8 问世了，用户的行为会发生什么变化？这对于你今天构建产品的方式意味着什么？今天的嘉宾是 Diane Penn，Anthropic AI 研究与实验室团队的产品负责人。三年多前，她以首位技术产品经理的身份加入 Anthropic——在 AI 领域三年就是一辈子 ——当时产品团队只有五名工程师。她参与交付了 Anthropic 从 Claude 2 到 Fable 的每一代模型。她还参与孵化和推出了 Claude Code、MCP、Skills、Claude Design，以及 computer use、tool use 和 reasoning 等核心能力。能与身处 AI 和产品管理核心位置的人交谈，总是令人愉快且开阔眼界。很难想象有人比 Anthropic 研究与实验室团队的产品负责人更清楚未来的发展方向。 在开始之前，别忘了访问 lennysproass.com，Lenny 的 newsletter 订阅用户可免费试用一年全球最热门、设计最精美的 AI 产品。那么，有请 Diane Penn。Diane，非常感谢你来到这个节目，欢迎。谢谢你，Lenny。很高兴再次见到你。我想回到 Anthropic 的早期，创立之初。我记得 Anthropic 首次发布的时候，大概是……多少年前来着，第一代模型发布大概是几年前，三年前左右吧。是的。三年了。我记得当时就觉得，天哪这些人根本没戏。OpenAI 遥遥领先，每个人都在想他们到底在想什么？这怎么可能？OpenAI 已经赢了。太晚了。现在情况完全不同了。我最近看到的数字是，Anthropic 的 ARR 大概有……我不知道，500 亿美元？这差不多是以前公司上市时的体量，非常成功的公司上市时估值才 500 亿。据报道 Anthropic 每年都能达到这个水平。你是最早加入的 PM 之一。当时大概只有五名工程师。你加入的时候模型甚至还没 [清嗓子] 发布。Anthropic 早期是什么样的？有什么事情可能会让人们对创业之初的处境感到惊讶？我认为 Anthropic 能有今天，很大程度上要归功于早期就确立的核心基因。就像你说的，我 2023 年加入时，我们有五名产品工程师。如果你相信的话，当时整个 API 业务只有一名工程师。我觉得很大程度上是因为公司文化非常强大，这也是我对那些对这家公司感兴趣的人强调的一点。真的是在践行使命、文化和价值观。那种活力完全就是一家初创公司的样子。而且你说得对，我们在早期确实非常努力地寻找自己的定位。我觉得技术是一方面，但这项技术如何为用户创造价值、为社会创造价值，这到底是什么样的？我认为早期我们就是在用不同方式探索这些问题的。比如我们最开始推出了 Claude.ai，就像另一个聊天助手，然后逐渐演化出 tool use 这类功能。我觉得真正让我们开始进入状态的一个时刻，是推出了 Golden Gate Claude 这样的东西。不知道你记不记得那个。不记得。嗯，那个实际上只上线了大概 24 小时左右。我们在 2024 年初刚刚发表了一篇早期的可解释性研究。其中一个例子是，你可以在模型层内找到所谓的“特征”，这些特征表达某些特定主题。比如研究人员识别出的一个主题，可以说是“写 bullet points”。另一个是“人物和地点”。还有一个经常出现、引起共鸣的是“金门大桥”。所以当你实际上调高了那个特征，Claude 就会对金门大桥着迷。也就是说，在它的每一个回答里，都会绕回来说说金门大桥。所以如果你说：“给我一个做意大利面的食谱。”它会说：“这是一个食谱，这个橙色的颜色就和金门大桥的国际红一模一样。”嗯，所以这非常古怪，而我们当时非常想把这种体验带给大众，带给那些刚开始使用 Claude 的人。于是整个体验实际上我们在 24 小时内在 claude.ai 网站上架了，这需要工程、产品、设计，还有我们的研究团队通力合作，我们为此非常自豪。说实话，我觉得可能只触达了 2000 人 。但这件事让我们觉得，哇，我们其实可以带来全新的用户体验，以一种与众不同、真正属于我们自己的方式展示我们的研究，而且是以非常初创公司的速度推进的。对我来说，那可能是一个隐藏的转折点：我们开始找到自己的定位了，我们能够打造产品、创造体验，与竞争对手已有的东西都不一样。而且我觉得，显然像 Labs、Claude Code 等等，我们开始明确自己的身份，即我们到底认为世界应该如何看待 AI，如何把它带到公众面前。但这是非常自下而上的文化。整个体验都是非常自下而上的。我看到工程师、设计师自愿抽时间来做这件事。所以我总喜欢用这个例子来说明早期是什么样的，但文化、还有价值观，我认为从早期到现在都没有改变。本集节目由本季的呈现赞助商 Work OS 为您带来。OpenAI、Anthropic、Cursor、Vercel、Replit、Sierra、Clay，以及数百家其他成功的公司有什么共同点？它们都由 Work OS 提供支持。如果你正在为企业构建产品，你一定体会过集成单点登录、SCIM、RBAC、审计日志以及其他 大型企业所需功能的痛苦。
Work OS 通过一个专为 B2B SAS 打造的现代开发者平台，将这些交易阻碍转化为即插即用的 API。毫不夸张地说，我投资的每一家初创公司，只要开始向高端市场扩张，最终都会与 Work OS 合作。这是因为他们是最出色的。无论你是试图签下第一家 enterprise 客户的 seed-stage 初创公司，还是正在全球扩张的独角兽，Work OS 都是让你的应用具备 enterprise ready 能力、消除增长障碍的最快路径。它本质上就是企业功能领域的 Stripe。访问 workos.com 开始体验，或者直接进入他们的 Slack，那里有真正的工程师在等着回答你的问题。Work OS 让你通过令人愉悦的 API、全面的文档和流畅的开发者体验来更快地构建。访问 works.com，让你的应用今天就具备 enterprise ready 能力。在你看来，Anthropic 从当初那个试图与 OpenAI 这样的巨头竞争的实验室，发展到今天的样子，还有哪些重大的转折时刻？有哪些时刻让你觉得“哇，那真的改变了一切”？毫无疑问是我们在训练和测试 Opus 3 的时候。我认为那一刻——当时公司应该还不到 200 人——非常清楚，我们需要并且想要打造一款 frontier model，这对我们触达用户、消费者以及展示我们的研究成果来说非常重要。我们当时也在寻找答案：为什么有人要选择 Claude？这是一个核心问题，也是早期大家一直在问我们的问题。我认为 Opus 3——它大概在 2024 年 3 月初发布——但在此之前的好几个月里，推理、研究、微调、预训练等各个团队在不同时间集结，朝着一个共同目标努力，我想每个参与者都非常自豪。我记得作为产品经理，我们——研究负责人、我自己——那时大概是十二月，大家都在各自父母家里，从视频背景里能看到每个人儿时的房间，所有人都非常努力地思考：我们训练这个模型到底是为了什么？它是否展现出了应有的能力？所以我觉得那一刻在建立信任方面非常有力。很多当时参与的研究负责人，现在都在主导强化学习、角色塑造和对齐工作。这种基础性的信任也帮助我们现在在产品与研究的任何生产级模型上都能良好协作，因为早期我们就是这样一起在战壕里摸爬滚打的。另外还有一些关键时刻，比如意识到编程的重要性。对吧？2023 年我刚加入时，没人会把 Anthropic、Claude 和编程放在同一个句子里。我认为当时像 GPT-4 这样的竞品模型虽然也被用于编程，但那只是众多应用场景之一。而我观察到的是，人们开始用这些模型来写代码，不只是代码自动补全，而是真正的长代码生成。这是否是一个机会，让我们可以把 Opus 3 训练得更擅长编程？从训练角度来看，这最终只是一个相对较小的调整，但它帮助我们在早期形成了竞争优势，吸引了大量早期的 Claude 爱好者和开发者，因为我们提供了他们当时认为不可能实现的价值。那很有趣，你谈起 Opus 3 就像那是在很久以前的事了，很难想象那曾是一个重大的转折点，所以听到这在内部确实是一个重要里程碑真的很有意思。那似乎为你们所有人奠定了一种信心：哇，我们真的能够交付一款 frontier model——当然以今天我们所拥有的来看，它已经不算什么了。我总会想到 Opus 45，有趣的是，那也是在一年后的寒假期间，当时所有人都在家里写代码。那也是另一个重大里程碑吗？是的。Opus 45 绝对是另一个重要时刻。我认为 Opus 45 的魔力在于，我们当时不仅仅拥有了一个模型，还拥有了一个载体——一个出色的产品体验，比如 Claude Code。我们团队在内部经常说，你需要 frontier products 才能让人们感受到 frontier models 的魔力。我想在此之前的好几个月里，我们就已经感受到了 Claude Code 的魔力。但关键在于，模型达到了一种智能水平，使得广大用户能够在新的应用场景中体验到 frontier intelligence，并以 agent 的方式端到端地运行任务。我认为那才是转折点。实际上两者缺一不可。我觉得如果没有 Claude Code 这样的产品，Opus 45 不会迎来那个时刻；而如果没有 Opus 45，Claude Code 也不会获得如此加速的采用。顺着这个思路，Dario 很有意思，如果你回顾他的所有预测，他当时就是说，好吧，编程将在大约一年内 100% 被解决。他一直在说 AI 将包揽我们所有的代码工作。我记得当时每个人都在说：“不可能。这太复杂了。AI 怎么可能把人类做的这种极其复杂的事情做得很好？不，这在很长一段时间内还得靠人类。” 他完全正确。他谈得很多的另一点是我们现在所处的这条指数曲线。这是他现在描述的方式。他说，我们正处于指数曲线上。我记得不久前新模型不断发布时，每个人都在说：“好了，我们到头了。没有上升空间了。它正在趋于平缓。结束了。没有增长空间了。” 而现在情况完全相反。现在我们身处其中，如果你想象那条指数曲线的话。我们现在就在指数曲线的内部，这意味着按照定义，每一次进步都是巨大的飞跃，因为我们正处于曲棍球杆的那一端。身处 AI 进步如此之快、如此之多的能力被释放的疯狂历史性时刻内部，是什么感觉？这是什么感觉，人们又应该如何为 AI 即将到来的持续加速进步做好准备？我在团队里常说的一点是，当互联网从一种新奇事物转变为每个人都能使用的东西时，我们大多数人可能还没有真正开始工作，而感觉这正在带领人类——我认为类比是很有帮助的，关于这一点我想谈几个方面。第一，适应能力变得非常重要。我们有 evals，有安全层面的安全测试、red teaming，在能力和产品层面也有新的原型、像 cloud code tag 等产品，但很难预测确切的时刻或确切的模型。因此，当你面对新信息时，适应能力就体现在：你是据此做出更好的决策，还是固守原来的计划？所以这种敏捷性非常重要。另一个方面是，在此基础上，你如何真正以第一性原理思考，并推理接下来会发生什么？那又怎样？我们如何投资新产品？如何投入资源向用户解释其中的差异？所以我认为身处指数增长中的很多体验，就是理解这种节奏，明白如何运作并做出更好的决策，然后将这种第一性原理思维应用到实践中——去做一些我们原本可能要到几个月后才计划推进的事情，而现在模型已经能够完成、能够处理，并将其真正交付给用户。所以这就好比协同工作中的 skills tag 之类的东西，这是一个非常积极的自我强化循环。而且我认为很大一部分原因也在于彼此之间要建立信任，要确保我们在做正确的决策思考，要让大家一起跟上。有些团队可能比其他人更早感受到这种指数级变化。那么我们要如何以足够的包容，让这个不断壮大的组织和公司跟上节奏？所以我理解你的意思是，几乎每次模型发布时，你都无法预知它究竟能做什么。因此关键在于保持适应能力，随着新能力涌现而及时调整。正如你所说，产品本身必须跟上技术的可能性。再说回你的观点，虽然模型能做很多事，但人们可能不知道怎么做，也可能做不到。所以让产品变得易用，甚至直接告诉用户“你可以这样用它”，感觉是很重要的一环。这大致是你想表达的吗？我想是的。我认为在最早的 scaling law 论文中有一些非常有趣的图表，大家对 scaling loss 都很熟悉——随着算力和数据的增加，所谓的 loss，也就是 next token prediction 的损失会下降。所以这是一条非常平滑的线性曲线，模型随着规模扩大变得越来越智能。但那篇论文里其实还有另一个很有意思的点，就是那些非常不同的 emerging capability 图表。例如，随着数据量增加、模型训练消耗更多算力，你会看到这些不连续的 emerging capabilities 的跃升。模型从无法计算 1+1，变成能够可靠地完成这项计算。所以这些 emerging capabilities，这种可预测性的本质，并不是说每个人都能知道确切的时间点——你需要 evals 才能评估——而这其实一直是这项技术运作方式的一部分，也是为什么安全等问题更难处理的原因：除非你有 eval，有测试系统，否则这些跃升可能真的会发生，而你却毫不知情。这太有意思了，你可能已经培养出了这样一个 AI 大脑，它能做一些你甚至都不知道的事，所以工作的一部分就是去发掘：哇，我们刚刚特别擅长做这件事了，我们能用它做什么？我觉得存在 product overhang 和 user overhang，如果用我们产品经理的语言来说，即使是在今天的模型上也是如此。我认为我们在目前的 Opus 上还有很多可以探索的空间，当然也包括像 Fable 这样的项目，比如 temple，而这种探索发现其实也是 Anthropic 早期基因的一部分，我认为它也将继续成为我们产品、实验室乃至整个研究领域运作方式的重要一环。这让我想到 Gary Tan 一直在谈的一个观点，他是 YC 的总裁，我不知道他具体头衔是什么。他有一个很有意思的论点：如果你现在愿意每年花 10 万美元在 token 上，那么你过的就是 2028 年的人将要过的生活，因为到那时 token 会非常便宜，每个人都能这样工作。所以当下有一个 alpha 机会，你可以直接活在未来，在 token 支出上大胆投入。因此人们有很大的机会去了解未来会是什么样子，同时也能更快地构建东西。你对这个想法，以及所谓的 token maxing 的价值，怎么看？是的，我想我更倾向于从一个几乎纯产品的视角来看。token spend 更像是一种投入，而真正的产出是你所说的实验。我觉得如果我们的目标能围绕实验来设定，那可能是对结果更好的定义方式，因此也可能有不同的路径来实现这个结果。我得说，在内部，一些最有创造力的思考者、最优秀的原型设计师，确实会在每一个新的研究模型版本上与 Claude 共处很长时间。所以有一点很关键：你必须真正去使用模型，才能想出好主意、更好的主意、再更好的主意，这一点无可替代。在技术迭代如此之快的时候，不去接触技术就很难制定出完美的策略。与此同时，我觉得我们还可以在其它方面努力，比如我们内部很重视在 Anthropic 内部公开工作。在早期产品界面还不多的时候，有一个 Slack 频道，几乎全公司的人都在测试 Claude 的早期版本，尝试不同的 use case。那时候大家并不把它们叫 use case，但你会让它帮你改一篇文章，或者想一封邮件该怎么发。它们其实都是不同的 use case，但我们都是公开进行的。然后你会神奇地发现，团队里不同的用户或不同的人想出一个点子，然后其他人尝试这个点子的不同变体，大概在十轮左右的请求之内，就会出现某种神奇的东西，或者涌现出一个新的 use case。我认为这很重要：不仅仅要个人独自摸索如何使用这项技术，我们在实验时还可以做更多来促成这种 communal discovery。实验不一定总是一项个人运动。太有意思了。是啊，这种我们并不确定它究竟能做什么、我们能用它做什么的想法，需要大量的摸索，需要人们不断尝试，听别人在尝试什么，才能搞清楚可能性边界。这太有意思了，我都不知道这是技术本身还是什么，就像是：哦，我发现它能做这件事了，那你打算用它做什么呢？我认为从宏观主题上讲，我们是知道的，对吧？我们知道模型能写出很棒的文章，能写长文本，但具体到个人的痛点——你究竟能用它解决什么问题，并将其带到用户可以实际使用的层面——我觉得这更多是探索或实验驱动的事。顺着这个思路，你负责 labs 团队的产品工作，这非常酷。我们的播客请过 Ben Mann，还有 Mike Griger，他们现在都在 labs 工作，聊过 labs。那么 labs 是什么？labs 做出了什么？很多人听过这些东西，它们是如何运作的，使其能够产生如此创新的想法，甚至超出 Anthropic 核心产品团队的范畴。labs 的核心理念，很大程度上是去识别并顺着那些不连续的、大胆押注的线索往下挖，这些押注可能并不在核心路线图上，然后弄清楚那里是否真的大有可为，以及那里的 10x、100x、1000x 潜力是什么。比如像 Claude Code，我觉得——
我听过 像 Claude Code，还有 skills，以及最近的 Claude MCP。我们在团队内部真正想强调的是，尤其是在当下，有太多东西可以搭建，那么什么才称得上是不连续的押注？我认为今年我们采取的一种方式是：你可以对主题或领域有非常坚定的观点，但对具体原型则保持更弱的主张。所以这里有一种实验文化。团队中有很多自下而上的动力，工程师们非常自主，自我驱动地去测试不同想法。有时我们有一个假设，但当下可能还不成立，于是我们可能会在一到两个模型代际之后重新审视它。所以这些原型最终只是帮助我们学习，这本身也有价值，即使它没有立即带来上线的产品。所以我认为，这使得实验室的孵化和使命能够真正加速，并让 Anthropic 更广泛地预见未来。想到在 Anthropic 这样一家已经极具创新性、创造力且发布速度极快的公司内部再设立一个实验室，仍然具有价值，这本身就很有意思。是什么让实验室能够如此高效地运作？因为你列举了所有这些产品，感觉几乎所有最大的胜利都来自实验室。当然肯定还有很多我现在没想到的。在一个更大的公司内部，打造一个成功的实验室，核心要素是什么？我认为团队文化与 Anthropic 整体类似，非常有价值。我觉得 Ben 设定了极其宏大的愿景，推动人们思考一个想法的 10 倍、100 倍潜力，而且实验室内部的小组团队规模很小。有时候这些想法就始于一名工程师，对吧？我认为有时候当庞大的团队去追求非常模糊的大概念时，实际上反而会因此拖慢进度。所以我认为关键在于文化。我们实际上也专门筛选那些真正愿意做从零到一实验的人，但这并不容易。有很多项目我们最终会选择放弃或叫停。也许未来我们会重新拾起它们。但这很难，当你倾注心血，像一个创始人一样押注某个方向，而它暂时还不奏效的时候，这很艰难。所以我认为关键在于筛选那种人格特质的人——对从零到一真正充满热情且深入钻研的人。那么你负责研究团队的产品工作，与 Anthropic 的研究人员共事。很多人对研究、研究人员的工作有个大致概念，但我觉得很多人并不完全理解这些在所有 AI 实验室都极其宝贵的人。我的想法是，想帮大家理解——帮我理解一下研究人员整天都在做什么。我想象中，他们会有一个如何改进模型的假设，寻找数据，调整算法，检查并调整训练方式，然后测试，看效果如何，不断迭代，不断寻找改进模型的方法。这大致对吗？或者说，帮我们理解一下研究人员每天到底在做什么？这确实是，我觉得这大概就是更偏日常的部分。但我认为，Anthropic 这类研究机构的研究人员还有另一层面，那就是对未来更宏观的愿景。比如，我记得公司成立之初，研究人员就在讨论如何让 Claude 使用电脑，如何让 AI 操作屏幕界面。所以实际上，很多研究人员身上有一种非常像创始人的能量，这是我描述那些真正大胆、有雄心的研究人员的方式，而 Anthropic 有很多这样的人。所以有一层是对这项技术未来走向的愿景，然后在循环的另一端，既然这项技术或 Claude 已经交到人们手中，我们今天如何让它变得更好？因此在思考和投入精力时，既有中长期面向未来的视角，也有即时和短期我们能改进哪些领域的视角。我觉得你刚才描述的对如何针对不同版本的 Claude 做迭代改进的理解很准确。我的团队与研究人员合作的方式，就是深度融入和嵌入到这些循环中，特别是在对用户影响较大的领域。比如视觉、computer use、编程、agent coding、tool use、test time compute 等对用户有直接影响的方面，然后想办法把用户反馈带回来，将其转化为研究人员能够理解并且可执行的层面。我认为这是第二点，实际上是工作中很大的一部分，有时也是很难的一部分。比如我们可能在 claude.ai 上收到反馈：Claude 出现了幻觉。这非常模糊。如果你直接告诉研究人员“请修复 Claude 的幻觉问题”，这不太具有可执行性。所以我们团队的一部分时间花在理解用户给出这条反馈背后的路径上。这需要放在具体情境中来看。我们会去分析：在那个时刻，Claude 本应该调用什么工具？或者基于它当时的知识，它调用了正确的工具、查看了正确的文档，但提取了错误的事实。第一种情况属于 tool use 的失败；第二种情况则属于搜索、知识检索与综合的失败，或者可能与 alignment 有关。把这种程度的细节带给研究人员，评估这是否是一个足够大的问题，设计 evals 来描述我们如何改进它——这些才是可执行的层面，也是研究人员日常交流的语言。所以我们努力贴近如何在用户与核心模型训练及研究开发的循环之间，以可执行的方式传递这些信息。前几天我和人聊天，感觉现在如果你想在人生中获得巨大成功，AI 研究是最应该去的地方。据你所知，成为一名真正成功的研究人员需要什么？不是每个人的大脑都适合这种方式，但假设有人说“嘿，我想探索这条职业道路”，根据你的观察，需要什么才能成功？你是指研究人员，还是与研究人员协作的产品经理，或两者都有？两者都说吧。与研究人员协作的产品经理当然也会非常成功，但感觉现在每个人都在试图从各家公司挖走顶尖研究人员。我知道你不是 AI 研究人员，但仅从你的观察来看，在这条职业道路上成功需要什么？我认为 Anthropic 许多最成功的研究人员和研究领导者，都是那些对问题有很强 first principles 思考能力的人。他们能非常好地推理问题，对自己的研究领域充满热情，对该领域可能的样子有大胆的描绘，而且实际上非常贴近细节。我们的领导层、首席科学家、fine-tuning 和 RL 等方向的负责人，实际上都非常贴近训练过程，会关注训练运行的 eval 情况、查看底层数据。所以真正贴近细节、并对深入细节充满热情，我认为是非常优秀的研究人员和培养研究品味的标志。另外一点是他们能够随着时间推移进行宏大思考，非常有雄心，对吧？就像 Dario 说的，我们可以改变软件工程……我认为朝着那个方向前进，你会学到非常多，你必须在想法上志存高远，才能成为成功的研究人员。我很喜欢“要更有雄心”这个说法，现在经常出现，但这太难了。说起来容易，实际上很难做到——你能想多大？而这也是 AI 如今解锁的很多东西之一：要更有雄心。是的。我认为要把事情从头到尾想清楚，然后对该领域保持坚定，但在具体方法上可能更灵活一些。这也是我们不断挑战自己的一个问题。不过技术发展如此之快，你如何确保正在构建的东西真正具备前向兼容性？我认为这也是核心产品开发闭环中“想得更大”的一部分。我经常在团队中发问，或者说我在构建产品时会这样想：假设 Claude 8 出现了，用户的行为会发生哪些变化？这对于你今天应该如何构建意味着什么？它是否能与未来体验保持前向兼容？我觉得“有雄心”这个说法过于宽泛，因此需要设法用某些方式来将其具体化。而且是的，所有事情都要朝着一个方向推进，彼此连贯且合理，而不是在一个完全不同的方向上盲目求大。说到雄心和 Claude 8，Fable Mythos 最近似乎触及了一个关于模型的全新临界点。过去的情况是，你有一个很棒的模型，发布它，“嘿大家好。Opus45 上线了，所有人都能用”。但 Mythos 走上了一条截然不同的路。它被拦截了。人们对其能力进行了大量审查，也有很多担忧。所有公司都必须去确认它不会入侵他们的系统。现在感觉，每一个模型因为它们持续变得更好，都将面临更多审视，而且会有更多限制规定谁可以使用它们，这感觉是件大事。你怎么看待这件事？它如何改变你们的运作方式？政策和出口管制方面，我可能留给那些负责并从事相关工作的人去谈。我认为产品层面的问题，以及我们内部如何应对这些，正如你提到的，随着前沿模型能力越来越强，safeguards、red teaming 和测试的方式，以及发布前流程，也需要快速演进和适应来应对这一点。举个例子，在 Fable 模型之前，我们没有那么强的所谓 fallback UX 和系统，因为我们的目标是确保这项技术能带来不对称的收益，并最大限度地减少其负面影响或严重风险。所以我们最终构建了 fallback 系统，这样用户仍然能从 Opus 4 获得出色的回复。我认为这里有一部分是关于，随着我们演进并改进安全系统，我们如何继续开发并交付出色的用户体验？我觉得我们在两方面都还有很多可以做的。所以在未来几周和几个月里，你会看到我们在我们称之为 model safeguards package 的东西上不断创新和改进。真正有趣且出乎意料的是，这为 Anthropic 创造了一种非常有趣的优势——你能接触到最新的东西，而且这种情况会在每个实验室发生。每个人都会持续进步，这在实验室内部创造了一种不公平的优势，可以接触到实验室外部其他人还无法接触到的最顶尖的东西。你其实希望每个人都能用上它。所以这是一个非常有趣的新反馈循环，即将开始：那些过于先进的模型只对某些公司开放，这是一个全新的、意想不到的情况，就像是所有这些限制的二阶效应。我们的目标是开发这些系统和模型，使其尽可能具有包容性。我认为我们的目标是，对于通用的、日常使用类的技术，不要让这种情况发生，并让它们变得更易获取。我觉得，你知道，这目前是我们的首要任务之一，以减少我们在那里看到的现象。是的，这说得通。我猜你希望尽可能多的客户，尽可能多的人使用这个产品。本期节目由 Mercury 赞助播出。Mercury 是一家截然不同的银行，深受超过 30 万创业者喜爱，现已推出 Command。我作为 Mercury 的客户已有六年多，从未想过离开。Mercury 基本上就是当银行业务由做产品的人、而非银行家来打造时的样子。他们让发送发票、转账、 为团队成员设置虚拟卡变得如此简单——我敢说是有趣。你的银行有 API、原生终端 CLI 或支持 AI 的 MCP server 吗？我可不 这么认为。就在最近，他们推出了 Command，一个直接内置于 Mercury 的对话式界面，充当你的财务运营助手。我一直在用 Command 来转账、弄清自己在哪些类别上花钱最多、分析现金流，就在今天，我还用它查了过去一年从某个特定赞助商那里赚了多少钱。我只问了一句， “过去一年我从 X 那里赚了多少钱？”十秒钟后，我就有了答案。简直太酷了。访问 mercury.com 了解更多信息，几分钟内即可在线申请。Mercury 是一家金融科技公司，并非 FDIC 承保银行。银行服务由 Choice Financial Group 和 Column N.A. 提供，二者均为 FDIC 成员。我想聊聊产品经理这个角色是如何变化的，在这个新世界里什么样的人表现突出，毕竟 AI 已经成为我们生活中如此核心的一部分。当你在招聘 PM、产品人员时，当你观察那些在当下世界表现出色的人，你注意到了什么？你最看重什么？什么在你眼中重要性正在上升，什么又在下降？实际上，我的团队已经有三年没有改变招聘流程了。所以我们真正寻找的特质，以及我们如何评估像 PM 这样的通才，或者像研究型产品经理这样的通才，其实一直是一样的。我认为其中一些特质，第一就是 first principles thinking，这真正意味着，不是套用你在消费产品或 B2B SaaS 领域的过往模式，而是在当下，针对这个用户群体和这项技术，真正弄清楚用户价值是什么。能举个例子吗？很多人听到 first principles thinking 就说，是的，我懂，我很擅长。那真正展现出出色 first principles thinking 的例子是什么？我认为一个例子是，你可能觉得产品经理就是负责产品战略和交付用户价值，而我日常是通过写 PRD 或产品愿景文档来体现这一点的。但对于我的团队，比如研究型产品经理，驱动用户价值的方式是弄清楚正确的用户反馈，也就是 evals，对吧？那可以成为用户需求的具体体现。所以我们确实会写一些产品文档和 PRD，但团队里其实有句话叫 “evals are the new PRDs”，对吧？因为要交付用户价值，靠的不是过去一二十年人们写的那种特定文档，而是一种新的工作方式。所以 first principles thinking 就是：让我弄清楚为了实现目标，我应该做什么；而不是说，这是我过去做过的一套活动，因此我要继续做下去。所以这里的意思是，过去通常是先有一个想法，创建一个 PRD，跟人们讨论，就计划达成共识，设计、构建、发布，看看效果，再迭代。而我听到的意思是，现在变成了：好的，这里有一些关于某个问题或机会的反馈。第一步是 eval 现在成了你定义工作的方式，而不是 PRD。也许第一步应该是理解用户的痛点。而触及用户痛点的方式本身也不同了，对吧？过去，我们可能会做用户访谈，我觉得如果你挖得够深，你可以让用户带你走一遍他们的使用流程，看那些像素层面的东西。而现在，你必须像过去在像素层面精益求精那样，在 token 上下功夫。因此，我们团队有一项工作是阅读转录文本，深入理解那些失败的轨迹，进而判断：这像是幻觉吗？这是 Claude 过于自信了吗？所以说，失败的主题其实充满细微差别，然后这能让你构建出一种描述，一种对该痛点的持续描述。这本质上可以成为一个新的 eval，而且这个 eval 的分布是否正确？它是否既捕捉了出现这类失败的典型场景，也覆盖了它本不应失败的领域？然后将其反馈给研究团队，这样我们就能做出改进，并实际衡量质量——比如当我们推出 Opus 5.5 时，这个领域是否在改善？Claude 现在能否在文档中识别出正确位置，并提取出恰当的总结？所以关键在于可操作性，缩短到可操作的距离，让我们的利益相关者和合作伙伴团队（比如研究人员）能够据此采取行动。有没有这样的例子：你们发现了一个问题或机会，然后编写了 eval？而且在大多数情况下，eval 是什么样子的？当人们想设想一个 eval 时，他们应该想象什么？实际上，我们在 Anthropic 内部开创了这个概念。早期的一个例子是，早期的 Claude 模型不太擅长遵循特定 schema。比如输出 JSON，而这现在对 Claude 成为一个优秀的 agent 来说至关重要。对吧？如果你无法输出特定格式，你就不知道如何调用 API、使用工具等等。所以最初的端到端流程是，我听到反馈说，在 Claude 2 时代，Claude 不太擅长遵循指令。于是我就深入追问用户：你说 Claude 不擅长遵循指令，具体是什么意思？告诉我这种情况发生的场景，具体是哪个段落？你问了什么？Claude 是怎么回答的？要深入到那种细节程度。然后我发现，早期人们所说的这种失败，大概有 80% 其实是指 Claude 写不出正确的 JSON。于是我们就想，那好，先准备 30 到 40 个 Claude 在这方面做错的例子。然后这其实就是你的 eval 数据集。本质上你可以有一个 prompt 和一个 response。如果它的结果不符合你设定的 golden answer，那就意味着这个 eval 是有价值的，因为它在持续识别一个痛点。然后我们把它加进了我们的 eval 仓库。每当我们有新版 Claude 时，我们就会运行那个 eval 来检查。我想现在它的表现基本是 100%，或者 99.9%。所以这不再是一个痛点了。但在早期，流程是收集用户反馈，弄清楚他们真正的意思，判断我们能否复现、是否稳定、是不是个大问题，然后想办法把它标准化，让研究人员能够使用。这基本上就是产品经理的测试驱动开发，这就是我们现在所处的世界。你先写测试。所以这在 Anthropic 现在是产品经理的核心工作吗？写 eval？我想是的。而且这也是我和其他公司的 PM 聊过的事情，我认为这越来越成为一种更广泛需要的技能，因为我们正在构建的很多产品都处于模型、harnesses 和特定用户情境的交汇处。所以拥有 eval 这类东西，不仅仅是做模型的人需要，一般来说做产品的人也需要，这样才能带来更好的用户体验。因为你无法改进无法衡量的东西，而且很多东西现在仍然非常依赖亲手实践和主观判断，所以你必须贴近细节。而且也非常不确定，这是很重要的一点，就像它不会每次都给你相同的答案。所以你得把描述做得更宽泛一些，不可能是完全精确匹配。所以这是产品工作方式正在发生和即将发生的一个非常有趣的变化，eval 是其中很重要的一部分。你们还在写 PRD 吗？还会有一页纸描述问题吗？还是说……？哦，你在点头。是的，我们还在做。我认为当问题非常明确时，eval 几乎可以说是一种简写形式。但在其他情况下，PRD 仍然非常有价值。PRD 是很好的工具，能让一大群人在关于体验的事实来源和设定目标上达成一致。所以每当我们有一个模型时，实际上每个模型都会有一份 PRD。这不一定是给研究人员看的，更多是给我们不断增长的产品界面、工程团队，以及像法务、安全等其他利益相关者看的，作为一份事实来源，说明我们的目标是什么，这样一大群人才能够朝同一个方向努力。另外，我认为 PRD 还有价值的地方在于那些更模糊的问题和机会。比如我们还没有推出像 computer use 这样的功能时，我们不一定总有一套特定的用户痛点。而 PRD 中产品愿景的部分就有其价值：去探索哪怕一项技术还没准备好为所有人服务，你如何能让它在某个群体中很好地运作。这样你就能探索价值，实际上可以为用户群体带来某种连贯一致的东西。所以我们确实还在用 PRD，只是应用场景现在有点不同了。好，这太棒了。我刚和 Andrew 聊过，他是 OpenAI Codex app 的负责人，你们的观点一致。PRD 没有死，对特定项目和想法仍然非常有用。太好了。好吧，我们可以下定论了：PRD 仍然健在。好的，我们一直在聊产品经理需要具备哪些正在形成的新技能。除此之外，你有没有发现，在这个新的 AI 时代，那些表现出色的产品经理和产品团队成员身上，还有哪些共同的特质或模式发生了变化？有没有什么是你觉得必须要转变的，或者你现在会更看重的人才特质？我想特别针对那些可能处于职业生涯中期，或者更多处于管理型产品领导岗位的人。嗯，有一点我感受非常强烈：要想管理好团队，管理好使用这项技术的产品经理，你自己必须非常亲力亲为。你不仅要花时间动手摸索，还要真正用这项技术 ship 产品，而且要再次强调，要深入细节，和你的产品经理、工程师以及团队一起抠 token。所以即使是我招来的那些更有资深 PM 经验的人，他们的入职计划和那些职业生涯早期的人完全一样：围绕理解用户、阅读经用户同意的反馈、与客户交流。我认为这里面有一点很重要：能够懂得如何处理这些，知道好的标准是什么，并且是通过非常亲身实践的方式培养出这种能力的。这很重要。如果一个人没有亲自经历过构建过程，他不一定能认同或看出一个好的或优秀的 AI 产品或 AI 功能应该是什么样子。所以我认为，我对此感受非常强烈：如果你是一个管理者，你必须亲力亲为。你必须花一部分时间真正去 ship。你必须设身处地，亲身体验你团队的处境。所以我一直努力留出一段时间，真正去负责一到两个工作流，当我们有模型的时候，这样才能保持我的 theory of mind，保持我对模型动向和改进速度的判断，这样我才能帮助团队做决策，做出更好的决策。那么，我听到的意思是，无论你身处公司层级阶梯的哪个位置，如果你自己不亲自上手，如果你不真正与 Claude 对话、与 Codex 对话、动手做东西，你很难成功。而且你应该享受使用这项技术的过程。我觉得这是另一方面。我认为无论职级高低，最成功的人都是那些热爱与 AI 共事、不断探索和实验的人，他们会专门留出时间，不只是做实验，而是真正从头到尾动手交付、获取用户反馈，我觉得这对每个人都必须是基本功。我完全明白你的意思。就像我写 newsletter、做播客时，只是谈论各种东西，听起来都很棒。但每一次我真正动手做东西、捣鼓各种小项目时，你就会觉得：“好，我明白这里发生什么了。”你会获得多得多的东西，很难准确描述你在真正与模型共事、动手做东西时体验到的是什么，但那就完全是另一个世界了，你会说：“好，我懂了。这就是他们说的 computer use。这就是他们说的这个限制、这个用户体验问题。”
是的。所以，没错。然后你刚才提了一个特别有意思的点：你必须得从中找到乐趣，但这对很多人来说并不容易，因为他们是被推着用 AI 的，或者他们根本不知道该怎么用。对于那些觉得“我不知道，这太烦人了，我只是不得不做这件事，到底有什么好的，我讨厌这玩意，为什么我得用这个？变化太快了，我累了”的人，你有什么建议能帮他们找到这份乐趣？我想再强调一下我之前说过的一点：实验并不是一项个人运动。我想，到目前为止，我几乎接触了每一个版本的研究模型，以及 20 个版本的 production Claude，其中一部分乐趣也来自于看到别人发现新的使用场景。所以这里有一个想法：和一个对此感到兴奋的人结对，找到一个你关心的使用场景，一起合作，而不是自己去琢磨或试图找出那个完美的使用场景，因为后者可能感觉像在工作。而与他人一起合作，很多时候本身就是一种乐趣。至于我们还能做些什么来带动更多人？很多时候在内部，我们有一些非常好奇的同事，他们分享一个新原型的想法，实际上会带动更多人说：“哦，我不知道 Claude 现在还能这么用。”于是这里就形成了一些良性循环，也能让大家继续从这项技术中获得乐趣。这点说得太好了。我觉得这也是为什么 Twitter 在这方面特别有用，因为你能看到别人分享他们做了什么。这会激发你想出自己的小点子，而且分享你自己做的东西本身也很有趣。所以这一点非常好，就是找其他人一起玩、一起寻找使用场景。我还经常听到的一个建议是：找到你生活或工作中想解决的一个问题，然后打开 Claude Code，告诉它你想做什么。哪怕只是有一个模糊的问题想法，你能做出来的东西也惊人地多。是的。我觉得难点在于，你可以尝试的东西实在太多了。是的。所以你要做的，要么是专注于和某个对这项技术充满热情的人结对合作，要么是找到一件你能立刻从中看到价值的事。无论是哪种，都能让你更深入，而不是对太多事情只停留在表层。我发现很难跟上外面那么多原型或产品的节奏，所以我的视角一直是，如何在其中一两个上面深入下去。我自己也是。你这么说太有意思了，因为完全就是这样。我们最近刚做了一项调查，是我和我的同事 Noam 一起做的，问了我的读者们对当下科技界和 AI 领域各种进展的感受。我们发现最有趣的结论之一是：幸福感正是来自于你所说的——在几件事上深入，而不是做一大堆小事。找到几件真正解决好的事，然后深入进去，这就是幸福感的来源。因为很多人的幸福感来自于，他们终于找到了让 AI 真正改善生活的方法，而不是搞出几个蹩脚、半残的东西。是的，问题就是，怎么让这件事从“打个勾交差”变成别的，对吧？作为产品人，这其实就是对你时间和精力的产品优先级练习。如果你的目标是带着乐趣做实验，那你需要哪些输入条件？不过，我觉得 Anthropic 的秘诀很大程度上在于文化，在于人们自下而上的工作方式，以及这种公开实验的氛围。通过这样做，很大程度上就是在思考如何带动其他人一起。我觉得这最终是非常有价值的。是啊，我从各个实验室那里听过太多次了：没人确切知道其中一些东西会被如何使用，很多时候就是尽早发布，看看人们怎么用，看看什么是可能的，然后用这些信息来构建真正具有引领性的产品。是的，是的。我好奇的是，沿着“找到让 AI 帮助你的方法”这个思路，你最近作为 PM，有没有什么有趣的方式在使用 Claude？我觉得围绕 fable 和 tag 这类东西有很多可能性。tag 应该还处于非常早期的阶段，这里面涉及一种不同的范式：你如何允许一个 agent 自主去工作，然后把成果和体验带回给你。还有一个领域，虽然不是最近才有的，但我经常跟团队提起，而且我觉得我们在使用 AI 方面还可以做得更多，那就是如何用它来让我们彼此之间的沟通更高效，让我们成为更好的管理者。我觉得这不一定只是关于提升我们构建的体验的 IQ，还在于我也经常用它来准备如何在关键时刻进行更关键的对话。我很喜欢那本书，所以我实际上有一个技能，它能帮我判断：鉴于当前情况，我是否进入了恰当的细节层次，从而真正帮助我成为更好的管理者、更好地支持团队。所以对于团队里的管理者，这其实是我在跟我们的经理们分享的东西：你们到底怎么使用 Claude 才能让自己成为更好的教练？因为有时候很难找到恰到好处的话语，而模型拥有很多完美且恰当的话语。我觉得从 EQ 的角度，它实际上也能增强我们，而不只是增强你个人。天啊，这里面有意思的东西太多了。所以我想具体理解一下你在这方面是怎么做的。所以你构建了一个 skill。就像让 Claude 基于《Crucial Conversations》这本书来构建一个 skill，它对这本书已经了解得足够多，你甚至不用把内容喂给它。然后你就用这个 skill 来和 Claude 对话。比如你说：“嘿，我马上要和一个同事进行一场很困难的对话。”“给我一些如何处理的建议。”“是的。”这非常棒，几乎就像辅导一样，是针对你个人的、个性化的辅导，帮助你——而且我们整天都在不停地切换上下文，让 Claude 来协助我、帮我配对，也许有时候我最终不会采纳 Claude 的建议，但这实际上对提出想法和头脑风暴非常有帮助。我思考对方反应的方式对吗？我怎样才能更快更深入？更快建立信任，更直接一些。是啊，老兄。我这里有很多问题。这太有意思了。一个是，有人担心因为人们和 AI 交流太多，最后说话方式会变得像 AI 写的那样，就会变成“Diane，不是这个，而是那个”这样。我知道你不是在这么做，但这确实是人们的一种担忧。我想就问问这个吧。你担心这个吗？就是人们常说的那种大脑退化、萎缩之类的事。我们现在太依赖 AI 了，于是停止学习和思考，因为你和 AI 如此亲近，每时每刻都和 AI 深度结合，你怎么看这种对 AI 的过度依赖？对我个人来说，很多思考过程和写作过程实际上是紧密相连的。所以我认为，在某些方面，我会用 Claude 来增强我的思考。但我想确保——也许这正是你描述的情况——Claude 不会替我做所有的思考。所以我觉得，视情况而定，取决于我在某件事上想保留多少个人判断，我可能会先提出自己的观点，然后再和 Claude 一起打磨。并确保我始终保持自己的感觉和语气。然后还有一些其他事情，比如汇报更新，对吧，我们有月度业务复盘，在那些情况下，我其实更希望它标准化，更希望它能以正确的方式精准地提炼信息，也许我还有一个 skill，我们在不断地增强和改进这个 skill，但我希望达到一种状态：月度业务复盘的写作部分，其价值可能远低于思考部分，那我怎样才能把写作这部分完全委托给 Claude，而我自己更多是作为信息的审阅者和核实者。所以这取决于你用 Claude 做什么，你想传达什么，以及把更多工作委托给 Claude 是否存在不对称价值。我还听到的第一个建议非常棒，就是先思考，形成观点，然后把 Claude 当作一个陪练伙伴，用来完善想法、对想法提出质疑。是的。是的。我认为这正是我们的 alignment 研究和 safety 研究能够发挥作用的地方，因为你最不希望的就是一个只会附和你的 AI，对吧？你希望这项技术能真正增强、拓展你的思路，最终得到更好的结果。所以有时候让 Claude 提出反对意见会让我变得更好。这很好。就像同事一样，当我的想法还不够成熟时，我希望有人能提出反对意见。我想多听听这方面的内容。但我听说 Ben Mann 上播客的时候，谈到了内置于 Claude 的 constitution，以及反直觉的是，正如你所说，在安全和对齐上的投入，还有这个描述 Claude 应该如何思考和运作的 constitution，你原本会以为这会限制 Claude 的能力，让它变得没那么有趣。但结果完全相反。Claude 恰恰是最有个性的。我经常听到这种说法。就像是我更愿意和 OpenClaude 聊天——它众所周知是基于 Claude 搭建的，后来人们被迫——我们不细说了——被迫切换到别的，然后他们就说：“这也太差了，这不是我习惯聊天的那个对象。”所以我认为这是一个非常有趣的点，我想确保我们花点时间聊聊。为什么会这样？为什么仅仅是对对齐、安全的关注，拥有这个清晰的 constitution，反而让 Claude 变得更好、更有趣？另外，为了让 Claude 尽可能智能、尽可能有能力，我们需要让 Claude 在正确的节点提出反对意见，而不是简单给一个是或否的答案，这实际上能帮助你得出更好的结论。所以，我曾用 Claude 来帮忙思考这样的问题：我们在下一版 Claude 的定价上是否做了正确的决定？这有点 meta，但用一个研究版本的 Opus，问它应该如何定价，最终能够得出更好的结果，这才是最终目标。所以，让 AI 不仅仅是一个助手，不仅仅是一个执行者，不只是被委派任务，而是去判断它做的是否正确。这其实和知道何时提出反对意见是紧密相连的，对吧？这是知道何时应该主动行事的一部分。主动不一定总是去做你计划表上的事，而是知道何时提出一个新想法。所以为了让 Claude 更有用，整体思路必须是它知道何时提出反对意见。这是模型特质中一个核心的组成部分，综合在一起。这太有意思了。有意思的是，很大一部分原因正是因为它不那么顺从，这反而让它变得更好、更有用，因为我们需要这个。就像我见过很多人说：“嘿，AI 告诉我我是对的。”然后我说，不，我倒希望 AI 告诉别人不是这样的。是的。这就回到了我们之前关于思考的那个点，对吧？你如何保护自己的思考？呃，如果你有一个能作为思考伙伴的 AI，思考伙伴不应该只是附和你。它应该能给你带来增量，一天结束下来，因为你和 Claude 合作过，你应该拥有更好的想法。这才是核心目标，而不是仅仅把你的想法提升 10%。是的，我很喜欢这个，因为以前人们常说 think 10x。你知道，创始人过去常常这样推动别人：如果我们把这个放大 10 倍呢？而我很喜欢我现在一直听到的：我们怎样才能把这个想法放大一千倍？最具雄心的版本是什么？我想回到一件事，就是我们聊到一直和 Claude 对话的时候，我想到的一点。现在仍然很容易看出一段文字是不是 AI 写的。有趣的是，它明明是个大型语言模型，你会以为它最擅长的就是写作，但有趣的是，不，AI 并不擅长写作，你总能很明显看出“这是 AI 写的”。你觉得我们会走到一个分不清这是 AI 写的地步吗？我认为这取决于你想通过“知道”来达成什么目标，是的，eval 是什么。呃，我确实认为我们在让 Claude 写得更好方面还有很多可以做。我的团队和研究团队实际上都在非常积极地努力让 Claude 写得更好。总的来说，我认为应该明确一个想法是由你主导的，还是由你 Lenny，或者我 Diane 主导的。我认为这真的取决于写作的目的是什么。比如像月度业务复盘，我其实会很乐意让它完全由 Claude 从头到尾来写。呃，而且显然不必让它感觉像是人写的。你提出的这个观点非常有趣：让我们知道这是 AI 写的，到底是不是一件更好的事？是的。但也许视角更多围绕可验证性，或者谁在验证输出。对吧，就是谁在最终确认。也许重点不在于谁在写，而在于谁在验证、谁在最终确认。这比谁在写更重要。你为什么觉得AI不太擅长写作？我猜它已经学习了人类历史上所有最优秀的作品，总结出了最佳的写作方式。而且写作的方式本就有限，所以我们只是觉得，好吧，这就是AI的风格，它有这些套路。这是核心原因吗？还是有什么其他因素阻碍了它成为伟大的作家？讽刺的是，作为大语言模型，你会觉得它应该非常擅长语言才对。我认为部分原因还在于，我们需要在训练改进上投入更多，让AI在写作等领域持续保持强劲。而且就像刚才提到的，技术发展本身是不均衡的。有时候模型擅长写作但不具备agentic能力，我们的核心思路是如何让模型更具agentic特性，或调用正确的工具。现在这方面有所提升了，那么其他领域反而成了薄弱环节。所以我觉得在写作上，我们正处于这样一个阶段——需要真正集中精力，优先训练模型在这个领域做到出色，这也是你提到的、我们当前非常活跃的一个方向。好的，我很高兴。另外，一旦AI写得非常好，我们可能会说“我不知道这是谁写的”，但正如你所说，有时候我们其实想知道这是AI写的。这很有意思，我从未这样想过。另一个有趣的点是，有个喜剧演员曾开玩笑说，我们在飞机上，Wi-Fi断了，我们就说：“搞什么？这架飞机上的Wi-Fi不能用，太垃圾了，你怎么敢这样？”可你明明是在一根管子里像鸟一样在天上飞，你怎么敢抱怨Wi-Fi不能用呢。你的意思是，技术已经取得了如此大的进步，拥有了如此强大的能力，我们不可能把所有事情都做到尽善尽美。所以AI写作一直不是优先事项，但现在感觉这方面的投入正在增加。是的，我认为语气和个性是优先事项。技术进步本身就是个持续进行的过程，所以我们看到agentic行为出现了一次飞跃或突破，这成了新的常态，然后其他能力也需要继续提升。而且我觉得一旦我们在写作、语气和个性这些方面有所改进，我们可能就会说，如何让Claude变得更加主动？生产力是个机会，这也是人的本性，我们想让自己变得更好，想让这项技术变得更好。所以我觉得我们把这种追求应用到AI上是正确的，我们应该让它变得更好。我想问你几个问题，这些问题我会问那些身处未来中心的工作者。第一个是，你认为在未来几年里，人类大脑在哪些方面仍然会最有价值？我知道Anthropic的使命和愿景是我们要实现AGI、实现超级智能。所以在未来可能 nowhere，但在那之前，随着我们接近那个时间点，你认为人类大脑在哪些方面仍然最有价值？过去一年左右，我们开始讨论如何让Claude和模型在判断力上变得更好。我认为判断力是一个积累了大量细微差别和经验的领域，而这些系统的经验不如人类丰富，所以我觉得这种来之不易的判断力，对于产品负责人以及更广泛的人群来说，将继续至关重要。AI可以构建的东西太多了，但一个组织或实验室应该构建哪些东西？这很大程度上需要人类的判断力、坚持和主动性。这些不仅仅是通用能力之外的特质，而是人们在这个层面上的行为和特征——如何找到最佳解决方案，如何创造最佳体验。所以我觉得这些才是真正具体且会继续重要的特质。此外，我认为在能力和专业知识方面仍然有很多空间。你知道，软件工程已经被AI彻底改变了，但在生物学、生命科学等领域，我们大概还处在指数曲线刚刚起步的阶段，也许软件工程是已经在指数曲线上了，有些领域已经在快速增长，而其他领域还没有到达那个阶段。所以你会看到我们推出像Claude Science这样的产品，并投资这些领域，因为我认为这些是将技术带给社会、对社会产生积极效益的领域，这方面还有很多路要走。另一个问题是，作为有孩子的人，你如何看待鼓励他们学习什么？或者说，你会如何引导他们在这个我们即将进入的疯狂新世界中取得成功？我其实觉得很多特质和我们小时候成长中被培养的差不多，那就是对学习的好奇心、坚持不懈、相信自己的内心声音，培养并相信自己的内心声音。我有一个四岁的孩子，一个八岁的孩子。我们有责任——我有责任帮助他们培养内心的声音，无论是变得有主见、表明立场，还是培养和鼓励这些，我认为这些技能在未来都很重要，拥有自己的独立声音也很重要。这太有意思了。这和你之前回答如何避免“大脑腐烂”——也就是过度依赖AI——时说的密切相关，那就是在过度使用AI之前，先专注于自己的观点和视角。而你描述的要在孩子身上培养这种能力，真的非常重要。这太有趣了，我很喜欢这种联系：判断力、坚持不懈，以及拥有自己的观点。是的。这对孩子和成人都适用。是的。你在为孩子考虑什么？哦天哪，我在想的问题就是什么时候让他们接触AI这类东西，你知道，我有一个三岁的孩子，所以现在还太早，但你懂的，怎么让他们上手这个疯狂的东西呢？我最近参加了一个活动，一群家长在讨论他们怎么看待孩子使用AI，有个人提出了一个很有意思的方法，就是让他们使用非常早期的模型，这样他们仍然需要费点劲，不能立刻得到所有答案。我觉得这很有意思。比如一个开源的本地模型，不太稳定的那种。是的。而好奇心这个东西，我一直在提Ben，他对这个问题的回答一直让我印象深刻，那就是好奇心，还有他是蒙台梭利教育的忠实粉丝，这也是我们在鼓励孩子去做的。所以这其中有相通之处。最后一个问题，也是沿着这个方向的，Fiona Fun最近上播客时建议我来问你。作为一位身处这场AI疯狂风暴中心的母亲，在Anthropic从事研究工作，你是如何保持精力充沛、避免倦怠的？你知道，我们正生活在最前所未有的时代，即使是在Anthropic外部工作也是如此。太疯狂了。我都无法想象身处其中是什么感觉。关于如何避免倦怠、保持精力充沛、在这之中保持理智，你学到了什么？
2024 年全年我们发布了四个模型，或者说四个模型系列，而今年仅第二季度，我们的发布量就超过了去年全年。我觉得自己非常幸运，拥有我们一步步成长和建设起来的团队，无论是研究侧的利益相关者，还是研究产品管理团队内部都是如此。我认为，应对这一切的奇妙之处之一在于，这不是一项个人运动。这里有一种极致的主人翁意识和团队协作精神，有时确实感觉像是一项高强度竞技运动，因为你正身处非常关键的决策之中。关于用户、关于训练的新信息不断涌现，你必须非常快速地给出建议、做出判断和决策，没人能独自可持续地做到这些。所以我认为，真正有帮助的是拥有一支不可思议的团队，大家互相照应。你知道，在发布前夜，即使他们不是该模型的核心 DRRi，也会熬夜帮助那位 DRRi 审阅博客文章、修改内容、想出更好的 demo，知道要成为彼此的援手。我觉得，如果你把所有变化都扛在自己肩上，很容易感到孤独，觉得必须什么都自己做。但我认为 Anthropic 的奇妙之处之一，是我们能够找到这些互相帮助的机会，并真正再进一步实现 mind meld。我们称之为进入 hive mind。之前有过一篇关于这方面的文章，我觉得这种方式的一部分意义就在于，它能让团队恢复元气。并不是说……我六月份刚休完 PTO。也不仅仅是你能去休 PTO，然后回来发现工作量变成了三倍。实际上，你可以放心去休 PTO，因为你知道团队能搞定该做的事，而且我们每个人都能互相照应。所以我认为这很重要。我个人也很幸运，我的伴侣非常支持我。这是我在 AI 领域工作的第六年了，从 Amazon 到 Anthropic，他看到了我有多热爱这项技术以及它能做什么，这真的很有帮助，从个人角度来说也是如此。我喜欢这些答案之间的关联。所以我听到的是，要有其他人，和他人一起工作，依靠他人，在事情变得疯狂时互相帮助。这和你之前关于如何在这份工作中找到乐趣和快乐的答案很相似。就是从他人身上获得灵感，看看他们在做什么，一起合作。是的。有趣的是，Fiona 最近上播客时，我问她软件工程领域发生了什么变化，她指出现在孤独多了，因为我们现在是在和 agents 一起工作，而不是和其他人类。团队更小了，人们不断和各种 fleets 对话。所以这只是一个提醒：身边有真实的人是多么有力量。我们被要求去处理非常重大的事情并做出决策，因为技术带来了更大的规模，对吧？我认为，拥有一些人，一些能在你的工作、你的方法上达到某种程度 mind meld 的人，也许不是在每一个细节上，而是在第一性原理上？你做出的假设是什么？这能让他们支持你，或者推动你的决策、磨砺你的思维。所以我认为，我们在建设团队、壮大团队、招聘时，我真的很努力去寻找这一点：这个人是更关心自己的 ego 和建立一个大组织架构，还是更关心为 Anthropic 做贡献、为团队的影响力做贡献？我们要找的是那些低 ego、以团队为导向的人。是的，我认为这是可持续性的重要组成部分。是的，很多事最终总是归结到文化和招聘上。我听很多人说过 Anthropic 之所以能这么快的原因。我记得那个月每天都发新东西的时刻。那是个发布日历，人们在讨论这怎么可能。我听说的主要原因是，因为每个人都围绕使命和价值观高度一致，这让人们能非常快速地做决策。在我们进入激动人心的 lightning round 之前，Dan，你还有什么想分享的吗？还有什么想谈的吗？有什么想在我们聊过的话题上再强调一下的吗？这真的很有趣，因为你的问题实际上帮我梳理了思路，让我更清楚这些点是如何连接起来的。我是你这边真人版的 Claude。有一件事我真的很想传达，或者说希望大家带走的是：一是工作方式，二是这是一段巨大的成长和变化，要保持使用这项技术的乐趣。如果你此刻觉得没有最初那种快乐的感觉，你要如何找到那些拥有这种快乐的人——如果这是一个让你兴奋、想要投身的领域的话。而且我认为，培养技能、补充技能，在很多方面就像从第一性原理出发去思考你解决的问题。从根本上说，你没问我这个，但社区里有这样一个问题：当模型能力这么强、工程师们也在积极投入时，我们还需要 PM 吗？我认为，那些以用户为中心、深入细节去理解用户试图完成什么、将其提炼成可执行方案、并不懈地做这些工作的人，他们的角色在我看来是产品人的核心。实际上我认为我们需要更多这样的人。我觉得我们现在变得非常受技术分层驱动，而要让技术产生真正的影响，你必须深入，你必须有好奇心，你必须非常亲力亲为。我认为这些特质也是帮助 Anthropic 在产品开发和模型开发方面取得成果的特质，也是我们文化的一部分，希望这对其他人也有价值。太棒了。多么鼓舞人心的结尾。天哪。是的。长期以来我也一直在说，现在构建变容易了，难的部分变成了——如你所说——我们该构建什么？我们构建的东西是否正确、好、值得投入？对我来说，这就是 PM 做的、PM 擅长的事。是的，是的。就是要深入用户细节。同理心。好的。太棒了。PM 会挺过去的。PRD 还没死。这里有很多重要的教训。Dan，我们来到了激动人心的 lightning round。有五个问题要问你。准备好了吗？准备好了。第一个问题。你最常推荐给别人的两三本书是什么？一本偏个人生活的，我很喜欢 *How to Raise an Adult*。我是个妈妈。我经常思考我想在孩子们身上灌输些什么。那本书很好地阐述了：我们不是要抚养孩子，而是要培养成年人。所以这个框架本身就很有帮助——这意味着什么？我们想在孩子身上磨练、运用和培养哪些特质？另一本我最近在有声书平台 Audible 上听的是 Eric Reese 的 *Incorable*。
*Incorruptible*？*Incorruptible*。是的，是的。是的。他最近的播客嘉宾。嗯，是的。我认为如何打造伟大的公司这个问题很重要。我个人最着迷的是如何让优秀的团队和伟大的公司持续发展。看到他如何框定和重新框定这个问题，我觉得非常有趣。我很喜欢其中一些关于文化指标的例子。如果你只衡量收入，那你基本上就是被这个指标牵着走；但如果你还有其他更好的指标，这才是维系你所关心的价值观的方法。我一直在思考如何将其落实到团队层面，比如如何更好地阐述我们的规范，以及我们在团队中讨论的很多事情。所以我认为这也是一本很好的读物。就是这样。大家在听这期节目的时候，下期就该去看 Eric Greece 那期访谈了。对。那期非常棒。是啊。而且他的新书刚出版，叫《Incorruptible》。是的。我想它登上了《纽约时报》畅销书榜。实际上卖得非常好，我看到真的很高兴。是啊，没错。下一个问题。你最近特别喜欢的电影或电视剧是什么？Anthropic 的大多数人都没时间看东西，但我好奇你有没有答案。我会说，上个月休息的时候，我确实抽空在 Amazon Prime 上刷完了《Fallout》。其实我还挺喜欢的，你听说过吗？听说过。对，是根据那个电子游戏改编的。是的，是根据电子游戏改编的。我觉得它真的很机智、很幽默，而且动作戏很多。所以强烈推荐。好的，下一个问题。你最近有没有发现什么特别喜欢的产品？我真的觉得 claw tag 在产品体验上非常有趣。我们在 Anthropic 内部其实有不同的版本，我认为它真的是一个非常非常强大的工具。是啊，感觉有些人会觉得这有什么大不了的？但 Anthropic 的每个人都在夸它，这说明这里肯定发生了一些重要的事情。我正试着把它用在我的付费 newsletter 订阅者的 Slack 社群里。要是能成该多酷？对。我在想如果不是在公司里，而只是一群互不认识的人，这东西该怎么用。但我们正在尝试。好了，还有两个问题。你最喜欢的人生格言是什么？无论是工作还是生活中，你经常会回到的那句话。其实我人生的头十年是由祖父母带大的，我的父母是在美国的移民，当时正在读本科和硕士。哦，哇。我祖父总是说：“不管你走多远，总有下一层。” 我觉得这其实很好地，或者说非常强烈地描述了他的人生哲学。但每当遇到新的或前所未有的事情时，我就会想起这句话。而且我认为今年上半年的确有很多这样的情况，有很多新事物是我们在学习的，是我在学习的。所以就是感觉总有另一座山，另一个机会去……
还不够好 Dan，我们要做得更好我们要做得更大。这让我想起 Ben 在他的播客节目里说的另一句话：这是未来最正常的时候了，只会变得越来越怪异和疯狂。是啊。没错。不，我们说得很好。好了，最后一个问题。我在你的 LinkedIn 上翻了翻。你职业生涯早期在 JP Morgan Chase 做过高收益债券交易员。你好像有一个被隐去细节的、大概一亿美元的交易组合什么的。你从那段经历中学到了什么让你一直受益的东西？或者那段时期有什么疯狂的故事吗？那是你人生中四年的时光。我觉得我确实学到了很多，后来应用在了 Anthropic 以及之后的工作中。在 JP Morgan 的时候，交易大厅你可以想象成有点像《华尔街之狼》里那样，但其实很不一样。大多数交易员都坐在终端前，更多是在电脑上做分析。但那里仍然非常，我想说，男性主导。所以我是唯一的女性，也是交易台上唯一有我这种背景的人。我认识到这是一个很好的环境，一方面让我建立起真实的自我认知，另一方面让我明白，即使我是资历最浅的人，即使我看起来与众不同，但最好的想法，以及对最佳想法的坚定信念，不管其他那些因素如何，才是最重要的。所以我觉得就是把这种意识带到工作中，如何在工作中展现自己。我对团队非常坦诚、真实。我努力确保无论职级或资历如何，如果有人有好想法，就帮助他们去实现，同时我自己也这样做。就是把想法提出来，真正对其有信念，跟进到底，去做那些细枝末节的工作让它成真。这些都是我从交易中学到的东西。而且我认为在很多方面都适用于任何工作。这太棒了。如果人们想关注你，可以在网上的哪里找到你？听众可以怎么帮到你？我在社交媒体上没什么大号。我觉得找到我和我团队工作的最佳方式其实是 Anthropic 的博客，以及我们发布新模型、新产品体验的时候。至于说能帮到我的，第一就是你们的反馈。实际上，如果你在我们任何产品界面上点了赞或踩，或者联系你的销售反馈模型的问题，这些信息都会传到我这里。实际上对于每一个研究模型，我都会非常密切地了解用户满意度和反馈。所以给我们反馈、挑战 Claude、告诉我们它在哪里表现不好，这些都能帮助我们把 Claude 做得更好。另外一点是，如果你的人脉中有我刚才描述的那种类型的人，我正在招人，团队在扩张。我们真的很喜欢热爱这项技术、有深度好奇心、第一性原理思考者、敢于质疑假设，而且有动手折腾精神的人。哇，梦想工作。所以基本上就是 Anthropic 研究团队有开放的产品经理职位。是的。他们应该是在网站的招聘页面申请吧？是的。天呐。好了，等着吧。准备好迎接即将涌来的简历潮吧。谢谢。
Dan，非常感谢你来参加节目。非常感谢你邀请我。感谢你提出这些非常有帮助、发人深省的问题，甚至帮助我厘清了我们的工作方式，以及这项技术如何整合在一起，还有我们作为产品人的角色。我真的很感激。不过说真的，谢谢你 Dan。好了，各位再见。非常感谢你们的收听。如果你觉得这期节目有价值，可以在 Apple Podcast、Spotify 或你喜欢的播客应用上订阅。另外，请考虑给我们打分或留下评论，这真的能帮助其他听众找到这个播客。你可以在 lennispodcast.com 找到所有往期节目或了解更多信息。下期再见。