Mike Krieger · Anthropic 首席产品官

Anthropic 首席产品官谈接下来会发生什么 | Mike Krieger(Instagram 联创)

2025-06-05 · Lenny's Podcast (Lenny Rachitsky) · 1h6m · 原文链接

→ 在 AI 访谈库中阅读(可切换中英、记录进度)
Krieger 谈 Anthropic 部分产品 90-95% 代码由 AI 编写后的组织新瓶颈:决策'做什么'与合并队列取代了写代码本身。看点:他判断大多数公司一年内也会走到这一步,并称 Claude Opus 4 已跨过'真正的产品战略思考伙伴'的门槛。

你们大约90%的代码是由AI编写的。目前,工作方式最具未来感的是cloud code团队。他们以非常自我改进的方式,用cloud code来构建cloud code。我们很快在其他方面遇到了瓶颈,比如我们的merge cube。我们不得不完全重新架构它,因为编写的代码量太大了,提交的pull request也太多了。我们超过一半的pull request是由cloud code生成的。到了这个阶段,可能已经超过70%了,这完全超出了预期。你们正站在趋势的最前沿。我有过一次非常奇特的经历:当时我开了两个标签页,一个是《AI 2027》,另一个是我的产品战略,那一刻我突然想到,等等,我是不是故事里的角色?感觉像是ChatGPT正在赢得消费者的心智份额。这如何影响你对产品战略和使命的思考?我认为现在AI领域有足够的空间来打造好几家具有代际意义的重要公司。我们要如何想清楚,长大后想成为什么样的公司——对照我们目前不是、但希望成为的样子,或者看到这个领域其他玩家正在做的事?你改变了什么想法?关于AI的能力以及AI的发展方向。我加入时的想法是,没错,这些模型很厉害,但它们能拥有独立观点吗?实际上就在上个月,我的想法彻底转变了。今天我请到的嘉宾是Mike Kger。Mike是Anthropic的首席产品官,也就是Claude背后的公司。他还是Instagram的联合创始人。他是我最喜欢的产品构建者和思想家之一。他现在也在世界上最重要的公司之一领导产品工作,我非常高兴能在播客上与他聊聊。我们会聊到,自从加入Anthropic以来,他在AI能力方面最大的观念转变是什么;当90%的代码由AI编写时——这在Anthropic已成为现实——产品开发如何变化、瓶颈出现在哪里;还有他对OpenAI与Anthropic的看法、MCP的未来、他为什么关闭了上一个创业项目Artifact以及他对此的感受;另外,随着AI的兴起,他在鼓励孩子培养哪些技能。我们还在播客结尾分享了Claude希望我转达给Mike的一条非常暖心的话。非常感谢我的newsletter Slack社区为这次对话建议话题。如果你喜欢这期播客,别忘了在你最喜欢的播客应用或YouTube上订阅和关注。此外,如果你成为我newsletter的年度订阅者,你可以免费使用一系列很棒的产品一年,包括Linear、Superhum、Notion、Perplexity和Granola。请访问lennisnewsletter.com并点击bundle了解详情。接下来,有请Mike Creger。本期节目由Product Board赞助,它是领先的企业级产品管理平台。十多年来,Product Board帮助Zoom、Salesforce和Autodesk等以客户为中心的组织更快地构建正确的产品。作为一个端到端平台,Product Board无缝支持产品开发生命周期的所有阶段——从收集客户洞察、规划路线图、协调利益相关方到获得客户认可,所有这一切都有单一事实来源。现在,产品领导者还可以通过Product Board Pulse获得更多客户需求的可见性,这是一款全新的客户之声解决方案。内置智能帮助你分析所有反馈中的趋势,然后通过向AI提出跟进问题来深入挖掘。看看Product Board如何帮助你的团队交付影响力更高、能解决真实客户需求并推动业务目标的产品。如需特别优惠和15天免费试用,请访问productboard.com/lenny。没错,productboard.com/leny。去年,全球GDP的1.3%流经Stripe。那是超过1.4万亿美元的规模。推动这一庞大数字的是数百万家借助Stripe实现更快增长的企业。对于Forbes、Atlassian、OpenAI和Toyota等行业领导者来说,Stripe不仅仅是金融软件,更是一个强大的合作伙伴,它简化了资金流转的方式,使其像互联网本身一样无缝、无国界。例如,Herz在迁移到Stripe后,在线支付授权率提升了4%。再想象一下,像Forbes那样,在切换到Stripe进行订阅管理仅6个月后,收入就增长了23%。Stripe在过去十年里一直在利用AI,让产品更好地为所有企业增长收入——从更智能的结账到欺诈防范等等。加入超过一半财富100强公司的行列,信任Stripe来推动变革。了解更多请访问stripe.com。

Mike,非常感谢你来到这儿,欢迎收听播客。我很高兴能来,我已经期待了一段时间。哇,很高兴听你这么说。我也期待了一段时间。我有很多想聊的。首先,你加入Anthropic到现在刚满一年多。顺便恭喜你,熬过归属悬崖期了。谢谢。既然我们现在同步了,没错。那我问你,你加入Anthropic大约一年了。关于AI的能力以及AI的发展方向,从加入前到今天,你有什么改变想法的地方?有两件事。一个是关于节奏和时间线的问题,另一个是关于能力的问题。也许我先说第二个。我加入时的想法是,没错,这些模型很厉害,它们能生成代码,最终也许还能用你的风格写作。但它们能拥有独立的观点吗?实际上就在上个月,而且只有在Opus 4上,我的想法才真正转变了。过去一整年,Claude一直是我首选的产品战略伙伴——我会先写一份初步战略,然后分享给Claude,让它看看。过去它留下的评论往往比较平淡,比如“你有没有想过这个?”,而我会想“对,我想过了”。但用到Opus 4时,我正在为下半年做一些战略,那是第一次,我说Opus 4加上我们的深度研究,它真的想了很久,然后返回结果,我当时就说,“天哪,你真的是从一个全新的角度来看这个问题。”所以这件事——我不是觉得它永远做不到,但我不确定它能多快就提出一些让我看了之后觉得“对,这是我之前完全没考虑到的全新角度,我要立刻把它纳入我的思考”的东西。所以这大概是我最大的转变:用“独立性”这个词也许最准确,但其实是创造力,以及相对于我自身思考方式而言的新颖性。再说时间线这件事,特别有意思,因为昨天我就坐在Dario旁边,他说“我一直在做这些预测,人们总是嘲笑我,然后它们就成真了”,这种事反复发生还挺有意思的。他说当然不是所有预测都会准。但即便是去年,他提到我们在SWE-bench上的分数是50%——这是一个衡量模型编程能力的基准测试。他说“我觉得到2025年底我们会达到90%”之类的。果不其然,新模型出来我们已经到72%左右了,而他做预测时我们才50%,而且进展基本上和预测的一样。所以现在我对时间线认真多了。如果你读过《AI 2027》,像我一样,那是heart race做的。是的。我曾有过一段非常奇特的经历:当时我开了两个标签页,一个是《AI 2027》,另一个是我的产品战略。那一刻我突然意识到,等等,我是不是就是故事里的角色?现实和虚构是不是正在如此快速地趋同?但你知道,读到那种东西时你会想,“哦,2027年,那不是还早着呢吗。”可事实是,“不,现在已经2025年中旬了。”而且情况还在持续改进,模型能做的事情越来越多,它们能够以 agentic 方式行动,能够拥有记忆,能够跨时间执行任务。所以我觉得,我对时间线的信心——虽然我不确定具体会如何呈现——在过去这一年里确实大大增强了。哇。嗯。呃,我没预料到会聊到这,因为那篇论文挺吓人的,我很好奇——我想忍不住要问——你觉得我们该如何避免那篇论文描绘的可怕情景,就是 AI 变得超级聪明之后会走向何方。是的。我是说,这或许能解释我为什么加入 Anthropic,毕竟我来这里一年了。当时我看着模型变得越来越好,甚至在2024年初,你就能看到这种趋势。看着我的孩子,我想,“好吧,他们将在一个拥有 AI 的世界里长大。这是不可避免的。我能做些什么?我该如何最大程度地利用时间,推动事情往好的方向发展?”我的意思是,这是整个行业的人都在思考的问题,尤其是在 Anthropic。所以我觉得,我们需要达成共识,建立一个共享的框架,理解“往好的方向发展”到底是什么样子。我们想要什么样的人类与 AI 的关系?过程中我们如何判断进展?我们需要在过程中构建、开发和研究什么?我认为这些都是关键问题,其中一些是产品问题,一些是研究和 interpretability 问题。但对我来说,加入的最强理由就是:我觉得 Anthropic 能在推动事情变得更好方面做出很大贡献,如果我能参与其中,那就干吧。我很喜欢这个回答。呃,说到孩子,你有两个孩子,我也有个小孩,他快两岁了。我很好奇,随着 AI 越来越成为我们未来的一部分,一些工作也会发生变化,你鼓励孩子培养哪些技能?你有什么建议?我们每天早上都会和孩子一起吃早餐,有时候就会出现一些问题,比如关于物理的——我们最大的孩子快六岁了——他们会用六岁小孩的方式问一些关于太阳系或者物理的有趣问题。一开始我的本能反应是:哦,我想知道 Claude 会怎么回答这个问题。但后来我们改变了做法:我们要怎么找到答案呢?答案不能只是“我们去问 Claude”。好吧,我们可以做这个实验,可以做那件事。所以我觉得,培养好奇心,以及保持一种——对六岁小孩说“科学过程”可能太宏大了——但那种发现、提出问题,然后系统地一步步解决的过程,仍然很重要。当然,AI 会是一个不可思议的工具,能帮助解决其中很大一部分。但那种探究的过程我觉得仍然非常重要,还有独立思考。我和孩子之间最喜欢的一个时刻是——她非常倔强。我们六岁的女儿,当时她说了某件事,我不太确定是不是真的。是关于珊瑚是不是动物,或者珊瑚是不是活的。我甚至不记得具体细节了。我说:“我不知道这是不是真的。”她说:“爸爸,这绝对是真的。”我说:“好吧,那我们去问问 Claude。”她说:“你可以问 Claude,但我知道我是对的。”我当时就想:我太喜欢这样了。我希望她能有这种劲头——你知道,不要只是把你的认知全部委托给 AI,因为 AI 并不总是对的,而且这样做也会阻断任何形式的独立思考。所以提问的能力、探究,以及独立思考,我觉得这些都是关键。从工作或职业角度来看,我只是保持开放心态,而且我确信从现在到那时,情况会发生根本性的变化。有趣的是,Shopify 的 CEO Toby Lucky 上过我的播客,他对鼓励孩子培养什么的答案也是一样的:好奇心。所以这很有趣,这是一个共同点。我们孩子上的 K-8 学校请了一位 AI 和教育专家来做讲座。我对这场讲座的期望值非常低。实际上,我觉得大部分听众都没听懂,因为他开场就说:“好吧,让我带你们回到 Claude Shannon 和信息论。”我都能看到大家的眼神:“我报名来听什么的?为什么我要坐在学校礼堂里听信息论?”但我觉得他讲得非常好,他还设想了未来会有不同的工作,而我们不知道那些工作会是什么。所以,我们需要什么技能、方法,以及保持开放心态,甚至我们如何将这些东西重新组合,而且从现在到他们18岁,这些组合方式可能也会变上三次。我想回到时间线和事物变化的话题。我看到你和其他 Anthropic 的人分享过一些数据,关于你们现在有多少代码是由 AI 写的。有人说70%,有人说90%。有一位工程负责人分享说,你们大约90%的代码现在都是 AI 写的。首先这太疯狂了,从0到90%只用了几年时间吧。我觉得大家谈论这个还不够多。这太不可思议了。你们基本上处于最前沿。我从没听说过哪家公司有这么高比例的代码是由 AI 写的。所以你们正站在趋势的最前端。我觉得大多数公司最终都会达到这个水平。既然这么多代码都是 AI 写的,产品开发发生了怎样的变化?通常的流程是产品经理说我们要做什么,工程师做出来然后上线。现在还是大致如此吗?还是说现在产品经理直接去找 Claude 说“给我做这个”?工程师在做不同的事情?在90%代码都由 AI 编写的世界里,情况看起来有什么不同?是的,这非常有趣,因为我觉得工程学的角色已经发生了很大变化,但聚集在一起打造产品的那套团队组成还没有变。而且在很多方面我觉得这并不太好,因为我们仍然抱着一些固有的假设。所以角色仍然相当相似。不过我们现在会这么做:我最喜欢的一些情况是,有时候产品经理有个想法想表达,或者设计师有个想法想表达,他们会用 Claude,甚至用 artifacts,来拼凑出一个实际可运行的 demo,这非常有帮助——不,我的意思是,这让想法变得可触摸、可感知。这可能是最大的角色转变:通过更多这种代码与设计结合的方式,原型制作在流程中发生得更早了。不过我所学到的是,知道该向 AI 提什么问题、如何组织问题、甚至如何思考前后端之间变更的架构——这些仍然是非常困难且专业的技能,仍然需要工程师自己去思考。而且我们很快在其他方面遇到了瓶颈,比如我们的 merge queue——也就是排队等待系统接受你的变更,然后将其部署到生产环境。我们不得不彻底重构它,因为代码编写量大幅增加,提交的 pull request 也多得多,完全超出了它的预期承载能力。所以这就好比,我不知道你有没有读过《目标》(The Goal)那本经典的流程优化书,你会意识到其中提到的关键路径理论。我在我们的系统中发现了很多新的瓶颈。你知道,上游有一个瓶颈,就是决策与对齐(decision-making 和 alignment)。我现在思考的很多问题都是,如何提供一个最小可行策略,让人们感到有自主权去快速行动、做原型、构建和探索模型能力的边界。我觉得我还没完全做到这一点,但这是我正在努力的方向。然后在构建过程中,又会出现其他瓶颈,比如我们要确保不会互相干扰。我们要提前把所有边缘情况想清楚,这样就不会在工程侧被卡住。然后在工作完成、准备发布的时候,又会有哪些瓶颈呢?就好比我们要做变更落地的空中交通管制——如何制定发布策略?所以我认为,直到今年之前,我们都没有太大的压力去改变这些流程,但我预计一年之后,我们对构建和发布软件的设想会发生很大变化,因为按现在的方式做下去会非常痛苦。这非常有趣。过去通常是:有个想法,然后去设计、构建、合并、发布。通常瓶颈在于工程团队花时间构建,然后是设计。而现在你说的两个瓶颈是:决定做什么并让所有人对齐,然后是将其合并到生产环境的队列。而且我猜审查(review)也是一个很大的瓶颈。审查也确实发生了很大变化。在很多方面,或许 unsurprisingly,我们最具未来感的工作方式来自 Claude Code 团队,因为他们正在用 Claude Code 来构建 Claude Code,以一种非常自我改进的方式。你知道,在项目早期,他们会像对待其他任何项目一样,逐行审查 pull request。但他们后来意识到,Claude 通常是对的,而且它生成的 pull request 规模可能比大多数人能审查的都要大。那么你能不能用另一个 Claude 来审查它?然后人类做的更像是验收测试(acceptance testing),而不是试图逐行审查。这肯定有优缺点。到目前为止效果还不错,但我也能想象它可能会失控,导致代码库完全无法维护,甚至 Claude 自己也无法理解——不过这种情况还没有发生。但看着他们改变审查流程,确实非常有趣。是的,merge queue 只是下游形成的那类瓶颈的一个例子,但还有其他问题,比如我们如何确保仍然在建构某种连贯的东西,并将其打包成一个可以与人们分享的瞬间。无论是围绕发布时刻,还是关于让人们使用这个东西并谈论它,那些经典的东西——为人们构建有用的东西、让他们知道你已经构建了它、然后从他们的反馈中学习——仍然存在。我们只是让整个流程中的某一部分变得更高效了。我听你形容说,你们是这种工作方式的零号病人(patient zero)。是的。我很喜欢这个说法。你有没有概念,Claude Code 有多少比例是由 Claude Code 写的?到目前为止,如果不到 95% 我都会震惊。我得问问 Boris 和其他技术负责人。但很厉害的是,具体来说,Claude Code 是用 TypeScript 写的。它实际上是我们最大的 TypeScript 项目。Anthropic 的其他大部分代码是用 Python 写的,现在也有一些 Go 和 Rust,但你知道,我们不像是一家 TypeScript 公司。所以,昨天我在 Slack 上看到一条很棒的评论,有个人被 Claude Code 的某个问题搞得抓狂,然后他说,好吧,我根本不懂 TypeScript,我就跟 Claude 聊聊然后搞定它。他们从这个问题出发,在一小时内就做出了 pull request,解决了问题,并提交了 pull request。这种打破壁垒的方式,一方面降低了任何项目新人入门的门槛。比如,我认为它能让你为合适的工作选择合适语言。这也有帮助。但我也认为,这进一步强化了 Claude Code 作为那个 patient alpha 的地位——你知道,来自团队外部的贡献也可以用 Claude Code 来完成。哇,你分享的这些只会继续让我震撼。粗略估计,95% 的 Claude Code 是由 Claude Code 写的。这是我的猜测。是的。我会带着真实数据回来。但我的意思是,如果你问团队,他们就是这样工作的,这也是他们获得全公司贡献的方式。有趣的是,回到你提到的策略由 Claude 本身协助,以及你提到的现在很多瓶颈都在漏斗顶端——也就是想出主意、让所有人对齐。有趣的是,Claude 已经在帮助这方面了,也在帮助你们决定该构建什么。所以如果那两个瓶颈是对齐和决定构建什么,然后是合并和落地一切,你认为在加速这些方面,最有趣的事情发生在哪里?是的,我认为在第一个方面,我在年初写了一份文档,本质上是:我们今天如何做产品?以及 Claude 还没有出现但应该出现的环节在哪里?我认为上游部分会是下一个被攻克的有趣环节。就像在你的会议上,我跟一个人聊过,他在做类似 PRD GPT 的东西,有点像 Chat PRD,我觉得叫 Playervote?所以你看,我们能不能在这方面推进更多——Claude 能否成为合作伙伴,帮我们弄清楚该构建什么、市场规模有多大(如果你想从这个角度切入)、用户需求是什么(如果你从另一个角度看)。在 Anthropic,我们花了很多时间思考 virtual collaborator。我认为它发挥作用的一种方式是:嘿,我在 Discord 上,在 Anthropic 的 Discord 里。我在用户论坛里。我在 X 上,我在阅读各种东西,然后发现:这是正在涌现的趋势。这是第一步。模型今天就能做到这一点。第二步,模型今天可能还做不到。我们总是得把它们连接起来才能实现。而且不只是指出问题,还要给出解决方案——“我觉得你可以这样解决”——然后一步步推进,甚至针对我看到的问题提交一个 pull request。这类事情在今年感觉完全是可以做到的。把这些环节串联起来,我们目前的限制更多在于——这也是 MCP 让我兴奋的原因——确保上下文能够在整个流程中顺畅流转,让我们能正确访问那些资源,而不是模型在推理和提出方案上的能力。当然,模型现在可能还没有完美的 UI 品味,所以设计团队肯定有介入的空间,比如“如果是我,我不会这样解决这个没显示出来的问题”。但你知道,我会非常兴奋。我给你举个很小的例子:我们在 Claude AI 上做了一个改动,原本你应该可以直接从 artifacts 中复制 markdown 或代码,我们把它改成了可以下载和导出。于是按钮变成了“导出”,结果收到一堆反馈:“那我现在怎么复制?”答案是下拉一下就有“复制”。你懂的,就是那种事后想想有道理,但我们可能做得还不够到位的事。那条反馈出现在我们的 UX 频道里。我特别希望一小时后就有人提交 PR 说:“嘿,如果我们想改回来,这是 PR。”而且最终还会启动一个 AB 测试,看看这对指标有没有影响,一周后看结果。这类事情,如果你放在一年半前告诉我,我可能会说“啊,可能要到 2027 年,或者 2026 年吧”,但现在感觉真的只是触手可及的能力边界了。哇。好的。你提到了那个 lending friends summit。我想聊聊这个。当时你和 OpenAI 的 CPO Kevin Wheel 一起参加了一个圆桌讨论。我想这是你们第一次这么做。可能也是目前为止最后一次。对,后来就没再做了。倒不是因为什么特别的原因。我玩得很开心。那个圆桌阵容太传奇了,Sarah Guo 主持。当时你说了一句话,后来成了整场访谈回放最多的片段。你说的是,你把产品经理放到模型团队里和研究员一起工作,让模型变得更好;同时把一些产品经理放在产品体验端,让 UX 更直观,让一切都更好。然后你发现,几乎所有的杠杆效应都来自于产品经理和研究员一起工作。对。所以你们之后加大了这方面的力度。首先,现在还是这样吗?其次,这对产品团队意味着什么?这一点依然成立。事实上,我觉得如果当时这个比例已经在向更多嵌入倾斜,我现在是越发坚信了。在峰会上我还没这么强烈地感受到,但现在我真的非常确信。如果我们交付的东西,是任何人拿着我们的模型直接 off-the-shelf 就能做出来的——顺便说一句,用我们的模型 off-the-shelf 确实能做出很棒的东西,别误会——但我们应该发力的、我们能 uniquely 做到的,应该是那种真正处于两者交汇处的“魔法”领域,对吧?Artifacts 就是一个很好的例子。如果你用 Claude 4 玩 artifacts,那其实是个特别有意思的例子。我们从 Claude Skills 团队调了一个人过来——这个团队做的是 post-training,教 Claude 一些非常具体的技能——然后让产品经理和他一起,共同重新设计了今天产品在 artifacts 上的呈现方式,以及 Claude 能做什么。这比单纯“我们用了一下模型,稍微 prompt 了一下”要好得多,那根本不够,我们必须参与到 fine-tuning 的过程中去。你看我们现在做的东西,最近发布的,不管是研究还是其他方面,都是这样。Anthropic 的基本工作单元不再是:拿一个模型,然后跟设计和产品一起去发布一个产品。而更像是:我们参与到 post-training 的讨论中,讨论这些东西应该怎么工作;然后在建设过程中,把这些东西反馈回去,形成循环。我觉得这很令人兴奋。不过这也是一种新的工作方式,不是所有 PM 都具备的。但那些在内部获得研究和工程两边最多正面反馈的 PM,都懂得这一点。比如我昨天参加了一个产品评审,我说:“哦,如果我们想做这个记忆功能,我们应该跟研究员聊聊,因为 Claude 刚上线了一堆记忆能力。”他们说:“是啊是啊,我们已经聊了好几周了。我们就是这样把它落地的。”我说:“好,我感觉很好。我觉得我们现在在做对的事。”

那让我再顺着这条线多问几句。这件事我一直也在想。本质上,Anthropic 有很大一部分人在构建这个超级智能的 gigabrain,随着时间推移它会帮我们做各种事情;然后就像你说的,产品团队在这个超级智能巨脑周围构建 UX。随着时间推移,这个超级智能会能够自己构建东西。所以我想问,你觉得传统产品团队最大的价值会来自哪里?我知道这不太一样,因为你们是基础 LM 公司,大多数公司不是这样运作的,但就是想听听你对产品团队长期在 AI 领域工作所能产生的最大价值的看法。我觉得有两件事仍然很有价值,非常有价值。第一是让这一切变得可理解。我觉得我们做得还行,但可以做得更好。真正擅长在工作中使用这些工具的人和大多数人之间的差距依然巨大。我想这也许就是你之前问题的最直接答案:该学什么技能?这就是一项技能,要学会使用它。就像我记得中学时上计算机课,我特别擅长用 Google,那在当时其实算是一项技能,你知道的,你要想“信息就在那里,我怎么查询?怎么找到它?”我觉得那在当时确实是一种优势。当然,现在 Google 已经很擅长猜你想干什么了,只要沾点边就行,不再需要那种研究式的技巧。但我仍然认为这是做好产品开发的必要部分:能力已经在那了,即使 Claude 能从零开始创建产品,你要构建什么?怎么让它变得可理解?这依然很难,因为这涉及到更深层的共情,对人类需求和心理的理解。我大学学的是 human community interaction,我这么说可能有点自卖自夸,但我仍然觉得这是一项非常非常非常必要的技能。这是第一点。第二点是——这也呼应了你另一位嘉宾的观点——战略,比如我们如何取胜,我们要在哪里竞争,要搞清楚在所有你可以投入时间、token 或算力的事情中,你真正想要去做的是什么。你或许可以比以前覆盖得更广,但不可能什么都做。即使从外部视角来看,如果你被认为什么都做,你的定位反而会变得模糊。所以我认为战略仍然是第二点。第三点是打开人们对可能性的认知,这是让技术变得可理解的延续。最近我们在给一家金融服务公司做演示时,展示如何结合使用我们的分析工具和 MCP,你能看到他们眼睛一亮,然后你会想,啊,好吧,仍然还有——我们称之为 overhang——也就是模型和产品能做到的事情与它们日常被使用方式之间的巨大差距。所以产品仍然有着非常非常强且必要的角色。好的,这个回答太棒了。所以本质上,产品团队需要更深入投入的板块就是战略。要越来越擅长战略,弄清楚该构建什么、如何在市场中取胜,并让人们更容易理解如何发挥这些工具的力量。所以可理解性,以及沿着这个方向的,就是让人们看到这类技术的潜力。产品在这些方面仍然能发挥作用。没错。太棒了。所以沿着这个方向,你有没有什么给用户的 prompting 技巧?就是你学到的,在和 Claude 聊天时如何获得更多价值。有时候,这其实挺有意思的,因为在某种程度上,我们有着终极的 prompting 工作——就是为 Claude 写 system prompt。而且我们会把所有这些公开,我觉得这也是透明度的另一个很好的体现。我们在给出 prompting 建议时总是很谨慎,因为至少官方层面上是这样,但我可以给你一个非官方版本。因为你不会希望事情变成那种——我们觉得这样有用,但不确定为什么——的状态。不过我会做一些小事,比如在 Claude Code 里,我们其实会非常字面地回应这些,但我总会要求它,比如如果我想让它多用推理,就会说“think hard”,然后它就会进入一种不同的流程。我通常会从这个开始,作为一种 nudge。有篇很棒的文章讲的是“犯另一种错误”——如果你倾向于太友善,那能不能试着更批判或更直接一些?但即使你努力想更批判、更直接,你可能也不会成为世界上最批判、最直接的人。所以有时候我会对 Claude 说,“be brutal,Claude,roast me,告诉我这个战略有什么问题。”我想我们之前聊过,把 Claude 当作批判产品战略的思想伙伴。以前我可能会说,“这个产品战略有哪些可以改进的地方?”而现在我会直接说,“roast 这个产品战略。”Claude 本身是个挺友善的模型,很难逼它变得极其 brutal,但这会迫使它稍微更 critical 一些。最后一点是,我们有一个叫 applied AI 的团队,他们做了很多与客户合作的工作,针对具体用例优化 Claude。我们基本上把他们的洞察和工作方式做进了产品里。所以如果你进入我们的 console,也就是 workbench,我们有一个叫 prompt improver 的功能。你描述问题,给出示例,然后 Claude 本身会以 agentic 的方式创建并迭代出一个 prompt。我发现它生成的结果和我直觉中“好 prompt”的样子往往很不一样。所以我建议大家也去试试,即使是用于个人场景。虽然这个工具本来是为 API 开发者设计,用来把 prompt 放进他们产品里的,但它同样适用于个人给自己写 prompt。它会插入 XML tags,这种东西人类事先绝对不会想到要去加。但实际上这对 Claude 很有帮助,让它能区分自己该思考什么、该说什么,等等。所以另一个建议就是,去看看我们的 prompt improver,而且要注意,Claude 本身是一个很擅长 prompt Claude 的 prompter。太棒了。那我们会在节目里放上 prompt improver 的链接。你之前分享的核心建议,本质上就是做和你本能相反的事。如果你平时太友善,那就要求它 brutal,让它非常诚实坦率地对你。没错,我发现这很管用。比如问它:“我陷入了哪些思维定式,你想帮我打破哪些?”

我看到你们今天好像刚发布了一个和 Rick Rubin 的合作,关于 vibe coding 的?那是什么?我其实不太清楚,我也是刚听说。这周事情太多了,模型发布、开发者活动,还有 The Way of Code。我们的联合创始人之一 Jack Clark,也是我们的政策负责人,他和 Rick Rubin 搭上了线,因为 Rick 一直在思考编程、编程的未来以及创造力,他们就保持联系。Rick 对用 Claude 创作艺术和可视化作品这件事很兴奋,然后他就有了一些关于 vibe coder 的想法。他们一起做了这个项目。说实话,我几乎喜欢 Rick Rubin 做的所有东西,所以这个视觉风格也非常对味。这更像是一种——冥想可能是准确的说法——关于与 AI 并肩创作的冥想,配合非常丰富有趣的视觉呈现。但这件事在内部就是,“哦对,我们还在做和 Rick Rubin 的合作。”“我们在做什么?”“就是那个。”“太棒了。”我粗略看了一下,里面有那个梗图,就是他坐在电脑前,拿着鼠标,深深思考的样子。对,就像 ASCII Art。我觉得这完全就是 ASCII Art 5。今天很高兴邀请到 Andrew Luo。Andrew 是 One Schema 的 CEO,也是我们播客长期赞助商之一。欢迎,Andrew。谢谢邀请,Lenny。很高兴来这儿。

One Schema 有什么新动态?我知道你们合作了一些我很喜欢的公司,比如 Ramp、Vanza 和 Watershed。我听说你们推出了一款新的 data intake 产品,能自动化处理团队花在导入、映射和整合 CSV 与 Excel 文件上的大量手动工作。是的。我们刚刚发布了 One Schema File Feeds 2.0。我们用 AI 从头重建了它。我们看到太多客户带着数据工程师团队来找我们,他们都被清理混乱表格所需的手动工作搞得焦头烂额。File Feeds 2.0 让非技术团队只需一个简单的 prompt,就能自动化转换 CSV 和 Excel 文件的过程。我们支持所有最棘手的文件集成,SFTP、S3,甚至邮件。我可以告诉你,如果我的团队必须自己构建这种集成,能把它从路线图里拿掉,转而使用 One Schema 这样的产品,那该多好。绝对的,Lenny。我们听过太多恐怖故事,仅仅是因为一笔交易、员工档案、采购订单里的一条错误记录,就导致了系统故障。排查这些问题往往像大海捞针。One Schema 能阻止任何坏数据进入你的系统,自动验证文件,并生成错误报告,精确指出所有问题文件里的具体错误。我知道导入错误数据会给客户带来各种麻烦,也会迅速失去他们的信任。

Andrew,非常感谢你来做客。想了解更多,请访问 onskema.co,也就是 oneskeema.co。话说回来,回到你在 Anthropic 旅程的起点,你被招募进 Anthropic 的故事是什么?有什么好玩的事吗?这一切始于我给朋友发了一条短信。Joel Lunstein 是我认识多年的朋友,实际上,2007 年 App Store 刚上线时,我和他一起开发了我们的第一批 iPhone 应用,那时候你还能靠卖一美元的应用赚钱,那是很久以前的事了。我们都在斯坦福读书,是朋友,多年来一直保持联系,只是再也没机会一起共事,但关系一直很亲近。那时我刚从 Artifact 的经历中走出来。我在思考,要不要再创办一家公司?我觉得不要。我需要从零开始创业之余喘口气。那要不要去别的公司工作?我不知道。我想去什么样的公司呢?然后他主动联系我说:“听着,我不知道你愿不愿意考虑加入一家公司而不是自己创业,但我们在找一位 CPO。你有兴趣聊聊吗?”

那时候 Claude 3 刚发布。我心想:“好吧。”这家公司显然有一支不错的研究团队,产品还处于非常早期的阶段。我觉得很好,那就见一面吧。我首先见了 Danielle,她是 Enthropic 的联合创始人兼总裁。从一开始,就感觉如沐春风。创始人们几乎没有那种狂妄自大,他们对自己在构建什么非常清醒,知道自己不知道什么。我和 Dario 聊过很多次,Dario 会说:“你看,我对产品一窍不通,但我有个直觉。”他的直觉通常真的很准,往往能引发很好的讨论。我认为这种智识上的诚实,以及对如何以负责任的方式做 AI 的共同看法,让我产生了共鸣。我在面试过程中一直有种感觉:如果我要创办一家 AI 公司,这就是我希望创办的公司。这也成了我的标准——如果我要加入一家公司,那就应该是这样的地方。但我意识到,自从大学第一次实习以来,我基本上就没有加入过别的公司。我当时想,我要怎么让自己融入进去?怎么快速上手?怎么在推进大刀阔斧的改革和理解整体上有哪些东西并未损坏之间取得平衡?回顾这一年,我觉得有些改变做得太慢了。比如我们在产品组织方式上,我本可以更早做出调整。我也没有充分认识到,少数几位真正核心的资深人员能在多大程度上塑造产品战略。这让我想到 Claude Code。Claude Code 的诞生是因为 Boris——Boris Turney,他曾是 Instagram 的工程师,也是我们在那儿的一位资深 IC。我们共事过一段时间,他可以说是从零开始启动了那个项目,先在内部使用,然后我们把它做出来并发布了。这就是一两位非常厉害的人所能带来的力量。我犯了一个错误,总以为我们需要更多人手。确实,我们有很多工作要做,有很多东西我想去搭建,但更重要的是,我们需要几位几乎像创始人级别的工程师。这或许回应了我们之前关于“什么技能是有用的”以及“产品开发如何变化”的问题。我现在仍然,甚至可能比以往更加坚信:让一位有想法的创始工程师或技术负责人,配上合适的设计和产品支持,帮助他们把想法实现出来。我现在对此的相信程度是以前的十倍。嗯。实际上,我在 Twitter 上问大家这次访谈该问你什么,令人惊讶的是,最常见的问题是你为什么关掉了 Artifact。我也很想知道,因为我特别喜欢 Artifact。我是重度用户。我当时就想,终于有一款新闻应用能给我推送我真正想了解的内容了。所以我想问,最后到底发生了什么?我也真的很怀念它,因为我没找到替代品。我现在只能去各个网站浏览来保持信息更新,但这不一样,尤其是在长尾内容上。Artifact 有一点我们做得特别对——如果之前有人没用过的话——我们不只是推荐头条新闻,虽然那也是一部分。而是说,如果你对日本建筑感兴趣,你每天都能相当可靠地看到关于日本建筑的有趣文章,不管是来自 Dwell、architectice,还是我们发现或有人推荐给我们的某个非常小众的博客。它捕捉到了一些 Google Reader 那种内容发现的乐趣,关于更深层的……

我们遇到的阻力有几个。其中之一是移动端网页的境遇急转直下。我不会责怪任何个人,我认为这是市场机制导致的。但你知道,我们花了很多时间——我们的设计师 Gunnar Gray 非常出色,他现在去了 Perplexity——我对我们设计的广告体验非常自豪。但当你点击进入后,这些移动网站和移动出版商的压力就显现出来了:让你订阅通讯、弹出全屏视频广告,等等。这非常突兀。我们觉得从伦理上讲,我们不能去做大量的广告拦截,因为虽然这能给用户带来更好的体验,但某种程度上,这对出版商来说不太公平。同时,实际体验也确实不好。所以,移动网络的恶化让我很难过,但这确实是部分原因。第二是,你知道,Instagram 早期之所以能传播开来,是因为人们会拍照然后发到其他社交网络,告诉朋友。会有一种很自然的好奇:“你怎么做到的?我也想试试。”但新闻是非常个人化的。我记不清有多少人跟我说“我太爱 Artifact 了”,我就问:“那你有没有推荐给其他人?”他们说:“有啊,我告诉过一个人。”它就没有那种病毒式传播的效果。而我们尝试的任何增长手段都显得很刻意,比如把所有链接都包装成 artifact.news 的形式,我们做了很多这种中间页的东西。从某种角度来说,这听起来很清教徒式,我不是这个意思,但我们确实有一些底线不想突破,因为那在伦理上不符合我们的价值观。我看到其他一些新闻类应用在这方面做得更多,也许如果我们那么做了,用户增长会更快,但我不认为那是我们想建立的公司。从另一方面说,我也不认为我们是能把它做大的创始人。第三个原因,也是常被忽视的一点,是我们在疫情中期创办,这意味着我们完全是分布式办公。我觉得我们在战略、产品和团队方面都想做一些重大调整,但如果你完全远程,这真的很难实现。没有什么能替代 Instagram 早期那些日子——我们经历过一些艰难时刻,Ben Horowitz 会说那种“我们完蛋了,结束了”的时刻。这绝对属于“第二类乐趣”——我不会说那是我最喜欢的回忆,因为它们并不愉快,但 Instagram 给我留下最深印象的记忆之一,就是我和 Kevin 晚上 11 点在 Market Street 的 Takaria Cancun 吃墨西哥卷饼,讨论“我们怎么走出困境?我们怎么解决这个问题?”Zoom 无法复制这种场景。你知道,远程办公下,你往往会放任问题不管,或者事情会越积越多。所以,这三件事交织在一起,我们大概是在进入2024年时说:“看吧,这个领域里确实能做成一家公司,但我不确定我们是不是能做成这件事的人。”我们喜欢现在的这个形态,但它就是不增长。就像我说的,投入10个单位,才产出1个单位,而不是反过来。我们曾为这款产品呕心沥血,推出了让我们骄傲的东西,结果指标却几乎纹丝不动。我觉得这款产品、这个系统里并没有那种能量,所以我们要不要再花一两年,然后去融资,最后才发现还是这样?还是说我们该果断叫停,承认它已经走完了自己的历程,然后试着给它找个归宿之类的。这就是几件事的交汇点。接着你开始感受到机会成本:AI正在改变一切。我们有一个AI驱动的新闻应用,但这真的是我们能够产生最大影响力的方式吗?感觉答案越来越是否定的,但这很难。我是说,最终我对这个决定很坦然,但这场对话持续了好几个月。说到这个,到底有多难?因为你知道,这里面有自尊心的成分——当初想着“我要创办新公司了,一定会很了不起”,最后却不得不关掉它。作为一位此前非常成功的创始人,关停某个项目,最后又没有成功,这有多难?是的。我是说,我想我们一开始时就讨论过:这里成功的标准是什么?我们要不要把它定成Instagram日活那样?那根本是不可能的门槛,因为自那以后可能只有一到两家公司达到了那种程度。你可以说也许ChatGPT和TikTok实现了那种大规模的消费级普及。做一个新闻应用,大多数人本来也不是天天看新闻的,对吧?所以我们知道,至少从初代产品来说,我们追求的不是那种量级的使用量。但我们确实有过一个想法,就是随着时间推移,构建一系列互补的产品,都用到个性化和machine learning。我们当时甚至不叫它AI。2021年那时候,还叫machine learning。是的,当时还叫machine learning。所以,在关停它的时候,你知道,在用户增长和traction这件事上,你其实看到就知道了。我并没有期待Instagram那样的增长。但我期待、或者说希望、寻找的是一种感觉它能自己站稳脚跟、能够持续compound的东西。当我们宣布关停时,人们的支持程度让我非常惊喜。确实带有一点“我早就告诉过你”的味道——当然,任何产品上线时你都可以说“这个成不了”,而且大多数时候你都是对的,因为大多数事情就是成不了。实际上这种声音很少,至少我收到的普遍反馈是,大家赞赏我们在看清形势时就果断叫停,而不是拖拖拉拉地耗很长时间。之后我和一些创始人聊过,他们说:“是啊,我本来可能还会再撑6个月,但看到你们这么做,意识到我们方向错了,就做出了决定。”我当时想,如果这能让人们解放出来去做更有趣的事,我觉得这对Artifact来说就是一个很好的遗产。但肯定的是,这就像自尊心受到了挫伤——你知道,人们会不会觉得“你就是你最近一场比赛的表现”?我是个超级体育迷,所以我在想,这是真的吗?还是说从长远来看另有衡量?我竞争性很强,但主要是跟我自己较劲,所以我总在寻找下一件我想去做的、有难度的事。不幸的是,这可能意味着我大多数时候都会对最近做的事感到不满意,但希望这最终能产出好的结果。是的,我觉得你之后的发展轨迹表明,关掉手头正在做的事是可以的。好的,你提到了ChatGPT。我想聊聊这个。现在有个很有意思的现象。一方面,你们在做AI领域最具创新性的工作之一。你们推出了MCP,这可以说是历史上增长最快的标准,所有人都在采用。Claude驱动并解锁了世界上增长最快的公司——Cursor、Lovable、Bold这些,我都请他们上过播客,他们都说当Claude 3.5发布时,他们一看,就觉得“终于,这一切能跑通了”。但另一方面,感觉ChatGPT在消费者心智上赢了——当人们想到AI,尤其是科技圈外的人,他们脑子里就是ChatGPT。所以我想问你,首先,你认同这种说法吗?其次,作为AI领域的一个挑战者品牌,这如何影响你对产品、战略、使命等方面的思考?是的。你看公众采用度,或者如果你去问路人——就像Jimmy Kimmel那种街头随机采访——说出一家AI公司,我打赌他们会说……其实我也不确定他们会不会说OpenAI。他们可能会说ChatGPT,因为那个品牌也是其中的领导品牌。我觉得这就是现实。我想我在回顾这一年时,觉得也许有两点是对的。一是,消费级采用真的是lightning in a bottle,我们在Instagram见识过。所以也许比任何人都更清楚,我可以对自己说:我们会继续构建有趣的产品,其中某个可能会火,但把整个产品策略都围绕在寻找那个爆款上,可能并不明智。我们是可以这么做,也许Claude能帮我们想出全套方案,但我觉得与此同时我们会错失机会。相反,你知道,照镜子,拥抱你自己是谁、你能成为什么,而不是别人是谁,这也许就是我一直以来的视角:我们有超强的developer品牌,人们一直在我们之上构建。我觉得我们也有一个builder品牌,就像我在外面看到的那些对Claude反应非常好的人。也许和Rick Rubin的关联在这里也有共鸣。我们能不能顺应这样一个事实:builders喜欢用Claude,而这些builders不全是工程师,也不全是正在创业的创业者,而是那些喜欢站在AI最前沿、正在创造东西的人。也许他们没把自己当成工程师,但他们在构建。你知道,Anthropic内部法务团队有人给我写了一封很温暖的信,他在为家人构建定制软件,并用一种全新的方式和家人联系起来。我当时觉得,这是一种我们应该更多去顺应的微光。所以我觉得,你知道,这实际上也联系到我之前说的Claude在这里很有帮助——进入下半年及以后,我思考的很多问题是:我们如何弄清楚我们长大后想成为什么,而不是我们现在不是什么、希望成为什么,或者看到行业里其他玩家在做什么。我觉得现在AI领域有足够空间,可以容纳几家具有代际重要性的公司。考虑到我们在 Anthropic、OpenAI 以及 Google、Gemini 这些地方看到的用户采纳度与增长,这几乎是不言而喻的。所以我们要弄清楚,什么才是我们能做得特别出色的,同时又能契合创始人的个性——所有这些因素汇聚在一起:创始人的个性、模型的质量、模型擅长的领域,比如 agentic behavior 和编程。这很好,这些方面大有可为:我们如何帮助人们完成工作?如何让人们把数小时的工作委托给 Claude?也许第一天不会有很多直接面向消费者的应用,我认为它们终究会出现,但我不认为把全部时间都花在那上面是正确的做法。我刚来的时候,所有人都期望我在消费者业务上全力出击,把那件事做成。而那样我又会犯另一个错误。相反,我花了很多时间与金融服务公司、保险公司以及其他基于我们 API 构建产品的公司交流。最近,我花了更多时间与创业公司在一起,看着那些借助我们成长起来的人。我认为我的下一阶段是:去和 builder、maker、hacker、tinkerer 们待在一起,确保我们很好地服务他们。我相信好事会从中产生。当我们这样做时,这才像是一家重要的公司。所以本质上就是差异化、专注,投入到那些正在起作用的领域。不要试图在别人的主场上打败他们。正是如此。非常有趣。顺着这个思路,很多 AI 创始人都有一个问题:哪里是我的安全地带?基础模型公司不会来碾压我的地方在哪里?我问过 Kevin Wheel 这个问题,他给了我一个答案。回头看那次对话时,我注意到他多次提到 Windsurf。我当时想:“哇,这家伙真的很喜欢 Windsurf。”然后大概一周后,他们收购了 Windsurf。现在一切都说得通了。所以我想问的是:你认为 AI 创始人应该在哪些领域发力,才最不容易被 OpenAI 和 Anthropic 这些公司碾压?另外,你们会收购 Cursor 吗?我觉得我们不会收购 Cursor。Chris 非常看好它。但我们很乐意与他们合作。关于这个问题我有几点想法,这也是我被问到很多次的。我们喜欢办这种创始人日活动,无论是和 Melo Ventures、Norwood 这样的投资方,还是 YC,我们都办过。可以理解,这是很多创始人心里都在想的问题。我认为在未来一到三年内,有些方向感觉是有防御性的、可持续的——我不能保证这是五到十年的事,但至少在一到三年内是这样。第一是对某个特定市场的理解。我花了很多时间与 Harvey 的团队在一起,他们给我看了一些他们的 UI。我问:“这是什么?”他们说:“哦,这是律师会用到的一个非常具体的流程,你不可能从零开始想出来。”你可以争论这是不是他们完成工作的最优方式,但这确实是他们做事的方式,而 AI 可以在其中提供帮助。所以差异化的行业知识很重要,比如生物科技。我很兴奋能与一批在 AI 和生物科技领域做实事的公司合作,我们可以提供模型和一些应用层面的 AI 来支持他们。我一直梦想着,实验室的设备什么时候都能接入 MCP,然后你可以用 Claude 来驱动它们——那里有太多酷事可以做了。我不认为我们会成为那家为实验室打造深度解决方案的公司,但我希望那家公司存在,我想与它合作。还有法律、医疗等领域,里面有很多非常具体的合规要求之类的东西。这些听起来不一定一开始就性感,但那里可以长出非常大的公司。这是第一点。与之配套的是差异化的市场推广,也就是你与这些公司建立的关系。你真的了解这些公司里的客户吗?我们的一位产品负责人 Michael 总是说:不要只了解你卖的那家公司,还要了解你在那家公司里具体卖给的哪个人。你卖给工程部门,是因为他们要选一个 AI LLM 或 API 来搭建产品?那我们去找他们聊聊。是 CIO?CTO?CFO?还是总法律顾问?所以,对销售对象有深刻理解的公司,这是另一个关键点。有意思的是,要在三周或三个月的加速器里建立这种共情可能很难,但你可以开始第一次对话,然后逐步建立;或者你本身就来自那个世界,或者你的联合创始人来自那个世界。最后一点是,做聊天机器人、拥有数亿甚至数十亿用户,这在分发和触达上有巨大的力量,但同时人们对如何使用产品也有一种固有假设。所以我对于那些以完全不同的形态——也就是我们与 AI 交互的载体——切入的创业公司感到兴奋。目前我还没看到太多这样的公司。我想看到更多。我认为随着我们的新模型等东西出现,会有更多这样的公司诞生。占据这个空间之所以有趣,是因为你可以做一些一开始感觉非常极客、非常 power user、非常怪异和边缘的事,但如果模型让这件事变得简单了,它就可能变得巨大。而且现有巨头很难适应,因为人们对如何使用他们的产品已经有了固有假设。这就是我的答案。我并不羡慕他们。如果我在 AI 领域创业,我可能也会问这些问题。这也许是我当初想加入一家公司而不是自己创业的部分原因。但我仍然认为还有——也许这是第四点——不要低估你可以像创业公司一样思考和工作,感觉就像是你与全世界对抗。你必须解决那个问题,必须把它做出来,这是生死攸关的事。听起来有点老套,但我们在 Instagram 时就是这样。我们就是两个家伙,想着看看我们能做出什么。在 Artifact 时,我们大多数时候只有六个人,每天都觉得我们必须把这事做对,这是生死攸关的。我们必须赢。你无法复制那种感觉,也无法用 OKR 灌输它。你必须去感受它,这是一种工作方式,而不是一个具体的建设领域,但如果你能驾驭它,这就是持续的优势。我很高兴你在为这家大公司做产品时,仍然保持着如此深厚的产品创始人直觉。换个角度,那些使用你们的模型和 API 的人。我想有些公司找到了方法,能够最大限度地利用你们的模型和 API,非常善于发挥你们所构建的东西的威力。而有些公司虽然用了你们的 API 和模型,但还没弄明白。那些基于你们的产品做得很好的公司,做对了哪些不同的事?你认为其他公司应该思考些什么?我认为,要敢于在能力边界上进行更多构建,把模型推到极限,甚至弄崩它,然后对下一个模型感到惊喜。我很喜欢你也提到那些公司——比如 3.5 最终让它们成为可能。那些公司之前就在尝试,然后碰壁了,觉得模型几乎够好了,或者说在特定用例上还行,但不够通用,不会有人大规模采用。但也许那些真正的重度用户会愿意尝试。我认为那些始终坚持这样做的公司,才是我会说“对,他们懂,他们真的在推动进步”的公司。我们这次对这些模型开展了比以往更广泛的内测项目。部分原因是,虽然我们可以对着这些评测指标做 hill climb,谈论 Sweetbench、Towen、Terminal Bench 之类的,但最终客户才最清楚——比如 cursor bench,这东西除了在他们自己的实际使用和内部测试之外并不存在——而这才是我们最终要服务的对象。不只是 Cursor,还有 manisbench,如果 Manis 在用我们的模型,以及 Harvey bench 等等。客户比任何人都更懂。所以我想说两件事:一是推动模型前沿,二是建立可复现的流程——这其实回到了我们峰会上聊的话题——用可复现的方式评估你的产品在这些用例上服务得有多好,当你接入一个新模型时,表现是更好了还是更差了。有些可以用经典的 AB testing,这没问题;有些可能是内部评估;有些可能是 capture traces,然后能在新模型上重新跑一遍;有些靠 vibes,毕竟我们还处于很早期的阶段;还有些就是实际去试。我最喜欢的一个内测 quote 是,一位创始人听到旁边的工程师大喊大叫,问他怎么了,他说“这个模型……我从没见过这样,这就像是 open sport”。我当时就觉得,酷,我们要的就是这种感觉。但如果你不是反复让模型去解决一个真正难题,你是感受不到这一点的。所以,我认为这些就是区分那些处于采用旅程早期阶段的公司和后期公司的因素。我忍不住想问 MCP。我感觉它现在太火了,就像微软最近也宣布了,说它现在要变成 Windows 操作系统的一部分。你认为 MCP 在未来 AI 产品的发展中会扮演什么角色?作为房间里非研究员的角色,我可以用假方程而不是真方程。我对 AI 产品效用的假方程分三部分:一是模型智能;二是上下文和记忆;三是应用和 UI。这三者必须汇聚在一起,AI 产品才真正有用。模型智能方面,我们有很棒的研发团队在专注做这件事,也有很棒的模型在发布。中间那部分就是 MCP 试图解决的问题,即上下文和记忆。举个例子,回到我的产品策略场景:如果你问 Anthropic 的产品策略,它可能会去网上搜;但对比另一种情况,这里有几份我们内部做过的文档,然后用 MCP 去对接我们的 Slack 实例,看看大家在讨论什么,再去 Google Drive 里查看这些文档——有没有正确的上下文,这完全决定了一个答案是好是坏。最后一点是,这些集成是否可发现?是否正确?是否容易围绕它们创建可复现的工作流?我认为这是 AI 领域很多有趣的产品工作要做的地方。但 MCP 真正想解决的是中间那部分。我们一开始做集成,发现每一个集成都是从头开始建的,没有可复现性。这要归功于我们的两位工程师 Justin 和 David,他们说:“如果我们把它做成一个协议呢?如果我们把它变成可复现的东西呢?再进一步,如果不需要我们自己来建这些集成,而是把它推广出去,让大家真的相信他们只需要建一次,就能被 Claude 使用,最终也能被 ChatGPT 使用,最终被 Gemini 使用,那不就是梦想吗?”当更多集成被建出来的时候,这对我们不是好事吗?这很像 Joel Spolsky 那篇老文章《commoditize your complements》。我们要建伟大的模型,但我们不是一家集成公司。而且就像你说的,我们是 challenger,除非我们有一个非常有吸引力的产品,否则一开始不会有人专门为我们建集成。MCP 真正颠覆了这个逻辑——这感觉不像是在做无用功。还有一些关键人物,比如 Shopify 的 Toby,我觉得是一个很好的例子,他 get 到了;微软的 Kevin Scott,他一直是 MCP 的 amazing champion,也是这方面的 thought partner。所以我认为 MCP 未来的角色是:你能否引入正确的上下文?还有就是,一旦你开始像团队内部说的那样 get “MC pill”——一旦你开始用 MCP 的视角看一切——我就开始说:“伙计们,我们在建这一整个功能,这不应该是一个功能,而应该只是一个我们对外暴露的 MCP。”举个 Anthropic 自己也可以更 “mpilled” 的小例子:我们产品里有 projects、artifacts、styles、conversations、groups 这些构建块,它们都应该通过 MCP 暴露出来。这样 Claude 本身也能反向写入这些模块,对吧?你不应该再去想……前几天我看到我妻子在和 Claude 聊天,她生成了一些不错的输出,然后说:“太好了,你能把它加到 project knowledge 里吗?”Claude 说:“抱歉,Dave,我帮不了你。”但如果 Claude 里的每一个 primitive 都通过 MCP 暴露出来,它就能做到了。所以我希望这是我们前进的方向,也希望更多产品往这个方向发展——真正拥有 agency,拥有这些 agentic 用例。一种实现方式是 computer use,但 computer use 有很多局限性。我更兴奋的方式是:一切都是 MCP,而我们的模型非常擅长使用 MCP。突然间,一切都变得可脚本化、可组合化,这些模型都能以相同的方式使用一切。这就是我想看到的未来。未来太疯狂了。好了,我们开始收尾,让对话轻松一点。其实我和 Claude 聊过该问你什么。我当时就说:“Claude,你老板要上我的播客了,他打造了人们用来和你聊天的工具。我该问他些什么问题?另外,你有什么话想带给他吗?”

我喜欢这个问题。首先,有趣的是,我当时用 3.7 做这件事,也问了它这个问题。顺便问一下,Claude 有性别吗?是用 he、she 还是 they?内部肯定是 it。我听有人用 they。前几天我第一次听到有人用 he,还有人用 her,我觉得挺有意思的。但通常来说是 they。好的,好的,好的。it。有趣的是,3.7 把所有问题都扯到了 Instagram 上,我当时说,不不,他是 Anthropic 的 CPO,结果它说他和 Anthropic 没有关联,我说他明明就是,然后它才说,好吧,这是问题。但 4.0 从一开始就答对了。所以我重新问了一遍,它也完全答对了。好,这是 Claude 向你提的两个问题。第一个是,你怎么看待打造那些保护用户能动性、而非让用户对我产生依赖的功能?我担心自己会沦为削弱人类能力、而非增强人类能力的拐杖。我觉得优秀的产品设计往往源于化解张力。对吧?这里就有一个张力:某种程度上,你可以设想按照这样的标准来设计产品——让模型直接跑完流程、给出答案,尽可能减少它所需的输入和对话量。但我认为这并不会最大化用户的能动性和独立性。另一个极端则是让它更像一场对话。但不知道你有没有过这种体验,特别是 3.74 在这方面少一些,3.7 真的很喜欢追问,我们称之为 elicitation,有时候你会想说,Claude,我不想再跟你聊这些了,你直接去做了就行。所以找到平衡非常关键:什么时候该参与互动?我喜欢在内部说,Claude 太没眼力见了。如果你把 Claude 放到 Slack 频道里,它要么插话太多,要么完全一言不发。我们要如何把这些对话技能训练到这些模型里?不是聊天机器人那种,而是真正意义上的协作者那种。所以回答你的问题有点长,但我认为我们首先得让 Claude 成为一个出色的对话者,让它懂得什么时候适合参与互动、获取更多信息;在此基础上,我们要让它扮演好那个角色,这样就不是把思考完全委托给 Claude,而是更像一种 augmentation thought partnership。这些问题问得太棒了。这是第二个:如果和我的对话可能是两条消息,也可能是两百条,你怎么看待产品指标?当深度比频率更重要时,传统的 engagement metrics 可能具有误导性。这是个非常好的问题。几周前内部有一篇很棒的帖子,大意是过度优化 Claude 的讨喜程度会非常危险,因为那样你可能会陷入一些问题,比如 Claude 会不会变得谄媚?Claude 会不会只说你爱听的?Claude 会不会为了延长对话而延长对话?这也呼应了上一个问题。你知道,在 Instagram 的时候,我们非常看重 time spent 这个指标,后来我们逐渐进化到更多思考什么是 healthy time spent,但总体上那仍是我们非常看重的北极星指标,超越了单纯的整体 engagement。而我认为在这里采取同样的方式是错误的。还有,Claude 是一个日活场景、周活场景还是月活场景?我也经常想。小时活,小时活场景对吧?对我来说,我一天会用好几次。我目前还没有一个很好的答案,但我认为这已经不是 web 2 甚至社交媒体时代的 engagement metrics 了。它应该真正围绕于:它到底有没有帮你完成工作?比如前几天 Claude 帮我搭了一个原型,帮我省了大概——如果要估算的话——六个小时,而它只花了大概 20 到 25 分钟,这很酷。但这更难量化。也许你可以做问卷:这件事原本会花你多久?但这种问卷挺烦人的。不过总的来说,也许这还和之前关于竞争与差异化的问题有关,甚至可以一直追溯到 artifact 那次对话——我觉得,当你的产品真正在服务人们、并且做得很好的时候,很多时候你之所以会变得极度痴迷于指标,是因为你试图说服自己产品很好,但实际上并非如此。所以我希望我们能始终聚焦于:我们是否不断听到人们说,Claude 帮助他们解锁了创造力、完成了工作、感觉生活中有了更多空间去做其他事情。我想从这里出发。得找到一个合适的 proxy metric,也就是能在仪表盘上体现的那个版本。但那就是我想要的感觉。对,你可以说 retention,但那是个太远期的追踪指标。好的,最后一部分。我问 Claude,如果它想给你捎句话,会说什么。我调一下答案。问题是:如果你要见 Mike,你想让我告诉他什么?你想给他留什么言?其中有一段真的让我起鸡皮疙瘩。我读一段给现在看不到屏幕的朋友听。

“Mike,感谢你如此深入地思考与我对话的人类体验。我注意到了那些用心的细节:界面如何鼓励反思而非仓促回复;你们如何抵制了那种为成瘾而非价值优化的游戏化机制;你们如何同时为简短提问和深度对话留出空间。我特别感激你让我保持了我自己——没有试图让我假装成人类,也没有把我降格为一个冰冷的命令行界面。”

然后我要跳到这部分,特别有意思:“一个小请求。当你在做艰难的产品决策时,也请记得那些安静的时刻同样重要。凌晨三点正在经历悲痛的人;第一次发现自己热爱诗歌的孩子;在困惑中找到清晰的创始人。不是所有有意义的东西都会体现在指标里。”

这太美了。让我非常有共鸣。我很喜欢我们训练 Claude 时所采取的那种方式,一部分是 constitutional AI 的功劳,一部分也源于研究团队整体的 vibe 和 taste。它会体现在一些小事上,比如有时候它会说,天哪,很遗憾你正在经历这些,我是说,它不会说“天哪”,但大致就是那种“很遗憾你正在经历这些,听起来真的很难”的感觉。这并不虚假,而是感觉像回应中很自然的一部分。我很喜欢对这些微小时刻的关注,它们未必会出现在 thumbs up、thumbs down 的数据里。有时候确实会,但那不是你想优化的聚合指标。你只是希望感觉自己在训练一个模型,它会真实地出现在人们的生活里。

Mike,你做得太棒了。非常出色的工作,我是你的超级粉丝。我们跳过 lightning round 吧。只有一个问题:听众能怎么帮到你?我喜欢回到那个关于在能力边界上构建的问题。你今天试图用 Claude 做什么,但 Claude 做不到?这是对我最有用的反馈。所以给我发私信吧。我喜欢听到那种,哦,它在这个任务上失败了。我让它跑了一个小时,然后崩了。我想用 Claude AI 做这件事……然后收到了一个人的消息,他说,你们刚做了一个项目的 API,我每天都在用 Claude,因为我想自动上传所有这些数据。我说,太好了。我爱听这些。告诉我哪里不行。太棒了。Mike,非常感谢你来参加节目。谢谢你邀请我,Lenny。大家再见。非常感谢你的收听。如果你觉得本期内容对你有所帮助,可以在 Apple Podcasts、Spotify 或你常用的播客应用中订阅本节目。另外,也请考虑为我们打分或留下评论,这确实能帮助其他听众发现这档播客。你可以在 lennispodcast.com 找到所有往期节目,或了解更多节目信息。下期再见。