我认为模型随着时间的推移会变得越来越不同，而不是越来越相似。我仍然觉得，在 AI 是否已成为大多数人工作中不可或缺的一部分这个问题上，我们才刚刚起步，而我认为答案是否定的。关于 DeepSeek 这件事，人们似乎很惊讶那里有一流的研究团队，但如果你一直在关注，这一点本不该令人惊讶。我认为，如果说我们有什么不足的话，那就是在两个方面投资不够：一是第一方产品的迭代速度不够快；二是在 API 方面……
Mike，老兄，我太激动了。我刚才 literally 出去散了个步，把过去一年里你做的每一期节目都听了一遍。所以我之前跟你说过，我不想一上来就问那些“你是怎么进入科技行业的”之类的老生常谈。我想从一个非常棘手的问题开始：今天我作为一名风险投资人，必须判断未来价值在哪里，而我看着今天的世界，心里没底。所以我想问你的是，展望未来，在我们即将面对的 AI 驱动的十年里，价值将在哪里产生？我觉得这是个好问题。创业者经常问我一个类似的问题。你知道，我从纯粹自己创办 startup，到现在经营一家 partly 在帮助催生新的 startup 或者助推它们发展的公司。他们经常问的是：我能做什么，才不会和 Anthropic 或者其他这类实验室撞车？我没有完美答案，因为这就像水晶球一样。我的感觉是，最终最有价值的位置在于那些你拥有差异化 GTM、对某个特定行业有差异化认知，或者拥有只有你才拿得到的特殊数据的地方——ideally 同时具备其中两项甚至三项。所以那些身处金融、法律、医疗等垂直领域的公司……我是说医疗，我接触过之后发现它真的是一团极其复杂的乱麻。前期那些工作并不性感，实际上也不是你在 accelerator 里或者短时间内能真正完成的，但那些跑腿功夫、那些基础工作是有价值的。我认为这些地方是产生价值的持久阵地。然后你可以处在一个能吸收 foundation models 优势的位置，如果需要可以做自己的 fine-tuning，也可以做自己的 AI 应用或类似的事情。但能让你站稳脚跟、长期保持竞争力的，是你能向这些地方销售产品，你对这些地方有独特的理解，并且随着部署时间的推移不断变得更好。你说到那里的基础工作，又提到差异化的 GTM 和差异化的数据池或数据源。下一代 AI 浪潮会更惠及那些已经拥有这些资源、能够落地 AI 的现有 vertical SaaS 公司，还是更惠及那些在这些领域里自下而上全新创立的公司？哪一方受益更多？这是个好问题。我认为最高层面上，两者皆有可能。AI 和产品设计的关键在于，你必须跳一支非常微妙的舞蹈：既要展示未来，又要想象模型目前在边缘能力上能做到什么。因为你希望为三个月后它们将达到的水平做设计——事情发展得就是这么快——但又不能过度承诺、交付不足，因为那非常破坏信任。如果你是初创公司，你可以稍微多承诺一点，因为人们在试探你，早期采用者有一种更愿意参与的意愿。但如果你是一家现有的 verticalized SaaS 公司，你说我们加了 AI，结果人们一试，发现并没有那么好，或者“我以为它能做所有这些事”，又或者“你说它能做 30 件事，结果只做了 2 件”，那就难办多了。我认为这两类群体面临截然不同的挑战：对于前者，你已有成熟产品和既定用户行为，你想要滑向冰球即将到达的方向，同时又不疏远现有客户——我觉得我们可以深入聊聊，这里有一些不错的模式；而对于初创公司，你可能还没有数据，需要争取最初的灯塔客户，或者你还没有关系，你只是假设 AI 会在某个行业或垂直领域产生影响，然后你的差异化不是已有的关系，而是描绘未来，并想办法在愿意押注你的公司内部快速交付价值。你提到初创公司应该为模型未来的能力而建设。现在是个非常具有挑战性的时期，初创产品的质量在很大程度上由模型的质量决定，而模型的变化可能会 seismic 地改变一家初创公司的产出，无论是编程软件还是法律平台，whatever that is。那么初创公司应该为今天已有的能力而建设，还是应该为我们可以预见到的未来能力而建设？这个问题非常好。我听很多人说过，我的初创公司直到 Claude 3.5 Sonnet、或者说第二个 Claude 3.5 Sonnet 出现才真正成立。但我从创业者那里听到的是，这家公司直到这次模型突破才真正成其为公司——准确率从 95% 上升到 99%，现在对这个行业来说已经足够好了；或者对某些人来说是从 70% 到 90%。一旦获得这种代际飞跃，情况就会改变。那么如何判断那个临界点呢？很多时候，创业者在某个领域里撞得头破血流，无论是帮人写代码、做法律分析，还是我之前提到的医疗领域。他们用多个工具拼凑出来的方案——这个词可能贬低了他们——实际上是精心组装的版本，要么因为需要 Opus 级别的模型而在价格上缺乏竞争力，底层业务支撑不起，但这仍然值得做，因为当新模型到来时，你不是从零开始。所以那些真正从模型代际跃迁中受益的公司，并不是某天突然冒出来说“哇，听起来 Claude 3.7 Sonnet 能做这个”的公司，而是那些一直在撞墙的人。我举 Cursor 为例，有人给我看过 Cursor 创始人们在 Hacker News 首页上的投稿列表，它最终冲出来了，但那不是他们的第一个产品，也不是他们的第一次迭代。他们一直在尝试、一直在坚持，我不知道具体多久，但这不仅仅是被某个模型快速赋能的结果，而是来自在那个领域积累上下文、积累知识、积累关于什么行什么不行的经验，这样模型才能把你解锁。所以简而言之，不要干等着模型完美，要在这个领域探索，要对当前这一代模型感到沮丧，然后非常积极地去试用下一代，这样你才能感觉到，你终于能交付你脑海中一直设想的东西——只要模型再强那么一点点。老兄，我必须问你。你提到了差异化的 GTM、差异化的数据，然后你又说，哇，你知道的，发布太多了，来得又密又快。我不知道该怎么说，如果这不是一场差异化数据的比拼，模型层还有价值吗？还是说这是一场差异化 GTM 的比拼？你怎么看待这件事？我认为在模型层，尤其是在 foundation model 层，有几个不同的维度。我想到三个值得长期投资以占据市场一席之地的方向。第一是人才。我知道这很难量化，到底什么是人才，什么是人才密度。但人才吸引人才，对吧？你会成为一个吸引点，尤其是围绕一个 cohesive mission、一个关于你为什么在做这件事的故事而聚集的人才。我在 Anthropic 绝对看到了这一点，我很爱我们的研究团队，感觉每个月都有重要的新成员加入，可能来自其他实验室，也可能来自学术界。所以这是一种你需要培养也需要维持的优势，因为人才显然是自由个体，他们可以做自己想做的事，所以你必须维持最初吸引他们的东西。这很重要，因为要保持在前沿，需要的不仅仅是重复做同样的事，还需要弄清楚正确的突破点在哪里。第二是，我认为模型随着时间的推移会变得越来越不同，而不是越来越相似。当然，人们会关注很多相似的 benchmark，但 Claude 有某种 Claude 的特质，GPT 也有某种 GPT 的特质，它们各有优劣。这既体现在性格、语气上，也体现在那些模型真正擅长的领域。对我们来说，显然编程是我们主攻的一个非常大的垂直领域，这不是偶然，也不是我们说“太好了，它擅长代码，那就继续凑合擅长代码”就行了的。而是看到这种 traction，看到现在有多少公司依赖 Claude 模型来做代码或者 agentic 规划，这会激发你在 reinforcement learning 上下一代想做什么。所以第一是人才，第二是专注，以及随着时间推移你会更深地打磨出的模型特性。第三是，DeepSeek 出来的时候很多人问我，这对你们意味着什么？我认为在技术层面，我们可以从他们在做的事中学到一些东西。但从 GTM 和市场定位的角度来看，它几乎没什么影响。因为最终我们和企业建立的关系，并不是他们冲着 API 来的，不是想以某个费率把 input tokens 兑换成 output tokens。实际上是说：嘿，我想成为你长期的 AI 合作伙伴，我想和你的应用 AI 团队共同设计产品，我想和你一起大胆想象，我想考虑的不仅仅是你的 API，还有 Claude for Work。所以这就更像是在经营一家公司——我知道这听起来很老套——但你提供给人们的是 AI partnership，而不只是 AI 模型。也许反过来想想失败模式会更有帮助。失败模式就是 resting on your laurels（躺在功劳簿上），或者没有留住最优秀的人，只相信把模型做得越来越好、在每个 benchmark 上都进步就足够了，然后把 API 仅仅当作用钱换智能的交换方式，却没有想清楚如何成为那种 AI Partnership。如果你做不到这三点，我认为你就麻烦了。我确实想稍后深入聊聊编程这个元素。但我现在必须问，当我们审视当下的进展障碍或壁垒时，你认为最大的障碍是什么？因为这一点上，不同的人给了我完全迥异的看法，无论是 Alex Wang，还是 Groq 的 Jonathan Ross。障碍是什么？是计算、数据、算法？最大的障碍在于，让模型训练的环境越来越贴近现实世界的挑战，而这些挑战往往不是单次的。我知道 Alex 也在思考这个问题，因为我们聊过 agentic 行为的 evals，这只是我说的那个更宏大问题的一个非常具体的版本。也就是说，即使在软件工程领域，软件工程师的工作不仅仅是写代码，而是要理解需要做出什么，和产品管理同事一起敲定时间线，深入理解需求，深入理解用户场景，然后还要以一种可以测试、迭代、并在另一端获得用户反馈的方式交付成果——如果他们做的是某种面向公众的产品。这很难，没有对应的 eval，对吧？有趣的是，我们把最常见的软件工程 benchmark 叫做 SWE-bench。但实际上，作为一名软件工程师，远不止“我看了一个 PR，我生成这个 PR，提交，然后你接受或拒绝”这么简单。所以，构建更贴近现实的环境和评估，是我们非常关注的。在 Anthropic，我们还会思考 office professionals 这个群体，这是未来可能会被这些模型极大放大的用例之一，但目前还没有人真正很好地评估这一点。研究领域我们开始有了一些更好的评估，比如极其复杂——我是褒义地说——的 Humanity's Last Exam，它非常强调多步推理。但还没有这样一种评估：我来到一份新工作，快速理解自己的角色、组织里谁是谁、人际关系如何映射、需要额外信息时该去哪里找，然后进入业务运转的 run loop。这是一个很难捕捉的环境。所以对我来说，最大的障碍在于 figuring out 我们如何更好地把这个问题拆解成组成部分——这可能是答案的一部分——但也要整体性地思考它，这至少是某一层进展的最大障碍：模型如何从在某些极端细分领域极其擅长，变成更通用的、有帮助的协作者。在我们深入聊那些专业产品之前，从数据角度说，我最近和来自 MC 的 Ad Dason 聊过，他显然刚完成了新一轮大额融资。我问了他这个问题，现在也想听听你的想法：展望未来，模型中的数据会是什么样的？会有越来越多相互叠加的 synthetic data，还是人类数据将继续作为驱动模型进步的主要数据来源？你怎么看？我认为，要让模型进步，你需要一个方案：如何先用原始的人类数据给它打底，然后生成各种 synthetic environments，让你能在其中进行 pathfinding 和探索。Claude 这周一直在开心地玩宝可梦，这对我们自己的研究和工程团队来说，是个挺好但也挺搞笑的时间消遣。大家问：“都在干嘛呢？”“哦，我们在看 Claude 玩宝可梦的直播。”但我觉得游戏是个有趣的例子，你可以想象在同一场游戏里有很多不同的通关路径，外加一些约束和规则。当问题空间不如“你有没有走出常青森林”那么明确时，这就难多了。我从来没玩过宝可梦，看直播才学的。但即便如此，能够走所谓的 golden paths，同时也能综合多种不同的通关方法，仍然很重要，这样你才能思考模型如何在不确定性中进步。所以我认为这绝对必须是混合的。最好的模型将来自这种结合。比如对代码来说，就是要有良好的代码基础、好的范例，同时还能探索非常广泛的路径。另一个我认为仍然被低估的方面，是如何衡量、评估，并为模型的 character 获取数据。我要用一个很随意的词：vibes。就是说，使用一个模型到底是什么感觉？在我们真正坐下来用它之前，我们其实并不知道。从某种角度来说，这是个挺好的特性，因为它意味着有一种非常 qualitative 的、近乎人性的特质；但这也意味着你无法对它进行良好的 regression testing。比如有时候我们从 Claude 3.5 升级到 3.7，人们会说：“哦，Claude 似乎更友好了，但更简略了”，或者“Claude 似乎更愿意回答我的问题了，但我希望它在创意写作上更好”。这些东西不容易被评估，这就回到了数据的问题。所以我认为，既要能有关于这些更软技能的数据，也要有对应的评估，这一点很重要。你知道我觉得什么很奇怪吗？我觉得很奇怪的是，我们现在居然能选择模型。你可能会说，那是当然，因为它们内部有专业化分工。但当你把自己投射到三到五年后，我认为你不会再选择用哪个模型，这就像选择用哪个 Google 一样。我完全错了，还是我完全没抓住重点？不，我很喜欢一个概念，你知道，我的背景是人机交互（human-computer interaction）。你可能听过 leaky abstractions 这个词，对吧？就是作为软件构建者，我们试图把所有复杂性完美封装在某个小 shell 下面，用户不需要思考任何这些东西。但现实是，目前大多数 AI 产品设计的状态是一种极其 leaky 的 abstraction。比如不得不选择模型——为什么你要选 Opus、Haiku 还是 Sonnet？大多数人并不理解区别，对吧？或者你去 OpenAI 的 dropdown selector，里面有很多模型，每一个都有存在的充分理由，但整体体验却是：我为什么要选这个而不选那个？哦，这个功能这里有，那里没有。我的意思是，我们也有这个问题。所以模型选择是第一个问题。第二个问题是，一旦你理解这些模型是如何构建的，你知道，它们会累积上下文，有多个 turns，每一轮实际上都会重放完整上下文，这样它才能做出下一次推理。这导致的结果是，每次对话都是不同的。我总会想到，当你和同事聊天时，你们可能有不同的邮件线程，但背后仍然是同一个同事。如果你提到他们最喜欢的球队，或者你们一起做过的项目，他们不会说“哦，我不知道你在说什么”，或者“我得去检索一下我的记忆”，而是有一种共享的底层背景。但现在我们却 forcing people into 一种对模型的理解，我觉得我们不该让用户需要理解这些。最后一个是 prompting。尽管情况已经进化了很多，我们也做了很多工作，比如如何把简单的人类 prompt 翻译成对模型最优的版本，但我想让这件事对用户完全透明，让他们不需要去操心。如果模型对问题不清楚，或者需要更好地理解，那它应该通过对话来澄清，而不是让用户去看出一个极其擅长 prompting 的人和不擅长的人之间的区别。这个 gap 每一代都在缩小，但我认为我们需要把它进一步抹平。你怎么看待模型质量和 UX 之间的关系？如何优先排序、如何思考这两者及其关联？你现在已经不能把这两者分开了。作为一个 UX 设计师——我刚在打电话前参加了一个产品评审——我想起了以前在 Instagram 做产品设计的场景：像素、一些 synthetic data 或者真实数据，我们把我的信息流重新排版成我们提案的 UX。但那里面没有那么多 non-determinism。你把它发布出去，也许人们会以某些方式使用它。但如今，设计师、产品经理，尤其是工程师，需要这样想：我实际上是在围绕一个 fundamentally non-deterministic 的系统设计脚手架和产品。这意味着评估、模型质量、后端的 prompting，全都是产品设计的一部分，会直接产生 implications。举个例子，你可以 prompt Claude 是否要问跟进问题，这在产品的某个部分可能你想要，但在另一个部分不想要。又或者你可以 prompt Claude 花更长时间思考一个问题，做更多 reasoning，或者不要。这些都是你在产品设计前期就要做的决定，它们会在实际产品中体现出来。另一方面，我们之前提到过，作为一个初创公司创始人，或者做经典 B2B SaaS 的人，你需要 triangulate：模型现在在哪里、它们将往哪里去、用户需求是什么，把这三者结合起来。产品设计也是如此。你要 hopefully 在前期做 evaluations，看看你要做的事在当前模型下是否可行，或者至少留意它们可能发展到哪里。但模型在变化，产品在变化，如果你没有良好的评估框架，甚至 regression testing 这些评估，你可能最终会发布一个产品，三个月后人们说：“哦，这个产品以前挺好的，但不知道发生了什么，现在达不到目的了。”而你却搞不清这三个因素里哪个变了：是模型变了？产品设计变了？还是引入了不同的功能？system prompt 变长了？这从很多方面来说，是我做过的最复杂的产品开发工作。我在伦敦采访了 OpenAI 的 Sam，他说他们作为初创公司的一个乐趣是可以更快地发布东西，不需要完美，先交到用户手里。而挑战在于，随着公司变大，每一次发布都承受越来越大的重量和压力。你怎么看这件事？先发布，不需要完美，让用户拿到手；而现在 Anthropic 是一家拥有数百万用户的庞大公司。作为产品负责人，你怎么看待这种平衡？我经常思考这个问题，尤其是因为你有不同的界面、不同的受众，他们对稳定性的期望，以及对处在 cutting edge 的渴望是不一样的。比如 API 产品，人们看重的是可预测性、稳定性，以及可以选择更面向未来的东西的权利。所以这可以是一个非常 opt-in 的事。我记得我们推出 prompt caching 的时候——这能帮人省下一大笔成本——最初是通过一个 beta header 做的，你必须主动 opt in。我们在 API 上做的很多事都是这种形式。但如果你对面向客户或更大众的产品也这么做，那就很 lame 了，你得让人们 opt in，或者其实你应该能够逐步迭代发布，和用户一起实验。你不想完全破坏他们的体验，但你会有更多的许可空间。然后我们还有那些在企业中使用 Claude for Work 的企业客户。我认为 AI 在企业中的落地目前仍然是一个早期采用者产品，所以你可以比那些——我不知道 Salesforce 一年发几个版本，但很多这类公司一年就发两三个，而且通常是围绕某个大事件来发布——我们离那还远着呢，我们仍然发布得相当快。但说实话，我们仍在寻找平衡：是每月发布一次？还是尽可能频繁地 ship？但还有 admin toggle 之类的东西会增加复杂性。所以这是个好问题，我得说，这是一个 active topic of conversation：我们可以多快、以多 raw 的状态 ship，因为我们想把东西带到世界上，你不知道它们会被怎么接受，你想学习。但随着你积累了一定知名度，或者说人们开始依赖你的工作流，你就不能完全 willy-nilly 地对待这件事了。我们是不是正处于产品营销的噩梦之中？我的意思是，这周 DeepSeek 发了东西，这周 OpenAI 发了东西，这周 Anthropic 发了东西，MRA 十天前也发了东西，基本上每天都有新发布，世界可能都变得麻木了。你怎么看待这件事？这又如何影响你对产品发布和 messaging 的思考？是的，我是说这和 Instagram 时期比起来复杂多了。你知道，那时候你必须留意的“大石头”都是提前很久就知道的：别在 WWDC 那周发任何东西，那会是一连串的发布；九月的 iOS 发布会；可能还有别的什么大事件，比如假日季。从产品营销的角度，那容易多了。而现在这让我想起一点像 Crossy Road——你说，好了，车开过去了，有空隙了，明天发吧；或者现在挺好，但等等，我们听到有个传言。这难多了。我也听其他 labs 的朋友说，所有人都在试图 read the tea leaves，比如：好了，现在安静吗？可以发了吗？还是我们下周二再发吧。所以难多了，这需要完全不同的方法。我很感谢，literally 要感谢我们的产品营销团队，因为他们不得不调整方向，比如说我们周一要发 Claude 3.7 Sonnet，我们在周日晚上 9 点就锁定了博客稿件。
Mike：从营销角度来说，这并不是最佳实践。要知道，我们周日那天就在向记者做简报，周日，感谢那天通过电话帮我们的各位，但这么做确实是对的，因为那才是所有事情都完成、就绪、敲定的时候，我们可以直接推进。所以这确实需要那种快速反应和灵活应变的能力。我是说，就连发布模型时也一样，你知道，有 model card、有 evaluations、有对比表，而那张对比表里有些东西是前一周才发布的，对吧，比如 Grok 3 就是一周前刚出的。所以这完全涉及当那些模型发布时会发生什么。当 Grok 3 发布时，玩笑归玩笑，Anthropic 和 OpenAI 的每个人都会想“靠，他们又打败我们了”，还是“靠，我们赢了”？是的，我觉得这需要……你知道，我试图在团队里做的一件事就是提醒大家，模型发布总会发生，在任何给定时刻，你都会经历那种“完了，又回来了”的循环。在 AI 领域你必须习惯这种循环，不能因某一次发布就太沮丧，因为确实如此，这是不可避免的。有时候你很幸运，你发布的模型或产品在两三个月内仍然在你真正关心的所有方面保持最先进水平；有时候只持续一周。你不能对任何一种情况反应过度，不能躺在功劳簿上，也不能因此消沉。我觉得真正有用的是，我几乎在每个销售环节都会展示一张图表，就是从 Anthropic 成立到今天的时间线，以及各个里程碑。在任何给定时刻，你都可以说，哇，Claude 2 好像落后挺多的，哦 Claude 3 是最先进的，然后不，又不是了。你得看整体轨迹，相信自己会持续改进，这是第一点。第二点是提醒自己，如果仅仅因为某个 eval 变化了一点点，所有人每天都换模型，那作为软件提供商，对你的用户群来说简直是疯狂的行为。而且如果那样做，这个行业久而久之会变得更加疯狂。随着时间推移，你会发现人们并不只是部署模型，他们还会做 fine-tune，或者他们部署模型之外还做了大量定制化工作，让那个模型在特定用例下表现优异。这不是一夜之间就能换掉的东西，或者你只是模型选择器里的三四个选项之一，比如在编程环境中。所以你仍然留在牌桌上，仍然有机会。但这确实需要……我不知道是该找到那种冥想式的 zoom out 视角，还是只是习惯那种颠簸，或者两者结合。但这确实是每次有模型发布时，我敢肯定每个实验室的人要么在看直播，要么在看数据，然后要么觉得“还行”，要么觉得“好了，我们现在有得忙了”。我认为品牌是最重要的，顺着你的话说，人们并不是每天都在换，他们有点像“我是 Claude 的人”或者“我是 ChatGPT 的人”，他们已经开始认同自己的模型了。你同意这个说法吗，还是觉得太轻率了？我不觉得，我认为这是对的，而且在 consumer 端尤其如此。你知道，我刚读了 Ben Thompson 的文章，他经常请 Nat Friedman 和 Daniel Gross 上节目，他们谈到有些人是 Claude 用户，有些人是 ChatGPT 用户。我觉得这确实会发生，你喜欢它的个性，你喜欢界面设计，你喜欢那种 vibe。话说回来，这让我想起很多年前我们和 Snapchat 以及 Instagram 之间的有趣来回。甚至在那之前，人们会推出新产品，说是 Instagram 但只针对高端摄影师，或者带某种额外 twist，或者一天只能发一张照片，比如 BeReal。我当时有个假公式，显然我不是数学家，Anthropic 才是，但那个公式是：社交网络由你产品里的 format、受众和 vibe 组成。对 Instagram 来说，我们有 Stories，有 Feed，后来还有视频。受众方面，最初是潮人摄影师，后来扩展到任何对视觉叙事或视觉媒体感兴趣的人。但 Instagram 的 vibe，即使当我们的产品功能和 Snapchat 甚至 Facebook 更相似时，vibe 也非常不同。我不知道 AI 产品的那个假公式是什么，但我觉得是某种类似的东西，其中模型个性可能是其中之一，产品围绕它的脚手架和预设性可能也是其中之一，然后是 vibe。再说一遍，这很难衡量，但绝对存在。当我们有这么多不同的模型和提供商时，开源是一条非常可行的路，而 distillation 被视为有点 shady 的做法。如果 distillation 最终能推动整个领域前进，那它真的错了吗？甚至在实验室内部，我假设每个实验室都在使用……即使在内部，能够把你最顶尖模型的知识提取出来，让它延迟更低、更便宜等等，这个循环也很有价值。总的来说，我觉得这里有几个有趣的点。第一，我们是否希望任何国家都能随意从其他模型 distill？我的个人答案是否定的。我认为，随着 AI 能力提升，甚至从国家安全角度深思熟虑，是有价值的。第二，要让进步以当前速度发生并长期可持续，你确实需要实验室能够将所有训练和创新成果商业化。我认为找到适合长期的正确模式很重要。像 Llama 这样的开源模型，它们是通过自己的研究视角、数据摄入和训练做到的。所以我想说，distillation 对于解锁这些东西来说似乎并非必不可少，而且还会带来其他问题，甚至仅从 terms of service 角度看也是如此。这是否表明模型本身没有价值，所有价值都在数据里？如果 Facebook 愿意免费送出 Llama，是因为他们知道没人能复制他们拥有的数据，是这样吗？我认为这是个好问题，Llama 的质量是否得益于他们可以……我不知道他们有没有明说，但他们显然可以在 Instagram、Facebook 等数据上训练。Gemini 是否因为能在 YouTube 上训练而更好？其实 Gemini 从中受益更明显。比如每当他们做一个不错的视频理解 demo 时，我就会想，嗯， somebody 拥有世界上最大的视频库之一，很可能可以在大量视频片段上训练。而在 Facebook 这边就不太明显，我从未听人说，天哪，Llama 特别擅长生成适合社交媒体传播的内容。它看起来就是一个不错的通用模型。所以回到我们之前的对话，价值完全在于你的团队有多优秀，在于你是否拥有所需的基础数据，但还在于你的模型在实际用例中有多好用，这才是最高优先级的考量。我几乎希望自己一开始就说这个，因为 evals aside，evals 对内部研究和 hill climbing 非常有用，但它们讲不清楚模型是否会在它需要擅长的方面表现出色，或者即使它在这方面很出色，是否只在非常狭窄的情况下出色。又或者，作为实验室之外的创业者，你能否依靠这个模型成为你在那个产品里的代表。所以是的，我认为对实验室来说，价值在于团队，在于模型在现实世界中执行正确动作的能力，而不会有太多 non-determinism 导致它变得不可靠。关于这个我再问一个问题，不是陷阱题，但我跟 Alex Wang 和 Poolside 的 ISO 聊过，他们说我们严重低估了中国在 AI 上的能力。你同意我们低估了它吗？是的，我认为 DeepSeek 这件事让人们似乎很惊讶中国竟然有前沿研究团队。如果你一直在关注，这部分本不该是令人惊讶的。你知道，我们很早看到 Instagram 在中国被封锁，然后我们看到一个平行世界的创业公司涌现出来。如果你把 Facebook 和 Instagram 拿走，会发生什么，会出现什么？这些产品往往质量很高，展现出很多创造性思维，而且也是大规模构建的，它们解决的技术挑战规模与 Facebook 面对的挑战相当。所以绝对地，低估或继续低估中国在前沿训练方面的能力，尤其是如果他们获得算力访问权的话，以及在那里持续创新的能力，将是一个错误。我认为这是一种非常以西方为中心的视角，我在更传统的软件领域也见过，好像还停留在九十年代或两千年初的看法，觉得“哦，他们只是在复制别的地方已经成功的东西”。有些产品我认为采取了差异化的视角，在中国市场内部成长，有时还会向外扩展，TikTok 就是一个有趣的例子。另一方面，在进入 verdict 产品之前最后一个问题，DeepSeek 有没有促使你重新思考或改变你们的推进方式？从架构角度有一些点，我不会替研究团队发言，因为他们……他们肯定会深入研究，觉得“哦，有意思，这值得我们考虑”，或者一些曾经考虑过、也许值得重新评估的想法。所以有这个层面。另外，我们原本的计划就是在发布 reasoning model 时展示 Chain of Thought，所以这不是重新考虑的结果，但也许有趣的是看到别人先做了，里面有一些用户界面细节，我觉得 Grok 现在也在他们的产品里做了。所以好奇这会如何演变。回到你的 distillation 问题，这可能也是为什么更多实验室选择不展示或以后设法 obscure Chain of Thought 的原因之一。从产品角度还有另外两点。我认为关于 DeepSeek 有一个被低估的方面：我觉得他们从不为人知到在很多圈子里 frankly 比 Claude 还有名。Greta 都给我打电话问 DeepSeek，我没开玩笑，那种陈词滥调竟然真的发生了，她问我“你觉得 DeepSeek 怎么样？”我说，太好了，它破圈了。你觉得他们做到了什么，是 Claude 没做到的？我觉得当然现在世界政治有很多关注点，叙事变成了“这便宜得多”，不管那是否完全属实，或者“哦他们 figured something out”，这就是一个 story。坦白说，我跟我们的营销团队也聊过这个，我觉得我们在对外讲述 Claude 的故事方面做得还不够好，没有说清楚有什么不一样，或者值得注意的是，到 Claude 3 为止，我们用一支比其他任何实验室都小得多的团队，在前沿训练了一个最先进的模型。而且我觉得我们训练时的算力使用一直很高效。所以我不知道，我觉得那个故事不管是不是他们自己讲的，还是媒体替他们讲的，因为本身确实是一个非常 compelling 的故事。那个时刻的独特性占了很大一部分，而且尤其是，现在是一月，新总统上任，中美关系，非常契合那个时刻。所以这起到了很大作用。第二点在产品上，他们从没有产品到有了一个 iOS 应用，里面其实有很多不错的细节。对我来说，这就像一个……我想说 nudge，但其实比那更强，像一个 shove，促使我们更快地让一些想法上市，而不像你之前问的，不那么纠结于每种情况下的精细打磨，而是愿意先放出去、去学习，因为有时候体验本身的新奇感就是有价值的。那是大多数人第一次体验那种 live Chain of Thought，这很有意思。我希望我们更早做了这个，因为让人们体验到那种新奇感会很有趣。你看使用率，看到新兴市场用户留存，而西方市场完全没有，你怎么看待它们作为持久可信的威胁？他们已经达到了某种知名度，这种知名度能给他们带来某种持续的……在留存方面的持久力。我觉得我们现在做的所有这些 AI 优先的、实验室生成的产品，即使六个月或一年后，都还只是在问问题，偶尔有点主动性。我不认为这在长期是差异化或有趣的。它应该是：因为我用了 Claude，或因为我用了 DeepSeek，或任何这些产品之一，我现在能独特地做某件事情，它为我解锁了数小时的工作，让我更聪明，让我成为生活中重要人物更好的伙伴。它必须超越那种表面层面的 utility。有些人在更深的层面上发现了价值，没错，那些人才是你现在的 DAU。但对很多人来说，他们会试试，用它写首诗，给儿子的信，这些都能提供一时的价值，但我仍然觉得我们在第一天：AI 是否已成为大多数人工作中不可或缺的一部分？我觉得对大多数人来说答案是否定的。所以我认为 DeepSeek 和我们所有产品的持久力，将来自于谁能做到这一点，并长期可持续地做下去，拥有正确的产品设计、正确的集成和正确的部署方式，从而真正成功。谁能够构建这些产品，这也是我作为投资者的大问题：模型提供商何时会进入应用提供商领域？我很想听听你的想法，什么条件足够吸引你投入资源成为应用提供商，而不仅仅是模型提供商？我看的两个主要标准是……因为对我们 Anthropic 整个团队来说虽然很大，我想我们超过了一定人数，我们的产品团队可能只有十分之一，按 Instagram 第二年的标准算很大，但按大型 SaaS 公司标准算很小，我们介于所有这些之间。而且我们要支持很多不同平台，我们有 Claude Code，有 API，有 Claude，有 Claude for Work。所以通用性非常重要。即使我们选定一个 persona 或垂直领域，我们原则上也会构建 general purpose 的东西，也许在用户层面有些专业化，但我不预计我们会构建很多高度垂直化、针对特定工作流或用例定制的体验。我觉得那是……
比如翻译、转录、客户服务，这些是水平化、同质化的事情，看起来正好在你们的路径上？我觉得是，除了我认为有很多有价值的工作流知识，这意味着你可以长期保持差异化产品。比如，如果你是个重度用户，也许是吧，但如果你不是翻译，而是你妈妈，可能一个月用一次来处理偶尔需要的东西。对，我觉得在那个角色上……我们能帮你翻译这个，从个人用户角度让你每月付 10 美元订阅，这感觉不太靠谱，因为模型在这件事上已经做得相当好了。也许你说得对，那里没有……如果你玩过 11labs 的 Console 和 Workbench，他们构建的很多功能显然是为那些翻译数小时内容、或需要整个工作流中保持统一 voice 的人准备的。Descript，我觉得 Descript 是 AI 领域产品设计最好的公司之一，他们显然在工作流上投入了大量时间。我用过一次来做个人播客，我就想，这明显是由那些日复一日沉浸在这个工作流里的人构建的。所以我觉得也许我们的观点可以综合一下：更专业的用例和工作流所解锁的价值是有价值的；而在 consumer 和 maybe 甚至 prosumer 端，从基本 AI 产品角度看，它已经足够好了。当你看今天你们真正擅长的事情，比如代码方面，这里有没有路线图去推出你们自己的 IDE 和 code agent？你从产品聚焦的角度怎么看这个问题？你知道，我们得谨慎选择赌注。我们内部先构建了 Claude Code，刚发布，作为一个命令行 agentic 编程工具，因为我们只是想加速自己的团队。观察了几个月后，我们觉得这东西不错，它不能解决所有编程问题，也不会取代 IDE，但在足够多的场景下对我们足够有用，所以我们想看到真实世界的人使用它。然后……外部发布从来不是免费的，你得给它起个名字，找到合适的包装，还有 go-to-market 的工作。所以我们谨慎行事。我认为以今天的模型水平，你仍然需要 hands-on keyboard，仍然需要这种交流：嘿我做了这个，对吗？对，我们往这个方向推进；太好了，提交个 PR 吧；不，我们走了一条错路，让我们 metaphorically 把栈 unwind，也许还有实际使用中的 unwind，然后继续前进。这就是为什么我觉得在 IDE 和 full-on cognition Devin-like 完全委托任务之间，存在一个中间角色，可以用于某类任务。我们的产品工程师喜欢 Claude Code，因为很多产品工程就是：我们要更新后端，要做前端，要提交翻译，要做这个，哦这还不行，我再改改。就是那种端到端构建产品的流程，适合能跨很多不同事物 agentically 工作的工具。我上周做了两个 PR，加入 Anthropic 后就没写过代码了，这让我很难过，所以我终于用了 Claude Code。我以前从没打开过我们的代码库，不太知道结构是怎样的，但 Claude Code 很擅长找到有对应代码片段的文件，然后继续编辑。显然不是每个人都处在我的情况，但在这些用例下真的很有价值。所以当我思考我们在编码领域可以扮演什么角色、可以增加什么价值时，真的在 agentic 这边，不在 IDE 那边。有其他公司每天醒来和入睡都在想怎么做一个伟大的 IDE，这涉及低延迟 autocomplete、正确的集成、怎么和 VS Code 插件生态共存，所有那些复杂性。那是很有价值的工作，和我们做的不同。我认为我们真正能参与的是和这些模型对话，在那种 agentic 循环里和它们做真正的工作，但要认识到它们还没达到在很多用例下能自由运行数小时的程度，你需要更多人类参与评估，你和模型一起工作。你们赋能了 Cursor、Codium、stat blits。我的问题是，当你坦率地看，就像你说的，这是你加入 Anthropic 以来第一次写代码，以及我们看到的开发者行为变化，你认为三五年后软件开发者的角色会是什么？是的，我觉得已经开始看起来不同了。我很早就大力支持 GitHub Copilot，我的 quote 曾经在首页挂了一段时间，不知道现在还在不在，因为我看到了潜力。然后在 GPT-4 出来之前，甚至在他们有 multimodal 之前，我试着用它写 Swift，我会画我试图为 Artifact 构建的屏幕的 ASCII 艺术，然后去煮咖啡，因为当时很慢，回来它就完成了 80% 的版本。显然现在用 3.7 Sonnet 之类的东西，会是 95% 到 99% 的版本。我觉得重要的技能之一是……我在找什么词……multi-disciplinary，就是知道要构建什么和知道具体实现一样重要。我喜欢我们工程师的一点是，很多好的产品想法来自我们的工程师，来自他们做原型。我觉得这对他们中的很多人来说就是角色最终的样子。第二点是 code review 真的变了，当你突然主要在评估 AI 生成的代码时。我自己也经历过，我提交了一个 PR，一些评论反馈是“Claude Code 有时候会这样，我们其实不用 default arguments”，我当时就想，靠。所以两方面都需要发生：一是模型和模型基础设施需要更好地从代码库和 code review 中学习，这样它们能生成对公司来说更地道的代码；二是我们如何进化，从主要写代码的人变成主要向模型委托任务和审查代码的人。我认为这就是三年后工作的样子：想出正确的想法，做正确的用户交互设计，弄清楚如何正确委托工作，然后弄清楚如何大规模审查东西。那可能是某种 static analysis 的回归，或者 AI 驱动的分析工具，检查产出物中是否有安全漏洞、其他缺陷、bug。Computer Use 在这里也有作用，所以你能看出我对这个领域很兴奋。比如 UI 的自动化测试。理想情况是，你委托任务，一年后，不，三年太疯狂了，就拿一年后说，你委托一个任务，回来时它说：我评估了三种方案，都测试过了，我让一个不同的 agent 在浏览器里试了，这个效果最好，我又通过一个做漏洞测试的额外 agent 跑了一遍，看起来都没问题，我们只需要帮你解决这一个问题，让我们审查这段关键代码，确保它确实是你想要的。那种感觉就像你突然更像个管理者和委托者，而不只是循环中的伙伴。你说三年听起来荒谬，一年更现实。我同意，我懂你。当我们看 scaling 的速度，产品发布的速度，development 的速度，我们现在感觉很快，回到我们之前的观点，我们会遇到 plateau 或 asymptote 吗，还是继续指数级进步？这是我经常想的问题。我年初审视了我们的产品开发流程，看我们在哪里用了 Claude，哪里没用。你会发现，Claude 在把初步想法变成 PRD 方面有用，在编码方面显然有用，在综合人们对产品的讨论、找出棘手的分歧点、推动对齐方面也有用。但决定到底构建什么仍然是最难的部分，这其实还是最好通过大家聚在一起讨论利弊，或者去 Figma 里探索再回来解决。所以就像任何动态系统，如果你优化了一个环节，突然别的什么东西就变成了瓶颈或关键路径。我认为对齐、决定构建什么、解决真正的用户问题、想出连贯的产品策略，仍然非常难，模型可能还要一年以上才能解决这个问题。这正是我非常看好至少 startups 能探索这个空间的原因，我记得 Instagram 和 Artifact 的日子，就那么几个人，对齐是一个下午喝咖啡的谈话，而不是驾驶一艘对客户有承诺的大公司那样。那仍然是一个非常人类的问题，我认为我们至少还要三年，模型才能在那个抽象层次上解决。最后一个问题，进入快问快答之前我必须问，我们提到了一些 M 产品以及构建它们。当你思考为消费者构建 M 产品与构建公司非常重要的 API 部门时，你如何思考这两者之间的平衡和取舍？我们能从每一方获得什么，我经常想这个取舍。我觉得 first-party 产品让我们学得更快。举个很具体的例子，Claude Code 内部部署一周内，我们就发现它拥有的某个 tool，模型用得不够好，这直接促成了 3.7 Sonnet 的改进。这就是内部 dogfooding first-party 工具直接带来下一代模型改进的例子。这种直接联系在 third-party 产品上要难得多，他们会告诉你哪里不对，但总有点距离。即使我们跟那些编程初创公司，包括你提到的几家，合作非常紧密，还是不一样。所以那里有很多价值。然后是粘性和忠诚度，我们聊过品牌和忠诚。我觉得对 consumer 来说，如果你能为产品建立品牌，比只做 API 更容易。我们赋能了很多这些编码产品，这对有见识的人是可见的，通常是下拉选择器里的默认项，如果你是圈内人的话。但不是每个人都知道，而且它仍然不是他们下载的、安装的、会推荐给他们家人的东西。但 API 也是让我们获得巨大分销的地方，我们不会发明每一家公司，从投资角度看，你能看到更多机会，不止一个 shot-on goal。所以从资源分配角度，这其实是一个相当平均的分割。我觉得如果有哪里投资不足的话，有两件事：一是 first-party 产品的迭代速度，这是我目前的 obsession；二是在 API 这边，我们如何构建超越 token-in token-out 的抽象层。每次我们这么做，都得到很好的反馈。无论是帮助模型规划并 agentically 工作，还是让模型构建更多 knowledge graphs 和公司内部运作的知识库，还是完善 tool use，还是理解非常大的 context 片段、拥有超越对话的 memory，这些都是我认为值得在 API 层面解决的问题，因为我们可以把训练端的经验直接映射到 API，并围绕它构建好产品。我是这样看待这两者的，但这是个新问题。在 Instagram 上很简单，95% 产品，5% API，那就是我们真正需要做的全部。在 consumer 端的 first-party 产品方面，你能做什么、会做什么来提高产品速度？我觉得有两件事。一是认识到我们之前在为实际上还处于早期阶段的产品运行大公司的剧本。即使公司有不错的 traction，API 业务表现很好，人们在使用 Claude、升级 Claude Pro，产品仍然处于早期，仍然是生死攸关、成败在此一举的阶段。所以我们需要以那种方式运作。这意味着更快地把对的人聚在一起，忽略组织边界。我觉得我们变得有点僵化了，“哦，这是这个团队的盘子，不是那个团队的”，“你这个季度做不了这个，因为不在那个团队”。我理解组织为什么会演变，有些是自然发生的，但我们现在负担不起。所以更多的是：谁是正确的人，让我们聚在一起，清除所有其他干扰，然后清空我的日历，让我花更多时间做产品审查和设计审查，而不是行政事务。DeepSeek 展示了约束的好处。西方公司，恕我直言，你和 OpenAI 钱太多了吗？我觉得我的说法是，我们产品的采用速度超前于它们真正的 product-market fit，因为它们仍然是接触模型的最佳方式，而我不认为那是可持续的。所以这不是可以高枕无忧的事。第二，我只是觉得我们没有服务好人们，因为我觉得我们还没做出对的产品。所以这就是我每天早上醒来要么焦虑要么受到启发的来源，取决于那天，我觉得我们在这方面还有很多工作要做。我喜欢。听着，我想来个快问快答，我说一个短陈述，你给我即时想法，可以吗？太好了。
OpenAI 比你们做得更好的地方是什么？他们更快地推出了 v1 版本，有时甚至超前于模型本身的水平。他们比你们做得更差的地方是什么？可能是 personality，以及他们构建的功能缺乏连贯性。你最尊重的其他模型提供商是哪家？
Open……对，我觉得他们在 first-party 产品开发和 API 之间做了平衡，人们在规模上使用他们的 API。而且我觉得……我们在 Instagram 有个原则是“先做简单的事”，我觉得他们经常先做简单的事。如果你能从头重建 Anthropic 的产品和栈，你会做什么不同？我喜欢这个问题。我也是，这是个好问题。我觉得我们去年构建的一些现在很有价值的东西，正在对信息架构造成……这听起来是很书呆子的描述，但基本上人们不应该去想 projects、artifacts、chats 之间有什么关系。我觉得真正重要的是：你是否有正确的 context 进入正确的对话，你是否总觉得知道在产品里下一步该去哪，以及 Anthropic 和 Claude 本身是否能成为指引你下一步最重要的工作是什么的有帮助的向导。这是一个不同的范式，而不是“我知道要创建一个 project，然后……”如果你精通这个，它是个 amazing 的产品，但中间有很多步骤。这是产品端的根本问题。在栈的层面，我是说 Claude AI 和 probably ChatGPT。