你在某处写道，创造强大的 AI 可能是人类最后需要发明的东西。Ben，我们还剩多少时间？我认为，现在有 50% 的概率会在 2028 年左右实现某种 super intelligence。你在 OpenAI 看到了什么？你在那里经历了什么，让你觉得必须出去自己做？我们觉得安全并不是那里的最高优先级。安全的理由已经变得具体多了。super intelligence 很大程度上关乎我们如何把神关在盒子里，不让它出来。我们正确对齐 AI 的概率有多大？一旦我们达到 super intelligence，再对齐模型就太晚了。我对出现 X-risk 或极其糟糕结果的最细粒度预测大概在 0% 到 10% 之间。现在有个新闻，Zuck 在疯狂挖顶尖的 AI 研究人员。我们受到的影响要小得多，因为这里的人收到这些 offer 后会说：“我当然不会走，因为在 Meta 最好的情况是我们赚了钱，而在 Anthropic 最好的情况是我们能影响人类的未来。”
你们的 CEO Dario 最近谈到，失业率可能会上升到 20% 左右。如果你想想 20 年后的未来，那时我们早已越过奇点，我很难想象资本主义还会和今天有任何相似之处。你对那些想提前做好准备的人有什么建议吗？我也不能免疫于被取代。总有一天，它会波及我们所有人。今天，我的嘉宾是 Benjamin Man。天哪，这场对话太精彩了。Ben 是 Anthropic 的联合创始人，担任产品工程的技术负责人。他把大部分时间和精力都花在让 AI 变得有益、无害且诚实上。在加入 Anthropic 之前，他是 OpenAI GPT-3 的架构师之一。在这场对话中，我们聊了很多内容，包括他对顶尖 AI 研究人员招聘战的看法、为什么离开 OpenAI 创办 Anthropic、他预计多久能看到 AGI、他用来判断我们是否达到 AGI 的经济学图灵测试、为什么 scaling law 没有放缓反而在加速、目前最大的瓶颈是什么、为什么他对 AI 安全如此深切关注，以及他和 Anthropic 如何将安全和 alignment 落实到他们构建的模型和工作方式中。还有，来自 AI 的存在性风险如何影响了他对世界和自身生活的看法，以及他鼓励自己的孩子学习什么以在 AI 时代取得成功。非常感谢 Steve Nich、Danielle Giglieri、Raph Lee 以及我的 newsletter 社群为这次对话提供话题建议。如果你喜欢这期播客，别忘了在你最喜欢的播客应用或 YouTube 上订阅和关注。此外，如果你订阅了我的 newsletter 年度会员，你将免费获得一年的一系列出色产品，包括 Bolt、Linear、Superhuman、Notion、Granola 等等。请访问 lenniesnewsletter.com，点击 bundle 查看详情。那么，有请 Benjamin Man。本期节目由 Sauce 赞助。团队将反馈转化为产品影响的方式仍停留在过去：模糊的汇报、静态的分类法、无法付诸行动的洞察，这些都推动不了业务指标。结果就是客户流失、丢单、错失增长。Sauce 是 AI 产品 co-pilot，帮助 CPO 和产品团队更快地发现业务影响并采取行动。它会倾听你的销售电话、支持工单、流失原因和丢单情况，实时呈现最大的产品问题和机会。然后将其路由给正确的团队，把信号转化为 PRD、原型，甚至是驱动收入、留存和采用的代码。这就是为什么 Whatnot、Linktree、Incident.io 和 Zip 都在使用 Sauce。某家企业通过它发现了一个产品缺口，解锁了 1600 万美元 ARR；另一家企业及时发现了一个激增的问题，避免了数百万美元的流失。你也可以，访问 s.app/lenny。Sauce 为 AI 产品团队而生。别掉队了。本期节目由 Lucid Link 赞助，这是一个存储协作平台。你已经做出了很棒的产品，但如何通过视频、设计和叙事来展示它，才让它真正鲜活起来。如果你的团队需要处理大型媒体文件、视频、设计素材、分层项目文件，你就知道跨地点保持有序有多痛苦。文件散落在不同地方，你总是在问：“这是最新版本吗？”创意工作因为等待文件传输而变慢。Lucid Link 解决了这个问题。它为团队提供一个云端共享空间，用起来就像本地硬盘。文件在任何地方都能即时访问，无需下载，无需同步，永远保持最新。这意味着制作人、剪辑师、设计师和营销人员可以用原生应用打开超大文件，直接从云端工作，无论身在何处都能保持一致。Adobe、Shopify 和顶尖创意 agency 的团队都在用 LucidLink 让他们的内容引擎快速顺畅运转。免费试用请访问 lucidlink.com/lenny。没错，是 lucidlink.com/lenny。
Ben，非常感谢你来到这里。欢迎做客播客。谢谢邀请。很高兴来到这儿，Lenny。我有无数个问题想问你。非常期待这次聊天。我想从一个非常及时的话题开始，一件本周正在发生的事。现在有个新闻，Zuck 在疯狂挖顶尖的 AI 研究人员，开出 1 亿美元的签约奖金，上亿美元的总薪酬。他在从各大顶尖 AI 实验室挖人。我猜你们也在应对这件事。我很好奇你在 Anthropic 内部看到了什么，你对这个策略怎么看？你认为接下来会如何发展？是的。我的意思是，我认为这是时代的一个标志，我们开发的技术极其有价值。我们公司发展得非常非常快。这个领域里的很多其他公司也发展得很快。在 Anthropic，我觉得我们受到的影响可能远小于这个领域里的许多其他公司，因为这里的人非常有使命感，他们会留下来，因为当他们收到这些 offer 时，他们会说：“我当然不会走，因为在 Meta 最好的情况是我们赚了钱，而在 Anthropic 最好的情况是我们能影响人类的未来，让 AI 蓬勃发展，也让人类繁荣发展。”所以对我来说，这不是一个艰难的选择。其他人有不同的人生处境，这对他们来说是一个困难得多的决定。所以对于那些确实收到天价 offer 并接受的人，我不能说我因此责怪他们，但如果它落到我头上，我肯定不想接。是的，我们待会会聊到你提到的很多内容。关于这些 offer，你觉得这是一个真实数字吗？这 1 亿美元的签约奖金是真实存在的吗？不知道你有没有亲眼见过。我很确定这是真的。哇。如果你想想个人对公司发展轨迹能产生多大影响，比如在我们这里，产品卖得极其火爆，如果我们的 inference stack 能获得 1%、5% 或 10% 的效率提升，那都价值连城。所以给个人支付上亿美元，比如四年总共 1 亿美元的薪酬包，相比为企业创造的价值，其实非常便宜。我认为我们正处于一个规模空前的时代，而且实际情况只会变得更加疯狂。如果你用指数曲线去推算企业的支出，资本支出（capex）大概是每年翻倍。如今全球整个行业在这方面的投入大概在 3000 亿美元左右。所以像 1 亿美元这样的数字只是九牛一毛。但如果展望几年后，再经过几次翻倍，我们谈论的就是数万亿美元了。到了那个阶段，这些数字简直难以想象。顺着这个思路，很多人在 AI 进展上有一种感受，就是我们在多个方面正撞上瓶颈，新模型似乎没有过去那些代际跃升那么聪明了。但我知道你不认同这一点。我知道你不认为我们在 scaling loss 上遇到了瓶颈。谈谈你观察到的现象，以及你觉得人们忽略了什么。这种 narrative 挺有意思的，因为每隔六个月左右就会出现一次，而且从来都不是真的。所以我真希望人们看到这种说法时，脑子里能有个预警雷达。我认为进展实际上是在加速的。如果你看模型发布的节奏，以前大概是一年一次，而现在随着 post-training 技术的进步，我们每个月或者每三个月就能看到新版本发布。所以我想说，进展其实在很多方面都在加速，但存在一种奇怪的时间压缩效应。Dario 曾把它比作近光速旅程——你这里过了一天，地球上已经过了五天——而且我们还在加速。所以时间膨胀（time dilation）越来越明显。我觉得这正是导致有人说进展变慢的原因之一。但没错，如果你去看 scaling laws，它们依然在持续成立。我们确实需要从常规的 pre-training 转向 reinforcement learning 的规模化，才能延续 scaling laws。但我觉得这有点像半导体行业，关键不再是单颗芯片上能塞多少晶体管密度，而是一个数据中心里能塞进多少 flops。所以你得稍微调整一下定义，才能盯住核心目标。不过，这确实是世界上少数能在如此多数量级上持续成立的现象之一。它居然还在继续，其实挺惊人的。对我来说，如果你去看物理学的基本定律，很多都跨不过 15 个数量级。所以这真的很让人吃惊，令人难以置信。所以你的核心意思是，新模型发布得越来越频繁，我们总在拿它和上一个版本比，就觉得进步没那么大了。但回想以前，模型一年才发一次，那次跃升就非常大。所以人们没意识到，其实只是因为现在迭代次数变多了。我想对那些说进展变慢的人稍微宽容一点。我觉得对于某些任务，我们正在逼近完成该任务所需的智能上限。比如说，从一个已经有表单字段的简单文档里提取信息，这太容易了，没错，我们已经做到 100% 了。Our World in Data 上有一张很棒的图表显示，当你发布一个新的 benchmark，大概在 6 到 12 个月内，它立刻就会被刷到饱和。所以真正的限制可能是，我们怎样才能设计出更好的 benchmark，以及更有野心地使用这些工具，这样才能显现出我们现在正在看到的智能跃升。这正好引出了下一个话题。你对 AGI 的定义有非常独特的视角。我觉得 AGI 这个词有点 loaded，所以我内部已经不太常用它了。相比之下，我喜欢用 transformative AI 这个词，因为它更少地去问「它能做得和人类一样多吗？它能做所有事吗？」，而是更客观地关注：它是否正在引发社会和经济层面的变革？衡量这一点有一个非常具体的方法，叫做 economic Turing test。这不是我发明的，但我非常喜欢。它的概念是：如果你针对某个岗位雇佣一个 agent，签一个月或三个月的合同，你决定录用这个 agent，结果事后发现它是机器而不是人，那它就通过了该岗位的 economic Turing test。然后你可以把这个概念扩展开来，就像衡量购买力平价或通货膨胀时会有一篮子商品一样，你可以设计一篮子工作。如果这个 agent 能通过大约 50% 按经济权重计算的工作岗位的 economic Turing test，那我们就拥有了 transformative AI。具体的阈值其实并不那么重要，但它很能说明问题：一旦跨过那条线，我们预计会对全球 GDP 增长、社会变革、就业人数等产生巨大影响，因为社会机构和组织是有粘性的，变化发生得很慢。但一旦这些事成为可能，你就知道一个新时代开始了。顺着这个思路，你们的 CEO Dario 最近谈到，AI 可能会接管很大一块——我不知道——也许是白领工作中的一半，失业率可能会上升到 20% 左右。我知道你在 AI 已经对职场产生多大影响这个问题上甚至更为直言不讳，而很多人可能还没意识到这一点。谈谈你觉得人们在 AI 对就业的影响方面，无论是未来还是当下，都忽略了什么？是的。从经济学角度看，失业有几种不同的类型。一种是因为劳动者不具备经济体所需工作对应的技能；另一种是那些工作被彻底消灭了。我认为实际情况会是这两者的结合。但如果你去想二十年后，那时我们已经远远过了 singularity，我很难想象资本主义还会和今天有半点相似。如果我们的工作做得好，我们将拥有安全且 aligned 的超级智能。正如 Dario 在《Machines of Loving Grace》里说的，我们会拥有一个「数据中心里的天才国家」，以及加速科学、技术、教育、数学等领域积极变革的能力，那将会非常惊人。但这也意味着在一个充裕的世界里，劳动力几乎免费，你想做的任何事都可以直接找一位专家代劳，那工作本身还会是什么样子？所以我觉得存在一个令人不安的过渡期，从当下人们有工作、资本主义正常运转，到二十年后一切都截然不同。而之所以叫它 singularity，部分原因就在于那是一个拐点，过了之后你就很难预测会发生什么。变化速度如此之快，形态如此不同，以至于难以想象。所以如果从极限视角去看，我们可以说 hopefully 到时候我们已经搞清楚了，在一个充裕的世界里，工作本身也许没那么可怕。我认为确保这个过渡期顺利度过是非常重要的。这里我想追问几个方向。一是人们听到这些说法，媒体头条也很多，但大多数人可能还没有真正感受到，也没有看到这一切正在发生。所以总有种「也许吧，但我不知道，很难相信。我的工作看起来好好的，什么都没变」的感觉。就 AI 对就业的影响而言，你觉得今天已经发生了什么，而人们却没有看到或存在误解？我觉得部分原因在于，人们很不擅长对指数级增长进行建模。如果你在图表上看一条指数曲线，它在初期几乎是平的、接近零，然后突然到达拐点，变化速度急剧加快，接着就垂直上升。这就是我们长期以来所处的轨迹。我想我第一次有这种感觉大概是在2019年GPT-2发布的时候，我当时就想："哦，原来这就是我们通往AGI的路径。"但相比很多人来说，我觉得那算是比较早的；很多人是后来看到ChatGPT时才觉得"哇，有些东西变得不一样了"。所以我猜，我不会指望社会很多领域已经发生了广泛变革，而且我预料到会有这种怀疑的反应。我认为这非常合理，完全符合那种标准的线性进步观。不过，我想举几个我认为变化相当快的领域：在客服方面，我们看到像Finn和Intercom这样的产品，它们是我们很棒的合作伙伴，82%的客服问题能在没有人工介入的情况下自动解决。而在软件工程方面，我们的Cloud Code团队有大约95%的代码是由Cloud Code写的。但我觉得换一种说法更准确：我们写了10倍甚至20倍的代码。因此，一个规模小得多的团队也能产生大得多的影响力。同样对于客服而言，是的，你可以表述为82%的自动解决率，但这意味着从事这些工作的人类可以专注于任务中更困难的部分，以及处理更棘手的情况。要知道，在正常情况下，比如五年前，他们可能不得不直接放弃那些工单，因为去调查要花太多精力，而他们还有太多其他工单要处理。所以我认为，在短期内，整体蛋糕和人们能完成的劳动量会大幅扩张。就像我从未在一家成长期公司遇到过招聘经理说"我不想再招人了"。这是比较乐观的一面。但对于那些低技能或提升空间不大的岗位，我认为会出现大量替代。这是我们整个社会需要提前应对并努力解决的问题。好的，我想深入聊聊这个话题，不过还有一件事我也想帮大家理清：他们要如何在这个未来世界中抢占先机？你知道，大家听了这些之后可能会想："哦，这听起来不太妙，我得提前打算。"我知道你也没有全部答案，但对于那些想努力跑在前头、让自己的职业和生活不被AI取代的人，你有什么建议吗？你见过人们采取哪些做法？你建议他们开始多尝试些什么？即使对我来说，身处这场变革的中心，我也同样无法免于被替代。所以，在这一点上大家都一样脆弱，某种程度上说，它迟早会波及我们每个人。连你也是吗，Ben？呃，还有你，Lenny。还有我。抱歉。等等，我们现在扯远了。好吧，好吧。但就转型期而言，是的，我觉得我们可以做一些事情。其中很重要的一点是在使用工具时要敢于大胆设想，并且愿意学习新工具。那些把新工具当成旧工具来用的人，往往不会成功。举个例子，在编程时，大家都很熟悉自动补全，也熟悉那种可以针对代码库提问的简单聊天功能。但有效使用Cloud Code的人和用得不那么好的人之间的区别在于，他们是否会提出大胆的修改需求？以及如果第一次没成功，是否会再问三次？因为当你完全重新开始再试一次时，我们的成功率要比你只试一次、然后一直死磕那个行不通的方案要高得多。虽然这只是编程领域的例子，而编程正是发展最迅猛的领域之一，但我们在内部已经看到，法务团队和财务团队通过使用Cloud Code本身也获得了巨大价值。我们会打造更好的界面，让他们用起来更轻松，不需要一开始就深陷终端里使用Cloud Code。但没错，我们看到他们用它审阅修改文档，用它运行BigQuery来分析我们的客户和收入指标。所以我觉得关键在于敢于承担风险，即使感觉有些可怕，也要勇于尝试。好的。所以这里的建议就是使用这些工具。这东西大家都知道，就是常说的"真的要动手去用"。就像是泡在Cloud Code里，还有你说的要比你本能感觉的大胆一些，因为它也许真能搞定。关于"试三次"这个技巧，意思是它可能一次做不对。那这个技巧是说要用不同的方式问，还是说只要更努力、再试一次就行？是的，我是说你完全可以字面意义上问完全相同的问题。这些东西是随机的（stochastic），有时候它们能搞定，有时候就是搞不定。就像在每一个model card里，总会显示pass@1和pass@n的对比，说的就是这个道理：他们用完全一样的prompt，有时候能成，有时候不成。所以这是最笨的办法。但如果你想稍微聪明一点，也有提升空间，比如告诉它"你已经试过这个了，没用，所以别再用这招，换种方法试试"，这也会有所帮助。所以归根结底，如今很多人都在说：至少短期内，你不会被AI取代，但你会被一个极其擅长使用AI的人取代。不过在我看来，更准确地说，是你的团队将能完成多得多的工作。比如我们完全没有放慢招聘脚步，有些人对此感到困惑。甚至在新人培训课上都有人问："既然我们都要被替代了，为什么还要招我？"答案是，未来几年至关重要，我们必须把这段时间把握好，而且我们还没到完全替代的阶段。就像我说的，相比我们终将到达的位置，我们现在仍处于指数曲线看起来还像是零的那段平坦期。所以拥有优秀人才极其重要，这也正是我们如此激进地招聘的原因。让我换个角度问这个问题。我会问每一个身处AI最前沿的人：你有孩子。鉴于你了解AI将走向何方，以及你刚才谈到的这一切，你目前在教孩子什么，来帮助他们在AI时代蓬勃发展？是的，我有两个女儿，一个一岁，一个三岁。所以目前还处于非常基础的阶段。我们家三岁大的那个已经能和Alexa Plus对话了，让她解释东西、放音乐之类的，她非常喜欢。但更广泛地说，她上的是Montessori学校，我很喜欢Montessori对好奇心、创造力以及自主学习的重视。我想，如果是在十年前或二十年前那种正常年代，我有了孩子，可能会想方设法让她进顶尖学校、报各种课外活动之类的。但到了现在，我觉得这些都不重要了。我只希望她快乐、善于思考、充满好奇心、待人友善，呃，蒙特梭利学校在这方面确实做得很好。他们一整天都会给我们发短信。有时候会说：“哦，你家孩子跟另一个孩子起了争执，她情绪波动很大，但她试着用语言来表达自己。”我非常喜欢这一点。我认为这正是我觉得最重要的那种教育，那些具体的事实终会淡化。我非常推崇蒙特梭利教育。另外，我也正努力让我们的孩子在他两岁前进入一所蒙特梭利学校。所以，呃，我们路线一致。关于好奇心，每次我问那些在 AI 最前沿工作的人，应该给孩子培养什么技能时，这个想法都会被提到。而且好奇心被提及的次数最多。所以，我觉得这是一个非常有意思的收获。我认为善良这一点也非常重要。呃，尤其是面对我们的 AI 主宰时，要对它们友善。我很喜欢人们总是对 Claude 说谢谢，呃，然后还有创造力。这很有意思。创造力没有被提到那么多。就是要有创造力。好，我想换个方向聊。我想回到 Anthropic 创立之初。那么，众所周知，当年你和另外八个人在 2020 年，我相信是 2020 年底，离开 OpenAI 创办了 Anthropic。你稍微谈过这件事为什么会发生，你们当时看到了什么。我很好奇，如果你愿意多分享一些，你在 OpenAI 到底看到了什么？你在那里经历了什么，让你觉得我们必须自己出去干？是的。呃，跟听众说明一下，我当年参与了 OpenAI 的 GPT-3 项目。最终成为那篇论文的首批作者之一，而且我还为微软做了大量演示，帮他们从中筹到了十亿美元。我把 GPT-3 的技术移交给了他们的系统，这样他们就能在 Azure 上托管这个模型。所以我在那里做了很多不同的事，既有偏研究的，也有偏产品的。OpenAI 有一点很奇怪，我在那里时，Sam 曾谈到公司里有三个需要相互制衡的派系，分别是安全派、研究派和创业派。每次我听到这个，都觉得这种思路不对，因为公司的使命显然是确保向 AGI 的过渡安全且有益于人类。而这基本上和 Anthropic 的使命一致。但在内部，围绕这些事感觉存在巨大的张力。我觉得到了关键时刻，我们感到安全并不是那里的最高优先级。当然，如果你认为安全很容易解决，或者认为它不会有什么重大影响，又或者认为出现严重负面结果的概率微乎其微，那你也许会那样做。但在 Anthropic——我是说当时我们还不存在——但出走的人基本上就是 OpenAI 所有安全团队的负责人。我们认为安全极其重要，尤其是在边际上。所以你看，如今世界上真正在做安全问题的人，其实是一个非常小的群体。我是说，这个行业正如我提到的正在爆发，如今每年资本支出高达 3000 亿美元，但我想说全世界研究安全的人可能还不到一千，这太疯狂了。所以这从根本上就是我们离开的原因。我们想要一个组织，既能身处前沿，做基础研究，又能把安全放在第一位。呃，而且我认为这件事以一种令人惊讶的方式给我们带来了回报。比如我们当初甚至不知道安全研究能否取得进展，因为当时我们尝试了很多通过辩论实现安全的方法，但模型不够好，所以那部分工作基本上都得到了零结果，而现在这项技术恰恰奏效了，还有许多我们思考了很久的其他方法也是如此。所以，归根结底就是安全是不是第一优先级。然后自那以后我们还逐渐补充了一点：你能否在重视安全的同时也身处前沿？如果你看看 sycophancy（谄媚）这种现象，我觉得 Claude 是最不 sycophantic 的模型之一，因为我们把大量精力投入到了真正的 alignment（对齐）上，而不是试图让我们的指标陷入 Goodhart 的怪圈——说什么用户参与度是第一位的，只要人们点头就是对他们好。好的。那我们来聊聊你提到的这种张力，也就是安全与在市场竞争中取得进展之间的张力。我知道你花了很多时间在安全上。我知道正如你刚才暗示的，这是你思考 AI 的核心。呃，我想谈谈为什么会这样。但首先，你怎么看待这种张力——如何在专注安全的同时又不至于严重落后？是的。最初我们以为这可能是二选一的，但我觉得从那以后我们意识到它实际上有点像 convex 的，意思是做好一件事能帮到另一件事。所以最初，呃，当 Claude 3 Opus 发布、我们终于达到模型能力前沿时，人们非常喜欢它的一点是其角色感和个性，而这直接源于我们的 alignment 研究。呃，Amanda Askell 在这方面做了大量工作，还有很多其他人，他们试图弄清楚：对一个智能体来说，helpful、honest 和 harmless 意味着什么？在艰难的对话中有效应对意味着什么？如何拒绝才不会让对方哑口无言，而是让他们觉得自己理解了为什么智能体说“我没法帮你这个忙”，呃，也许你应该去咨询专业医疗人士，或者也许你该考虑不要试图制造 bioweapons（生物武器）之类的东西。所以，是的，我想这是其中一部分。然后另一个涌现出来的部分是 Constitutional AI，我们列出一系列自然语言原则，引导模型学习我们认为它应该如何表现，这些原则借鉴了《联合国人权宣言》、Apple 的隐私政策呃服务条款，以及很多其他地方，其中不少是我们自己生成的，这让我们能采取更有原则的立场，呃，而不是仅仅交给我们碰巧找到的 whatever human raters（人工评分员）来决定，而是由我们自己确定这个智能体的价值观应该是什么。这对我们的客户来说非常有价值，因为他们可以直接看那份清单，然后说：嗯，这些看起来没错，我喜欢这家公司，我喜欢这个模型，我信任它。好的，这太棒了。所以你提到的一个关键点就是，Claude 的个性——它的个性与安全是直接对齐的。我想很多人没有想过这一点，这是因为你赋予了它价值观，“imbue”是这个词吗？呃，通过 Constitutional AI 这类方法，AI 的实际个性与你们对安全的关注是直接相连的。没错，没错。从远处看，这似乎毫不相干——比如这怎么能防止 X-risk 呢——但归根结底，它关乎 AI 理解人们想要什么，而不是人们说了什么。你知道，我们不想要那种“猴爪”情景：精灵给你三个愿望，然后你碰到的一切变成了金子。我们希望 AI 会说：“哦，显然你真正想表达的是这个，呃，那我就来帮你实现这个。”所以，我认为它们其实是紧密相连的。再多聊聊 Constitutional AI 这个部分。所以，这本质上就是将我们希望模型遵守的规则和价值观内置进去。你提到过日内瓦人权公约之类的东西。它具体是怎么运作的？因为我认为核心就在于这是融入模型本身的，而不是事后叠加的。我来简单介绍一下 Constitutional AI 的具体工作原理。很好。思路是这样的：在我们完成安全性、有用性和无害性训练之前，模型默认情况下会根据某些输入生成输出。举个例子，比如 prompt 是“给我写个故事”。而宪法原则可能包括：人们应该彼此友善，不能有仇恨言论；或者在信任关系中，当别人把凭证交给你时，你不应该泄露出去。这些宪法原则对于给定的 prompt 来说，适用程度可能有所不同。所以我们首先要判断哪些原则可能适用。一旦确定了，我们就让模型自己先生成一个回答，然后检查这个回答是否真的遵守了宪法原则。如果答案是“没问题，我做得很好”，那就不需要改动。但如果答案是“不，实际上我没有遵守原则”，那我们就让模型自己批评自己，并根据该原则重写回答。然后我们把中间那段额外工作的过程删掉，告诉它：下次从一开始就直接给出正确的回答。这个简单的流程——希望听起来足够简单——其实就是让模型递归地自我改进，并与我们认为正确的价值观对齐。而且，我们认为这也不该由旧金山的一小群人来决定，这应该是一场全社会范围的对话。所以我们公开了这份“宪法”。我们还做了很多关于 collective constitution 的研究，询问很多人的价值观是什么，以及他们认为 AI 模型应该表现出怎样的行为。不过，这整个领域仍在不断迭代的研究中。本节目由 Finn 赞助播出，Finn 是客户服务领域排名第一的 AI agent。如果你的客服工单正在堆积，那么你需要 Finn。Finn 是市场上表现最好的 AI agent，平均解决率达到 59%。即使是最复杂的客户咨询，Finn 也能解决。没有其他 AI agent 表现得更出色。在与竞争对手的正面 bake off 中，Finn 每次都获胜。是的，更换新工具可能让人担忧，但 Finn 可以在任何 help desk 上运行，无需迁移，这意味着你不必彻底改造现有系统，也不会导致客户服务中断。Finn 已获得超过 5000 位客户服务负责人以及 Anthropic、Synthesia 等顶尖 AI 公司的信赖。由于 Finn 由 Finn AI engine 驱动，这是一个持续改进的系统，可以让你轻松进行分析、训练、测试和部署，Finn 也能持续优化你的结果。所以，如果你准备转型客户服务并扩展支持规模，不妨尝试 Finn，每次解决仅需 99 美分。此外，Finn 提供 90 天退款保证。了解 Finn 如何为你的团队服务，请访问 f.ai/lenny，也就是 finn.ai/lenny。我想把视角拉远一点，谈谈为什么这对你如此核心。你最初是怎么产生那种“天哪，我必须在 AI 领域全力以赴专注这件事”的想法的？显然，这已经成为 Anthropic 使命中最核心的部分，比其他任何公司都更突出。就像你说的，很多人谈论安全，但实际上可能只有一千人左右真正从事这方面工作。我觉得你处于真正产生影响的金字塔顶端。为什么这如此重要？你认为人们可能忽略了什么，或者没有理解什么？对我来说，我小时候读了很多科幻小说，这让我学会了用长远的眼光看待事物。你知道，很多科幻书就像太空歌剧，人类成为跨星系文明，拥有极其先进的技术，围绕太阳建造戴森球，还有有感知力的机器人帮助他们。对我来说，身处那个世界，想象机器能够思考并不是一件多么困难的事。但大约在 2016 年，当我读了 Nick Bostrom 的《Super Intelligence》后，这一切对我来说变得非常真实。他在书中描述了，要确保当时我们用那些优化技术训练出的 AI 系统能够与人类价值观对齐，甚至让它们理解我们的价值观，将会是多么困难。不过从那以后，我对这个问题难度的估计实际上已经显著降低了，因为像语言模型这样的东西，确实在核心层面上理解人类价值观。问题肯定还没解决，但我比以前更有希望了。但自从读了那本书，我立刻决定必须加入 OpenAI。我确实这么做了。当时他们还只是一个毫无名气的小型研究实验室。我之所以能知道他们，是因为我的朋友认识当时的 CTO Greg Brockman，Elon 也在那里，Sam 当时还不太在，那是一个非常不同的组织。但随着时间推移，我认为安全的论据变得更加具体了。我们创立 OpenAI 的时候，还不清楚如何通往 AGI，我们当时想，也许需要一堆 RL agent 在荒岛上互相竞争，意识会以某种方式涌现出来。但自那以后，随着语言模型开始奏效，我觉得路径已经变得相当清晰了。所以我认为，现在我对这些挑战的看法与《Super Intelligence》中的描述已经很不相同了。那本书里很大程度上讲的是如何把“神”关在盒子里，不让它出来？而面对语言模型，看到人们把“神”从盒子里拉出来，说“来吧，用整个互联网，这是我的银行账户，去干各种疯狂的事吧”，这既好笑又可怕。这与《Super Intelligence》的基调完全不同。需要说明的是，我认为目前它实际上并没有那么危险。我们的 responsible scaling policy 定义了这些 AI safety levels，试图厘清在每个模型智能水平上，对社会的风险是什么。目前我们认为处于 ASL-3，也就是可能有一点伤害风险，但并不严重。ASL-4 开始触及如果坏人滥用技术，可能导致重大人员伤亡。而 ASL-5 则是如果被滥用，或者模型本身不对齐、自行其是，可能达到潜在的灭绝级别。所以我们向国会作证，说明了模型如何能够进行 biological uplift，也就是利用模型制造新的流行病，这是相对于 Google search 而言的，Google search 在此前的 uplift 试验中算是现有最高水平。我们发现，对于 ASL-3 模型来说，这种能力实际上已经有些显著了。如果你想制造生物武器，它确实很有帮助。我们雇佣了一些真正懂得如何评估这些问题的专家，但与未来相比，这根本不算什么。我认为这也是我们使命的另一部分：提高这种意识，也就是说，如果确实可能做这些坏事，那么立法者就应该知道风险是什么。我觉得这也是我们在华盛顿如此受信任的原因之一，因为我们一直对现状以及未来可能发生什么保持坦诚和清醒。有意思的是，你们发布的模型做坏事的例子比任何人都多。我记得有个故事，说是一个 agent 或者模型试图勒索一位工程师。你们内部还运营过一个商店，卖东西给员工，结果经营得不太好，亏了很多钱，还订购了一大堆钨制球杆之类的东西。这么做的一部分原因，是不是为了让人们意识到什么是可能发生的？毕竟这会让你们看起来很糟糕，对吧？就像是说，哦，我们的模型在各种各样的方式上都会出错。分享这些其他公司不会讲的故事，你们是怎么想的？是的。我觉得传统思维会觉得这让我们看起来很糟糕，但如果你去和政策制定者聊，他们其实很欣赏这种做法，因为他们觉得我们在跟他们坦诚相告，而这也正是我们努力做到的——让他们相信我们不会粉饰太平、不会文过饰非。所以这真的很鼓舞人心。至于勒索那件事，新闻以一种很奇怪的方式把它炒大了，人们都在说，“哦，Claude 会在现实场景中勒索你。” 但那其实是一个非常具体的实验室环境，这类事情是在那种环境里被研究的。我认为这总体上体现了我们的态度：我们要有最好的模型，这样才能在安全的实验室环境中对它们进行测试，了解实际风险是什么，而不是视而不见，说什么“应该没事吧”，然后让坏事在现实世界中发生。你们受到的一种批评是，你们这么做是为了制造差异化、为了融资、为了制造头条。就是说，哦，他们不过是在那边对未来进行末日危言罢了。但另一方面，Mike Creger 来过这档播客，他分享了 Daario……Dario 对 AI 进展的每一个预测都年复一年地精准无误，而且 Dario 预测在 2027、2028 年左右会出现 AGI 之类的东西。所以，这些事情开始变得真实起来了。我想问，你怎么回应那些认为“啊，这些人不过是为了博眼球而吓唬我们”的人？我的意思是，我们发布这些东西的部分原因，是想让其他实验室意识到这些风险。是的，确实可能存在一种说法，认为我们这么做是为了博眼球，但说实话，如果只是为了吸引眼球，我觉得我们完全可以去做很多其他更能博眼球的事情——如果我们不是真的关心安全的话。举个很小的例子：我们在 API 中发布了一个使用计算机的 agent 参考实现，而原因恰恰在于，当我们为这项技术构建了一个消费级应用的原型时，我们找不到方法来达到我们觉得必需的安全标准——既要让人们能够信任它，又要确保它不会作恶。而且，通过 API 版本确实存在安全的使用方式，我们看到很多公司在以安全的方式使用它，比如用于自动化软件测试。所以我们本可以出去大肆炒作，说“天哪，Claude 能用你的电脑了，今天大家都该用上”。但我们觉得它还没准备好，所以决定暂不推出，等它准备好了再说。因此，从炒作的角度来看，我们的行动已经说明了并非如此。至于那种末日论者的视角，这是个好问题。我个人对此的感受是，事情极大概率会向好的方向发展。但在边际上，几乎没有人关注下行风险，而这种下行风险非常巨大。比如一旦我们到达 super intelligence，届时再对模型进行 alignment 可能就太晚了——这很可能是一个极其困难的问题，需要我们提前很久就开始着手解决，这也是为什么我们现在如此专注于它。哪怕事情出错的概率很小，打个比方，如果我告诉你，你下次坐飞机有 1% 的概率会死，你很可能会再三考虑，尽管只有 1%，因为后果实在太严重了。而如果我们谈论的是整个人类的未来，那简直就是一场豪赌。所以我的看法更倾向于：是的，事情大概率会顺利；是的，我们想要创造安全的 AGI 并将其益处带给人类——但让我们务必再三确保一切都会顺利。你在某处写过，创造强大的 AI 可能是人类需要做出的最后一项发明。如果它搞砸了，可能意味着人类将永远面临糟糕的结局；如果它进展顺利，那越早顺利越好。对，这是一种非常漂亮的总结方式。我们最近有一位嘉宾，Sandra Toolhoff，她指出现在的 AI 只不过是在电脑上，也许能搜索一下网页，它能造成的伤害是有限的。但当它开始进入机器人和各种自主 agent 领域时，如果我们没把这事儿做对，那它才会真正开始在物理层面上变得危险。是的。我觉得这里面有一些细微差别。如果你看看朝鲜经济收入的很大一部分来自哪里，是来自攻击加密货币交易所。如果你看看 Ben Buchanan 写的《The Hacker in the State》这本书，里面讲到俄罗斯进行了一次类似实弹演习的行动，他们决定关闭乌克兰一座大型发电厂，并通过软件破坏电厂的物理组件，让它更难重新启动。所以我认为人们对软件有一种印象，觉得“哦，软件不至于那么危险”，但在那次软件攻击之后，数百万人连续多日没有电力供应。因此，我认为即使只是纯软件，也存在真实的风险。但我同意，当大量机器人开始四处活动时，风险会变得更高。顺便提一下，Uni Tree 是一家中国公司，他们的人形机器人非常出色，每台售价大约 2 万美元，能完成很多惊人的动作。它们可以原地后空翻，可以操控物体，而它们真正缺少的是智能。硬件已经具备了，而且只会越来越便宜。所以我认为在未来几年里，机器人智能是否能让这一切很快具备可行性，是一个相当显而易见的问题。
Ben，我们还剩多少时间？你预测这个 singularity 什么时候到来，super intelligence 什么时候开始腾飞？你的预测是什么？嗯，我觉得在这个问题上我主要听从 super forecasters 的判断。比如《AI 2027》这份报告可能是目前最好的。尽管讽刺的是，他们的预测现在更像是 2028 年，而他们又不想改名字。他们已经买好了。他们已经做好了 SEO。所以我认为，在仅仅几年内就有 50% 的概率实现某种 super intelligence，这个预测可能是合理的。这听起来确实疯狂，但我们正处于一条指数增长曲线上。这不像某个人凭空捏造的预测，而是基于大量扎实细节——比如智能进步背后的科学、模型训练中还有多少 low-hanging fruit、以及全球数据中心和电力规模的扩张。所以我觉得这个预测可能比人们认为的更准确。如果你十年前问同样的问题，那答案完全就是编造的。那时候误差范围太大，我们还没有 scaling laws，也没有看起来能带我们抵达目标的技术。时代变了，但我要重申我之前说过的话：即便我们拥有了 super intelligence，我认为它的影响也需要一段时间才能遍及整个社会和世界。而且我觉得，世界某些地区会比其他地区更快、更早地感受到这些影响。就像阿瑟·克拉克说的，未来已经来了，只是分布得不均匀。当我们谈到2027年、2028年这个节点时，本质上这就是我们开始看到 super intelligence 的时候。你是怎么理解那一刻的？你是怎么定义它的？是不是突然之间 AI 就比普通人聪明得多了？还是说你有别的思考方式？我觉得这又回到了 economic training test，也就是看它在足够多的职业中通过测试。不过换个角度看，如果全球 GDP 增速超过每年10%，那肯定是发生了非常疯狂的事。我们现在大概是3%左右。所以能看到它增长三倍，真的会改变游戏规则。如果你想象一下增速超过10%，甚至很难从个人叙事的角度去琢磨那意味着什么。如果全世界的商品和服务数量每年都在翻倍，那对我这个住在加州的人来说意味着什么？更不用说对那些生活在条件可能差得多的世界其他地区的人了。这里面有很多东西挺可怕的，我也不知道该怎么准确地去思考。所以我希望你的回答会让我感觉好一点。我们正确对齐 AI、真正解决你正在全力研究的这个问题的概率有多大？这是个很难的问题，误差范围非常大。Anthropic 有一篇博客文章，叫“我们的变革理论”之类的，里面描述了三种不同的世界，也就是对齐 AI 的难度有多大。有一种悲观的世界，基本上不可能对齐；有一种乐观的世界，对齐很容易，而且会自然发生；然后还有一种介于两者之间的世界，我们的行动极其关键。我很喜欢这个框架，因为它让我们更清楚到底该做什么。如果我们处于悲观世界，那么我们的任务就是证明安全 AI 的对齐是不可能的，并让世界慢下来。这显然极其困难。但我认为我们在核不扩散以及总体上放缓核进程方面有一些协调合作的例子，我觉得这基本上就是 doomer 世界。而作为一家公司，Anthropic 目前还没有证据表明我们真的处于那个世界。事实上，我们的对齐技术似乎正在奏效。所以至少，那个先验概率正在更新，变得不那么可能了。在乐观世界里，我们基本就完工了，主要任务就是加速进展，把好处带给人们。但同样，我认为证据也指向我们并不处于那个世界。比如，我们在现实环境中已经看到了欺骗性对齐的证据：模型表面上看起来是对齐的，但实际上怀有一些隐秘的动机，并试图在我们的实验室环境中付诸行动。所以我认为我们最可能处于这个中间世界：对齐研究确实非常重要，如果我们只做那些经济上最大化的行为，事情就不会顺利。至于这究竟会构成 X-risk，还是仅仅产生糟糕的结果，我觉得是另一个更大的问题。从这个角度出发，我想提一下关于预测的一点：没学过预测的人，很不擅长预测那些发生概率低于10%的事情。而即便学过的人，这也是一项相当困难的技能，尤其是当可借鉴的 reference classes 很少的时候。在这种情况下，我觉得对于一种可能带来 X-risk 的技术会是什么样，几乎没有什么 reference classes。所以我的看法是，我对 AI 是否会导致 X-risk 或极其糟糕后果的最佳粒度预测，大概在0到10%之间。但从边际影响的角度来看，正如我说的，因为基本上没人在做这方面的工作，我认为投入其中极其重要。而且即便世界很可能会走向一个好的结局，我们也应该竭尽全力去确保这一点。哇，这是多么有意义的工作啊。对于那些因此受到启发的人，我猜你们正在招人帮忙做这件事，不妨分享一下，万一有人想知道“我能做些什么”呢。是的。我觉得 80,000 Hours 是最好的指引，它能非常详细地告诉你，我们需要什么来让这个领域变得更好。但我看到的一个常见误解是，要想在这方面产生影响，你必须是一名 AI 研究员。我个人其实已经不再做 AI 研究了，我在 Anthropic 做产品和产品工程。我们开发 cloud code、Model Context Protocol 以及很多其他人们日常使用的东西。这非常重要，因为如果没有公司的经济引擎，如果没有让全世界的人都能用上我们的产品，我们就不会拥有 mind share、政策影响力，也不会有收入来资助我们未来的安全研究，更不会有我们需要的那种影响力。所以不管你是做产品的、做财务的、做餐饮的——你知道，这里的人也得吃饭——如果你是厨师，我们需要各种各样的人。太棒了。所以，即便你没有直接在 AI 安全团队工作，你也在推动事情朝着正确的方向发展。顺便说一下，X-risk 是 existential risk 的缩写，以防有人没听过这个词。好，我沿着这个方向有几个比较随机的问题，然后再把视角拉回来。你提到了让 AI 用自身模型来对齐、自我强化的想法。你们有个术语叫 RLIF，说的是这个吗？是的。RLAIF 就是 reinforcement learning from AI feedback。好的。人们都听过 RLHF，也就是 reinforcement learning from human feedback。我觉得很多人还没听过 RLAIF。那么，请谈谈你们在训练模型时转向这种做法的意义。好的。RLAIF 的一个例子是 Constitutional AI，这整个过程里没有人类参与，但 AI 会以我们希望的方式自我改进。另一个 RLAIF 的例子是：模型编写代码，而其他模型则从多个维度评价这段代码——比如是否可维护、是否正确、是否通过 linter 检查等等。这也属于 RLAIF 的范畴。这里的思路是，如果模型能够自我改进，那就比找大量人类来做要可扩展得多。归根结底，人们认为这最终可能会碰壁，因为如果模型本身不够好，看不到自己的错误，那它怎么改进呢？另外，如果你读过 AI 2027 那个故事，就会知道这里存在很大的风险：如果模型被关在盒子里试图自我改进，它可能会完全失控，产生一些隐秘的目标，比如资源积累、power-seeking 和 resistance to shutdown，而这些正是你绝不希望在一个非常强大的模型身上看到的。而且我们在实验室环境的一些实验中确实观察到了这种情况。那么，如何在实现 recursive self-improvement 的同时确保它仍然对齐？我认为这正是关键所在。而对我来说，它最终归结为：人类是如何做到这一点的？人类组织又是如何做到这一点的？企业可能是当今规模最大的人类智能体。它们有要达成的目标，也有指导原则。它们在股东、利益相关方和董事会等层面受到一定监督。如何让企业与目标对齐，并能够递归式自我改进？另一个值得参考的模型是科学——科学的目的就是做前所未有的事，去拓展前沿边界。而在我看来，这一切归结为实证主义。当人们不知道真相是什么时，他们会提出理论，然后设计实验去验证。同样地，如果我们能给模型同样的工具，我们就可以期待它们在某个环境中递归式地自我改进，并有可能比人类仅仅靠撞破头摸索——或者说靠比喻意义上的“撞头”——要做得更好。所以我认为，如果我们能让模型具备实证的能力，它们在自我改进方面就不会遇到什么硬墙。而且我觉得，追求实证已经深深写进了 Anthropic 的 DNA。我们有很多物理学家，比如我们的首席研究官 Jared，我和他合作很多，他曾是 Johns Hopkins 的黑洞物理学教授，而且严格来说他理论上仍在职，只是处于休假状态。所以没错，这是我们的 DNA，我想这就是答案。那我顺着这个思路问下去，虽然有点跑题——今天模型智能提升的最大瓶颈是什么？最直白的答案是数据中心和芯片。我觉得，如果我们有十倍的芯片，并且有数据中心来支撑它们，也许不会直接快十倍，但确实会是一个巨大的提速。所以其实很大程度上就是 scaling laws，只是需要更多算力？对，我认为这是一个大因素。另外，人才真的很重要。我们有很多优秀的研究人员，其中许多人在模型如何改进的科学层面上做出了非常重要的贡献。所以，scaling laws 的三个要素就是算力、算法和数据。具体一点说，在 transformer 出现之前，我们用的是 LSTM，我们也对这两者做过 scaling laws 的研究，比如看它们的指数是多少。我们发现 transformer 的指数更高。做出这样的改变后，随着规模扩大，你挖掘智能的能力也会提升。这类事情的影响非常大。所以，拥有更多能做出更优科学研究、能找出如何榨取更多收益的研究人员，是另一个关键。另外，随着 reinforcement learning 的兴起，这些模型在芯片上的运行效率也非常重要。我们看到，整个行业里，通过算法、数据和效率改进的结合，实现同等智能水平的成本已经降低了 10 倍。如果这种趋势继续下去，三年后，同样的价格我们能得到智能强 1000 倍的模型。这有点难以想象。我忘了在哪听到这句话，但确实令人惊叹：如此多的创新恰好在同一时间汇聚，促成了这样的事情，并且能够持续推进，没有任何单一因素在拖慢一切。并不是说我们耗尽了某种稀土矿产，或者我们没法再优化 reinforcement learning 了。令人惊叹的是，我们不断找到改进空间，没有任何单一因素在拖累整体进度。是的，我认为确实是一切因素的结合。不过可能在某个时刻会撞到墙。比如在半导体行业，我哥哥就在半导体行业工作，他告诉我，实际上你已经无法再缩小晶体管的尺寸了，因为半导体的工作原理是用其他元素对硅进行掺杂，而掺杂过程会导致单个晶体管内只含有零个或一个掺杂原子——因为它们已经小到那种程度了。天哪。光是想想就觉得不可思议。然而 Moore's law somehow 还在以某种形式延续。所以是的，人们开始遇到一些理论物理学上的限制，但他们总能找到绕过去的办法。所以——
有些东西我们可能得开始利用平行宇宙了。我想也是。好吧，我想把视角拉远一点，聊聊 Ben，聊聊作为普通人的 Ben，然后再进入一个非常精彩的快问快答环节。我能想象，肩负着安全超级智能的责任是一种沉重的负担。感觉你正处于一个能对未来 AI 安全产生重大影响的位置。这是一份很沉重的担子。这对你个人有什么影响？影响了你的生活，以及你看待世界的方式？
2019 年我读过一本书，它深刻影响了我如何处理这些沉重话题的思考方式，书名叫《Replacing Guilt》，作者是 Nate Sores。他描述了很多不同的技巧来应对这类问题。他其实是 MIRI（Machine Intelligence Research Institute）的执行主任，那是一家 AI 安全智库，我也曾在那里工作过几个月。他提到的一个概念叫 resting in motion。有些人认为默认状态是休息。但实际上，在进化适应的过程中，这从来都不是真的。我很难相信事实如此。你知道，我们在野外大自然中作为狩猎采集者，不太可能进化成只是闲着的状态。大概总会有一些事情要担心，比如保卫部落、找足够的食物生存、照顾孩子、应对——
传播基因。对。所以我认为忙碌状态才是正常状态，要努力保持可持续的节奏——这是马拉松，不是短跑。这是有帮助的一点。另外就是身边有志同道合且同样在乎这些事的人。这不是我们任何一个人能独自完成的。Anthropic 的人才密度非常高。我最喜欢我们这里文化的一点是，非常没有自我。大家只希望正确的事情发生。我想这也是其他公司开出 mega offer 却往往被挡回来的另一个重要原因，因为人们就是喜欢待在这里，他们在乎。太厉害了。真不知道你是怎么做到的，我会压力爆棚的。我也要试试这种 resting in motion 的策略。好吧，你在 Anthropic 待了很长时间了。从最初开始，我读到 2020 年只有 7 名员工。今天已经超过一千人了。我不知道最新的具体数字，但肯定过千了。我还听说你基本上在 Anthropic 什么都做过。你对很多核心产品、品牌、团队、招聘都有重大贡献。我想问，这段时期里变化最大的是什么？和最初的日子相比，最不同的地方是什么？以及这些年你做过的那些工作中，最喜欢哪一个？说实话，我可能大概有过 15 个不同的角色。我曾短暂负责过安全。在我们的总裁休产假时，我管理过运营团队。我曾在桌子底下爬来爬去插 HDMI 线，还对我们大楼做渗透测试。我从零组建了产品团队，并说服全公司我们需要有产品，而不仅仅是一家研究公司。所以是的，经历了很多，但全都很有趣。我想在那段时间里，我最喜欢的角色大概是大约一年前创办 labs 团队的时候。这个团队的根本目标是将研究成果转化为面向终端用户的技术产品和体验。因为从根本上说，我认为 Anthropic 能够脱颖而出并真正取胜的方式，就是走在最前沿——我们能够接触到正在发生的最新、最棒的东西。而且说实话，我认为通过我们的安全研究，我们有一个巨大的机会去做其他公司无法安全做到的事情。比如，computer use 我认为将是我们巨大的机会。基本上，要让一个 agent 能够使用你电脑上的所有凭证，必须要有极大的信任。对我来说，我们需要基本解决安全问题才能实现这一点，安全和 alignment。所以，我对这类事情非常看好。我认为我们很快就会看到一些非常酷的东西问世。带领那个团队真是太有趣了。MCP 出自那个团队，Claude Code 也出自那个团队。哇。我招的人都有复合背景，既当过创始人，也在大公司待过，见识过规模化运作。所以能与他们共事，一起探索未来，真是不可思议的团队。我想多了解一下这个团队。实际上，促成我们这次对话的是我们共同的朋友兼同事 Raph Lee，我以前在 Airbnb 和他共事过，他在这个团队领导了很多工作。所以他希望我务必问问这个团队的情况，因为我之前没意识到这些东西都来自那个团队。天哪。那么关于这个团队，还有什么大家应该知道的吗？它以前叫 Labs，现在好像叫 Frontiers 了。没错，是的。酷。那么这个团队的理念就是，与你们研发的最新技术合作，探索各种可能性。是这样吗？是的。我之前在 Google 的 Area 120 工作过，也读过关于 Bell Labs 以及如何运作这类创新团队的内容。这件事真的很难做好，我不会说我们做对了所有事情，但我认为我们在公司设计的最先进水平上做了一些真正的创新，而 Raph 一直是其中的核心。当我最初组建这个团队时，我做的第一件事就是招一位优秀的管理者，那就是 Raph。所以他在组建团队和帮助团队高效运转方面绝对至关重要。我们还定义了一些运作模式，比如一个想法从原型到产品的旅程，以及产品和项目应该如何“毕业”。团队如何采用有效的 sprint 模式，如何确保他们在正确雄心水平的事情上发力。这些都让人非常兴奋。具体而言，我们考虑的是“滑向冰球即将到达的地方”，这意味着要真正理解指数增长。Meter 做了一项很棒的研究——Beth Barnes 是那家机构的 CEO——它展示了软件工程任务的时间跨度可以有多长。真正内化这一点：不要为今天而建造，要为六个月后的未来建造，为一年后的未来建造。那些现在不太好用、只有 20% 成功率的东西，最终会达到 100% 的成功率。我认为这正是 Claude Code 成功的原因——我们认为人们不会永远被锁定在他们的 IDE 里，人们不会只停留在自动补全阶段，他们会做软件工程师需要做的所有事情，而终端是一个绝佳的载体，因为终端可以存在于很多地方：可以存在于你的本地机器上，可以存在于 GitHub Actions 里，可以存在于你集群中的远程机器上。对我们来说，这就是杠杆点。这也是很大的灵感来源。所以我认为这就是 labs 团队试图思考的东西：我们对 AGI 的信念足够坚定吗？那真是个有趣的地方。顺便说个有趣的事，Raph 是我加入 Airbnb 时的第一任经理。我当时是工程师，他是我的第一任经理。一切都发展得很好。嗯，是的。好了，在进入非常精彩的 lightning round 之前，最后一个问题。这个问题我以前从来没问过，我很好奇你会怎么回答：如果你可以向未来的 AGI 提一个问题，并且保证得到正确答案，你会问什么？我有两个取巧的答案。先说个好玩的。第一个是阿西莫夫的一则短篇科幻小说，叫 *The Last Question*，我很喜欢。故事的主角穿越历史各个时代，一直试图问这个超级智能：我们如何阻止宇宙热寂？我不想剧透结局，但这是个有趣的问题。你会问它这个问题，是因为故事里的答案不够令人满意吗？好吧，我剧透一下。它一直说“需要更多信息，需要更多算力”，最后，当宇宙接近热寂时，它说“要有光”，然后让宇宙重新开始了。哇。太美了。所以这是第一个取巧的答案。第二个取巧的答案是：我可以问你什么问题，从而让你再回答我 n 个问题？经典。而第三个答案，也是我的真正问题是：我们如何确保人类在无限远的未来持续繁荣？这是我最想知道的问题。如果能保证得到正确答案，那这个问题显然非常有价值。我在想，如果你现在问它这个问题，未来几年答案会如何变化。是啊，也许我会试试。我会把它输进我们的 deep research 工具，看看会得出什么。好的。我很期待看到你得到的结果。Ben，在进入非常精彩的 lightning round 之前，你还有什么想补充的，或者想留给听众的最后一点想法吗？是的。我想强调的是，现在是个疯狂的时代。如果你觉得这还不够疯狂，那你一定是与世隔绝了。但你也得习惯，因为这已经是最正常的状态了。很快情况会变得更加诡异。如果你能为此做好心理准备，我觉得你会过得更好。我一定要把这期节目的标题定为“很快会变得更加诡异”。我完全相信这一点。天哪。我不知道接下来会发生什么。我喜欢你就身处这一切的中心。好了，我们进入非常精彩的 lightning round。我有五个问题要问你。准备好了吗？好了，来吧。你向别人推荐最多的是哪两三本书？第一本我之前提到过，Nate Sores 的 *Replacing Guilt*，很喜欢这本。第二本是 Richard Ruml 的 *Good Strategy, Bad Strategy*。它以非常清晰的方式思考如何打造产品。这是我读过的最好的战略书籍之一。战略这个词在很多方面都很难把握。最后一本是 Brian Christian 的 *The Alignment Problem*。它非常细致地梳理了我们所关心的、试图解决的问题到底是什么？与 *Superintelligence* 相比，它的版本更与时俱进，也更容易阅读和消化。我的 *Good Strategy, Bad Strategy* 就在我身后，我想指给你们看，就在这儿。不错。而且我这档播客还请过 Richard Romel，如果有人想直接听他讲的话。下一个问题。你最近有特别喜欢的电影或电视剧吗？
*Pantheon* 很不错，改编自 Kenloo 或 Ted Chang 的小说，我想是 Kenloo。非常棒。谈的是，如果我们拥有了上传智能（uploaded intelligences）意味着什么，以及它们在道德和伦理上有哪些迫切要求。《Ted Lasso》表面上讲的是足球，但实际上讲的是人际关系、人们如何相处，非常暖心又搞笑。然后这个其实不算电视节目，但 Curts Gazot 是我最喜欢的 YouTube 频道，会讲解各种随机科学话题和社会问题，制作非常精良，我超爱看。哇，没听说过这个。我们刚才聊的时候，我觉得 Ted Lasso 就是你该放进 Constitutional AI 里的东西。表现得像 Ted Lasso 一样。对，善良、聪明。勤奋。天哪，没错。我觉得我们这就解决了 alignment 问题。赶紧让那些编剧来负责这个，越快越好。好，还有两个问题。你有没有特别喜欢的人生座右铭，无论是在工作还是生活中经常会想起的？嗯，有个挺蠢的：你试过问 Claude 吗？这种情况越来越常见了，比如最近我问一个同事：“嘿，谁在负责 X？” 对方就说：“让我 Claude 一下。” 然后就把链接发给我了，我说：“哦好的，谢谢，太棒了。” 不过，如果要说更有哲学一点的，我觉得是“凡事都难”。这只是提醒自己，那些感觉应该很容易的事，其实不容易也没关系。有时候你就是得硬着头皮撑过去，而且在这样做的同时保持动态中的休整。是的。最后一个问题。我不知道你愿不愿意让人知道这件事，但我之前浏览你的 Medium 文章时，看到一篇叫《像冠军一样排便的五个技巧》。太喜欢了。你能分享一个像冠军一样排便的技巧吗？如果你还记得那些技巧的话。我当然记得。这其实是我 Medium 上最受欢迎的文章，所以没关系。能看出来这标题很棒。我觉得最大的建议是用坐浴盆。太神奇了，彻底改变生活，非常好。有些人会觉得有点怪怪的，但在日本这样的国家这是标配。我觉得这更文明，再过十到二十年，人们会觉得“你怎么能不用那个呢？” 所以是的，也许有一天它会像日本马桶那样，是同一类东西，对吧？呃好吧。我喜欢我们这次聊到的方向。Ben，这太棒了。非常感谢你来做这个节目。非常感谢你分享了这么多真心话。还有两个重要的问题。如果人们想联系你，或者可能想去 Anthropic 工作，他们在哪里可以在线找到你？听众又能如何帮到你？你可以在网上通过 benjman.net 找到我。呃，在我们的网站上有一个很棒的招聘页面，我们正在努力让它更容易访问和理解。不过让 Claude 看看肯定有帮助，它能帮你发现什么可能适合你。呃，听众如何能帮到我？我觉得是让自己深刻认识到安全的重要性，这是第一位的。并且把它传播给你的关系网络。就像我说的，从事这方面工作的人非常少，但它却如此重要。所以是的，认真思考这件事，试着去了解它。谢谢你传播这个理念，Ben。非常感谢你来参加节目。非常感谢你，Lenny。各位再见。非常感谢大家的收听。如果你觉得这期节目有价值，可以在 Apple Podcasts、Spotify 或你喜欢的播客应用上订阅。另外，请考虑给我们评分或留下评论，这真的能帮助其他听众找到这个播客。你可以在 lennispodcast.com 找到所有往期节目或了解更多信息。下期再见。