你今天使用的 AI 模型，将是你余生中会使用的最差的一款。当你真正意识到这一点时，感觉很疯狂。在此之前我工作过的任何地方，你大概都知道自己建立在什么技术之上。但 AI 完全不是这样。每过两个月，计算机就能做到一些以前从未做到过的事情，你必须彻底重新思考自己在做的事。你是当今世界上或许最重要的公司的首席产品官。我想聊聊身处风暴中心是什么感觉。我们普遍的心态是，两个月后会有更好的模型出现，它会彻底扫除当前的一切局限。我们也会对开发者这么说：如果你正在开发的产品恰好处于模型能力的边界上，那就继续做下去，因为你的方向是对的，再等几个月，模型就会变得非常出色，突然间，你那款勉强能用的产品就会真正大放异彩。众所周知，你曾在 Facebook 主导过一个名为 Libra 的项目。Libra 可能是我职业生涯中最大的遗憾。这款产品如今不存在于世界上，从根本上让我感到失望，因为如果我们当年能推出它，世界会变得更好。我们曾试图推出一条新的区块链。它最初是一篮子货币。它会集成到 WhatsApp 和 Messenger 中。我本可以在 WhatsApp 里免费转给你 50 美分。它本应该存在。说实话，现任政府对加密货币非常友好。Facebook 的声誉也处于一个非常不同的位置。也许他们现在应该去做了。
今天的嘉宾是 Kevin Wheel。Kevin 是 OpenAI 的首席产品官，这家公司或许是当今世界上最重要、最具影响力的公司，正处于 AI、AGI 乃至未来某天 super intelligence 的最前沿。他此前曾任 Instagram 和 Twitter 的产品负责人。他是 Facebook 加密货币 Libra 的联合创始人之一，这也是我们本次会聊到的内容。他还担任 Planet、Strava、Black Product Managers Network 以及 Nature Conservancy 的董事会成员。他本人也非常好，有很多智慧可以分享。我们会聊到 OpenAI 的运作方式、AI 的影响以及我们将如何工作和打造产品，在 AI 生态中哪些市场 OpenAI 这样的公司不太可能进入、因此是初创企业可以占据的好领域。此外，为什么学习编写 evals 的技艺正迅速成为产品构建者的核心技能，在 AI 时代哪些技能最重要，以及他在教自己的孩子关注什么，等等。这是一期非常特别的节目，我很高兴能带给你。如果你喜欢这档播客，别忘了在你最喜欢的播客应用或 YouTube 上订阅和关注。如果你订阅了我的 newsletter 年度会员，可以免费获得一年 Perplexity Pro、Linear、Notion、Superhum 和 Ranola。访问 lennisnewsletter.com，点击 bundle 了解详情。那么，有请 Kevin Wheel。本期节目由 EPO 赞助播出。EPO 是由 Airbnb 和 Snowflake 的校友为现代增长团队打造的下一代 AB 测试和功能管理平台。Twitch、Miro、ClickUp 和 DraftKings 等公司都依靠 EPO 来驱动他们的实验。实验对于推动增长和了解新功能的表现越来越重要。EPO 能帮助你提升实验速度，同时以其他商业工具无法做到的方式进行严谨深入的分析。我在 Airbnb 工作时，最喜欢的东西之一就是我们的实验平台，我可以轻松搭建实验、排查问题，并独立分析表现。EPO 能做到这些甚至更多，它采用先进的统计方法，可以帮你将实验时间缩短数周；拥有易于使用的界面，可深入挖掘表现数据；还有开箱即用的报告功能，帮你避免漫长恼人的分析周期。EPO 还能让你轻松与团队分享实验洞察，激发 AB 测试飞轮的新想法。EPO 支持各种用例的实验，包括产品增长、机器学习、变现和邮件营销。访问 getepo.com/lenny 了解 EPO，让你的实验速度提升 10 倍。网址是 getepo.com/lenny。本期节目由 Persona 赞助播出。Persona 是一个适应性强的身份平台，帮助企业防范欺诈、满足合规要求并建立信任。就在你收听这期节目的当下，你怎么知道你真的在听我说话，Lenny？如今，欺诈者窃取个人身份信息、人脸和身份变得越来越容易。这正是 Persona 的用武之地。Persona 帮助 LinkedIn、Etsy 和 Twilio 等领先公司安全地验证全球各地的个人和企业。Persona 的独特之处在于其可配置性。每家公司的需求因其行业、用例、风险承受能力和用户画像而异。因此，Persona 提供灵活的构建模块，让你能够搭建定制化的信息采集与验证流程，在最大化转化率的同时降低风险。此外，Persona 的编排工具可自动化你的身份流程，让你能够应对快速变化的欺诈行为并满足新一波监管要求。无论你是初创公司还是大型企业，Persona 都有适合你的方案。访问 withpersona.com/lenny 了解更多。再说一遍，withpersona.com/lenny。
Kevin，非常感谢你来到这里，欢迎做客播客。非常感谢邀请我。我们一直在说要录这期节目，现在终于实现了。我们做到了。我无法想象你的生活有多疯狂。所以，我真的很感谢你抽出时间。而且我们实际上是在你们发布新图像模型的这一周录制的，这是一个幸运的巧合。我的整个社交动态都被大家生活照、家庭照的吉卜力风格化图片填满了。所以，干得漂亮。是的，我也是。我妻子 Elizabeth 给我发了一张她的。所以，我完全跟你一样。我想问问，你们预料到这种反应了吗？感觉这是 AI 领域最病毒式传播的现象了，这个门槛可不低。自打……我也说不上来，也许自 ChatGPT 发布以来？你们预料到它会这么成功吗？内部感觉如何？你知道，在我的职业生涯中，有少数几次，当你在内部开发某个项目或产品时，内部使用量突然爆发。顺便说一句，我们在 Instagram 做 Stories 的时候就是这样。在我整个职业生涯中，没有什么比这更让我们确信它会成功，因为在发布前我们内部所有人都在用，到了周末我们也全都在用它，等周末过后回来，我们不用问就知道对方发生了什么，比如：“嘿，我看到你去露营了，怎么样？”对方就会说：“天哪，这东西真的管用。”Imagen 绝对是这种情况之一。我们已经玩了大概几个月了。当它首次在公司内部上线时，有一个小画廊，你可以生成自己的图像，也能看到其他人在生成什么，然后就不停地有人讨论。所以，是的，我们感觉到这会让大家玩得很开心。这真的很酷，这应该成为衡量你对即将发布的产品是否有信心的一个标准——内部所有人都为之疯狂。是的，尤其是社交类产品，因为你们公司在社交层面本身就是一个联系非常紧密的圈子。所以你们彼此了解，而且想必都是各自产品的专家，因此从某种意义上说，如果你们在做某种带社交属性的事，却在内部反响平平，你们可能会质疑自己在做的事。是啊。呃，顺便问一下，那个 Giblly 的东西是你们做的吗？还是说它是怎么火起来的？这是你们有意为之的例子吗？我觉得这只是人们喜欢的风格，而 model 非常擅长模仿风格，或者说理解——你知道的，它非常擅长 instruction following。实际上，我觉得人们现在开始慢慢发现这一点了。但你可以用它做非常复杂的事。你可以给它两张图片，一张是你的客厅，另一张是一堆照片、纪念品或者你想摆放的东西，然后你说，告诉我你会怎么布置这些东西。或者你可以说：“我想让你给我展示一下，如果把这个放这里，那个放在它的右边，这个放在这个的左边但在那个的下面，会是什么样子。”而 model 实际上能理解所有这些并执行。这非常强大。所以，我只是对人们将会发掘出的各种用法感到兴奋。是啊。好吧。干得好，OpenAI 团队干得漂亮。呃，咱们认真起来，稍微把视野拉远一点。在我看来，你可能是当今世界上最重要公司的首席产品官。呃，不是要把标准定得太高，但你们正在引领 AI 的时代，在某个时刻迎来 AGI，在某个时刻迎来超级智能。没什么大不了的。呃，我要问你的问题比我问过其他任何嘉宾的都多。我其实在 Twitter 和 LinkedIn 上向我的社区征集过，问大家想问 Kevin 什么问题。然后我收到了 300 多条，超过 300 条表述清晰的问题。我们会逐一过一遍。那咱们开始吧。我开玩笑的。我挑出了最好的，而且有很多东西我自己也很好奇。这里现在是下午一点，离天黑还早着呢。那咱们开始吧。好，开始了。好，首先，我在这儿记个笔记。呃，AGI 什么时候发布？用户注册路线图是什么？要知道，我们刚发布了一个不错的 image gen model。这算吗？呃，正在朝那个方向走。正在靠近。有句话我很喜欢，说的是：AI 就是那些还没被做成的事，因为一旦做出来了，一旦它能用了，你就管它叫 machine learning。而一旦它变得无处不在、遍地都是，那它就只是一个 algorithm 了。所以我一直很喜欢这个说法——当事物还不太好用的时候，我们管它叫 AI；等到它变成了一个给你推荐关注对象的 AI algorithm，你就会说，哦，那只是个 algorithm；但像自动驾驶汽车这样的新东西，我觉得在某种程度上我们永远都会是这样：下一个新事物永远是 AI，而我们每天都在用、已经成为生活一部分的当前事物，那就只是个 algorithm。这很有趣，因为是啊，比如在湾区，你会看到自动驾驶汽车在路上跑，现在这太平常了。而放在四年前，或者三年前吧，你要是看到这一幕，肯定会想：“我靠，这是什么，我们来到未来了。”而现在我们却觉得理所当然。我是说，每件事都有类似的情况。如果我把 GPT3 刚发布时拿给你看，对吧？那时候我还没在 OpenAI，我只是一个用户，但它当时令人震惊。而如果我现在把 GPT3 给你，我把它接入 chat GPT 给你用，你会说：“这什么玩意儿？”我觉得这简直就是一团 mess。呃，slop slop。我也有过同样的经历，当我第一次坐 Whimo 的时候，对吧？你第一次乘坐，至少我第一次坐，头十秒钟，车开始开动，你会想：“天哪，小心那辆自行车。”你会抓住一切能抓的东西。然后大概过了五分钟，你冷静下来，意识到你正被一辆无人驾驶车载着在城市里穿行，而且它运转正常。你会想：“天哪，我现在就生活在未来。”然后再过十分钟，你就无聊了。你在手机上回邮件，回 Slack 消息，然后你知道，突然之间，这项人类发明的奇迹就成了你生活中理所当然的一部分。我觉得我们所有人适应 AI 的方式真的就有这么一点像那样。这些奇迹般的事情发生了，计算机能做以前根本做不到的事，它让我们集体震惊大概一周，然后我们就说，哦好吧，就像哦好吧，现在它不过是 machine learning，正在变成 algorithm 的路上。你刚才分享的内容里最疯狂的一点其实是，我不知道，chatg 这种——现在感觉很差劲的——呃，3.5 不过是几年前的事。再想象一下几年后我们的生活会是什么样子。我们会聊到事物的发展方向，以及你认为下一个重大飞跃会是什么。但我想先从你在 OpenAI 的起点开始聊起。呃，你在 Twitter 工作过，在 Facebook 工作过，在 Planet、Instagram 工作过。呃，某个时候你被招募去 OpenAI 工作。我很好奇，你作为 CPO 加入 Open Open AAI 的招聘过程是什么样的？有没有什么好玩的故事？呃，如果我没记错时间线的话，我们联系过，呃，在 Planet 的时候。我当时正要离职，打算休息一段时间，你知道，我不是要彻底不工作，但呃，但我也很乐意休个暑假。那大概是四月左右。我当时想：“太好了，我要和孩子们一起过夏天。我们要去 Tahoe 之类的，我终于能好好陪陪他们，而不是像往常一样来回奔波忙个不停。”
然后，你知道，Sam 和我已经认识好几年了，但不算深交。而且他总在做各种有趣的事，你知道，比如搞核聚变的公司，还有各种各样的事。所以，如果我开始考虑下一步要做什么，我偶尔会给他打电话。因为我很喜欢做那种宏大的、前沿科技类的，你知道，下一代浪潮那种事情。所以呃，我给他打了电话，而且我觉得 Venode 也帮我们重新搭上了线。而这次不是“哦，你应该去和那些搞核聚变的人聊聊”，他说的是，实际上，你知道的，我们在考虑一些事情，你应该来跟我们聊聊。我说：“好啊，听起来太棒了，那就这么办。”然后进展非常快，真的非常快。就像，我在很短几天内就见了大部分管理层，他们告诉我：“听着，我们基本上会按我们想要的速度推进。”然后，呃，基本上就是，如果你和所有人都聊过了，而且大家都喜欢你，我们就准备开始了。呃，Sam 过来吃了晚饭，我们一起度过了一个很棒的晚上，聊了聊 OpenAI 和未来，也更深入地了解了彼此。最后我说，我我我第二天还要去进行一轮更大规模的面试。然后呃，Sam 说，你知道吗，嘿，进展很顺利。我们非常兴奋。我说，酷。那我该怎么看待明天呢？他说，哦，你会没问题的。别担心。如果顺利的话，我们基本就定下来了。所以我第二天去了，见了一群人，过得很愉快，我真的很喜欢我面试中遇到的每一个人。你事后总会自我怀疑，你知道，比如，哦，我不该说那句话，或者那道题我答得不好。我希望我能重答一遍。但我离开时的感觉是，我觉得这次表现还不错。我本来以为那个周末就会收到消息，因为他们差不多已经设定了预期，就是说如果一切顺利，我们随时可以开始。结果我什么也没听到。然后周一、周二、周三，还是没消息。我联系了 OpenAI 那边的人好几次，依然没回音。我当时想，"天哪，我搞砸了。"我不知道哪里搞砸了，但我肯定是彻底搞砸了，简直不敢相信。我回去找 Elizabeth，我妻子，跟她说，"我做了什么？你觉得我哪里……"你知道的，整个人都快疯了，然后还是没消息。最后，大概过了9天，他们终于回复我了，原来内部有一堆事情在忙，这个那个的，反正就是有无数事情在发生。他们最后说，"哦，对了，那次进行得挺顺利，咱们推进吧。"我说，"哦，好的，太棒了，咱们做吧。"但那9天简直是煎熬，他们只是在忙一些内部事务，而我每天都在焦虑，反复复盘我们面试过程的每一句话。这让我想到，就像你在跟某人约会，你发了短信，然后对方完全没回，你就会觉得是不是哪里出问题了。是啊，完全是这样。他们可能只是忙而已。我现在还是会拿这事打趣他们。真是太疯狂了。我很高兴最后成了。我想这里的教训就是，不要急于下结论。是啊。淡定一点。说到这个，我想聊聊身处风暴中心是什么感觉。你之前在不少可以说是传统的公司工作过，虽然它们也不算那么传统，Twitter、Instagram、Facebook 还有 Planet，现在你在 OpenAI 工作。我很好奇，你在 OpenAI 的日常工作方式，与之前最大的不同是什么？我觉得大概是节奏。也许有两方面。一是节奏。二是，在我之前工作过的任何地方，你大概都知道自己所搭建的技术基础是什么。所以你会花时间思考，你在解决什么问题？你在为谁做产品？你怎么让他们的生活变得更好？这个问题够不够大，能不能改变用户习惯？人们在意这个问题被解决吗？所有那些好的产品思维。但你搭建的基础某种程度上是固定的。你知道，就是数据库之类的东西，我敢说你今年用的数据库大概比两年前的提升了5%，但 AI 完全不是这样。好像每过两个月，计算机就能做一些以前完全做不到的事情，你需要彻底改变对自己所做事情的思考方式。这其中有某种根本上有趣的东西，让这里的生活变得很有意思。还有一点，我们也许之后可以聊聊 eval，但在这个世界里，我们过去使用计算机的一切方式都是关于给计算机非常明确的输入。你看 Instagram 为例，有按钮执行特定功能，你知道它们是做什么的，然后当你给计算机明确输入时，你会得到非常明确的输出。你有信心，如果你做同样的事情三次，你会得到同样的输出三次。LLM 完全不同，对吧？它们擅长处理模糊、微妙的输入，人类语言和沟通中的所有细微差别。它们也很擅长，而且不会真的给你相同的答案。同一个问题，你可能得到本质上相同的答案，但肯定不是每次都用同一组词。所以，输入更模糊，输出也更模糊。而当你做产品时，这真的很重要，因为你要知道你在围绕某个用例构建。如果模型在一件事上的准确率是60%，你做的产品会完全不同；如果是95%，又不一样；如果是99.5%，那更是另一回事。所以你还必须深入钻研你的用例、eval 等等，才能理解应该构建什么样的产品。这是根本上的不同。你知道，如果数据库一次能工作，那它每次都能工作，但在这个世界里不是这样。那我们就顺着 eval 这个话题聊下去吧。我确实想聊聊这个。我们在 Line Friends Summit 上有一个传奇的 panel，是你、Mike Greger 和 Sir Guo 主持的，特别有趣。我听说在那个 panel 上，你有一句话让大家印象深刻，你说写 eval 会成为产品经理的核心技能。是啊。我觉得这不仅仅适用于产品经理。很多人知道 eval 是什么，也有很多人完全不知道我在说什么。所以你能不能简单解释一下什么是 eval？然后说说为什么你认为这对未来做产品的人会如此重要？好啊。我觉得最简单的方式就是把它想象成给模型的一份测验，一个测试，用来衡量它对某类学科知识掌握得有多好，或者它回答某类问题的能力有多强。就像你上微积分课，然后有微积分考试来看你是否学到了该学的内容。eval 就是用来测试模型在创意写作方面有多好，在研究生水平的科学方面有多好，在竞技编程方面有多好。所以你有一套 eval，本质上就是衡量模型有多聪明或多有能力的基准。简单来说，就像是给模型写的单元测试。对，给模型做的单元测试。完全正确。很好，很好。那对于那些不太清楚 eval 到底是怎么回事的人来说，为什么它这么重要？为什么它对构建 AI 产品如此关键？嗯，这回到我刚才说的。你需要知道你的模型在某些事情上会有99.95%的准确率，你可以完全放心。有些事情它们能做到95%正确，有些则是60%。如果模型在某件事上只有60%的正确率，你的产品就必须完全不同的做法。而且顺便说一句，这些数值也不是静态的。所以 eval 的一个重要作用是，如果你知道自己在为某个用例构建产品。比如说，就拿我们的 deep research 产品来说，这可能是我们有史以来发布的最喜欢的产品之一。对。deep research 的理念是，对于还没用过的人，你现在可以给 ChatGPT 一个任意复杂的查询，它并不是像搜索引擎那样返回一个答案，虽然我们也可以做搜索。而是，如果你要亲自回答这个问题，你可能会先去网上读两个小时资料，然后可能需要读一些论文，接着回来开始整理你的想法，意识到自己的思考还有缺口，于是再去做更多研究。你可能需要花一周时间才能写出一份20页左右的答案。而你可以让 ChatGPT 为你持续工作25到30分钟。你知道，这不是你习惯的那种即时回答，但它可能会去工作25到30分钟，完成原本需要你一周时间的工作量。所以我们在构建那个产品时，我们在思考产品如何运作的同时，也在设计 eval。我们在尝试梳理核心用例（hero use cases）。就是：这是你想问的问题，这是该问题的一个精彩答案，然后把这些转化为 eval，再在这些 eval 上做 hill climbing。所以，这不仅仅是模型保持静态，然后我们希望它在某些事情上表现还行；你可以教这个模型，让这成为一个持续学习的过程。因此，当我们为 deep research fine-tuning 模型、让它能够回答这些问题时，我们就能测试它是否在我们认定的重要 eval 上表现得更好了——这些 eval 是衡量产品运行状况的关键指标。而当你开始看到这些、开始看到在 eval 上的表现时……你之前围绕 eval 发表过类似观点，说 AI 的惊艳程度几乎受制于我们的 eval 做得有多好。你认同这一点吗？对此还有什么想法？我是说，这些模型是智能体，而智能从根本上就是多维度的。所以，你可以说一个模型在 competitive coding 上很厉害，但这可能不等于它擅长前端开发、后端开发，或者把一大堆用 Cobalt 写的代码转成 Python——要知道，这还只是在软件工程领域内部。所以我认为，在某种程度上，你可以把这些模型看作极其聪明、事实知识极其丰富的智能体，但世界上大部分的数据、知识和流程都不是公开的。它们被封锁在公司或政府等机构的围墙之内。同样地，如果你要加入一家公司，你会花头两周做入职培训，学习公司特定的流程，获得公司特定的数据访问权限。你可以教它们——这些模型足够聪明，你可以教它们任何东西——但它们需要有原始数据来学习。所以在某种程度上，是的，我认为未来真正的发展方向是拥有极其聪明的基础模型，它们会用公司特定或用例特定的数据进行 fine-tuning 和定制，从而在公司特定或用例特定的任务上表现优异。而你会用 custom evals 来衡量这一点。所以，我当时指的就是，这些模型确实很聪明。如果数据不在它们的 training set 中，你仍然需要教它们。而且有大量用例不会出现在 training set 中，因为它们只与某个行业或某家公司相关。我会继续顺着你的思路往下聊，但我稍后会回来，因为我对其中一些问题还有更多疑问。所以你触及了一个很多 AI 创始人都在思考的领域：未来 OpenAI 或者其他基础模型厂商不会来碾压我的地方在哪里？很多人都不清楚到底该不该在这个领域创业。你对此有什么建议或判断吗？你认为 OpenAI 或者基础模型厂商大概不会涉足哪些领域，而那里又存在创业机会？嗯，E. Williams 以前在 Twitter 时常说一句话，我一直记着：无论你的公司做得多大，无论里面的人多么出色，墙外的聪明人总是比墙内多得多。这也是为什么我们如此专注于打造优秀的 API。我们有 300 万开发者在使用我们的 API。无论我们多么有野心，规模变得多大——顺便说一句，我们并不想变得超级庞大——世界上有太多用例、太多地方，AI 可以从根本上让我们的生活变得更好。我们不会拥有足够的人手，也不会拥有构建其中大部分产品所需的专业知识。而且就像我说的，数据是行业特定的、用例特定的，被封锁在某些公司的围墙之内，等等。世界上的每个行业、每个垂直领域都有巨大的机会，去构建基于 AI 的产品，从而超越现有最先进水平。我们自己绝无可能做到这些。我们不想做，就算想做也做不到。我们非常兴奋能为 300 多万开发者提供动力支持，未来还会有更多。回到你之前提到的技术不断变化、速度越来越快，到你真正发布产品时，根本无法确切预知模型能力会变成什么样。我很好奇，是什么让你们能够如此快速、持续地交付这么出色的产品？听起来其中一个答案是自下而上赋权的团队，而非那种按季度规划的、非常自上而下的路线图。还有哪些因素让你们能够如此频繁、如此快速地交付优秀产品？是的，我们努力对未来方向有一种感知，让自己朝某个方向前进，这样大家大致上能保持一致。从主题上来说，我们确实会做季度路线图，也会制定年度战略。但我一刻也不相信，我们在这些文档里写下的东西就是三个月后真正要发布的内容，更不用说六个月或九个月了。但这没关系。我想有句 Eisenhower 的名言：计划本身毫无用处，但做计划的过程很有帮助。我非常认同这一点，尤其是在当下这个时代。比如季度路线图，它的真正价值在于让你有机会停下来思考：我们做了什么？什么奏效了？什么进展顺利？什么不顺利？我们学到了什么？接下来我们认为要做什么？顺便说一句，每个人都有一些依赖关系。比如你需要基础设施团队做以下几件事，需要和研究团队在这里合作。所以你需要一点时间检查依赖关系，确保一切就绪，然后开始执行。我们尽量让这个过程非常轻量，因为它不可能是完全正确的。中途我们就会把它扔掉，因为我们已经学到了新东西。所以计划的那一刻是有帮助的，即使它只有部分正确。所以我认为关键是预期自己要极度敏捷，写三个月的路线图都没有意义，更别说一年了，因为技术在你脚下变化得太快了。我们确实非常强烈地倾向于自下而上，当然这要以我们总体方向一致为前提。我们有优秀的人才。我们有工程师、产品经理、设计师和研究员，他们对自己正在构建的产品充满热情，有强烈的见解，而且也正是他们在亲手构建这些产品，所以他们对能力边界也有真切的感知，这一点极其重要。因此我认为在这种模式下你应该更自下而上，我们就是这么运作的。我们乐于犯错，我们一直都在犯错。这是我很欣赏 Sam 的一点，他极力推动我们快速行动，但他也明白，快速行动意味着有时我们做得不太对，或者发布的东西行不通，那我们就回滚。你看我们的命名，我们的命名太糟糕了，很多人问过你关于模型名称的问题。是的，这简直糟透了，我们知道，我们总有一天会抽空修好它，但这不是最重要的事，所以我们不会花太多时间在这上面。不过这也说明这并不重要——别忘了，ChatGPT 可是有史以来最受欢迎、增长最快的产品。嗯，这些模型是排名第一的 AI API 和模型。所以显然这并不太重要。而且我们给产品起名叫 o3 mini high。天啊，我太喜欢了。好吧，你提到了路线图规划，还有自下而上的方式。我很好奇，你们有没有某种节奏或惯例，来跟你或 Sam 对齐，或者由他或你来审查所有即将发布的东西？比如有没有每周或每月的会议，让你们了解关键项目的进展？我们会做产品审查之类的事情，正如你所想的那样。但没有什么固定的惯例，因为我绝不希望我们会因为等待我或 Sam 的审查，而在发布某样东西时被卡住。如果我正好在出差，或者 Sam 很忙之类的，这不是我们不发布的理由。所以显然，对于最大、最优先的事项，我们会密切跟进，但坦白说，我们真的尽量不这样做——我们想让团队能够快速行动，我认为发布和迭代更重要。所以我们有一种理念，叫做 iterative deployment。这个想法是，我们都在一起学习了解这些模型。所以某种意义上，即使你还不完全清楚它的全部能力，也先把东西发出来，这样好得多，然后一起在公开场合迭代，我们和社会其他部分共同进化，一起学习这些东西在哪些方面不同、哪些方面好、哪些方面不好、哪些方面很奇怪。我真的很喜欢这种理念。还有另一方面，我觉得最终成为我们产品哲学一部分的，是某种 model maximalism 的感觉。模型并不完美，它们会犯错。你可以花很多时间在它们周围搭建各种脚手架。顺便说一句，有时候我们确实会这样做，因为有时候有些错误是你绝对不想犯的。但我们不会在不匹配的地方花太多时间搭建脚手架，因为我们的一般心态是，两个月后就会有更好的模型，它会彻底扫除当前这一整套限制。所以如果你在开发产品——我们也对开发者这么说——如果你正在构建的产品刚好处于模型能力的边缘，那就继续做下去，因为你做得对，因为再过几个月，模型就会变得非常出色，突然间，你那个刚刚勉强能用的产品就会真正大放异彩。你知道，这大概就是确保你真正在突破边界、构建新事物的方式。我播客里请过 Bolt 的创始人，公司名叫 Stack Blitz，他分享了一个故事，说他们七年来一直在幕后开发这款产品，但一直失败，毫无进展。然后突然之间，抱歉要提到一家竞争对手，但 Claude，或者说 Sonnet 3.5 发布了，突然间一切都运作起来了。他们一直在构建，终于成功了。我在 YC 经常听到这种事，就是以前完全不可能的事情，现在随着模型每隔几个月的更新，突然变得可能了。是的，完全正确。其实我想问一下这个。我本来没打算问，但我好奇你有没有什么快速的想法，为什么 Sonnet 在编程方面这么强，以及你对你们的产品在编程方面变得同样好甚至更好有什么看法。是的，我是说，要向 Anthropic 致敬。他们构建了非常优秀的编程模型。毫无疑问，我们认为我们也能做到。也许等这期播客发布的时候，我们会有更多要说的，但无论如何，功劳都归他们。我认为这种智能真的是多维度的。所以我觉得，在模型提供商这个层面，过去 OpenAI 有着巨大的模型领先优势，大概领先其他人 12 个月左右。现在情况已经不是这样了。你知道，我愿意相信我们仍然领先。我会说我们确实还有领先，但肯定不是巨大的领先了。这意味着会有不同的领域，Google 的模型很强，或者 Anthropic 的模型很强，或者我们很强，然后我们的竞争对手就会说："啊，我们得在那方面做得更好。"
而且一旦有人证明了某件事是可能的，你要在那件事上变得更好，其实比在丛林中开辟道路、做全新的事情要容易得多。所以，我只是觉得，是的，举个例子，就像以前没人能在一英里跑进四分钟，终于有人做到了，第二年又有 12 个人做到了。我觉得这种现象无处不在，而这只是意味着竞争真的非常激烈，消费者会从中受益，开发者会受益，企业也会大大受益。这也是这个行业发展如此迅速的部分原因。但是，你知道，向其他大型模型提供商致以敬意，模型正变得越来越好。我们会尽可能快地前进，我觉得我们有一些不错的东西即将到来。令人兴奋。这也让我想到，虽然在很多方面其他模型在某些事情上做得更好，但不知何故 ChatGPT 就像是——如果你看所有的认知度数据和使用数据，似乎无论你们在排名中处于什么位置，人们就只会把 AI 和 ChatGPT 当成几乎是一回事。你觉得你们做对了什么，至少在当下全球消费者的认知中赢得了这种地位？我认为先发优势很有帮助，这也是我们如此专注于快速行动的原因之一。你知道，我们喜欢率先推出新能力，比如 deep research 这样的功能。而且，我们的模型非常……它们能做很多事情，对吧？所以，它们可以接受实时视频输入，我们有 speech to speech，你可以做 speech to text 和 text to speech。它们可以做 deep research，可以在 canvas 上操作，可以写代码。所以，ChatGPT 可以成为一个一站式商店，你想做的所有事情都有可能实现。而且随着我们向前发展，我们会有更多像 operator 这样的 agentic 工具，它可以帮你浏览网页、在网上做事，你知道，越来越多的情况下，你可以来到 ChatGPT 这一个地方，给它指令，让它帮你在现实世界中完成真正的事情，这里面有某种根本性的价值，所以我们经常思考这个问题，我们认为……我们尝试非常快速地行动，这样我们就能始终成为人们来做事情的最有用的平台。你会说，在构建 AI 产品或在 OpenAI 工作之后，你学到的最反直觉的事情是什么？就是那种"我完全没料到"的事。我不知道，也许我早该料到，但对我来说有趣的是，当你试图弄清楚某个产品应该如何与 AI 配合工作时，你通常可以——甚至当你想弄明白为什么某个 AI 现象会成立时——你通常可以用推理人类的方式来推理它，而且这招还挺管用。是的。也许举几个例子。当我们首次发布我们的推理模型时，对吧，我们是第一个构建出能够推理的模型的，它不会只是对每个问题都立刻给你一个快速的、system 1 式的答案。比如问"神圣罗马帝国的第三位皇帝是谁"，你知道，直接给你一个答案。你可以问它难题，它会以推理的方式作答，就像如果我让你做填字游戏，你不可能啪地一下就把所有空都填上一样。你会在这道题上做得很好，我认为答案可能是这两个中的一个，但这就意味着这里有个 A，所以那个一定是这个。哦，你知道，就像回溯一样，一步一步地从你当前的位置开始构建。这和解决任何困难的物流问题或科学问题的方式是一样的。所以这次推理上的突破很大，但这也是模型第一次需要坐下来思考，而对于消费级产品来说，这是一种奇怪的范式。你通常不会遇到这样一种情况：问完问题后，你可能需要干等 25 秒。所以我们当时一直在琢磨，这该设计什么样的 UI，因为这也不像 deep research 那样，模型有时候会去思考 25 分钟。那种情况其实没那么难处理，因为你不会干坐着看它想 25 分钟，你会去做别的事——去另一个标签页，或者去吃午饭之类的——然后回来，它就完成了。但如果是 20 秒、25 秒，或者 10 秒，这个体验就很漫长。等待的时间很长，但又不够长到你真的能去做点别的事。所以实际上你需要……你可以这样想：如果你问我一个需要我想 20 秒才能回答的问题，我会怎么做？我不会突然就静音了，什么都不说，然后就这样“关机”20 秒再回来。所以我们也不应该那样做，不应该只是放个进度条在那里，那很烦人。但我也不会开始喋喋不休地说出我脑子里的每一个想法。所以我们大概也不应该直接把模型思考的完整 chain of thought 暴露出来。但你知道，我可能会说：“嗯，这是个好问题。”对吧，我可能会那样开场，然后思考，期间也许会给你一些小更新。而这其实正是我们最终发布的产品形态。类似的情况还有，你会发现有时候让一群模型同时尝试解决同一个问题，然后由另一个模型审视它们的所有输出并进行整合，最后给你一个单一答案，这样能得到更好的思考结果。我的意思是，这听起来有点像 brainstorming，对吧？我进入房间和其他人一起 brainstorming 时，肯定能产生更好的想法，因为他们的思维方式和我不一样。总之，所有这些情境下，你其实都可以像对待一群人或一个人类个体那样去推理，而且居然还挺有效的。我也不知道，也许我不该对此感到惊讶，但我确实有点惊讶。这太有意思了，因为当我看到这些模型运行时，我从未想过你们还在设计这种体验。对我来说，感觉就像是 LLM 本来就会这样，它就坐在那里告诉我它在想什么。我很喜欢你提到的这个观点：我们要让它感觉像人类在运作，而人类是怎么运作的？就是大声说出来，想着“这是我应该探索的方向”。我也很喜欢那种深度序列，就是走到极端的情况，对吧？模型就像在说“这是我在做的和想到的一切”，而人们居然也喜欢那样。你当时感到惊讶吗？就是，哦，原来这样也行。人们似乎什么都喜欢。是的，我们其实是从中学到了东西。因为我们最初发布的时候，基本只给了你一个关于模型思考内容的小标题，没别的了。后来 DeepSeek 发布了，展示的内容非常多，我们就想，不知道是否所有人都想要那样。看到模型真正在想什么，确实有一种 novelty effect。我们内部看的时候也有这种感觉。看模型的 chain of thought 很有意思，但是，你知道，我觉得在 4 亿用户的规模下，你不会想看到模型喋喋不休地说一大堆东西。所以我们最终做的是，用有趣的方式把它总结出来。你不再只是看到小标题，而是会看到一两句话，描述它是怎么思考的，而且你能从中学到东西。所以我们试图找到一个 middle ground，一种我们认为对大多数人都有意义的体验，但给每个人看三段话可能不是正确答案。这让我想起你在峰会上说的另一件事，一直让我印象深刻。就是关于 chat，人们总是嘲笑说 chat 不可能是我们与 AI 交互的未来界面，但你提出了一个很有意思的反驳观点：作为人类，我们通过对话来交互，而人类的 IQ 可以很低也可以很高，但都能交流，因为我们在和他们说话，chat 也是一样的，它可以适用于各种智力水平。也许我刚才已经替你说完了，但关于为什么 chat 最终会成为 LLM 如此有趣的界面，你还有什么要补充的吗？是的，我不知道这是否属于那种我相信但大多数人不信的事，但我确实觉得 chat 是一个很棒的界面，因为它太全能了。人们往往会说：“哦，chat 啊，是啊，我们总会找到更好的东西的。”但我有点觉得，这其实是极其通用的，因为它就是我们说话的方式。比如我现在可以口头和你交谈，我们可以见面互动，我们也可以在 WhatsApp 上发消息，但所有这些本质上都是一种非结构化的沟通方式，而这就是我们人类的运作方式。如果我们在交谈时，我必须使用某种更僵化的界面，那我能和你聊的事情就会少得多，而且还会阻碍我们达到最大的沟通带宽。所以这里面有某种神奇的东西。顺便说一句，过去这之所以行不通，是因为没有模型能够真正理解人类语言中的所有复杂性和细微差别，而这就是 LLM 的魔力所在。所以对我来说，这是一个与这些技术的能力完美契合的界面。这并不意味着它永远只能是打字，我不一定总想打字，但你确实想要那种非常开放、灵活的沟通媒介。可能是我们在说话，模型也在回应我，但你仍然想要那种最基础、最不受限制的交互方式。这太有意思了。这真的改变了我对这些事情的认知，chat 对于和超级智能对话这个非常具体的问题来说，实在是太合适了。顺便说一下，我觉得也不是只有 chat 才行。如果你的使用场景流量很大，而且更加固定化，不需要完全的通用性，那有很多场景其实是更适合用不那么灵活、更固定、在特定任务上更快的东西，这些也很好，你可以构建各种各样这样的产品。但你仍然需要把 chat 作为基线，用来处理任何你正在构建的垂直领域之外的东西。它就像一个 catch-all，涵盖了你可能想向模型表达的每一件事。我很高兴能和 Christina Gilbert 聊聊，她是 One Schema 的创始人，也是我们播客长期赞助商之一。嗨，Christina。嗨，谢谢你邀请我。Lenny，One Schema 最近有什么新动态？我知道你们现在和一些我很喜欢的公司合作，比如 RAMP、Vanta、Scale 和 Watershed。我听说你们刚发布了一款新产品，帮助产品团队从一些特别复杂的系统（比如 ERPs）导入 CSVs。是的。我们刚刚发布了One Schema的file feeds功能，只要你能把CSV文件导出到SFTP文件夹，就能在15分钟内与任何系统完成集成。我们经常看到客户被困在各种权宜之计和变通方案里。而我们合作的产品团队也不必因为对方系统太难集成而拒绝潜在客户。我们让客户无需动用任何工程团队资源，就能提供数千种集成方案。我可以告诉你，如果我的团队不得不自己构建这类集成，能把它从路线图中拿掉，转而使用One Schema这样的方案，不仅不用自己开发，还永远不用自己维护，那该有多好。没错，Lenny。我们听过太多恐怖故事：仅仅因为少数几条坏记录，就导致系统中断好几天。我们极度专注于集成可靠性，帮助团队终结所有由集成带来的分心事务。我们内置了验证层，可以阻止任何坏数据进入你的系统，而且One Schema会立即通知你的团队哪些数据看起来有问题。我知道导入错误数据会给客户带来各种痛苦，并迅速失去他们的信任。Christina，感谢你加入我们。如果你想了解更多，请访问oneschema.co，就是oneschema.co。对了，我想回到你提到的研究人员与产品团队的关系这个话题。我猜很多创新来自研究人员——他们可能只是有个模糊的想法，然后做出了惊人的东西并发布出来；而有些想法则来自PM和工程师。这些团队是如何协作的？是每个团队都有PM吗？是不是很多由研究主导的项目？能给我们讲讲，想法和创意主要来自哪里吗？这是我们正在大幅演进的领域，我对此非常兴奋。坦白说，如果你回溯几年，ChatGPT刚刚起步的时候——显然我当时还没加入OpenAI——但我们那时候更偏向一家纯粹的研究公司。ChatGPT，如果你还记得的话，最初只是一个低调的研究预览版。没错。团队发布它的时候，并没有想过这会成为一个现象级产品。它只是一个让人们可以玩转模型、与之迭代的方式。所以我们主要是一家研究公司，一家世界级的研究公司。随着ChatGPT的发展，以及我们构建了B2B产品、API和其他业务，现在我们比以前更像一家产品公司了。但我仍然认为，OpenAI绝不能、也绝不应该成为一家纯粹的产品公司。我们需要同时是世界级的研究公司和世界级的产品公司，而且这两者必须真正协同工作。我觉得在过去大约6个月里，我们在这方面进步了很多。如果你把这两件事分开，研究人员去做出色的研究、训练模型，等模型到了某个阶段，再由产品和工程团队拿去用，那我们实际上就只是自己模型的API消费者。但最好的产品，就像我刚才提到的deep research那样，需要大量迭代反馈。你需要理解你想解决的产品问题或痛点，为之构建evals，利用这些evals去收集数据、微调模型，让它们在你要解决的使用场景上表现更好。要做好这件事，需要大量的来回磨合。我认为最好的产品会是产品设计与研究作为一个团队协同工作，共同构建新颖的东西。所以实际上，我们现在基本上所有产品都是这么运作的。这对我们来说是一块新肌肉，因为作为产品公司我们还相对年轻，但大家都对此非常兴奋，因为我们发现每次这样做，都能做出很棒的东西，所以现在每个产品一开始就是这样推进的。
OpenAI有多少产品经理？不知道方不方便透露这个数字，但如果可以的话。其实没有那么多。我猜25个左右？可能稍微多一点。但我个人一直认为，作为一个组织，总体上要保持比较轻量的PM配置。我这么说完全是出于善意，因为我自己就是PM，但PM太多会出问题。你知道的，我们会用满世界的PPT和想法去填满时间，而不是专注执行。所以我觉得，当一个PM可能需要带略多于常规定量的工程师时，反而是件好事，这意味着他们没法事事插手、微观管理。你会把很多影响力和决策责任留给工程师。这也意味着你需要真正以产品为导向的工程师，而我们很幸运拥有这样的团队。我们有一支极具产品思维、high agency的工程团队。当你有了这样的团队，他们会感到非常有自主权。PM则会努力去真正理解问题，并对团队稍加引导，但因为事情太多，他们没法深入到所有细节里，最终你们就能跑得很快。这就是我们秉持的理念。我们希望从上到下都是有产品思维的负责人和有产品思维的工程师。我们不想要太多PM，但要非常优秀、高质量的PM。到目前为止，这套做法似乎运转得相当不错。我猜对很多人来说，在OpenAI做PM就像梦想成真。但与此同时，我觉得这份工作也不适合所有人。这里有研究人员参与，还有非常有产品思维的工程师。你在招聘PM时看重什么？对于那些可能在想“我是不是不该去那里工作，我连想都不该想”的人，你有什么建议？我想我已经说过几次了，high agency是我们非常看重的东西。那些不会等着别人允许才行动的人，他们看到问题就会直接去解决。这是我们工作方式的核心。还有，要对模糊性感到自在，因为这里有大量的模糊性。这里不是那种——有时候比较初级的PM会不太适应——不是那种有人进来跟你说“来，这是全局，这是你的领域，我要你去做这件事”的地方。而这正是早期职业PM所期望的。我们只是，我的意思是，这里没人有时间，问题本身都还没成型，我们都是边走边摸索。所以，high agency、对模糊性非常适应、愿意进来帮忙执行并快速推进，这基本上就是我们的配方。还有就是，要通过影响力来领导，因为作为PM，通常没有人向你汇报，你的团队也不向你汇报等等。而且你还有一个更复杂的研究职能，研究人员更加自我驱动，所以和研究团队建立良好关系非常重要。因此，我觉得EQ这方面对我们来说也超级重要。我知道在大多数公司，PM进来的时候，大家会想“我们为什么需要你？”作为PM，你必须赢得信任，让大家看到你的价值。我感觉在OpenAI，这种情况可能更极端，大家会想说“我们为什么需要这个人？我们有研究人员，有工程师，你在这儿能干什么？”
是的，我觉得如果做得对，大家是会感激的。但你得带动大家一起往前走。我认为PM能做好的最重要的事情之一，就是果断决策。所以这里面真的有一条很微妙的界线。你不想事事都由自己做主。我的意思是，我不太喜欢那种把 PM 当成产品 CEO 的错觉。但就像 Sam 在自己的角色中一样，如果他参加的每场会议都要亲自做每一个决定，那他会犯错；如果他在任何会议中都不做任何决定，那他也会犯错。对吧？关键在于懂得什么时候该把决定权交给团队，让人们去创新；什么时候又确实需要做一个决定——无论是人们觉得没把握、没权力去做的决定，还是一个利弊太过分散、涉及面太广、需要有人果断拍板的决定。这是 CEO 非常重要的特质，Sam 在这方面做得很好；这也是 PM 在更微观层面上非常重要的特质。因为工作中存在大量模糊地带，很多情况下答案并不明确。所以需要有 PM 能够站出来——顺便说一下，这不一定是 PM，其他人来做我也完全没问题——但我对 PM 的期待是：如果出现模糊情况却没人拍板，那你必须确保我们能做出决定并继续前进。这触及到了我之前写的几篇帖子，关于 AI 会在哪些地方取代我们的工作，又在哪些地方帮助我们完成各项工作。所以我打算从几个不同角度来谈谈 AI 如何影响产品团队、招聘等问题。首先，现在到处都在说 LM 会帮我们写代码，一年内 90% 的代码都将由 AI 编写。Enthropic 的 Dario 也这么说过。但与此同时，你们却在疯狂招聘工程师、疯狂招聘 PM。大家都说每个职能都要消亡了，但你们仍在招聘每一个岗位。我想先问一句：你和你的团队——比如工程师、PM——是如何在工作中使用 AI 的？有没有什么特别有趣的用法，或者你觉得大家还没意识到、但你们已经在日常工作中用到的？我们用得很多。我是说，我们每个人整天都在用 ChatGPT：总结文档、辅助写文档，还用 GPT 写产品需求文档之类的。所有你能想到的这些事都在做。我是说，就连写 eval，你其实也可以用模型来帮你写，而且它们做得相当不错。话虽如此，我对我们——其实主要就是指我自己——还是感到有些失望。如果把我五年前在另一家公司负责产品时的自己传送到现在的日常工作中，我觉得工作模式看起来还是老样子。我认为我们现在——当然一年后肯定更是如此——应该处在一个我几乎认不出来的工作世界里，因为工作流程已经大不相同，AI 的使用程度应该非常深，但我今天仍然能认出这是老样子。所以从某种意义上说，我在这方面做得还不够好。举个例子，为什么我们不大肆用 vibe coding 来做 demo？与其在 Figma 里展示设计稿，我们应该展示那些人们在 30 分钟内 vibe coding 出来的原型，用来验证概念和探索想法。这在今天完全可行，但我们做得还不够。实际上，我们的首席人力官 Julia 前几天告诉我，她在前司用过一个特别想要的内部工具，结果她打开——不知道是 wind surf 还是别的什么——直接 vibe coding 做出来了。这多酷啊？如果我们的首席人力官都在这么做，我们没有任何借口不做得更多。这个故事太棒了。对了，有些人可能还没听过 vibe coding 这个术语。你能解释一下它是什么意思吗？可以。我想这是 Andre 提出的说法。Karpathy。对，Andre Karpathy。就是说，你现在有 Cursor、Windsurf 和 GitHub Copilot 这类工具，它们非常擅长提示你可能想写的代码。你给它们一个 prompt，它就会写出代码；然后你去编辑时，它又会建议你可能想做什么。大家一开始用这些东西的方式是：给个 prompt，让它干活；你去编辑，再给个 prompt，整个过程你其实一直在跟模型来回交互。随着模型越来越好，人们也越来越习惯，你就可以稍微放手一点。模型在建议东西的时候，你就一直按 tab、tab、tab、tab，让它继续。对对对对对。当然，模型会犯错，或者写出编译不过的代码。但编译不过的时候，你把错误信息贴进去，跟它说继续。然后你测试一下，发现它做了一件事不是你想要的，你就输入一条指令，告诉它继续。你就让模型自己发挥。并不是说今天你就会用这种方式写需要极其严谨的生产代码，但对于很多事情——你想快速验证概念、做个 demo——你真的可以放手，模型会做得非常出色。这就是 vibe coding。解释得太好了。我觉得进阶版——我想 Andre 甚至描述过——是你连打字都不打，直接用说的，像是 Whisper、Super Whisper 之类的阶段，直接跟模型对话。没错，完全是这样。天哪。那我想问问，展望未来，你刚才提到你们应该更多地这样做，而不是只在设计里做原型。你认为产品团队的结构或组建方式会发生哪些最大的变化？你觉得未来几年会往哪里走？我认为未来肯定会是一个每个产品团队都内置 researcher 的世界。我指的不只是基础模型公司，因为老实说，我对整个行业感到有点意外的是，fine-tuned model 的采用还没有那么广泛。你知道，这些模型本身已经很厉害了。我们的 API 在很多方面都做得很好，但当你有特定用例时，你总可以通过 fine-tuning 让模型在这个特定用例上表现更好。这可能只是时间问题。大家目前在每种情况下都还不完全习惯这么做，但对我来说，这毫无疑问是未来。模型会无处不在，就像晶体管无处不在一样。AI 将成为我们一切工作的底层组成部分。但我认为未来会出现大量 fine-tuned model，因为你为什么不针对特定用例更具体地定制模型呢？所以我觉得，几乎每个团队都需要那种准 researcher、machine learning engineer 类型的角色，因为 fine-tuning 模型将成为构建大多数产品的核心工作流之一。这是一种变化，也许你现在还只在基础模型公司看到，但未来会逐渐扩散到更多团队。我好奇有没有一个具体的例子能让这一点更直观？你先说，我这边也想到一个例子。当然。说到 Cursor 和 Windsurf，我从那些创始人身上学到的一点是，他们虽然用了 Sonnet 这样的模型，但还搭配了一系列自定义模型来完善边缘场景，让整个体验——不仅仅是代码生成——变得更好，比如自动补全和预判接下来的走向。那么除此之外，你觉得团队里的研究人员还会构建哪些微调模型的例子？是的，当你微调一个模型时，你基本上是在给模型大量示例，告诉它你希望它在哪些方面变得更擅长。也就是说，这是一个问题，这是一个好的答案；或者这是一个问题，这是一个好的答案——重复一千次或一万次。突然间，你就教会了模型在某个特定任务上比它出厂时的表现好得多。我们在内部到处都在用。而且我们内部使用模型组合（ensembles of models）的频率可能比外界想象的更高。不是说我有 10 个不同的问题，就直接去问基础版的 GPT-4o。如果我们有 10 个不同的问题，我们可能会通过 20 次不同的模型调用来解决，其中一些会使用专门微调过的模型。我们会用不同尺寸的模型，因为不同问题可能有不同的延迟要求或成本要求。每个调用可能还配有自定义的 prompt。基本上，你想要教会模型变得非常擅长某件事，就要把问题拆解成更具体的任务，而不是一堆宽泛的高级任务。然后你可以针对性地使用模型，让每个模型在各自的细分任务上变得非常出色，再把这些模型组合起来，共同解决整个问题。我认为现在很多优秀的公司都在这么做。但我仍然看到很多公司倾向于给模型一个单一的、通用的宏大任务，而不是把任务拆解开来。我觉得未来会有更多公司把任务拆解，针对特定事项使用特定模型，包括微调模型。那么在你们这边，特别有意思的一点是，你们会使用不同层级的 ChatGPT，比如 o1、o3 以及更早的模型，这些都会出现在我们的内部技术栈中。给你举个例子，客服支持。我们有超过 4 亿的周活跃用户，所以会收到大量咨询工单。我不知道我们具体有多少客服人员，但人数不多，大概三四十人吧，肯定比任何同类公司都少得多。这是因为我们自动化了很多流程。大多数问题都通过内部资源、知识库、回答指南、应该呈现什么样的个性风格等等来解决。你可以把这些教给模型，然后让它自动回答大量问题。如果遇到它不太有把握回答的特定问题，它仍然可以建议一个答案，并请求人工审核。而那个人工给出的答案，实际上又成了模型自身的微调数据。你在告诉它某个特定情况下的正确答案。我们在各个环节都会用到不同的模型。有些地方需要更强的推理能力，对延迟不那么敏感，所以我们会用 o 系列模型之一；而有些地方只需要快速核对一下信息，用 4o mini 就完全没问题，它超快、超便宜。总的来说，就是针对特定目的使用特定模型，然后把它们组合起来解决问题。顺便说一句，这和我们人类解决问题的方式没什么不同。一家公司可以说就是一个模型组合，每个成员都经过了微调——基于我们在大学学到的东西，以及职业生涯中积累的经验。我们都经过了微调，拥有不同的技能组合，你把他们以不同的配置组合在一起，整个团队的产出远比任何单个人要好。
Kevin，你这话让我大开眼界。听起来完全正确。而且不同的人，你付给他们的工资也不一样。和他们沟通的成本不同。有些人要花很长时间才能回答。有些人还会产生幻觉。我跟你说，这真是一个行之有效的思维模型。太棒了。有些人是视觉型的，喜欢把想法画出来。有些人则喜欢口头表达。哇，这个比喻真是太妙了。所以再回到你给的建议，我很喜欢我们又绕回了这个话题。你找到了一个很好的思考方式，来思考如何设计出色的 AI 体验，具体来说就是 LLM——想想一个人会怎么做这件事。嗯，也许答案并不总是去想一个人会怎么做。但有时候，为了获得如何解决某个问题的直觉，你可以设想在那种情况下一个对等的人类会怎么做，并用这种方式——至少——获得一个看待问题的不同视角。哇，这太棒了。要知道，因为很多情况下这本质上就是在和模型对话，而我们其实有大量可借鉴的经验，因为我们一直在和其他人类交谈，在各种不同情境下与他们打交道，所以有很多东西可以从中学习。好，既然说到人类，我想稍微聊聊未来。你有三个孩子，有个社区成员问了我一个特别搞笑的问题，我觉得这也是很多人在想的。这位是 Patrick Sil，我以前和他在 Airbnb 共事过。他问：“问问他鼓励自己的孩子学什么来为未来做准备。我担心我六岁的孩子到 2036 年的时候，想进顶尖的 roofing 或 plumbing 项目会面临激烈竞争，得有个备选计划。”这问题挺逗的。嗯，我们的孩子分别是 10 岁，还有一对 8 岁的双胞胎，所以他们还很小。让我感叹的是，他们是多么原生的 AI 一代。对他们来说，有自动驾驶汽车、可以整天和 AI 聊天，这些都是再正常不过的事。他们会和 ChatGPT、Alexa 之类的东西进行完整的对话。我不知道。未来谁知道呢。我觉得像编程这样的技能在很长一段时间内都会很有价值。但谁又说得准呢？我认为，如果你教会孩子保持好奇心、独立自主、自信，教会他们如何思考，我不知道未来会变成什么样，但我觉得这些能力在任何一种未来图景中都会很重要。所以，我们也不是说有一切答案，但这就是 Elizabeth 和我对待孩子的方式。你觉得 AI 辅导呢？现在有很多关于 AI 辅导的讨论。你们有在用这个吗？我知道他们在用 ChatGPT。我喜欢你发的那些照片，他们在玩 prompt 什么的。我想问的是，你们在这方面有没有做什么实验，或者你觉得什么会变得非常重要？这或许是 AI 能做的最重要的事情之一。也许这话有点大。AI 能做很多重要的事情，包括加快基础科学研究和发现的速度——这或许才是 AI 能做的最重要的事——但个性化辅导肯定也是最重要的事情之一。让我有点惊讶的是，目前仍然……我知道市面上已经有一些不错的产品了，比如 Khan Academy 就做得很好。他们是我们很棒的合作伙伴。
Venode Kosla 有一个非营利组织，在这个领域做了一些非常有趣的事情，而且正在产生影响。但我有点想说，我很惊讶为什么没有面向 20 亿儿童的 AI 个性化辅导项目，因为现在的模型已经足够好了。而且外面做过的每一项研究似乎都在表明，你知道，课堂教学仍然很重要，但当你把它和个性化辅导结合起来时，学习速度会有多个标准差的提升。所以这毫无争议。这对孩子有好处。它是免费的。ChatGPT 是免费的。你不需要付费，而且模型已经足够好了。这让我很震惊，为什么还没有出现什么了不起的东西，供我们的孩子、你未来的孩子，以及世界各地不如我们的孩子幸运、无法拥有这种内置的扎实教育的人使用。再说一遍，ChatGPT 是免费的。人们到处都有 Android 设备。我觉得这真的能改变世界，我很惊讶它还不存在，我希望它能存在。这让我想到了我想花点时间谈谈的另一个问题，也就是很多人也在担心 AI，担心它的发展方向。他们担心它会抢走工作。他们担心，你知道，未来的超级智能会消灭人类。你对此有什么看法？以及我认为人们需要听到的乐观情况是什么？我是坚定的技术乐观主义者。我认为，如果你回顾过去 200 年，也许更久，技术推动了很多进步，才让我们有了今天的世界和社会。它推动经济发展，推动地缘政治进步、生活质量提升、寿命延长。我的意思是，技术几乎是万物的根源。所以我认为，从长远来看，很少有例子表明这不是一件伟大的事情。但这并不意味着不存在暂时的错位，也不意味着没有个人受到影响，这些也很重要。所以不能只是平均来看是好的，你还必须考虑如何尽可能照顾好每一个人。这是我们经常思考的事情，而且在我们与政府合作、参与政策制定时，我们会尽我们所能提供帮助。我们在教育方面做了很多。你知道，其中一个好处是，ChatGPT 也可能是你能想到的最好的再培训应用。它知道很多东西，如果你有兴趣学习新事物，它可以教你很多东西。所以，但这些都是非常现实的问题。我对长期前景非常乐观，我们作为一个社会需要尽一切努力，确保我们尽可能让这一转型平稳、得到充分支持，让人们对未来方向有所感知。这是很多人心中的一个大问题。有人提了一个我很喜欢的问题，就是 AI 已经在很多不同方面改变了创意工作，写作、设计和编程。你认为下一个重大飞跃是什么？具体来说，在 AI 辅助创意方面，我们应该期待的下一个重大飞跃是什么？然后更广泛地说，你认为未来几年事情会朝着什么方向发展？是的，在这个领域我也是坚定的乐观主义者。比如你看看 Sora，我们之前聊过图像生成，以及人们在 Twitter、Instagram 和其他平台上展现的绝对如泉水般的创造力。我是世界上最糟糕的艺术家。糟透了。也许我唯一比艺术更差的是唱歌。你知道，给我一支铅笔和一叠纸，我画得还不如我们 8 岁的孩子。就是那样。但给我图像生成工具，你知道，我可以想一些创意，然后把东西输入模型，突然就能得到我自己根本不可能做出来的输出。这很酷。即使你看看那些真正有天分的人。我最近和一个导演聊过 Sora，他导演过我们都听说过的电影。他说，你知道，对于他正在拍的一部电影，比如说某种科幻风格的，想想《星球大战》，有个场景是一架飞机冲向某个类似死星的东西。所以你先让飞机俯瞰整个星球，然后你想切到一个场景，飞机好像到了地面高度，突然你看到了城市和其他一切，对吧？你要怎么处理这个转场和过渡？他说，你知道，在两年前的世界里，我会付给一家 3D 特效公司，呃，你知道，10 万美元，他们会花一个月时间，为我制作两个这个转场镜头的版本，然后我来评估。我们会选一个，因为你能怎么办呢，再付 5 万美元再等一个月？然后我们就只能将就着用了，你知道，也还行，电影很棒，我爱电影，而且显然用我们已有的技术也能做出很棒的东西。但你现在看看用 Sora 能做什么，他的观点是，现在我可以用 Sora，我们的视频模型，我可以得到 50 个不同的这个转场镜头的变体，就在我通过提示词进行头脑风暴、模型也跟我一起碰撞想法的时候，我就有了 50 个不同版本。然后当然我可以基于这些进行迭代、细化，采纳不同的想法。现在我仍然会去那家 3D 特效工作室制作最终版本，但我会带着头脑风暴的成果去，带着一种更有创意的方法去，最终成果也会好得多，而且这是我借助 AI 完成的。所以我个人对创造力的总体看法是，没有人会对着 Sora 输入“给我拍一部伟大的电影”。这需要创造力、巧思和所有这些东西，但它可以帮助你探索更多。它可以帮助你得到更好的最终结果。所以你知道，我大多数事情上都倾向于乐观，但实际上我我我认为这里有一个非常好的前景。我知道 Sam Alman，我想是他，最近发推提到了你们正在做的创意写作功能，以前它很不擅长写创意类内容，他分享了一个例子，实际上写得非常好。我猜这也是另一个投资方向。是的，内部正在发生一些令人兴奋的事情，涉及一些新的研究技术。所以我们在某个时候会对此多说一些，但没错，Sam 有时候喜欢展示一些即将到来的东西。顺便说一下，这非常符合我们这种迭代部署的理念。我们不会有了某种突破就永远保密，然后在某一天才赐予世界。我们更倾向于谈论我们正在做的事情，尽可能分享，早早发布、频繁发布，然后公开迭代。我我我真的很喜欢这种理念。我很喜欢这些对未来一些事物的暗示。我知道你不能说太多。你谈到在不久的将来可能会有编程方面的飞跃，也许等这期内容发布时就来了。还有其他人们应该期待的近期动向吗？有什么你能透露的有趣、令人兴奋的事情吗？天哪，这些对你来说还不够吗。哦，只是所有东西每天都在变得更好。是啊，我就想，天哪，我希望这些东西能在本期节目发布之前就推出一些。这就是你的新时间框了。我不想惹人生气。呃，不是。对我来说最惊人的是，我们刚才还在聊仅仅几年间模型进步了多少。如果你回到 GPT-3，你会觉得它烂得令人发指，尽管两年前的 Lenny 还曾被它们的表现震撼得目瞪口呆。而且很长一段时间里，我们大约每 6 到 9 个月就迭代一次新的 GPT 模型。像是 GPT-3、GPT-3.5、GPT-4。而现在随着 O 系列推理模型的推出，我们的速度更快了。大概每 3 个月，也许 4 个月，就会有一个新的 O 系列模型。每一个在能力上都有提升。所以这些模型的能力正在以极快的速度提升。随着规模扩大，它们也在变得更便宜。你看，哪怕只是对比几年前。最初的，我想是 GPT-3.5 什么的，在 API 中的成本大概是今天 GPT-4o mini 的 100 倍。短短几年，成本就下降了两个数量级，而智能程度却高得多。所以我不知道世界上还有哪一系列趋势能与之相比。模型变得更聪明、更快、更便宜，也更安全。你知道，每一代迭代幻觉都更少。所以，就像摩尔定律和晶体管的普及一样。那是一条关于每 18 个月芯片上晶体管数量翻倍的定律。如果你说的是每年提升 10 倍，那是一条陡峭得多的指数曲线。它只是在告诉我们，未来将与今天截然不同。我一直在提醒自己：你今天使用的 AI 模型，是你余生中用过的最差的 AI 模型。当你真正理解这一点时，感觉挺疯狂的。我其实正想说同样的话。这就是我在观察这一切时始终萦绕在脑海中的想法。就像你谈到 Sora，我猜很多人会想，“不不，它其实还没准备好。它还不够好。它不可能比我在电影院看的电影更好。”但关键就在于你刚才说的：这是它最差的状态。它只会越来越好。没错。模型最大主义。就是要持续为那些即将实现的能力做构建，模型会迎头赶上，然后变得令人惊叹。要滑向冰球即将到达的位置。没错。嗯，这让我想起一件事。前几天我一直在用 Jiblify 处理所有东西，然后我就想，怎么花了这么长时间？就像，该死的。那是什么？我说，就像现在大家常做的那样。我就像，用这么惊艳的方式生成一张我家人的照片居然要花一分钟。拜托，怎么这么慢？你只是太习惯魔法在你面前发生了。是啊，完全如此。好的，最后一个问题。这要将话题完全转向另一个方向了。很多人问过这个。众所周知，你曾在 Facebook 领导了一个叫 Libra 的项目，现在叫 Novi。很多人一直想知道那里到底发生了什么。那是个很酷的想法。我知道有些人觉得是有监管挑战之类的。我不知道你有没有怎么谈过这个。所以我想你能不能给大家简要总结一下，Libra 是什么？你当时做的这个项目，到底发生了什么，以及你对此的感受。是啊，我是说 David Marcus 主导了它，而且我很乐意为他工作，与他共事。我认为他是一位有远见的人，也是一位导师和朋友。说实话，Libra 可能是我职业生涯中最大的遗憾。当我想到我们当时试图解决的问题，那些非常真实的问题。比如你看看汇款领域，人们给在其他国家的家人寄钱，这非常不公平，对吧？那些没钱的人却要支付 20% 的费用才能寄钱回家，费用高得离谱，而且要花好几天，你还得去取现金，是的，整个过程都很糟糕。而我们有大约 30 亿人在全球使用 WhatsApp，每天互相聊天，尤其是朋友和家人，正是那种会给彼此寄钱的人群。为什么你不能像发短信一样即时、便宜、简单地转钱呢？当你坐下来想想，这本来就是应该存在的东西。而这就是我们试图去做的。不过，我觉得我们并没有把所有牌都打得完美。如果能重来，有很多事情我会做得不一样。你知道，我们试图一次性把所有事情都搞定。我们试图推出一条新的区块链。它最初是一篮子货币。还要整合进 WhatsApp 和 Messenger。我想全世界都有点反应不过来，“天哪，一次性要改变的东西太多了。”而且那刚好也是 Facebook 声誉绝对处于低谷的时期。所以这也没帮上忙，对吧？它也不是人们想要用来承载这种改变的 Messenger。我们进场时就知道这一切，但我们还是去做了。我想，其实有很多方式可以让我们更温和地引入这些改变。也许最终还能达到同样的结果。但一次性少推一些新东西，逐步引入。谁知道呢。你知道，这些都是我们一起做的决定。所以我们共同承担。我当然也承担我的那份。但根本上让我失望的是，这东西今天没能存在于世界上，因为如果我们当时能推出那款产品，世界会变得更好。我本该能在 WhatsApp 里免费给你转 50 美分。它能即时到账。每个人都会在 WhatsApp 账户里有余额。我们可以交易。我是说，这本来就是应该存在的。我不知道，说实话，现在的政府对加密货币非常友好。Facebook 的声誉、Meta 的声誉也处在非常不同的位置。也许他们现在应该去把它做出来。我看了看这段历史，显然他们把技术以两亿美元卖给了一家私募公司。是啊。是啊。所以，你还得把它买回来。现在有几条区块链就是基于这项技术搭建的，因为这项技术从一开始就是开源的。Aptos 和 Miston 就是两家基于这项技术创立的公司。所以，至少我们做的所有工作没有白费，而且在这两家公司中延续了下来，它们都发展得很好，但是，你知道，我们本应该能在 WhatsApp 里互相转账，而今天我们还做不到。说得好，说得好。好吧，Kevin，谢谢你分享这个故事。在我们进入非常激动人心的闪电轮之前，你还有什么想分享的吗？或者最后一点建议或见解？哦，闪电轮。那我们直接开始吧。开始吧。好了，Kevin，我们进入了非常激动人心的闪电轮。准备好了吗？好了，开始吧。好的。你向别人推荐得最多的两三本书是什么？Ethan Mullik 的《Co-intelligence》。一本关于 AI 以及如何在日常生活中使用它的好书，无论你是学生还是教师。他非常有见地。另外，顺便说一句，他在 Twitter 上也非常值得关注。Peter Zion 的《The Accidental Superpower》。如果你对地缘政治以及塑造当下格局的各种力量感兴趣，这本书非常好。嗯，还有我真的很喜欢《Cable Cowboy》。我不知道作者是谁，但它是 John Malone 的传记。如果你对商业感兴趣，这本书特别精彩，尤其是如果你想深入了解——我的意思是，这个人是一位不可思议的交易撮合者，塑造了现代有线电视行业的诸多面貌。所以这是一本很棒的传记。这些都是第一次提到，这总是很好。哦，太好了。下一个问题。你最近有没有特别喜欢的电影或电视剧？嗯，我真希望我有时间看电视剧。所以我就在看 Sora 的视频。是啊，没错。嗯，怎么说呢。我小时候读过《时光之轮》系列。现在亚马逊把它拍成了剧，好像已经拍到第三季了。所以我想看，还没看。嗯，《壮志凌云2》是一部很棒的电影。我觉得这也不算新片了，但这也说明我上次看电影是多久以前了。不过我喜欢那种——我想要更多美国风的东西。我想要更多那种以强大为傲的感觉。我觉得《壮志凌云2》在这方面做得很好。就是那种自豪感和爱国主义。我觉得美国可以多些这个。除了你们内部人人都能用的那个超级智能工具之外，你最近有没有发现什么特别喜欢的产品？我开玩笑的。没错。内部 AGR。没错。嗯，我觉得像用 Windsorf 这样的产品进行 vibe coding 真的超级有趣。我玩得很开心。我还是很喜欢我们首席人力官也用 vibe coding 做了一些工具。另一个可能是 Whimo。只要有机会，我就会坐 Whimo。这是一种更好的出行方式，而且仍然感觉像未来。所以他们做得太棒了。太棒了。顺便说一下，我请到了 Windsurf 的创始人上播客。这期可能在这期之前或之后播出。另外，Cursor 的 CEO 也会来上播客，不是之前就是之后。哦，酷。我非常尊重他们正在做的事。这些都是 awesome 的产品。简直在改变每个人做产品的方式。没什么大不了的。是啊。呃，再问几个问题。你有没有最喜欢的人生座右铭，经常对自己重复，觉得在工作或生活中特别有用？有的。说来有趣，这其实更像一种哲学，但我觉得扎克伯格有一次在 Facebook 的财报电话会议上把它概括得很好。我其实把它做成了一张海报，挂在我的房间里。当时有人在财报电话会上问马克——真的是在财报电话会上，就像分析师问他。那是 Facebook 增长很快的某个季度，我想大概是 201 几年的时候。他当时就问他，你做了什么？你推出了什么？哪一件事推动了你们的增长？他当时说的意思大概是，有时候并不是什么单一的事情，而是长期持续做好工作。这句话一直让我印象深刻。我觉得确实如此。你看，我跑超级马拉松，靠的就是硬磨。我觉得人们太频繁地寻找灵丹妙药了，但生活中很多时候，卓越其实就是日复一日地投入，做好工作，每天进步一点点。你可能在一周甚至一个月内都注意不到变化，很多人就会灰心丧气然后放弃。但其实只要你坚持下去，收益就会不断复利，在一年、两年、五年里累积起来，效果惊人。所以就是长期持续做好工作。该死，我太喜欢了。我现在也得做一张海报。我太有共鸣了。好，我接受。这太棒了。好，最后一个问题。我想问问你有没有什么 prompting 技巧，我先铺垫一下，但你可以想想有没有什么技巧可以推荐给人们在给 LMS 下提示时更好用。我之前请过一位嘉宾 Alex Kamaroski 上播客。他来自 Stripe，每周写反思文章，讲世界上正在发生的事，很多都和 AI 有关。他曾经把 LLM 描述成所有人类知识的 zip 压缩包，所有答案都在里面，你基本上只需要想出正确的问题，就能得到每个问题的答案。所以这提醒了我 prompt engineering 有多重要，以及懂得如何去 prompt 有多重要。毕竟你一直在给 chatbt 下提示。你有没有什么小技巧、小诀窍，发现对得到你想要的答案特别有帮助？首先我想说，我想消除那种“你必须成为一名优秀的 prompt engineer”的想法。我觉得如果我们做好自己的工作，这一点就不再成立。这只是模型的一些棱角，专家可以学会应对，但随着时间推移，大多数人不应该需要懂这些。就像以前你必须深入了解 MySQL 的存储引擎是什么？你用的是 InnoDB 4.1 吗？如果你在 MySQL 性能的极限边缘，这些仍然有用武之地，但大多数人不需要关心。如果 AI 真的要被广泛采用，你也不应该需要关心 prompting 的细微末节。不过，你知道，今天我们还没完全到达那一步。顺便说一句，我觉得我们正在取得进展，现在需要的 prompt engineering 已经比以前少了。但结合我刚才说的一些 fine-tuning 内容，以及给出示例的重要性，你可以通过在 prompt 中加入示例来有效地做一种“穷人的 fine-tuning”——比如你希望得到的那种输入，以及一个好的答案。比如这是一个示例，这是一个好答案。这是一个示例，这是一个好答案。现在去帮我解决这个问题吧，模型真的会听进去并从中学习。效果不如做一次完整的 fine-tune，但比不提供任何示例要好得多。我觉得人们做得还不够频繁。太棒了。我听过一个技巧，不知道管不管用，就是你告诉它这对我职业生涯极其重要。让它真的理解——就好像如果答错了有人会死一样。这有用吗？这真的很奇怪。我觉得可能有个很好的解释，但你也可以说一些别的话。是的，我觉得这有一定道理。你也可以说，比如“我要你变成爱因斯坦，现在来回答我这道物理题”。或者“你是世界上最伟大的营销人员，最伟大的品牌营销人员。现在这里有个命名问题。”
这里面有某种机制，它会把模型切换到某种特定的思维模式，而这实际上真的可以产生非常积极的效果。其实我一直在用这个技巧。我每次为采访准备问题时，偶尔也用它想出一些我自己没想到的东西，我就会输入“你是世界上最棒的播客主持人”，对吧？我请到了 Kevin Wheel 上播客。是的。而且真的有用。是的。顺便说一句，回到我们之前提过几次的观点，你有时候也会对人这样做，对吧？你会某种程度上给他们设定框架，让他们进入某种思维模式，然后他们就会完全不一样。所以我觉得这就像是人类身上的 analoges。Kevin，这次采访太精彩了。我在想该怎么收尾。我的感觉是，你不仅身处未来的最前沿，你和你的团队其实正是在创造未来的那个边缘。所以能请你来，和你交谈，听听你对现状、对未来走向的看法，以及我们需要思考什么，这真的很荣幸。所以，谢谢你的到来，Kevin。哦，非常感谢你邀请我。我真的觉得自己有幸能与世界上最优秀的团队共事，这完全归功于他们，但也非常感谢你邀请我来参加节目。这次访谈真的特别开心。呃，我忘了问你最后两个问题了。如果大家想联系你，在网上哪里可以找到你？以及听众能为你做些什么？我在几乎所有平台上的名字都是 Kevin Wheel，K-E-V-I-W-I-L。这么多年了，我仍然是 Twitter 的 DAU，现在大概得叫 XDAU 了吧。LinkedIn 什么的，各个平台都有。而且，我最希望大家能给我反馈。人们在使用 ChatGPT。告诉我，哪些地方对你来说用得特别好，以及你希望我们重点加强的；也告诉我它在哪些地方做得不好。我在 Twitter 上非常活跃，很喜欢听大家聊什么好用、什么不好用。所以，别客气，尽管开口。而且我发现关注你就能及时了解你们发布的所有产品。你几乎每天都会分享每周、每月推出的各种新东西。所以这也是个额外的好处。顺便说一句，4 亿周活跃用户全都给你发反馈邮件。来吧。好啊，就这么办。肯定会很棒的。好的。嗯，谢谢你，Kevin。感谢你来参加节目。好的，兄弟。非常感谢。回头见。再见，各位。非常感谢大家的收听。如果你觉得这期节目有价值，可以在 Apple Podcasts、Spotify 或你喜欢的播客应用上订阅本节目。另外，也请考虑给我们打分或留下评论，这真的很能帮助其他听众找到这档播客。你可以在 lennispodcast.com 找到所有往期节目或了解更多关于本节目的信息。下期再见。