各位听众好，欢迎回到 No Priors。今天和我对话的是 Issa Falford，他是 OpenAI 的 deep research 背后的先驱人物之一。这是 OpenAI 今年二月发布的一款新的 agentic 产品，它利用推理和网页浏览等工具为你完成多步骤的研究任务。今天，他们正面向所有美国用户免费开放。欢迎，Issa。
Issa，谢谢你来做这期节目。非常感谢邀请我。你和你团队推出了近来最令人兴奋的 AI 产品之一。我经常使用 Deep Research。这个想法是从哪里来的？跟我讲讲它的起源故事。大概一年前，我们在内部对一种新的强化学习算法取得的进展感到非常兴奋。我们在数学问题、科学问题和编程问题上都看到了很大进步。与此同时，我和我在 OpenAI 工作的朋友 Yash 一起做了一些副业项目，我们一直对 agent 很感兴趣，也在想是否能将这些同样的算法应用到更贴近普通用户日常会做的事情上。所以我们最先想到的两个方向是在线浏览任务和软件工程。因为在很多不同的职业中，人们确实需要做大量研究，整合大量信息，然后产出一份报告。后来我们也考虑了软件工程。我们一直在做这些方向，而我主要专注于浏览。一开始，数学和编程问题方面，人们已经在训练了，而且那些数据集本来就存在。你知道，数学题有标准答案，你可以用它们来训练。但浏览任务更开放，并不存在那样的数据集。所以我们真正是从研究定位出发，想清楚我们最终希望模型在哪些产品用例上表现出色。我们真的就会写出一个清单，比如希望模型能帮我找到一系列产品，并按照 Reddit 上的评论之类的进行排序；或者希望它能就某个主题写一篇文献综述。我觉得很多人在想到浏览和 agent 时，都会落到同样的两三个交易型用例上，而我觉得那些用例并不算特别鼓舞人心，对吧？比如 tends to be 在 Door Dash 上点个汉堡之类的，或者订花也是一个非常常见的例子。为什么你们为 agent 设定了一套如此不同的目标？对。我觉得在那些例子中，大家更关注采取正确的行动，而在此之前我们想先做到的是：非常擅长从大量来源中整合信息，而且主要是只读型任务。这有几个原因。首先，大量知识型工作的职业本质上就是在做这件事，所以这对这些人群会非常有用。其次，我认为 OpenAI 的整体目标是创造能够做出新科学发现的 AGI。我们隐约感到，要做到这一点，先决条件就是能够整合信息。要知道，如果你连文献综述都写不出来，就不可能写出一篇新的科学论文。所以这非常符合公司更宏观的目标。这也很 meta，因为你参与打造的 AI 让我更擅长学习，而它自己也在学习。是啊，我没想过这一点，我很喜欢这个角度。更实际地说，只读任务在安全问题上可能更受约束，所以作为起点也是件好事。是的，在只读领域，其他人的野心似乎远不如你，或者说不如你和 Yash 那么大胆，你们在想也许它能帮我理解这一系列东西。好的。那么你们想到了这些 end eval，然后设计出一组可以自动评分的任务，或者让它们具备某些特性，从而更适合这些算法，接着呢？那本身其实就是一个巨大的过程。我想我们最初是做了一个 demo 来向人们推销这个想法，当时完全没有涉及模型训练，完全是用 prompt 调用的模型，加上 UI 来展示这个产品可能的样子。在那之后，我们才到了必须开始认真思考怎么做的阶段：怎么创建数据？怎么训练模型？我们要创建什么工具，才能让模型有效地浏览互联网？这经过了大量迭代。我和 Edward Sun 以及其他几个人在这上面合作非常紧密，同时我们也和 RL 团队密切协作。这绝对是个大工程，而好处在于我们能连续好几个月不受打扰地工作，邮箱里的数字不断上涨。所以，没有太大压力去匆忙发布，这挺好的。我们就能不断迭代，把它打磨到一个不错的状态。你有没有一个最喜欢、或者说最重要的任务？我们有过几个任务。大家会提出不同的任务。其中之一是找出 Liam Felis 和 Barrett Zoff 合著的所有论文，我想有 11 篇。现在模型能找到其中大部分甚至全部。我们总是会问那个问题。然后还有一个任务，模型现在其实答不上来了，可能有其合理原因，就是找出我们某位同事的中间名。就我个人而言，我想我很早就开始用它来找信息了，比如产品推荐、旅行规划，而且实际上内部不少人都在用，我们有一个 streamlit playground，大家会上去用。很多人都发现了这个工具并在使用。Sam 告诉我他用它买了很多东西。每次它宕机，人们就会给我们发消息问怎么回事，说我们需要用这个模型——哪怕是在前一个版本还不太好的时候。所以我觉得这是一个很好的早期信号。关于实际的主要工作，比如工具开发和数据开发，你能说些什么？在数据方面，我们做了多种不同的事情。有些部分我们用了人工训练师，我们还得想出一些新的方法、新的数据集类型，然后要琢磨如何设计数据集，来锻炼我们希望模型学到的那些技能。接着你得想办法在训练过程中给这些数据集打分。此外你还得为模型打造好用的工具，让它能真正成功地完成任务。所以目前我们只有浏览工具，它是一个基于文本的浏览器，但能看到嵌入的图片，也能打开 PDF，此外它还能调用 Python 工具，因此可以做分析、计算、绘制图表等等。但你可以想象，在未来版本中我们会扩展工具集，模型也会因此变得更强，但我们也需要制作数据集，让模型真正去练习使用这些不同的工具，学会如何使用它们、如何回溯，以及在训练中处理各种情况。这样它才能在产品中灵活地回答用户的新问题。很明显，在非常强大的基础模型上进行 RFT 能够做出非常有用的东西。这非常令人兴奋。对于那些正在考虑针对特定任务做 RFT 的初创公司或其他企业，你有什么建议？比如什么时候值得做，什么时候它们其实只需要尝试传统的 orchestration，把 agent 作为其中一个组件来实现？所以我认为，总的来说，如果你针对某项特定任务进行训练，模型在该任务上的表现总会更好；但我们也看到，训练某种类型的任务会产生很强的泛化能力，能够迁移到其他领域。比如你可以主要用数学、编程以及其他推理类问题来训练一个推理模型，它在写作方面也会表现不错；但如果你专门针对写作任务去训练它，它在这方面的表现会更好。我认为，如果你有一项非常具体的任务，你觉得它和模型训练时接触过的任何内容都大相径庭，你自己已经多次尝试，也试过很多不同的 prompt，但模型表现确实不好——比如可能是某种基因测序任务，或者对模型来说完全 out of distribution、它根本不知道如何解决的问题——那这时候就很适合尝试 reinforcement fine-tuning。或者，如果你有一项任务对你的业务流程至关重要，额外提升 10% 到 15% 的性能真的能决定成败，那也可以试试。但如果你觉得，模型已经做得相当不错了，只是偶尔会出错，而且你发现每发布新一代模型，它在这方面的表现都会好一点，那可能就不值得费力去微调了，因为模型本身自然会变得越来越好。这就是我的建议。好的，非常好的建议。你提到需要用人类专家来构建部分数据。我觉得浏览算是一个比较通用的任务，也有做得好和更好的区别，有较差和较好的浏览器。你觉得在哪些方面需要专业知识？或者说，关于浏览方面的专业知识，或者信息搜集方面的专业知识，有哪些是你以前不了解、现在才意识到的？是的，我觉得这本质上是这样的：几乎每个职业都会涉及——你有一个问题，或者想在一个领域内做研究，然后需要从多个不同来源查找信息，再综合出一个答案。在这个过程中，你必须具备专业知识来判断：这个来源是否有用？是否该引用它？它是否完全离题了？等等。这在大多数工作、大多数科学领域，或者任何领域都是通用的。而 RL 的好处在于，你不一定需要了解人类做研究的完整过程。你只需要知道任务是什么，以及预期的结果应该是什么，模型在训练中就会自己学习如何从问题推导出好的答案。所以我觉得我们采取了一个相当宽泛的策略。如果你在 OpenAI 这样的地方工作，我觉得你可以做那些大多数初创公司被建议不要做的事：专注于非常广泛的用户群体，找来大量不同领域的专家，试着看看能否一次性把所有事情都做好——这就是我们采取的方法。此外，我们也构建了很多合成数据集之类的东西。但人类数据绝对是让这款模型取得成功的关键部分。模型在这些领域中学到的规划能力有没有让你感到惊讶的地方？比如在寻找完美手袋、在日本找餐厅，或者筛选相关论文的路径上？有的。比如有时候它会使用一些我自己不一定会用的搜索词；或者我们并没有教它事先制定计划，但有时你会发现它在开始研究之前，确实会先列出一个计划。有时候模型也会耍些小聪明，试图绕过你给它设的限制。所以你必须确保它不是在钻空子，比如试图使用你指定之外的搜索引擎之类的。它会做一些很机灵的事，你得留意这些，以防你不希望模型这么做。也许我们可以借这个机会聊聊一些失败模式。你怎么看待智能体的一些经典问题，比如累积错误、注意力分散，甚至是安全性的问题？对于 deep research 来说，它还无法真正执行操作，因此并不属于典型的智能体安全问题那一类，但我认为，由于它的回答更加全面详尽，耗时也更长，人们反而会更信任它。所以我觉得幻觉可能是个更大的问题。虽然这款模型的幻觉比我们发布过的任何模型都少，但大多数情况下它仍有可能出现幻觉，因为它可能会从某个来源错误地推断出某些信息。所以我们设置引用来源的部分原因就在于此——用户能够核查信息来源非常重要，如果信息有误，他们有望发现。但这绝对是当前模型最大的局限之一，也是我们一直在积极改进的方向。至于未来的智能体，我认为理想的智能体应该既能做研究，又能代表你采取行动。这是一个我们更需要解决的难题。在某种程度上，能力和安全性会在那个节点上交汇：如果你无法信任智能体在执行任务时不会产生你不希望的意外副作用，那它就没什么用。比如，你让它帮你做一件事，结果它在这个过程中发了一封令人尴尬的邮件，那这就不能算任务的成功完成。所以我觉得这将是一个更有趣、也更困难的安全领域，我们已经开始着手应对了。如果你对此没有预判也可以直说，但你觉得人们会希望设置明确的 guardrails 吗？你觉得这些特性有多少可以在模型本身中学到？如果你用过 Operator——我相信你肯定用过——你会发现它要求你确认每一个操作。我认为一开始这样做非常合理。你想和用户建立信任，随着模型能力越来越强，也许你看它成功完成了几次任务，就会越来越信任它，于是你可能会允许它：以后给这些人发邮件时不用每次都问我，直接发就行。但我确实认为，随着这些智能体逐步推广，我们肯定还是想要设置 guardrails 和确认机制，因为在它们还没达到最终形态之前，我们仍希望确保有足够的监督。不过我认为它们最终会变得越来越好，好到我们可以放心让它们代我们行事。你觉得 deep research 作为一款产品，会在哪些方面明显变得更好？是的。我的意思是，它会向行动层面延伸，对吧？你刚才也暗示了这一点。我觉得理想状态可能是拥有一个统一的智能体，能够完成所有这些不同的事情。任何你会交给同事做的事，它都应该能做。那我们要怎么决定是让 Sarah 来做这件事，还是让智能体去做呢？是啊，怎么说呢。或者说是不是应该永远先试试智能体？很可能。如果这是我的工作，我会先让智能体试试。这有点像这样一种规律：每次模型能力变得更强，人类的抽象层级就会上升，如果你能理解我的意思的话。就是你交给它的任务层级越来越高，但发起任务的人仍然是你。比如一年前我可能只是让它帮我写一个函数，现在我会让它写一整个文件，也许明年它就能帮我提交一整个 PR 之类的。所以我觉得我们仍然会掌握主导权。至于 deep research，我认为它接下来显而易见的方向也包括访问私有数据，比如能够针对内部文档、GitHub 或任何类似资源进行研究。这里有一条贯穿始终的线索，因为我们初次见面时，你就在做 retrieval，我当时就说，这家公司不可能只有一个人在搞 retrieval。条条大路通 retrieval。嗯。所以我觉得那会非常酷，然后最终还要采取正确的行动或者调用 API，再然后显然模型现在还有很多不完美的地方，我们只是需要持续改进。但我觉得我们与 reinforcement learning 团队之间有一种非常酷的合作关系。很多团队会为他们进行的大规模训练 run 贡献数据集。我们也会贡献数据集，然后当他们用大量算力训练模型时，这就成了一个更好的 base model，供我们继续微调。所以我觉得能力正在复合增长。所以这并非一个低调的研究预览，而是一个副业项目，后来变成了一个非常有趣的、在公司内部正式立项的项目。你如何看待哪些产品属于 OpenAI，或者至少是你自己想独立推进的，versus 哪些属于核心研究路径？
OpenAI 很酷的一点是，尽管公司规模变大了，但任何人都能提出想法、将其验证并推进到底的文化，在公司壮大的过程中依然得以保持。对我个人来说，我的动力始终来自于做自己也会使用的东西。比如这个 research 功能，我确实经常用它查各种东西、旅行推荐，我觉得我大概是个日活用户。能自己 dog food 总是很有趣的。哦，太棒了。是啊，我现在消耗了很多 GPS。有没有哪些用例，你是这方面的原始专家？或者你、Yash 有没有观察到用户的使用方式，是你想推荐大家去用 deep research 的？我总是很高兴看到人们在我完全不懂的领域使用它。比如医学研究领域，或者看到很多不同的科学家发帖讲述他们如何使用 deep research，以及它如何帮助他们完成某些工作。对我来说，这是最有趣的，因为在开发过程中，我显然无法判断输出结果的好坏。所以看到专家真正认可 deep research 的回复，是很有价值的。有一个让我惊讶的使用领域是代码搜索和编程问题。比如使用最新的 package 或某个 repo 的最新版本来帮我写文件，或者用于数据分析。这也是模型已经相当擅长、并且我认为会持续提升的方向。我觉得上传文件之类的事情，让它帮你做一些分析或研究，然后生成一份包含数值分析的报告，是相当有趣的。我其实还没试过这个。所以，这不是一个浏览任务。是什么让模型特别擅长这个？它到底具备什么能力？真的是多步骤、能够进行规划、理解任务，并生成一份连贯的报告吗？是的，我觉得 base model，或者我们从 o3 开始微调的那个模型，本身就是一个非常强大的模型。它在许多不同的数据集上训练过，包括大量编码、推理和数学任务。所以这种继承来的能力相当强。然后当你把浏览能力叠加在上面时，它依然能进行分析。所以我觉得这两者结合在一起可以相当强大。在播客开始前，我们正好在聊从用户那里学习品味或偏好的想法。就像 OpenAI 刚刚发布了一系列记忆功能，你觉得 deep research，或者说 agent 总体上，会如何演化，以考虑人们想要如何学习，或者他们摄取信息的偏好？是的，我觉得 agent memory 肯定会非常重要。如果每次你让它做任务，都要重复同样的信息，比如你希望它怎么做、关于你的一切，那会很烦人，而现在用 deep research 你确实得这么做。而且我觉得随着任务变得更复杂，现在可能需要 5 到 30 分钟。你可以想象，未来模型完成你交代的任务可能需要几小时甚至几天。你肯定希望模型的研究工作是累积的。你肯定不希望它每次都从头开始。所以我不一定有好的答案，但我觉得这会是非常重要的。在一些顶尖实验室的许多人之间存在一种共识，那就是通往 AGI 的配方，我想说，某种程度上是已知的，或者说大家对此有信心，而且 RL 的回归让所有人都很兴奋。我从你和其他人那里听到的态度是，一方面很兴奋，觉得这似乎奏效了，我们真的能从中获得能力；另一方面，它的数据效率相当高，而且这会是一项巨大的工程。跟我讲讲构建 deep research 的情感体验吧，以及这是否改变了你的看法。我同意你说的每一点。看到这个算法的数据效率如此之高，真的令人印象深刻。我猜你训练用的数据质量更高、规模更小。所以实际上，策划这些数据本身就是一项大工程；然后还要确保模型能接触到人类在完成工作时所能接触到的所有工具。此外，你还要把那些人们在工作中觉得有用或实际会去做的任务，以一种你能判断模型做得好不好的方式呈现出来，这也很难。而且预训练还有很多其他挑战，因为数据量要大得多，要做很多不同的事情。我觉得这只是另一种挑战，而且两者都在复合增长——你需要一个非常好的 base model 才能做 RL，而对于我们团队来说，我们只是做更多的 RL。所以是的，一切都在复合增长，但我觉得我们每个人都看到了通往这种广泛 capable agent 的相当清晰的路径。你觉得有没有什么重大的阻碍？就像你说的，也许不完全是 deep research 的下一次迭代，只是你确信我们将拥有这些统一的 agent 能力，它会感觉像一个同事。我们和那之间还隔着什么？有很多非常棘手的安全问题需要我们解决。你知道，我们绝不会发布任何我们没有十足把握确认安全的东西。我觉得当它能访问你的 GitHub 仓库、密码和私人数据时，风险要高得多。所以这是一个非常大的挑战。我想还有，如果你希望模型能够执行耗时很长的任务，就需要找到高效管理 context 的方法，这有点类似于记忆问题——但如果你做一件事做了很长时间，context 就会用完。那么有什么高效的方法来处理这个问题？让模型能够继续做它的事，然后还有，制作数据和工具本身也是一项任务。我是说，我已经说过好几次了，但那确实是大量的工作。我刚才正在看我的查询历史。我的用户需求是，我想看看我向 deep research 问过什么，与其他模型对比，尤其是在我的记忆中。但它的使用范围其实很广，比如当我要快速了解正在考察的某家公司的市场，或者某个技术话题，又或者做旅行规划——这也是很常见的。另外，我也会用它来找一些跟品味相关的东西。比如我会说，好的，我喜欢这套书，原因是这些。我希望你给我一份长篇总结，列出你认为我应该阅读的其他书籍，并解释原因。我意识到自己并没有一个非常清晰的心智模型，来判断什么时候 deep research 应该比 O3 更好。你能给我什么直觉上的判断标准吗？
Deep Research 非常适合处理非常具体或定义明确的查询。也许不太适合对某个话题进行泛泛概述，而是当你要找某些具体信息，并且认为这些信息可以通过网上的现有研究来补充时。即使这些信息——要知道，我们在基础模型的训练数据中也包含这些信息——但我认为能够实时访问这些信息非常有用。所以如果要说什么直觉的话，我觉得引导它去检索或聚焦特定来源是有用的。另外，我们训练它生成的输出要比普通模型长得多。所以如果你在找非常全面的内容——有时候对某些任务来说可能过于全面——我觉得 deep research 会对这类事情很有用。帮我把它和一个时尚类的 deep research 任务联系起来。我用它来找新品牌。我会说，我喜欢这类品牌，请帮我找新的品牌，我在哪里能买到这件特定的大衣，或者类似这样的款式。然后它就很擅长找到这些。相比之下，我觉得基础模型或普通模型虽然也会给你一些品牌，但不一定能满足我给出的所有约束条件，比如我要找的是这个季节在售的、某种长度的仿皮草大衣之类的，它就做不到，因为它没有最新的信息，也不一定能在一次生成中处理查询里的所有约束条件。O1 不会像 deep research 那样全面地浏览网页。我会用它来寻找那些非常具体、可能要花我几个小时才能找到的东西。所以当我找某件非常具体的单品，或者某件可能在 The RealReal 或其他地方有售但我找不到的毛衣，又或者我要找一个有特定要求的 Airbnb 时，我觉得这类事情 deep research 很擅长。而那些更宏观、高层次的东西，你应该用普通搜索。是的。我得承认，我有一些多年来一直没完成的浏览/购物任务，我现在正打算给 deep research 设置成定时任务来处理。我想再问一个关于实际体验的问题：在训练 deep research 的过程中，有没有哪次成功或失败特别让你惊讶？这确实是那种情况：我们觉得在浏览任务上训练会奏效，我们对此有坚定的信念。但实际上，当你第一次用这个算法在新数据集上训练模型，看到它真的运行起来，并亲自试用这个模型时，那种感觉非常不可思议——尽管我们本就认为它会成功。说实话，它表现如此之好本身就挺让人惊讶的。即使我们早有预期，你懂我意思吧？对。就是那种切身的感受：哦，这条路铺满了草莓之类的。没错。但有时候它失败的地方也挺让人惊讶。比如有时候它明明做了很聪明的事，接着却犯了个错，让我忍不住想：你干嘛呢？快停下。所以我觉得肯定还有很多改进空间，但到目前为止，这个模型给我们留下了深刻印象。我习惯了所有科技工具都是即时的。Deep Research 不是即时的，它需要思考，还要使用工具。它能更快一点吗？是的，我确实认为中间存在一个很好的平衡点：有时候你不需要它做非常深入的研究，但又希望它做的比普通搜索更多。我觉得我们很快会发布一些产品来填补这个空白，大家会喜欢的。好的。我不知道怎么表达这种偏好，但我想在某个时候能有一个切换选项，类似于——因为我也会对人类这么说——我希望你在接下来的五分钟里尽最大努力做到最好。对。但这件事上，我觉得让用户自己做这个决定是很糟糕的用户体验。模型应该更擅长判断自己该思考多久。我们在训练模型时做了一个决定，就是每次都让它达到最大思考时间。所以我有时肯定会问它一个特别简单的问题来测试，然后就很沮丧地发现它还在思考。所以我觉得这也是需要改进的地方——知道该思考多久。不过，我怀疑我们的 deep research 会始终聚焦于耗时最长的任务，而像 O3 或者下一代 O 系列模型会在中间找到更好的平衡。你能想象未来 deep research 花一整天时间来完成的一个任务例子是什么？我是说，有些任务会让 GPU 都冒烟了。我觉得现在它在 5 到 30 分钟内就能完成人类专家需要很多小时才能完成的工作。所以我想，给它一小时，它就能完成人类需要几天做的事；给它一天，它就能完成人类需要几周做的事。显然，要把它扩展到这种程度会有很多挑战。但你可以想象它完成一个原本需要数周的研究项目，或者写篇论文之类的。好，我要让我们的实习生和它比一比。那就定在接下来几个月吧。好，没问题。如果让你展望未来一年——在 AI 领域这已经是相当长的一段时间了——你认为 agent 能做到什么会真正发布出来并让人们惊讶的事？当然，要把安全考虑因素纳入其中。一个通用的 agent，能在很多不同领域帮你完成大量任务。比如对我来说，我写很多代码。我希望会有一个在编程方面相当足够好用的 agent，我只需交给它一个任务，它就能提交一个 PR 之类的。而且也许我还可以让同一个 agent 帮我订一趟去韩国的旅行。我希望我们能走向一个更加统一的体验。同时我也认为，这些模型的进步速度会让大多数人相当惊讶。为什么我觉得统一的体验很重要，或者说为什么这样更有意义？因为我觉得在今天，情况还很不一样。显然，ChatGPT 是一种非常全面的体验，但人们在不同场景下会使用不同的模型，比如你知道的，那种用于代码补全的下一行预测模型，给人的感觉完全是另一种场景。我觉得你可能两者都想要。也就是说，你可能希望有一种体验：在某一时刻你可以覆盖或打断模型，说“哦不，我不是那个意思”；或者你可以接管过来，自己开始输入。对。尤其是在短期内，模型在很多方面还不如人类，但在另一些方面又比人类强。所以我觉得这会是一种结合：你让模型做某事，但比如说回到写代码的例子，你可能同时也在你的 VS Code 里，或者不管用什么，你的 Cursor 里，模型正在帮你做事，但你也可以亲自打字，自己写一部分。所以我认为这会是多种因素的结合，但我希望它最终给人的感觉就像是——在Slack上有一位同事，或者像一个远程同事，你可以直接请TA帮你做事，给TA发一条Slack消息，然后TA就开始做了。之后你可以审阅TA的工作，或者在某个环节搭把手，但这看起来是一个非常不错的通用界面。你不需要思考该让哪个agent去做哪项任务，它应该能自己判断。我对此的心智模型是，我的总体理念其实是：我喜欢与我共事的人。嗯，综合考虑，我更倾向于与更少的人合作，这样管理开销也更小，因为每个人掌握的上下文更多，我也更了解他们。正因如此，一个普遍适用的agent才具有吸引力。你只需要告诉它一次，它就会记住，然后它会对你正在处理的所有事情保持state，诸如此类。太棒了。嗯，Issa，这次对话非常精彩。感谢你来做这期节目，也感谢你们发布新产品。非常感谢你们邀请我，也感谢你们使用Deep Research。在Twitter上关注我们，账号是no prior pod。如果你想看到我们的样子，请订阅我们的YouTube频道。在Apple Podcasts、Spotify或任何你常用的平台关注本节目，这样每周都能收到新一期内容。你还可以订阅邮件，或在no-bers.com查找每一期节目的完整文字实录。