塑造 OpenAI 研究未来的两个人
The two people shaping the future of OpenAI's research
精选专题 新闻通讯 活动 音频 MIT Technology Review 精选专题 新闻通讯 活动 音频 人工智能
塑造 OpenAI 研究未来的两个人
与 OpenAI 研究双负责人 Mark Chen 和 Jakub Pachocki 的独家对话：探讨通往更强推理模型——以及超级对齐——的道路。
过去几年，OpenAI 给人的感觉像是一个人的品牌。首席执行官 Sam Altman 凭借他的演艺式风格和筹款光环，盖过了公司名单上所有其他大人物的风头。就连他被搞砸的罢免事件，最终也以他重回巅峰——并且比以往更有名——收场。但透过这位魅力四射的台前人物，你会更清楚地看到这家公司正走向何方。毕竟，Altman 并不是那个在构建支撑其声誉的技术的人。
这一责任落在了 OpenAI 的研究双负责人身上——首席研究官 Mark Chen 和首席科学家 Jakub Pachocki。他们共同承担着确保 OpenAI 始终领先于 Google 等强劲对手一步的角色。
在两人近期前往伦敦的行程中，我与 Chen 和 Pachocki 坐下来进行了一次独家对话。OpenAI 于 2023 年在伦敦设立了其首个国际办公室。我们谈到了他们如何处理研究与产品之间固有的张力。我们还谈到，为什么他们认为编程和数学是打造更强大通用模型的关键；当他们谈论 AGI 时，真正的含义是什么；以及 OpenAI 的超级对齐团队后来怎样了——该团队由公司联合创始人、前首席科学家 Ilya Sutskever 组建，旨在防止假想的超级智能失控，并在他离职后不久解散。
我特别想了解，在 OpenAI 数月来最重大的产品发布——GPT-5——即将登场之际，他们是怎么想的。
有报道称，该公司的下一代模型将于八月发布。OpenAI 的官方口径——好吧，Altman 的口径——是它将“很快”发布 GPT-5。外界期待很高。OpenAI 凭借 GPT-3 以及后来的 GPT-4 所实现的飞跃，抬高了人们对这项技术可能性的预期。然而，GPT-5 发布的延迟引发了传闻，称 OpenAI 一直难以构建出一个达到其自身——更不用说所有人——预期的模型。
但对于一家在过去数年间一直为行业设定议程的公司而言，管理预期是其工作的一部分。而在 OpenAI 内部，设定议程的正是 Chen 和 Pachocki。
该公司的伦敦主办公室位于圣詹姆斯公园，在白金汉宫以东数百米处。但我与 Chen 和 Pachocki 的会面地点，是国王十字车站附近一处共享办公空间里的会议室，OpenAI 将其作为在伦敦科技区核心地带的一个落脚点（Google DeepMind 和 Meta 就在附近）。OpenAI 的研究传播主管 Laurance Fauconnet 坐在桌子一端，膝上放着一台打开的笔记本电脑。
Chen 穿着一件栗色 Polo 衫，外表整洁利落，几乎带点预科生风格。他接受过媒体训练，与记者交谈游刃有余。（在 “Introducing GPT-4o” 视频中，与聊天 bot 调情的就是他。）Pachocki 穿着一件印有黑色大象标志的 T 恤，更像电视剧里黑客的打扮。他说话时经常盯着自己的双手。
但这对组合的默契程度比初看之下要高得多。Pachocki 总结了他们的分工。他说，Chen 负责组建并管理研究团队。“我则负责制定研究路线图，确立我们的长期技术愿景。”
“但角色之间是有流动性的，”Chen 说。“我们都是研究人员，我们会去抓各种技术线头。无论看到哪里能抓一抓、修一修，我们就去干。”
Chen 于 2018 年加入公司，此前他在华尔街公司 Jane Street Capital 担任量化交易员，为期货交易开发机器学习模型。在 OpenAI，他牵头创建了 DALL-E，即公司标志性的生成式图像模型。随后，他参与了为 GPT-4 添加图像识别功能的工作，并领导开发了 Codex——这款生成式编程模型为 GitHub Copilot 提供了底层支持。
Pachocki 放弃了理论计算机科学的学术生涯，于 2017 年加入 OpenAI，并在 2024 年接替 Sutskever 担任首席科学家。他与 Sutskever 一同是 OpenAI 所谓推理模型——尤其是 o1 和 o3——的核心架构师之一，这些模型旨在处理科学、数学和编程领域的复杂任务。
我们见面时，他们正兴奋不已，刚刚接连收获了公司技术上的两项新胜利。
7 月 16 日，OpenAI 的一款大型语言模型在 AtCoder World Tour Finals 中获得第二名，这是全球最硬核的编程竞赛之一。7 月 19 日，OpenAI 宣布其一款模型在 2025 年国际数学奥林匹克竞赛中取得了金牌级别的成绩，这是全球最具声望的数学竞赛之一。
这一数学成绩登上了头条，不仅因为 OpenAI 取得了惊人成就，还因为竞争对手 Google DeepMind 两天后透露，其一款模型在同一竞赛中获得了相同分数。Google DeepMind 遵守了竞赛规则，等待组织者核查结果后才宣布；而 OpenAI 实际上是自己给自己判了分。
对 Chen 和 Pachocki 而言，数学成绩本身就能说明问题。无论如何，他们最兴奋的还是编程方面的胜利。“我觉得这被相当低估了，”Chen 告诉我。他说，在国际数学奥林匹克中夺得金牌，大约能排进前 20 到 50 名选手。但在 AtCoder 竞赛中，OpenAI 的模型跻身前两名：“突破到人类表现的另一个完全不同的层级——这是前所未有的。”
OpenAI 的人仍然喜欢说自己在一家研究实验室工作。但这家公司已与三年前 ChatGPT 发布前大不相同。它如今正与全球最大、最富有的科技公司同台竞技，估值达 3000 亿美元。突破边界的研究和引人注目的演示已经不够了。它需要交付产品，让它们真正到达人们手中——而它确实做到了。
OpenAI 持续推出新产品——发布了 GPT-4 系列的重要更新，推出了一系列生成式图像和视频模型，还引入了用语音与 ChatGPT 对话的功能。六个月前，它以 o1 的发布开启了所谓推理模型的新浪潮，不久后 o3 也相继问世。上周，它向公众发布了能使用浏览器的智能体 Operator。该公司现在声称，每周有超过 4 亿人使用其产品，每天提交的 prompt 达 25 亿个。
OpenAI 即将上任的应用首席执行官 Fidji Simo 计划保持这一势头。她在给公司的备忘录中告诉员工，她期待“帮助将 OpenAI 的技术送到全球更多人手中”，这些技术将“为更多人解锁历史上任何其他技术都无法比拟的机会”。可以预见，产品还将源源不断到来。
我问 OpenAI 是如何在开放式研究与产品开发之间取得平衡的。“这个问题我们已经思考了很久，远在 ChatGPT 之前，”Pachocki 说。“如果我们真的认真想要构建通用人工智能，那么显然在这一路上，你能用这项技术做的事情非常多，你能走的岔路中有许多都会成为大型产品。”换句话说，不断摇树，能收获什么就收什么。
OpenAI 的人常提起的一个说法是，将实验性模型推向世界是研究的必要组成部分。目标是让人们意识到这项技术已经变得多么出色。“我们希望让人们了解即将到来的事物，这样我们才能参与到一场将会非常艰难的社会对话中，”Altman 在 2022 年曾这样告诉我。这项奇特新技术的制造者们也好奇它究竟能用来做什么：OpenAI 迫切想把它交到人们手中，看看他们会用它做什么。
现在还是这样吗？他们同时回答。“是的！”Chen 说。“在某种程度上。”Pachocki 说。Chen 笑道：“不，你先说。”
“我不会说研究是在产品基础上迭代，”Pachocki 说，“但现在，模型已经触及经典基准测试所能衡量的能力边界，我们思考已久的许多长期挑战也开始被攻克，我们已经到了真正关注模型在现实世界中能做些什么的地步。”
比如在编程比赛中与人类对决。在今年于日本举办的 AtCoder 比赛中，击败 OpenAI 模型的是一位名叫 Przemysław Dębiak 的程序员，也被称为 Psyho。这场比赛是一场解题马拉松，参赛者需在 10 小时内找到解决复杂编程问题的最高效方法。获胜后，Psyho 在 X 上发帖称：“我彻底累垮了……我快要不行了。”
Chen 和 Pachocki 与竞技编程界渊源颇深。两人都曾参加过国际编程比赛，而且 Chen 还担任 USA Computing Olympiad 队的教练。我问他们，这种对竞技编程的个人热情，是否会影响他们对模型在这类挑战中表现出色有多重要的判断。
两人都笑了。“当然，”Pachocki 说。“这么说吧：Psyho 堪称传奇。他多年来一直排名第一。而且他也是我的朋友——我们曾经一起参加这些比赛。”Dębiak 也曾在 OpenAI 与 Pachocki 共事。
Pachocki 参加编程比赛时，偏爱那些侧重有明确答案的短题的比赛。但 Dębiak 喜欢更长的、开放式的、没有明显正确答案的问题。
“他过去常取笑我，说我喜欢的那类比赛比他喜欢的那类更早被自动化，”Pachocki 回忆道，“所以这次比赛中模型的表现，我非常上心。”
Pachocki 告诉我，他守在东京深夜的直播前，看着自己的模型获得第二名：“Psyho 暂时守住了。”
“我们追踪 LLM 在编程比赛中的表现已经有一段时间了，”Chen 说，“我们看着它们变得比我强，比 Jakub 强。这种感觉有点像李世石下围棋。”
李世石是围棋大师，2016 年他连续输给 DeepMind 的博弈模型 AlphaGo。这一结果震惊了国际围棋界，也促使李世石放弃职业棋手生涯。去年他告诉《纽约时报》：“输给 AI，在某种意义上意味着我的整个世界正在崩塌……我再也无法享受这项运动了。”然而，与李世石不同，Chen 和 Pachocki 对被超越感到兴奋。
但我们其他人为什么要关心这些小众的胜利呢？显然，这项技术旨在模仿并最终取代人类智能，而构建它的人所理解的巅峰智能，就是在数学竞赛中拿高分或与传奇程序员一较高下。这种对智能的理解偏向数学和分析一端，这有问题吗？
“我是说，我认为你说得对——你知道，出于私心，我们确实想创造出能让我们自身加速的模型，”Chen 告诉我，“我们认为这是推动进步的一个非常快的因素。”
Chen 和 Pachocki 这类研究者的论点是，数学和编程是一种更通用智能的基石，这种智能能够以我们自己可能从未想到的方式解决广泛的问题。“我们这里说的是编程和数学，”Pachocki 说，“但归根结底是关于创造力，是关于提出新颖的想法，把来自不同领域的想法连接起来。”
看看最近的两场比赛：“两个案例中都有需要极其困难的跳出框架思考的问题。Psyho 花了编程比赛一半的时间思考，然后想出了一个非常新颖的解决方案，与我们模型看到的任何东西都大不相同。”
“这正是我们追求的，”Pachocki 继续说道，“我们如何让模型发现这种新颖的洞见？真正推进我们的知识？我认为它们已经在某些有限的方面具备了这种能力。但我认为这项技术有潜力真正加速科学进步。”
我回到那个关于过度关注数学和编程是否有问题的疑问，并承认如果我们造的是帮助做科学的工具，那也许没问题。我暗示，我们不一定要大语言模型取代政客、具备人际交往能力。
Chen 做了个鬼脸，抬头看向天花板：“为什么不呢？”
OpenAI 成立时的傲慢程度即使在硅谷也显得格外突出，当时 AGI 听起来还很古怪，他们就高调宣扬要打造 AGI。OpenAI 对 AGI 的热情一如既往，而且它在让 AGI 成为主流、价值数十亿美元的议题方面，比大多数机构做得都多。不过，OpenAI 尚未达成目标。我问 Chen 和 Pachocki，他们认为还缺什么。
“我认为展望未来之道，是真正深入地研究我们今天看到的技术，”Pachocki 说，“从一开始，OpenAI 就把深度学习视为一种非常神秘、显然非常强大且潜力巨大的技术。我们一直在试图理解它的瓶颈。它能做什么？不能做什么？”
Chen 表示，当前最前沿的是推理模型，它们将问题拆解为更小、更易处理的步骤，但即便如此也有局限：“你知道，有些模型懂得很多，却无法把这些知识串联起来。为什么会这样？为什么它不能像人类那样做到呢？”
OpenAI 正倾尽全力回答这个问题。
“我们可能还处在这个推理范式的最初阶段，”Pachocki 告诉我，“说真的，我们在思考如何让这些模型进行长期的学习和探索，并真正提出非常新颖的想法。”
Chen 进一步强调：“我真的不认为推理已经大功告成。我们绝对还没有解决它。你必须阅读海量文本，才能获得对人类知识的一种近似。”
OpenAI 不愿透露用于训练模型的数据，也不提供模型规模和架构的细节——只表示正在努力让开发流程的各个阶段变得更高效。
这些努力让他们确信，所谓的 scaling law——即投入越多算力，模型就会持续变好——没有显示出任何崩坏的迹象。
“我不认为有任何证据表明 scaling law 在任何意义上已经失效，”Chen 坚持说，“一直都有瓶颈，对吧？有时与模型的构建方式有关，有时与数据有关。但归根结底，就是找到能让你突破当前瓶颈的研究。”
对进步的信念坚定不移。我提起 Pachocki 今年 5 月接受《自然》杂志采访时谈到 AGI 的一段话：“2017 年加入 OpenAI 时，我还是公司里最大的怀疑论者之一。”他面露疑惑。
“我不确定我当时是对这个概念持怀疑态度，”他说，“但我想我当时是——”他停顿了一下，看着放在面前桌上的双手。“加入 OpenAI 时，我预期到达我们现在这个水平需要更长的时间。”
“AI 会带来很多后果，”他说，“但我思考最多的是自动化研究。回顾人类历史，很大程度上就是关于技术进步，关于人类创造新技术。当计算机能够自行开发新技术时，那似乎是一个非常重要的，嗯，拐点。”
“我们已经看到这些模型在辅助科学家。但当它们能够着眼于更长远的时间跨度——当它们能够为自己建立研究计划时——世界将会发生真正意义上的不同。”
对 Chen 来说，模型能够更长时间自主运行的能力至关重要。“我的意思是，我确实认为每个人对 AGI 都有自己的定义，”他说。“但这个‘自主时间’的概念——也就是模型能在不陷入僵局的情况下，花费在解决难题上并持续取得有效进展的时间——正是我们追求的重要目标之一。”
这是一个宏大的愿景，远远超出了当今模型的能力范围。尽管如此，Chen 和 Pachocki 将 AGI 描述得近乎平淡无奇，这让我颇感意外。相比之下，18 个月前我采访 Sutskever 时，他是这样回应的：“这将是划时代的、惊天动地的，”他告诉我。“会有一个‘之前’和‘之后’。”面对自己所创造之物的巨大潜力，Sutskever 将自己的职业重心从设计越来越好的模型，转向研究如何控制一项他认为很快就会比自己更聪明的技术。
两年前，Sutskever 成立了一个他称为 superalignment 的团队，由他与另一位 OpenAI 安全研究员 Jan Leike 共同领导。据称，该团队将获得 OpenAI 整整五分之一的资源，用于研究如何控制假想的超级智能。如今，该团队的大多数成员，包括 Sutskever 和 Leike，都已离开公司，团队也不复存在。
Leike 离职时表示，原因是团队未能获得他认为应得的支持。他在 X 上发帖称：“建造比人类更聪明的机器是一项本质上就很危险的事业。OpenAI 肩负着代表全人类的重大责任。但过去几年，安全文化和流程却为光鲜亮丽的产品让路。”其他离职的研究人员也发表了类似的声明。
我就这些担忧询问了 Chen 和 Pachocki 的看法。“这些事情在很大程度上都是个人决定，”Chen 说。“研究人员可能会——”
他重新说道：“他们可能相信这个领域会以某种方式发展，相信他们的研究会取得成果并结出果实。也许公司并没有按照你期望的方式转型。这是一个非常动态的领域。”
“很多事情都是个人决定，”他重复道。“有时候，这个领域的发展方向就是与你做研究的方式不那么一致。”
但两人均坚持认为，alignment 如今已是核心业务的一部分，而非某个特定团队的专属议题。据 Pachocki 所说，这些模型除非按你的预期运行，否则根本无法运作。此外，当让现有模型与目标对齐已经是一项足够艰巨的挑战时，人们也鲜有意愿去专注于让假想的超级智能与目标对齐。
“两年前，我们设想的风险大多还是理论层面的，”Pachocki 说。“如今的世界看起来很不一样了，我认为很多 alignment 问题现在都是由实际需求驱动的。”
尽管如此，实验性技术正以史无前例的速度被转化为大众市场产品。这真的从未在两人之间引发过分歧吗？
“我常常有机会真正去思考长远方向，思考技术将走向何方，”Pachocki 说。“而应对这一过程中的现实问题——既涉及人员，也涉及更广泛的公司需求——则是 Mark 的责任。这算不上真正的分歧，但公司面临的这些不同目标和不同挑战之间，确实存在着一种自然的张力，这种张力也体现在我们之间。”
Chen 插话道：“我认为这是一种非常微妙的平衡。”
更正：我们删除了一句提及 Altman 在 X 上关于 GPT-5 的消息的内容。我们修改了 OpenAI 推理模型背后的负责人相关表述，加入了提及 Sutskever 的内容。
在 Facebook 上分享报道在邮件中分享报道热门一家初创公司声称突破了阻碍 LLM 发展的瓶颈 Will Douglas Heaven 中国已批准全球首个侵入式脑机芯片——接下来会怎样 You Xiaoying “类固醇奥运会”是一场马戏——也是我们文化的一扇窗 Amit Katwala 欧洲一家生育组织称，精子捐献者需要设限 Jessica Hamzelou 深度报道人工智能一家初创公司声称突破了阻碍 LLM 发展的瓶颈 Subquadratic 现已分享了关于其新模型的更多细节。但一些人仍持怀疑态度。
一项新技术让该公司得以比以往更深入地探究 LLM 的奇异运作机制。
该公司正加倍投入用于科学的 AI。
该公司呼吁更多科学家研究多智能体系统的风险。
发现特别优惠、头条新闻、即将举行的活动等。
隐私政策感谢你提交邮箱！
我们在保存你的偏好设置时遇到了问题。请尝试刷新本页面并再次更新。如果你继续收到此消息，请发送邮件至 customer-service@technologyreview.com，并附上你希望订阅的通讯列表。