菜单 搜索 登录 订阅 注册 登录 首页 招聘板 节目 赞助 赞誉 联系方式 收听平台 - YouTube - Spotify - Apple Podcasts - RSS 关于 首页 招聘板 节目 赞助 赞誉 联系方式 收听平台 - YouTube - Spotify - Apple Podcasts - RSS 关于 注册 最新资讯通讯 《Alignment with Awakening》：Davidad 谈道德实在论、AI 智慧，以及他的 p(Doom) 为何降至 5% 节目 《Alignment with Awakening》：Davidad 谈道德实在论、AI 智慧，以及他的 p(Doom) 为何降至 5% 节目 AI:AM 精华：探索 J-Space、AI 超级预测者、SambaNova 芯片与 LTX 视频生成 登录 订阅 关注 Facebook--> Twitter 从 https://tabler-icons.io/i/brand-youtube 下载更多图标变体 Youtube Youtube RSS Apple Podcasts Spotify
节目 扩展"思考"：Gemini 2.5 技术负责人 Jack Rae 谈推理、长上下文与通往 AGI 之路 Nathan Labenz 2025年4月5日 2025年4月5日 下午5:06 阅读时长53分钟 分享 推文 分享 分享 邮件 复制在本期启迪人心的《认知革命》节目中，主持人 Nathan Labenz 与 Google DeepMind 首席研究科学家、Google 思考与 inference time scaling 工作的技术负责人 Jack Rae 展开对话。在本期启迪人心的《认知革命》节目中，主持人 Nathan Labenz 与 Google DeepMind 首席研究科学家、Google 思考与 inference time scaling 工作的技术负责人 Jack Rae 展开对话。他们探讨了 Google Gemini 2.5 Pro 模型背后的技术突破，讨论了为何推理技术突然在整个行业如此有效，以及这些进步代表着真正的突破还是渐进式进展。对话深入探讨了推理与 agency 之间的关键问题、人类数据在塑造模型行为中的作用，以及从当前能力到 AGI 的路线图，为听众提供了 AI 发展轨迹的内幕视角。赞助商：
Oracle Cloud Infrastructure (OCI)：Oracle Cloud Infrastructure 提供下一代云解决方案，可降低成本并提升性能。借助 OCI，您可以以更低的成本更快、更安全地运行 AI 项目与应用。在 2024 年 5 月 31 日前迁移至 OCI 的美国新客户，可在计算资源上节省 50%、存储上节省 70%、网络上节省 80%。访问 https://oracle.com/cognitive 了解您是否符合资格。
Shopify：Shopify 正以其市场领先的结账系统和强大的 API 生态革新在线销售。其独家的前沿 AI 应用库赋能电商企业在竞争激烈的市场中蓬勃发展。《认知革命》的听众可以每月仅需 1 美元试用 Shopify，访问 https://shopify.com/cognitive。
NetSuite：超过 41,000 家企业信赖 Oracle 旗下的 NetSuite——排名第一的云 ERP——为其运营保驾护航。NetSuite 提供会计、财务管理、库存和人力资源的统一平台，提供实时洞察与预测，帮助您快速做出明智决策。无论您的收入是数百万还是数亿，NetSuite 都能助您应对挑战、把握机遇。免费下载 CFO 的人工智能与机器学习指南，访问 https://netsuite.com/cognitive。制作方： https://aipodcast.ing
章节：
(00:00) 关于本期节目 (05:09) 开场与欢迎 (07:28) 面向推理的 RL (10:46) 研究时间管理 (13:41) 模型开发的趋同 (18:31) 小型模型上的 RL（第一部分） (20:01) 赞助商：Oracle Cloud Infrastructure (OCI) | Shopify (22:35) 小型模型上的 RL（第二部分） (23:30) 塑造认知行为 (25:05) 语言切换行为 (28:02) 分享 Chain of Thought (32:03) Chain of Thought 上的 RL（第一部分） (33:46) 赞助商：NetSuite (35:19) Chain of Thought 上的 RL（第二部分） (35:26) 激发人类推理 (39:27) 推理与 Agency (40:17) 理解模型推理 (44:29) Latent Space 中的推理 (47:54) 可解释性挑战 (51:36) Platonic Model 假说 (56:05) 通往 AGI 的路线图 (01:00:57) 多模态集成 (01:04:38) System Card 问题 (01:07:51) 长上下文能力 (01:13:49) 尾声社交媒体链接：网站：https://www.cognitiverevolutio... Twitter（播客）：https://x.com/cogrev_podcast Twitter（Nathan）：https://x.com/labenz LinkedIn：https://linkedin.com/in/nathan... Youtube：https://youtube.com/@Cognitive... Apple：https://podcasts.apple.com/de/... Spotify：https://open.spotify.com/show/...
大家好，欢迎回到 Cognitive Revolution。今天，我很荣幸能与 Jack Rae 对话，他是 Google DeepMind 的首席研究科学家，也是 Google thinking 与 inference time scaling 工作的技术负责人。作为 Google 重磅发布的 Gemini 2.5 Pro 的核心贡献者之一，Jack 对大型语言模型进步的技术驱动力有着深刻的洞察，并对从这里通往 AGI 的路径持有极具可信度的观点。想必你也知道，Gemini 2.5 Pro 标志着 Google AI 征程中的一个重要里程碑。包括我在内的许多观察者首次将一款 Google 模型排在众多关键维度上的第一位。而这不仅仅是关于登顶排行榜。在对 Gemini 2.5 的初步测试中——这次测试是在 Google 公关团队联系我安排本次采访之前进行的——我经历了那种罕见的时刻：一个模型显著超出了我的预期，迫使我重新评估对当今可能性的认知，并促使我重新构想自己的工作流程，以利用它的独特优势。这种优势不仅体现在能够接受海量输入，而是真正展现出对数十万 token 输入上下文的极其深入的掌控。这是一种我几乎立刻就能感受到的、实践层面的跃升。因此，我自然迫不及待地抓住机会与 Jack 聊聊这背后的所有工作，以及他如何从一系列关键概念维度理解当前的格局。我们的第一个问题是：为什么像基于正确性信号的强化学习这样的技术，似乎突然之间就在整个行业变得格外有效？这代表着一次真正的突破，还是更多是稳步渐进积累的结果，终于跨越了实用性的重要门槛？我们还会剖析，为什么几乎所有 frontier model 开发者都在如此短的时间内发布了类似的 reasoning 或 thinking 模型。这种同步发明是由显而易见的下一步驱动的，还是背后存在某种交叉影响？接着，我们探讨 reasoning 与 agency 之间的关系。这些 reasoning 方面的进步会转化为 agentic 能力吗，还是仍然需要其他东西？由此，我们再看人类数据在塑造模型行为中的作用。Google 如何看待收集人类 reasoning 以及逐步任务处理数据的问题？在训练模型时，Google 是有意让它们遵循可识别的认知行为，还是任由它们在训练过程中自行发展出解决问题的方法？我们还交流了关于模型内部特征表征与其利用这些表征的行为模式之间关系的直觉；探讨了在 latent space 中进行 reasoning 是否应该让我们担忧，还是可以通过 mechanistic interpretability 来确保安全；并讨论了是否应该避免将强化学习压力直接施加到 chain of thought 本身上——正如 OpenAI 最近在它们关于 obfuscated reward hacking 的论文中所论证的那样。最后，我们讨论了从当前能力到 AGI 的路线图。剩余的瓶颈是什么？我们需要 memory 方面的突破，还是持续扩大上下文窗口就足以克服所有实际限制？而且，我们是否应该期待越来越多模态的深度融合，就像最近在文本和图像领域所看到的那样？在整个对话中，Jack 给出了深思熟虑、细致入微的回答，绝对有助于我们加深对当今 AI 系统、frontier labs 内部正在进行的工作以及 AI 发展总体轨迹的理解。就我个人而言，结束这次对话时，我有一种感觉：对于我们在 frontier labs 看到的大多数进展，最简单的解释就是最好的解释。大型语言模型的发展仍然有大量 low-hanging fruit。研究人员已经内化了 bitter lesson，并努力让他们的方法尽可能简单和可扩展。我们观察到的快速进步，主要源于追逐那些相当明显的高层级概念方向，然后系统地攻克让它们在大规模上运作所需的实际工程挑战。正如你将听到的，相关团队非常认真地对待安全技术开发，但同时也感受到高度的 genuine excitement 和竞争压力，这推动他们尽可能快地前进。像往常一样，如果你觉得这档节目有价值——我绝对认为这是我们做过的含金量最高的一期之一——希望你能分享给朋友，在 Apple Podcasts 或 Spotify 上写个评论，或者在 YouTube 上留个言。考虑到未来极其不确定，赌注高得惊人：其结果可能从 post-scarcity、无疾病的乌托邦，到存在性灾难，甚至彻底的人类灭绝——所有这些在未来 2 到 20 年内都是活生生的可能性。我对自己制作这档节目的责任极为认真，并诚恳地邀请你提出反馈和建议。你可以通过我们的网站 cognitiverevolution.ai，或者在你常用的社交网络上私信我。现在，希望你享受这次内部视角，关于大型语言模型 thinking 的 scaling 以及从这里通往 AGI 的路径，嘉宾是 Google DeepMind 的首席研究科学家 Jack Rae。Jack Rae，Google DeepMind 首席研究科学家，Google thinking 与 inference time scaling 工作的技术负责人。欢迎加入 Cognitive Revolution。我对这次对话感到非常兴奋。恭喜你们发布了 Gemini 2.5 Pro experimental 03-25，应该是这个名字吧。这个冗长的名字并不能反映出这次发布有多重大。显然，这是如今模型大战中常见的说法，但这确实是一件大事。你知道，根据我的评估和测试，这是我第一次可以说 Google DeepMind 的模型在许多重要方面都是排名第一的模型。它也给了我一种震撼的时刻——这种时刻并不常出现，不过话说回来，最近倒也发生得挺频繁的。但当我把整个研究代码库丢进这个模型里，40 万 token，然后说：我想扩展这个。我想尽可能复用现有代码，但希望只做非常轻微的改动，不要碰乱别人的代码，因为这是一个共享的、协作的空间。我真的非常惊讶于模型对超长上下文的掌控力，而且那种震撼是因为它确实给人一种质的飞跃的感觉，一个非常立即可察觉的台阶式提升。所以，我们仍在适应它的能力并重新校准自己，但我想正如现在年轻人说的，可以肯定你们这次真的放大招了。非常出色的工作，我真的很期待了解这背后的诸多工作。是的。我可能会多次提到这一点，但你知道，我们对这个模型超级满意。我们对模型的发展轨迹感到非常高兴。这次是真正的 Gemini 团队共同努力。我可能会谈到这一点，但你知道，预训练团队、thinking 团队、post-training 团队，以及 Gemini 内部许多领域都表现出色，真正将这一切整合在了一起。我们感觉非常好。我们在内部就很喜欢它。我们不确定外界会如何接受它。看到人们真的觉得它有用，真的用它感受到了 AGI，在真实世界任务中看到了显著的 deltas，这些都太酷了。非常感谢你的赞扬。是的，我只想说这次是 Gemini 团队的全面胜利。但我很乐意聊聊模型开发的一些情况，尤其是 thinking 方面的内容。好的。那我们就从一个我最近思考很多的问题开始，我想很多人也是如此。那就是，为什么这种简单的方法——当然，我确信你们使用了更复杂的技术——但这里我真正想到的是 R1-Zero 的演示，即一种非常简单的 RL 设置，仅凭一个正确性信号，现在就能奏效。我有点好奇为什么这没有更早成功。我猜很多人在多种情境下都尝试过，但我不确定是他们缺了什么，还是模型缺了什么，也不知道究竟是什么让这个想法被搁置了一段时间，而现在，它似乎到处都在奏效。是的。从我的角度来看，我们在相当长一段时间里——至少在 Gemini 大语言模型中已经有一年了——基本上越来越依赖 RL 来提升模型的推理能力。所以随着我们发布模型，使用 RL 处理基于准确性的任务，这种做法的占比越来越大。我们获得了一个非常离散且可验证的 reward signal，并用它来提升模型的推理。实际上，在 thinking 启动之前我们就已经在做这件事了，并且发布的模型也搭载了这项技术。它一直在帮助模型优化推理过程。我认为，这实际上是众多优秀的推理研究者和 RL 专家长期推动的一项工作，现在进入了一个 inflection point，真正吸引了大家的注意。也许对很多人来说，感觉像是到了一个 threshold moment，比如 DeepSeek 的技术报告发布前后。但我觉得它已经有效运作有一段时间了。并没有什么单一的关键因素让它突然奏效，只是它跨过了能力阈值，让人们真正注意到了而已。有意思。所以公平地说，你认为在外人看来像是某种涌现现象的东西，其实更像是一种错觉。在幕后，它是一条相当平滑的曲线。我觉得我就是这么看的。很多这类能力，当我们在内部追踪时，它们有时呈现出几乎可怕的可预测性提升，有点像我们看到的 Moore's Law 式的进步。而且我逐渐注意到——这在预训练阶段也是如此——我们会有那种现象：每一次具体的改进，无论是 RL 配方还是模型配方上的改进，你并不总能预知什么会起作用，所以存在一定的随机性。但随着各种改进不断积累，就形成了一种近乎持续向上的趋势。而在公众领域，通常发生的情况是，它偶尔跨过某些阈值，于是人们真正注意到并变得非常兴奋，它抓住了人们的想象力。关键的是，模型变得足够好，让人感觉像是发生了阶跃式变化，尤其是伴随着我们这种离散的模型发布。是的，反正这就是我的看法。是的。领先指标上的平稳进展与下游任务的阈值效应之间的这种并置，我认为是整个领域最有趣的“舞蹈”之一，而且可能在未来很长一段时间内都会如此。说到你个人的 production function，显然，目前这个领域的一切都在指数级增长，发表的论文数量和各种技术也与这种趋势保持一致。你如何分配时间，或者说如何看待在跟进领域其他研究、保持信息同步，与埋头钻研自己想法之间的时间分配？另外，现在有没有哪些 AI 工具让这件事对你来说更易管理？是的。我是说，从阅读研究到编写代码、运行实验之类的工作，某种程度上，我不知道自己的经历是否也受到了职业发展和工作方式变化的影响。但在我职业生涯早期，我会花大量时间阅读研究。有太多东西需要补习，而且感觉会议之类的地方才是所有事情发生的地方，真的就是要大量吸收各种不同的想法。现在我觉得——这可能部分是因为我从初级研究角色转到了更多负责指导方向的岗位——有很多非常明确的问题，目前外面没有任何研究给出了答案。解决方案将会在我每天一起工作的团队中被发现。相比五年前甚至十年前的自己，我现在花在阅读研究上的时间确实减少了很多。不过，当人们发表很酷的想法时，我仍然觉得非常有启发，也很有用。我还是会抽时间关注。我用 X，关注一些人，也用 arXiv 的筛选功能来过滤出有趣的论文、博客文章、播客访谈或 YouTube 视频。现在大量信息通过不同形式涌现。至于工具，我知道这听起来可能有点意料之中或老生常谈，但我现在确实经常用 Gemini 来阅读、总结论文并向论文提问，尤其是因为这长期以来都是它的强项。我觉得可以信任它消化整篇论文的能力，有时甚至可以是一组论文——如果我想加入一堆被引用的论文，然后提问或要求总结。这非常有用，特别是因为当你读的研究越来越多，你就会对直接切入核心思想和关键结果有更高的要求。而有时如果你没有时间去 brute force 地通读文本、寻找你需要知道的东西，做到这一点就有点困难。让模型来做这件事非常有用。还有一点，Gemini 的长上下文能力真的很强。它在处理长篇技术文本的问答和总结方面一直表现很好。所以我挺喜欢用它来做这些，这也是我的首选工具。明白了。那么，关于目前这个领域，还有一个颇为引人注目的观察：我想几乎所有——也许并非全部——前沿模型开发者在过去一年里都走上了从外部看来非常相似的轨迹。现在我们基本上看到了一类全新的推理模型，它们遵循相似的范式：先进行一段 chain of thought，也就是思考一会儿，然后给出最终答案。这种趋同现象我想更深入地理解。我不知道这是否只是同时发明，因为条件被过度决定了，使得这成为下一个合乎逻辑的步骤。或者，你也会听到另一种说法，就是人们在这些臭名昭著的旧金山派对上碰头，一边喝酒一边分享各自在做的东西。那么，你如何看待——或者说，你怎样理解为什么现在大家似乎都在并行开发非常相似的想法？是的。我认为这是一种早在旧金山科技派对兴起之前就存在的现象。人们总是在寻找进步的途径。我觉得，即使是模型在某方面取得进展的蛛丝马迹，大家也能迅速察觉——尤其是在当下，从事 AI 的聪明人数量前所未有，算力规模前所未有，这让我们得以快速反应。当一种新范式出现——比如这次的 test time compute——并且该领域存在大量性能和能力值得挖掘时，人们就会以空前的速度和势头涌入。回想这一趋势在 Google 和 Gemini 内部的发展：我们在九、十月份组建了推理团队，专门研究 thinking 和 test time compute。仅仅集中攻关了大约一个月，我们就发现了当时觉得非常振奋的建模突破。这促使我们在 12 月发布了首个模型——一个基于 Flash、具备 thinking 能力的实验模型。回想那个团队的进展，我觉得整个过程非常自然：人们在这个方向上探索、深入参与，越来越多的人开始思考这个问题、跑实验，然后进展就非常快。我想，这在如今这些顶尖研究团队中是一种普遍现象。正因如此，你才会突然看到一大批推理模型在短时间内接连出现。好奇心、探索欲以及人才密度，这些自然因素在当下共同作用。人们总是特别有动力去寻找下一个重大突破，并尽快展开探索。那我可以这样总结吗：这个想法本身就是一个非常明显的候选方向，而且一旦开始挖掘，就会发现那里的低垂果实密度——或者说矿脉的丰富程度——极其惊人。这足以解释为什么所有领先的开发者至少都会去试探一下，然后他们发现，没错，这显然是一个值得我们大力投入的方向。是的。至少在 Gemini 内部，事情就是这样展开的。而且我们之前就看到了很多迹象表明这个方向是合理的，也拿到了一些初步结果。另外，很幸运的一点是，这整件事都需要对将 reinforcement learning 应用于语言模型抱有很深的信念，而在 Google，我们对此一直非常自信、非常感兴趣，也持续在做相关研究。所以从这点来看，我们进入这个领域的门槛很低，然后就能从 thinking 中发现一系列非常酷的能力突破。这对我们来说是一种自然的延伸。我没法评论其他实验室，但我猜类似的事情应该也在各处发生。是的。有一个很小的细节，但我想听听你怎么解读——在 R1 的论文里，他们提到曾在较小的模型上尝试 reinforcement learning，但基本上没能跑通。他们团队看起来相当厉害，就像现在年轻人说的 pretty cracked，所以他们当时尝试的方法应该挺聪明的。但后来，这招好像又在各处都管用了。我就想问，对于不久前有人在能力稍弱的基础模型上尝试 reinforcement learning 却没能成功这件事，你能提供什么解释吗？你觉得这种说法靠谱吗？是的，这完全合理。我觉得这些事情要真正跑通，难度远比人们通常意识到的更大，哪怕是 pretraining 也是如此。现在人们可能觉得 pretraining 已经完全解决了、完全不言自明了。但大概在六年前，我还在做 pretraining 的时候，训练一个 1000 亿参数或更大的语言模型，其中有上百万个组件可能出错或发散，那时候还带点炼金术的色彩。在这些强大的语言模型上做 reinforcement learning，让它们进行更深层次的 reasoning 和 thinking，我猜很多人尝试过但失败了很多次，因为其中有非常多极其关键且微妙的细节必须做对。所以我认为这很难，需要修复很多问题。当你有五个地方出了问题时，你可能只找到其中一个并修复它，但什么变化都没有，于是你就灰心了。某个时刻你可能会觉得，这根本说不通，行不通。然后你需要经过几次这样的迭代，直到越来越多的环节被对齐，整个系统才会开始发光。我觉得去年我们就看到了一些非常酷的初步火花：仅仅通过 reinforcement learning，模型就开始使用 thinking，我们在其思考过程中看到了非常酷的现象，比如自我纠正、探索不同思路。这正是我们希望从 reinforcement learning 中涌现出来的东西，但在我们自己的实验中亲眼看到之前，我们其实也不确定这是否真的可行。是的。那么这些所谓的 cognitive behaviors——现在越来越多人这么称呼——显然可以通过多种不同的方式在模型中形成。比如，RL 在较小模型上不起作用的一种可能解释是，你需要足够大的模型规模和训练量，让这些行为先在模型中初步成型，reinforcement learning 才能把它们激发出来。但也可能在 supervised fine tuning 阶段就学到这些行为，或者只要做足够多的 RL，它们也会有点随机地涌现出来。你们会花多少精力去刻意塑造、精心策划这些 cognitive behaviors？又在训练过程的哪个阶段更多看到它们自发涌现？是的。我想大家对此有不同看法。我们是一个相当结果导向的团队。所以归根结底，只要某种方法能给我们带来最好的结果、最好的模型泛化能力和最好的最终表现，我们就会用哪种方法。但如果退一步看，这个领域里确实有一些先验假设和观点。我相当赞同的一种思路是：能造出模型的最简单配方，就选那个。这有点像奥卡姆剃刀。如果你能对那些认知能力应该是什么样的施加越来越少的先验假设，仍然能得到一个非常强大的模型，让一切更纯粹地从数据中学到，那这总感觉是更好的方法。话虽如此，我们也会探索人工数据，使用基于模型的合成蒸馏数据，如果很多东西能通过端到端的 reinforcement learning 涌现出来，我们也会去尝试。所以我们什么都会试，而在最终模型和最终的数据配比上，我们只选效果最好的，同时对简单性和泛化性有一定偏好。所以，嗯，不知道这个回答够不够让人满意。显然，我们没法深入透露训练配方的细节，而且它的迭代速度也非常快。但这就是我们遵循的大致原则。是啊，说得通。我也没指望你透露所有秘密。人类数据显然有一些明显的优势，我们自然会预期用它训练的模型可能更像人类。我当然不想夸大它们变得有多像人，但至少你会希望避免某些问题。我想知道，你有没有注意到——R1 论文里一个著名的细节是，他们报告了在 chain of thought 中出现的语言切换行为。我个人也在 Grok 上见过这种现象，但在 Gemini 上没见过。你们有没有观察到这类现象，或者 chain of thought 中的其他怪异行为？你们有没有采取措施来抑制这些怪异行为？或者不一定说是抑制，而是设置合适的先验，让它们从一开始就不出现？嗯，我觉得——好吧，这个不是——对。我认为归根结底有一个原则：我们希望模型利用它的 thinking token 来变成一个更聪明、更好的模型。从这个角度看，thinking token 中可能会出现一些略微奇怪的现象，比如循环往复，或者似乎在输出一些并不总是有用的文本。但如果这能让模型在解决问题时变得强得多，那么一种理念就是：随它去。这个空间本应是模型的草稿区，用来琢磨如何以最佳的准确性、安全性、事实性等给出回答。话虽如此，我们确实注意到 thought 中的一些现象。其一，Gemini 的 thought 通常用英文，它们倾向于用英文。实际上我们发现模型在 i18n，也就是我们说的国际化、非英文推理任务上相当强。但它进行推理时大多还是用英文，于是这就产生了一个问题：这是不是糟糕的产品体验？还是说如果这让模型在这些推理任务上表现很强，我们就应该允许它这么做？所以关于这一点有过一场辩论。可以说这不是 thought 中的语言切换，而是始终停留在一种语言里。另一个是，尤其是一些早期 Flash Thinking 上线时的 thought，相当模板化。模型经常会选择一种相当公式化的结构来拆解问题，然后构建请求。这是另一条研究线索。我们希望它非常模板化吗？理想情况下不希望。它应该相当自然，应该是模型在思考问题，而不是总是——如果它总是套用某种特定模板，那感觉它可能并没有从 thinking compute 中获得最大收益。还有其他方面，这些都是 thinking token 的考量因素。我们显然希望它高效，并最大化地提升模型能力。所以我们一直在思考这些话题。嗯，酷。有意思。只是想确认一下，当我查看 chain of thought 时，我所看到的内容——其实我主要用 AI Studio。如果它和 Gemini app 本身有任何不同，你可以说说。但我是不是可以认为，我看到的是完整、原始、未经修改的 chain of thought？是的，没错。我们在 12 月发布了一次，然后在 1 月又发布了一次。至于 2.5 Pro，无论是在 AI Studio 还是 Gemini app 上，你看到的都是模型原始的 chain of thought token。这一点我们一直在思考。说实话，目前还不清楚怎么做才是最好的。人们确实喜欢看原始 token，但同时它们也可能相当冗长。我们也许希望生成更有用的摘要，或者做其他转换。NotebookLM 里有一项很酷的工作，有点像带图结构的 thought explorer，你可以沿着图结构追踪不同的思路。这仍然是一个相当新的领域，我认为呈现 thought 的最佳方式我们还没有最终确定。目前展示的是原始 thought。嗯，有意思。所以我只是好奇，决定展示完整 chain of thought 的过程中有过什么样的讨论或争论？因为显然，OpenAI 最初选择不展示，并给出了各种原因，但大多数人似乎主要将其解读为竞争层面的考量——他们不想分享完整的 chain of thought，因为所有人都可以拿去跑 distill，或者做 SFT 之类的。但这似乎并没有成为他们持久的护城河。我想知道，你们在做决定时说“好，我们把完整内容都放出来”的时候，有过哪些考量或争论？我觉得这类决定通常综合了安全团队、研究人员以及领导层的意见，确实是一个相当复杂的决策。我没法给你一个特别具体的路线图，但每一次发布都是经过非常审慎的考虑的。我们的领导层，比如 Koray、Demis，通常都希望充分理解利弊。而对我来说，这并不是我会参与决策的事，所以我可能不是最适合回答这个问题的人。我只是努力确保所有模型都极其强大，并且我们手上有大量优质选项。所以我认为这是一个正在积极探索的领域。我们还没有敲定，也没有固定某一种呈现 thought 的特定方式。公平地说，对于 OpenAI，我也不知道他们为什么选择展示摘要。我们可以猜测。他们确实给了我们一些理由，但我相信除了 distill 之类的原因之外，还可能混合了其他考量。我记得最初有一批人担心，也许如果我们展示 thought，那就不得不开始对 thought 做 RLHF，让它们对用户看起来很友好，而也许我们并不想鼓励模型产生欺骗性的 thought。还有另一种观点认为，一旦有了这些 thought，对可解释性来说非常棒，你能理解模型是如何形成输出的。所以我想，关于处理和传达这些内容的最佳方式，目前有一场完整的争论正在进行。从我的角度来看，我只希望确保这些 thought 能带来强大得多的回答、能力更强的模型，这是我主要关心的。那么，是否可以公平地说，你并不关心 chain of thought 在用户看来是什么样？我的意思是，OpenAI 最近也发表了一篇关于 obfuscated reward hacking 的论文，其中表明，对 chain of thought 进行 reinforcement learning 的担忧并非毫无根据。他们展示的是，当模型最初学会了 reward hacking，然后他们对 chain of thought 施加压力，让它不要推理 reward hacking，这最初会压制 reward hacking 行为，但之后你会看到 reward hacking 行为卷土重来，而 chain of thought 中却不再出现相应的推理过程，这就是所谓的 obfuscated reward hacking。所以这看起来确实有些令人担忧。我想知道，你是否觉得这令人担忧？你是否认同——我理解那篇论文的结论是——绝不应该对 chain of thought 的质量进行高强度的筛选？我认为，目前我们在这些实验性模型发布中展示了 chain of thought，并试图获取反馈，从真实用户行为中学习。这通常是发布任何技术时极其重要的一环。然后我们会非常认真地听取反馈，观察这些东西在实践中是如何被使用的，从而对未来如何呈现 chain of thought 中的信息做出更明智的决策。而安全绝对是影响这一决策的重要因素。是的。但我想更精确地指出，你可以针对 chain of thought 做 RL，以实现各种不同的目标，对吧？比如让它更易读，或者避免出现奇怪的循环行为，又或者抑制关于 reward hacking 的推理——这可能会产生下游的负面影响。但显然，外界有一种很强的观点认为，不要这么做。你是因为这会造成混淆而将其视为一种强烈的禁忌，还是认为有某种方式可以这么做，同时不带来那么大的问题？我认为，从一个相当稳妥的角度来说，我们希望这些 thought 能真正提升模型的事实性和安全性能力。我们希望它拥有那个草稿空间。另外，如果我们打算展示这些 thought，那我们也希望它们是可解释的，并且忠实于模型正在进行的计算过程，我们可能不希望添加会鼓励欺骗等行为的训练目标。所以我认为这是一个非常合理的观点。是的。好的，没问题。我们稍微回到不同数据类型和人类数据混合的话题上。在我自己的工作中，我曾尝试让人们记录他们的 chain of thought，甚至是在所有这些推理工作出现之前。我个人发现，当通过在 fine tuning 数据集中简单地加入 chain of thought 示例来对模型进行 fine tuning 时，通常只需要针对一个或少数几个任务，性能就会好得多。因为我也曾和其他人合作，帮助他们构建 AI 应用或自动化流程之类的东西，所以我经常会说：好了，我需要你们做的就是把自己钉在椅子上，我不在乎你们用什么方式。你们可以用文字，可以打开摄像头录下自己，什么都行。但我需要你们在实际工作时，作为专家——也就是我们要尝试自动化的工作的执行者——实时记录下你们的 chain of thought。我们需要知道的不仅仅是你们的输入和输出，还有你们是如何思考的，为什么会在过程中做出这些微小的增量决策。我发现，在很多情况下，这很难从人们那里获取到。这可能稍微超出了你的具体职责范围，但我想知道，你，或者说更广泛的团队，在如何诱导人们提供这些数据方面是否有所心得？或者对你们来说也太难了，所以你们大概会觉得：天啊，我们还是用 synthetic 数据吧。那么，从人类身上获取 human chain of thought 的现状究竟如何？是的。嗯，你的问题我想包含两个方面。一个是，如何获取那种过程数据，让它不仅仅是 prompt 然后直接给出 solution 或 response，而是真正记录下导致 solution 的过程。另一个是像 chain of thought 这样的东西，我想这就是上述过程的一个实例。说来有趣，我认为很难让人们忠实地转录出真正的 chain of thought。这是一种相当 latent 的东西。实际上，我认为所有这些模型——尤其是 Gemini——之所以能够很好地进入这种模式，部分原因在于人们已经在各种场合详细描述过自己的思维过程。也许不是在被明确要求这样做的时候，但即便是在文章、各类作品或在线讨论中，人们也经常会拆解他们将如何解决问题，或者为什么写他们正在写的内容。所以在 pretrained model 中，已经存在大量关于“通过过程进行推理”意味着什么的数据。这也是为什么，甚至在我们真正试图通过 reinforcement learning 将其激发出来并使其变得强大之前，你就可以通过 prompt 让模型做事，比如“让我们一步一步地思考”。这基本上就是一种 zero shot 的做法。但我发现，当你人为地要求人们记录他们对某个问题的全部推理过程时——也就是说，当它不是自然发生，而是在指令下发生时——似乎很难从这类数据中获取很大价值。不过，我认为这和你另一个问题有所区别，那就是如何记录一个过程？我认为这非常有价值。如果我们能越来越多地获取人们自然用于解决任务的过程示例，并将其用于训练，那将非常有价值。我只是不太确定人们是否擅长描述他们的内心独白，并且这种描述在被要求这样做时是否真的有用。那么当你提到记录过程时，你想象的是像 computer use 那样的场景吗？比如人们如何点击、如何与环境互动，还是你在设想其他类型的记录？是的。我想更多的是在这种空间里：你要解决一个更开放的任务，需要做很多事情，比如中间计算，或者各种 actions。这大概就是我所想的。但你知道，我想说这部分问题其实已经涉及到如何最好地获取更多 agentic 数据之类的话题。那方面真的不在我的专业领域内，所以我可能不是聊这个话题的最佳人选。这是否意味着你认为 reasoning 和 agentic behavior 之间存在显著区别？因为我觉得现在很多人有一种感觉，reasoning 将是解锁 agentic behavior 的关键。不，绝对不是。我只是觉得 reasoning 和 agentic behavior 作为研究课题是非常紧密耦合的。但其中仍有一部分可以切分出来，那就是关于 agent 行动和创建环境的关键研究问题。那部分我们有一个非常优秀的团队，我们将其独立划分，有一组人专门负责。而在涉及 action 或 response 背后的 reasoning 时，thinking 领域的人就会真正参与进来协作。是的。好的。你刚才提到，人们难以写下自己的想法，部分原因是这是一种 latent 的东西。那么，如果你愿意的话，我想和你转向 latent space 聊聊。首先，我很想说一下我目前对模型在推理时内部发生事情的理解——这毫无疑问过于简化了——然后让你来批评、阐述或扩展它。我的一般工作模型是，pretraining 过程决定了模型拥有哪些 abstractions、representations 或 features，随你怎么称呼，也就是它基本上拥有哪些概念。然后 post training 决定了它的行为模式，即它如何部署这些概念，如何将它们并置、相互对照，以及如何试图找到一条通往 solution 的路径。我的感觉是——好吧，你对此怎么看？是的。也许可以这样转述你的观点，我基本同意：pretraining 能学到大量的函数逼近器，让你建模整个分布——好的行为、坏的行为、强推理行为、错误的推理行为，你基本上什么都能得到。你可以通过筛选 pretraining 数据来稍微塑造一下，但它本质上仍是在努力反映所有类型的行为，努力去理解。所以，越能准确预测下一个 token，越能压缩文本，也许就越能更好地理解整个分布。而在 post training 阶段，你会丢掉很多模态，丢掉很多行为类型，真正聚焦于少数几种推理方式、回应方式，以及面对不同重要任务时的行动方式。然后，如果我们把 reinforcement learning 做得非常好，你也会学会组合一些更基础的技能，逐步构建起针对那一小撮重要任务的能力集。我不知道我这是在批评你，还是完全在呼应你的说法，但我是这么想的。我想这种区分——也许以后会渐渐模糊。我想这个观点的部分前提是，绝大多数算力都投入到了 pretraining 中，而 post training 相比之下非常小，可能少了两个数量级。而现在，显然 reinforcement learning 的规模也在上升。也许这种二分法最终会变成一条连续谱，这在我研究的所有课题里确实是个常见主题。也许可以这样问：模型是在 post training 期间学到关于世界的新 fundamental concepts，还是这些主要是在 pretraining 期间学到的？随着我们投入到 post training 阶段的 flops 从比如 1% 增加到 10% 或别的什么比例，这种情况会改变吗？我的感觉是它们必须如此。如果我们要构建 AGI，在 reinforcement learning 阶段，我们不仅是在重塑已知概念，还必须学习新技能，这一点绝对关键——尤其是如果我们希望这些模型最终在非常关键的任务上完全超越我们。它不能只是在重塑 pretraining 阶段通过 behavioral cloning 所看到的那套知识。是的，这正是眼下最让我们兴奋的研究方向之一：如何让 reinforcement learning 的复合效应帮助逐步提升这些模型的能力，使其变得极其强大、通用且 robust。我完全押注这件事会发生在 reinforcement learning 阶段。那么另一家——也许是目前唯一一家尚未全力加入推理大潮的前沿模型开发商——是 Meta。不过他们确实发表了一篇我觉得非常有趣的论文，至少从某些角度看也有点吓人，是关于 latent space 中的推理。论文的做法是，在 forward pass 的最后，不真正输出成一个 token，而是取最终解码前的最后一个 latent state，把它作为下一个 token 位置的 embedding 传进去，让模型就这么连续咀嚼自己的想法，无论连续多少个 forward pass。对我来说，这有点可怕。我希望尽可能知道我的 AI 在想什么。不过它也有一些不错的特性。我想那里存在一个 attractor state，没错。它只需要更少的 forward passes 就能达到类似的性能。而且有证据表明它们可以做 breadth first search，而不必走 depth first，后者似乎是显式的 chain of thought 更容易陷入的模式。所以你怎么看 latent space 中的推理？我们应该害怕吗？应该把它列为禁忌？还是说有没有什么办法可以安全地接受它？是的。我认为在一项技术被充分研究和理解之前就将其列为禁忌，我一向不赞成，除非有极其强有力的理由。就这个案例而言，我想说人们之所以打问号，是因为 interpretability 问题。我们需要那些 latent vectors 是可解释的。我其实想打个比方。我认为我们应该去推进：如果它能带来更好的思考，同时又能被解释、被做安全，为什么不探索这个方向？它看起来非常有前景。实际上我想举一个类比，不知道这算不算 pre-LLM 时代，但 MuZero 是一种延伸。我们有 AlphaGo、AlphaZero 和 MuZero，是一系列发展。显然 AlphaGo 是那个 reinforcement learning 模型成为围棋世界冠军的时刻。AlphaZero 的区别在于它本质上只用 self-play，没有 SFT，当然还有很多其他算法改进，但那是它的标签。到了 MuZero，区别则在于它不再像 AlphaZero 那样在状态上展开，而是在 latent vectors 上展开。这些向量仍然可以被解码成状态。他们发现 MuZero 在 latent space 中进行搜索有很多优势。所以我深受启发，每当想到在 latent space 中思考，我就会想到 MuZero。那绝对是这一系列中最强大的一步，最强大的进展。而且他们仍然能让它某种程度上可解释，因为他们可以从这些 latent vectors 中解码出状态。所以我认为这很有可能是一个非常 promising 的方向。现阶段我不会排除它。是的，这似乎是个好主意。是的。我想怀疑论者或者安全鹰派可能会说，当你谈论的是能以相当高置信度解码出来的游戏状态时，一切都很好，对吧？最终，这个东西是在一个游戏状态中运行，而且我们知道那是什么。它不会跑到什么很远很远的地方去。但面对通用 AI 内部到底在发生什么，我们并没有一个类似的 ground state 能让我们如此有信心。是的，我花了好几个小时读 Anthropic 刚刚发表的那项关于追踪语言模型思维的杰出工作。我觉得那项工作的标题不幸地可能让很多非领域人士对我们真正理解内部机制的能力产生了过度自信。尽管我认为这项工作本身非常棒，但我倾向于也会注意到，天哪，他们构建的 replacement models 只能解释 50% 的行为，而且为了把这些都解释通，还塞进去了很多 error terms。所以，从宏观来看，我的感觉是，业界总体上并不认为在我们预期拥有强大或 transformative 或随便你怎么称呼的 AI 之前，interpretability 能发展到足够好的程度，让我们真正确信模型在想什么，或者它们为什么这么做。你对 interpretability 的总体展望是什么？你认为它会发展得更快，当这些人人都在期待的强大系统到来时，我们真的能知道它们在想什么吗？是的。是的。就像能力在快速进步。我通常认为，这些进步不仅体现在模型执行编码或 agentic 任务等人们在现实世界中发现有用的任务上，也会加速 mechanistic interpretability。因此，如果我们拥有更强大的模型，我们就拥有更强大的工具来研究这些问题。所以我不太清楚的是，能力是否会呈指数级提升，而我们在 mechanistic interpretability 或安全工作上的能力却只呈线性提升，从而导致巨大错配。我猜想这两者会同步发展。不过回到你关于 latent vectors 与 thoughts in tokens 的问题，这一点非常好。无论如何，我们都需要非常好的研究成果和工具，最终是可用的产物，能够追踪思维的实际内容与底层计算——从而也就是模型答案的结果——之间有多接近。我觉得这是一个非常有趣的研究问题，而且这很棒。Anthropic 那项工作真的很酷。Gemini 团队里也有非常优秀的人在做这方面的研究。这是一个非常重要的问题，无论如何我们都应该尝试解决，无论是通过 latent vectors 还是 continuous tokens。人们似乎喜欢并且需要模型提供这种可解释性。是的。我认为这一点尤其重要，如果我们要让这些东西运行大部分经济领域，或者，天哪，甚至是军事领域——这似乎越来越成为某些人在梦想的事情。了解它们为什么在做正在做的事，在我看来是一种必需。在可解释性方面的一大挑战——auto interpretability 可能是一个巨大的突破口，也可能是那种我们随时可能看到崩溃的转盘子戏法——就是特征的自动标注。这又是另一个方面，而且同样，Anthropic 的工作非常出色。他们的界面、发布方式，你可以展开帖子中内嵌出现的任何特征，查看数据集中到底是哪些具体段落导致了这个特征的激活。我得说，其中一些我看的时候会觉得，我根本想不到要这么标注。你明白吗？于是这就变得相当哲学化了。也许我可以从哲学角度来提问。我相信你一定看过那篇叫做 Platonic Representation Hypothesis 的论文。我想知道你在多大程度上认同这个假说。对我来说，它的意思是，首先，随着规模增长，模型之间存在某种趋同，这似乎表明它们可能在趋近于某种唯一真实的世界模型。你认为这确实是正在发生的事吗？进而，随着规模进一步扩大，我们是否应该对理解模型在做什么更有信心？你能稍微转述一下这个问题吗？你是说，所有正在训练的不同模型，随着规模增长，它们会开始更加趋同？还是别的意思？我不太确定。是的。也许从更深层的、哲学的角度来说，它们是否在趋近于某种现实的实际表征，某种我们可以信赖的、有坚实根基的表征？嗯，我想说，唯一让我感到有强烈理论信念的地方，是在 pretraining 中发生的事：当我们不断降低 perplexity，提升对所见文本的压缩效率，如果我们能做到接近噪声底限，触及文本的 entropy，实现这种基础的最优文本压缩，那么我们就会得到一个最理解——最理解生成这段文本的世界模型——的模型。这一点我觉得有非常明确的数学基础，来自 Ray Solomonoff 的工作，甚至 Claude Shannon 的工作也常被引用，讲的是最优文本压缩器会如何拥有对生成这段文本的生成过程的最佳世界模型。不过，这有时听起来确实像是一种哲学论证，因为即便那个对象也不是我们真正想要的 AGI。我们想要的不仅仅是某种对当今文本生成动态有着最优理解的东西。我们希望模型经过训练后能够去做有用的事，能够忠实地遵循我们给出的指令，去完成可能从未有人做过的复杂任务，能够泛化到全新的、从未见过的环境。所以我觉得，所有这些方面都无法被那种关于 pretraining 中正在发生的事的“世界模型”描述所涵盖，这也是为什么我认为，尽管我职业生涯的大部分时间都花在了 pretraining 上，pretraining 并非构建 AGI 的唯一组成部分。所以在某种程度上，我觉得这听起来可能我认同你说的那个假说，但也包括它的相关性。我不认为这就是我们如何构建 AGI 的全部故事，所以它在我心中的权重已经被降低了，不再是我应该思考的唯一叙事。我确实认为，一旦你开始进入大规模用 reinforcement learning 训练这些模型的领域，它们绝对不是都在收敛到同一个模型。实际上，把这件事做好有很多责任，这样我们才能真正构建出有用的系统。而且我觉得现在就能从实际中看到，模型之间已经相当不同了。它们已经各有不同的优缺点，Gemini 团队也在非常具体地研究很多能力，以让它们在特定领域更有用，而我不认为这些能力会自然而然地出现在所有模型中。所以是的，这仍然感觉是非常可引导的。它不像是一个最终会走向某种包揽一切的世界模型的单一过程。从研究侧来看，它仍然感觉是非常可操控的。但你知道，我不是哲学家。我只是努力把这些东西做得非常好。所以我觉得，我很想听听几位紧跟 AI 发展的哲学家对此会怎么看。是的。总结一下，而且我认为经验科学肯定也能给哲学家们提供很多启发，尤其是在当下。你似乎在说，世界模型本身可能是所有东西都在趋近的东西，但你在行为上如何驾驭那个世界，仍然是一个巨大的信息空间或可能性空间，其中并不存在唯一正确的答案，而品味、安全性以及这类东西正是在这个空间里有很多可以探索和分化的余地。那么，大概还剩最后十分钟，你怎么描绘从这里到 AGI 的路线图？显然，我不是指详细的技术层面，而是说，Gemini 的一大优势是非常长的上下文。你认为我们是不是基本上可以——我猜我的理解是，那里面没什么太疯狂的机制，基本上就是把规模做大，然后有一些数据，模型必须真正掌握长上下文才能成功，它就会从中学到。我可能过于简化了。如果确实如此请告诉我。但仅仅是继续推进这一点就足够了吗？还是说我们需要某种更整合的、更整体化的记忆与遗忘过程，才能真正实现人们想象中的那种长期运行的 agent？我想问的是，记忆这个问题，你觉得只要我们继续推进现有的杠杆就已经解决了，还是说我们还需要某种概念上的突破？是的。这是个好问题。2014 年加入 DeepMind 时，我最初从事的研究领域叫做 episodic memory。记忆这块，Demis 的博士阶段研究的就是 episodic memory 和想象力之类的东西。所以我一直对人类记忆、人类的情景记忆、海马体非常感兴趣。我自己的博士课题是关于利用稀疏且可压缩的记忆进行终身推理的。就是说，如何在神经网络中构建一个富有表达能力、并且像人类心智一样能够跨越巨大时间尺度的记忆系统。开始读博时，我完全想不到我们会取得如此大的进展。如今我们已经能够实现 100 万、1000 万这样的 context length，具体取决于你如何表示文本或视频，这已经开始接近终身的时间尺度了。但我仍然认为记忆问题尚未解决，还没彻底完成。我觉得在记忆领域还会有非常酷的突破。我们在 DeepMind 时期也提出过很多很酷的想法。我们有神经图灵机（neural Turing machine）、可微分神经计算机（differentiable neural computer）。它们结合了大规模 attention 系统以及多种不同的读写机制。我的感觉是，这个方向上的某种方案最终可能会占上风，这将是一种非常酷的方式，能够实现极长、甚至是无限的终身记忆。但这仍然是一个活跃的研究领域。至于通往 AGI 的路线图，我觉得我们每取得一块进展，似乎都能很好地产生复合效应。比如一年前，我们发布了一项在 long context 方面的突破，它与我们现在在推理和思考上的工作结合得非常好，因为我们发现，能够对一个问题进行长时间、深入的思考，同时又能利用海量上下文——可能是 100 万甚至数百万 tokens——这两者之间存在非常有用的耦合关系。这最终解锁了大量额外的问题，我们现在能解决这些问题，而如果缺少其中任何一项，我们都无法做到。因此，我认为通往 AGI 的剩余路径上，agents 显然是一个超高优先级的领域。思考和推理方面，我们也远未到达终点。这些模型在可靠性和通用性上还有很长的路要走，要让人觉得可以越来越信任它们在开放式任务上的回答。所以从我们的角度看，还有很多工作就是不断让系统变得更好。目前存在很多已知的瓶颈，我们会持续攻关。让思考能力更强，在 agents 内部让 agents 做得更好。但我觉得，如果能结合更强大的 agentic 能力、更好的推理能力，甚至 ideally 更好的记忆系统，让我们能够拥有几乎终身跨度的理解和推理能力，那对很多人来说，这就会真正感觉像 AGI 了。目前的系统对我来说已经感觉像 AGI 了。我用 Gemini 2.5 Pro 时，感觉它就像 AGI——它现在可以一次性理解复杂的代码库，而三年前我们还觉得这是 futuristic 的技术，如今它就已经实现并且可用了。我们当然永远渴望下一个突破。但我认为，是的，把这些东西结合起来——好得多的记忆系统、深得多的思考与推理系统，以及能够使用多种不同工具、在非常开放的 action space 中工作的能力——那就会真正感觉像 AGI 了。至于它什么时候到来，很难说，但所有这些现在都在积极开发中。所以我觉得它来得相当快。是的，这就是我的感受。我也有同感。好的，再问两个简短的问题，然后你可以分享任何最后的想法。你在刚才的描述中没提到的一点是更多模态的整合。过去这几周，看到 Gemini 2 Flash 的图像生成能力，以及 GPT-4o 的图像生成能力，我深受启发——文本和图像模态的深度整合蕴含着巨大的力量，而不是那种保持距离的工具调用式整合。你认为这会发生在更多模态上吗？未来会不会出现这样一种世界：某一代 Gemini Pro 不再是调用 AlphaFold，而是与 AlphaFold 深度整合，使得它们的 latent spaces 真正融合，并以我们如今在语言和图像上看到的那种方式协同导航？AlphaFold 是个……
好问题。我想说，multimodal 这块，我觉得 Gemini 的一个非常好的设计决策就是我们从一开始就把它做成 multimodal-first。它在图像理解、视频理解方面一直非常强。实际上，在 Gemini 1 中就训练了原生的图像生成能力，technical report 里写过。只是它最初的那个形态没有立即发布。但回到你的 world model 问题，让一切深度多模态是非常重要的，把所有东西一起训练，让这个 world model 不仅仅覆盖文本，还覆盖多模态的视频、图像、音频。这是 Gemini 很酷的一个方面，而且很高兴看到现在这些功能上线了，人们真的很喜欢原生图像生成。他们喜欢的是，突然之间你可以编辑图像，可以进行更多交互，而不是仅仅把一个纯文本到图像模型当作工具来调用，那样会非常死板。所以，任何你能引入 world model 并联合训练的东西，你都会获得更深层的体验和理解。我觉得这非常酷。接下来就到了分界线在哪里的问题：你决定在什么时候把某些东西纳入 pretraining 的混合数据里，让它们被联合理解？这是一个非常难的问题。我认为目前你看到的是整个行业的一个务实选择——几乎总是先从信息密度最高、规模最大的信息源开始，然后再扩展出去。这就是为什么文本成了很多大型生成模型非常自然的起点，因为文本被高度压缩、知识丰富，而且可以大规模获取。但接下来如何扩展到规模更小的数据源，或者信息密度稍低的数据，这是个困难的决定。我知道比如在生物领域，基因组学，尝试把生成模型和大型语言模型做 co-training 是非常酷的方向，有人在做这个研究。我不知道分界线到底在哪，但这取决于 co-training 能带来多少收益，相对于仅仅把它当作工具调用，以及从文本、视频、图像空间中的世界知识到这个新任务有多少 positive transfer。如果 positive transfer 不多，那 co-training 可能没什么好处，你可能还不如只学习如何把它当作工具来用。是的，我觉得这些就是决定你应该把所有东西纳入一个 world model，还是把它留作独立专家系统的主要考量因素。嗯，我赌的是单一 world model 的方向，我们会继续关注这个领域。好的，最后一个问题，非常感谢你抽出时间来这里与社区分享这么多内部信息。但有一个问题如果我不问，大家肯定会生我的气：Gemini 2.5 Pro 的 system card 在哪里？我们本以为会发布的，但最近几个模型似乎都没有。所以我不知道是不是有什么政策，决定了什么时候一个模型才会得到完整的 technical report 待遇。关于实验性发布的策略，我们发布这些模型是因为真的希望让它们触达消费者和开发者，获得真实反馈，了解它们的局限性。但这些模型是以实验性标签发布的，这意味着我们不会为这些模型做完整的资源配置，也不一定有 system cards 这类全部配套文档。我们正在尽全力让它们进入稳定状态，达到可以正式商用的水平；当模型正式 general availability 时，会有 system cards。那么到目前为止，所有安全测试都已经完成了吗？我们在发布模型前会进行极其广泛的安全测试，其深度可能是业界前所未有的。不过，实验性模型确实会接受不同层级的测试，实验性发布的一部分目的正是获取真实世界反馈，这也是测试流程中很有价值的一环。但这些版本的发布仍然要经历非常标准的流程，包括政策团队和安全团队的审核，会进行大量的 red teaming 等。这些都在进行中。目前我们处于实验性阶段，正全力推向 general availability，届时会有更完善的资源配置以及 system cards 等配套。谢谢。上周我参加了一场云技术活动，很多人问它什么时候能在 Vertex 上可用，我当时说，哦，快了。结果第二天就上线了。所以在某些情况下，我们倾向于保守承诺、超额交付。这些事情进展得相当快，技术本身也在飞速迭代。是的，我们对此很感激。
red teaming 的流程是否包括第三方 red teamer？你们会和 Apollo、Haize Labs 或 METR 这类机构合作吗？我的意思是，那些大家耳熟能详的机构。是的。我们会发布 Gemini 的技术报告，其中通常会详细说明外部 red team 的情况，但目前我无法透露具体合作伙伴是谁。我认为不对外公开 red teaming 合作伙伴的身份是有充分理由的，不过我们确实与外部 red teamer 有合作。明白了。那等技术报告发布时，里面会列出外部合作伙伴的名单吗？我需要确认一下，但据我所知，在我们过去的技术报告中，这一点是有所说明的。是的。好的，太好了。这次对话非常棒，非常感谢你耐心回答这些问题。最后，关于我们没聊到的内容，你还有什么想法或观点想留给听众的吗？我想问问，你到目前为止已经用过 2.5 Pro 一段时间了，有没有发现它实现了什么以前没见过的新能力，或者有什么反馈？对我来说，长上下文是让我感到不同的东西。我对几乎所有 RAG 应用都有一个普遍的抱怨，无论是集成在 IDE 里的还是其他形式的，我觉得它们往往没有——而且这通常更多是商业问题而非技术问题——因为我为这些产品支付固定的月费，它们想要利润，所以它们会设置超参数，试图在给我最佳表现的同时，不要花太多钱、烧掉太多现金。这通常导致模型调用时包含的上下文不够。然后我就觉得，天哪，经常就是有些本该在那里的信息没有放进去，导致我没能得到尽可能好的答案。所以我经常这样做：如果条件允许，我会把整个代码库打印成一个单独的文本文件，然后直接粘贴进模型里。我做很多小型个人项目和概念验证，所以通常十万 token 左右，我可以塞进任何主流的模型里。但最近这个研究代码库不同，我碰巧是 emergent misalignment 那篇论文里贡献最小的作者。说来话长，但没错。我自称 AI 界的阿甘，因为我有时候会像群众演员一样晃进这些重要场景，这次又发生了。但我手头有这个研究代码库，它不是生产代码，文件夹结构基本上是 Daniel 文件夹、Nathan 文件夹这样。对，不是最佳实践的软件工程，我们都知道，但我们只是在探索一些东西。这有 40 万 token，非常笨重，远远超出我能塞进其他任何模型的容量。而它对整个代码库的掌控简直不可思议。我真的觉得，哇，以前的 Gemini 模型显然也能处理这么多，但我从来不敢百分百确定它是真正完全掌控，还是只是部分掌控。但这一次给我的感觉是，它对整个上下文窗口的掌控力极其强大，这对我来说确实感觉像是一个真正的 game changer。你知道，虽然没有强有力的 benchmark 什么的来让我真正站稳脚，但我的感觉是，我可以把大量信息 dump 进去，而且信心高得多。我知道当然还是不想过度信任，但我觉得我可以把大量信息 dump 进去，甚至我自己都不一定清楚里面有什么，然后更有信心——当然仍然不是完全有信心——相信 2.5 模型能抓住真正重要的东西，帮我驾驭这种超级深度的上下文，即使我自己一开始也不太清楚里面有什么。所以，这对我来说确实感觉是一个巨大的差异，因为如果是我自己熟悉的长上下文，模型帮我导航是一回事；但如果它能帮我导航我自己都不太掌握的长上下文，那就是非常非常不同的事了。而且，我认为还需要做更多工作来真正验证这一点，对我自己来说如此，对整个社区以及你们团队来说显然也是如此，但感觉确实不一样，这一点我可以肯定。听到这些太好了，因为我知道，去年当我们朝着最初突破冲刺时，我和很多做长上下文的人一起工作过，而且我以前在 pretraining 团队待了很久，现在还经常和一些特别专注于让 2.5 Pro 长上下文表现优异的人交流。是的，这方面做了大量工作，不仅在最初阶段把上下文做到 100 万、200 万 token——而且我们还会看到更大的进展——还要让它真正有效。所以在 2.5 Pro 发布时，我其实忘了那个外部 leaderboard 的名字，但确实有一个外部 leaderboard，在 X 上被大量分享，在 128k 上下文测试中，Gemini 2.5 Pro 利用上下文的效率基本上比目前市面上任何其他模型都高得多，这很酷。所以，它不仅能处理到 100 万 token，现在我们特别在 2.5 Pro 上看到，它给人的感觉是读过了所有内容，没有遗漏，没有错过关键细节，就像它真的阅读并钻研了所有信息。这会给人们一种有点 AGI 的感觉：在一秒钟内，你就觉得自己研究了一个非常庞大的代码库，而且对每个细节都有相当好的理解水平。这是相当 remarkable 的一件事。但，是的，能听到你的反馈太好了。是啊。这份赞誉实至名归。我是说，这些阶跃式的变化——我永远忘不了第一次试用 GPT-4 时自己身在何处。在过去大约两年半的时间里，并没有太多时刻让我感觉到：哇，这跟我此前用过的所有东西有着本质的不同，就在那个特定时刻。但这一次就是。它确实具备那种特质，让人觉得：好吧，我能感觉到又解锁了一个全新的层次。我得稍微重新校准一下自己，以适应这所带来的可能性。所以这太棒了。毫无疑问，这是一个令人兴奋的时刻。这次访谈非常棒，非常感谢你。最后的结语，当然是：Jack Rae，Google DeepMind 的首席研究科学家，感谢你参与 The Cognitive Revolution。太好了。非常感谢你邀请我。再见。听到大家为什么收听这档节目，以及他们看重节目的哪些方面，既令人振奋，又富有启发。因此，请不要犹豫，通过邮件 tcr@turpentine.co 联系我，或者在任意你常用的社交媒体平台上给我发私信。推荐阅读 《Alignment with Awakening：Davidad 谈道德实在论、AI 智慧，以及为什么他将 p(Doom) 降至 5%》 《AI:AM 集锦：探索 J-Space、AI 超级预测者、SambaNova 芯片与 LTX 视频生成》 《边缘智能：Liquid AI 的 Ramin Hasani 谈设备端基础模型的探索》 《一天 1000 个设计方案：Neural Concept 的 Thomas von Tschammer 谈 AI 原生工程》 加入 AI 革命最前沿成为首批获知新节目上线的人。立即订阅，获取 AI 先锋的独家洞察与深度分析，直送你的收件箱。一档周更播客，主持人 Nathan Labenz 采访 AI 创新者，深入探讨 AI 在不久的将来带来的变革性影响。
Facebook--> Twitter 从 https://tabler-icons.io/i/brand-youtube 下载更多图标变体 Youtube Youtube RSS Apple Podcasts Spotify 导航 首页 职位版块 节目 赞助 赞誉 联系方式 收听平台 - YouTube - Spotify - Apple Podcasts - RSS 关于 更多 注册 由 AI Podcasting 制作——只需录制，其余交给我们。使用 Ghost 与 Maali 发布。--> 系统 浅色 深色 太好了！你已成功注册。欢迎回来！你已成功登录。你已成功订阅 The Cognitive Revolution。成功！请查收邮件中的魔法链接以登录。成功！你的账单信息已更新。