Gemini 2.0 Flash 上线：Logan Kilpatrick 解读 Google DeepMind 最新发布

Nathan Labenz关于 Lovable 和 Bolt 的讨论我们先暂时搁置一下，因为我其实——你正好为我做了完美的铺垫，因为我想在本期节目之后，接下来的两期应该就会分别邀请这两家公司的创始人来做客。

我们称之为 software supernova，因为这似乎——我觉得我们现在正处于过渡之中，处于 tipping point 的中间阶段，不懂编程的人要创建至少基本的 full stack 应用已经变得相当现实了。显然，他们目前还无法创建企业级平台，但模型在持续进步。所以感觉有了这样的产品和范式，我们很快就会身处一个非常不同的世界。说到日常生活，我同时尝试了 AI Studio 的桌面版，可以在桌面上与多模态 Gemini 共享屏幕，也在手机上使用过。

不知道为什么，但据我所知 OpenAI 只在移动应用上启用了那种体验。所以两个我都在试。这事说起来有点傻，但又是个太好的例子了。假期我给孩子买了 Nintendo Switch，我们在玩经典电子游戏。对吧？因为我觉得他们还小，现代游戏刺激过度了，而且，不如先把旧游戏库通关，我们再一步步往上玩。所以我们玩的是原版 Nintendo 游戏、Nintendo 64。我们在玩原版 Nintendo 64 上的 Mario 64，这是个开放世界游戏，你要四处收集星星什么的。

但让我沮丧的是，我经常不知道该做什么。所以我就开着 advanced voice mode，有时给它看屏幕，告诉它我在哪一关，让它告诉我游戏里该做什么。我的目标是什么？我该去哪里找星星？我的孩子们真的越来越习惯这种方式了。甚至我一岁的孩子，有时也跑过来想拿走手机，试着跟 AI 说话。所以我认为——对老年人也是如此，我一直在想我的祖母。从过去你打字它回文本，到现在它真的能随时随地与你 co-present。

我觉得我还只是刚刚涉足那个世界，但天啊，对于那些不是整天坐在电脑前工作的人来说，这感觉就像一个完全不同的世界。就像，哇。这真的可能就是——我还提到过把它放进眼镜里。我相信，对于做出 Google Glass 的那家公司，肯定有很多人在思考这类东西。对，这就是我的体验。

Logan Kilpatrick我觉得——而且我猜我们其实会看到大量这样的情况——如果人们一直在密切关注，这种演进是需要时间才能真正发生的。我认为文本就是最好的例子。一年半前它还像个玩具 demo，而现在，text LLM 应用已经在全球范围内大规模使用，达到了十亿用户级别。我认为这种 co-presence——对我们今天的处境保持谦逊地说——我们需要不断迭代 API。我们需要把成本降下来。我们需要让它真正成为开发者可以构建的东西，因为你可以想象，让 AI 全天候陪伴你的 co-presence 成本可能相当昂贵。

我们现在把会话限制在 10 分钟以内是有原因的，因为要把规模扩大到更长时间，同时让它保持记忆、state 和你刚才与它交谈的所有 context，存在大量挑战。但对我来说，很清楚这就是我们前进的方向，而且我认为这会很有意思。确实感觉每个人——两年前大家还在说，哦，一切都是 wrapper。能创造的价值不多。而感觉这种说法持续被证明是错误的。感觉出现了一件新事物，然后突然间，所有以前不可能实现的新东西现在都能被创造出来了，这让我对未来持续感到兴奋，同时也确保我们在赋能这些下一件新事物，让人们能够出现并创造出今天尚不存在的体验。

所以这会很有趣。我很兴奋。对了，你继续用 real-time mode 的话，把反馈发给我们。

Nathan Labenz好的。没问题。嘿，我们先插播一段赞助商广告，之后继续访谈。

Sponsor（10:43）商业领域正处在一个有趣的时期。关税和贸易政策瞬息万变，供应链承压，现金流也比以往任何时候都更紧张。如果你的企业无法实时适应，

（10:56）你就需要对全球货运、关税影响到实时现金流的全方位可视性，而这正是 NetSuite by Oracle——一款受超过 42,000 家企业信赖、由 AI 驱动的企业管理套件。NetSuite 之所以能成为排名第一的云端 ERP，原因众多。它将会计、财务管理、库存和人力资源全部整合在一个套件中。这为你提供了单一事实来源，带来可视性以及快速决策所需的控制力。借助实时预测，你能通过可执行的数据洞察未来。

此外，由于 AI 嵌入整个系统，你可以将大量日常任务自动化，让团队保持战略性。NetSuite 帮助你了解哪里卡住了、成本是多少，以及如何快速转向。因为在 AI 时代，没有什么比执行速度更重要。这是一个系统，赋予你全面掌控和驾驭混乱的能力。这就是 NetSuite by Oracle。如果你的收入至少达到七位数，请下载免费电子书《Navigating Global Trade: 3 Insights for Leaders》，访问 netsuite.

com/cognitive。网址是 netsuite.com/cognitive。

Nathan Labenz（12:08）再稍微多聊一下 Gemini API 的那些亮点。上次我们谈到几件事，我想跟进一下现状。一是超长上下文，二是极高的性价比，正如你提到的，与其他选项相比价格大幅下降。另外，关于视频究竟以何种方式被原生处理还不太清楚，但你可以直接向 Gemini API 输入视频、音频等多模态内容。你觉得这些功能目前处于什么状态？你有没有看到这样的情况：用户觉得 200,000 个 token 不够用，真的需要提供更多内容，因此 Gemini 成了他们唯一可用的选择？或者在成本方面，如果没有每百万输入 token 仅 10 美分的定价，某些应用根本就负担不起？

Logan Kilpatrick（13:07）是的，这是个好问题。我昨天和 Jack Rae 聊了很久，他是推理项目的联合负责人之一，之前曾在 Gemini 的长上下文突破以及从研究层面实现这一能力方面做出贡献，现在又与 GNOME 共同领导推理模型团队。我们讨论了很久，觉得很有意思的一点是，或许长上下文的真正解锁方式最终是推理。因为长上下文非常令人印象深刻，也确实很有用，我们看到有人已经在生产环境中使用它。

而且我确实认为，在某些场景下，20 万 token 与 100 万或 200 万 token 相比会有很大差别。但一个固有的挑战在于，模型在上下文窗口中究竟能关注多少东西？如果你只是就上下文中的少数内容提问，它的表现会非常好。但如果你试图把 200 万上下文窗口中的 1000 个不同信息点整合起来，这就变得非常困难，这是由模型训练和架构的固有性质决定的。我认为推理可能是改变这一点的关键。所以我觉得，当我们拥有超长的上下文窗口，模型能够真正逐步思考，并且未来或许还能使用工具、在上下文窗口中带入和带出信息时，长上下文才开始真正变得更有意义，并成为真正的赋能者。

这是我对长上下文的看法。至于视频方面——视频和音频仍然是原生处理的，图像在模型内部也仍然是原生处理的。随着 2.0 版本的发布，我们展示了原生多模态能力的下一步，即模型能够实际输出图像和音频，目前早期测试者已经可以使用。Nathan，我不知道你是否加入了早期体验计划，有没有亲自试过。效果已经很不错了，但我认为在质量方面仍有提升空间。不过我觉得真正开始发挥作用的是——实际上在录制访谈的明天，我们就会在 Gemini API 中推出 Imagen 3，这让我非常兴奋。

如果你思考一下，既然我们知道模型本身就具备这种原生能力，为什么还需要最先进的图像生成模型？在某些领域确实存在质量与世界知识之间的权衡，你用质量换取了世界知识。而我认为世界知识这个维度才是真正有趣的地方。市面上有大量模型能生成非常漂亮的图片，能做各种酷炫的事情，但它们缺乏 Gemini 模型所拥有的世界知识，因为这种原生能力是训练过程中自然形成的。所以我觉得将会涌现一大批全新的用例，这些用例以前之所以行不通，是因为模型不够聪明，它们只是擅长生成图像，而我们现在将看到原生图像生成带来的变化。

希望随着我们在质量上持续爬坡，这项功能能尽快推出。

Nathan Labenz（16:01）酷，有意思。我认为你提出的观点——需要足够长的思维链才能真正充分利用超长上下文——非常有意思。我在应用开发中已经注意到，我确实希望模型进行最深入的思考。对吧？所以我会选择那个会为我思考最久的模型，然后有时不得不扭曲自己的思路或调整输入，才能让内容适配进上下文窗口。但我确实觉得，是的，我不会把上下文量扩大 10 倍塞进一个会立刻跳到答案的模型里。我之前一直没想明白为什么会这样，但你的假设我觉得非常有趣，而且我能想象得到。我期待着尽快把完整的百万 token 代码库丢进 Flash 的推理模式里。

Logan Kilpatrick（16:59）是的，我很想看看你有没有什么历史上在长上下文方面表现不佳的用例。我也非常好奇观众中有没有人——你可以直接在 AI Studio 里使用对比模式，分别用支持长上下文的 2.0 Pro 和支持长上下文的推理模型试试，看看额外的推理步骤是否真的会带来不同。我的直觉是会的，这很令人兴奋。

Nathan Labenz（17:22）是的，酷，好，我喜欢这个建议。你有没有见过什么被动式的应用？这是另一个我觉得 Flash 很适合的领域——你曾经说过一句很出名的话，建议更多人尝试每天在 Flash 上花一块钱，而那可是很多 token。所以大多数人要达到这个消费量，需要一些被动式的应用。有几个人问过我，能不能用视觉语言模型监控工厂车间，发现安全事故或违规操作？或者我祖母住在养老社区，老人们都不愿意戴跌倒监测器，这永远是个难题。而且很可能很多人——只要他们有这个自主权，我祖母确实有权自己做决定——如果能有某种视觉监测设备随时掌握他们的状态，他们大概会愿意接受不戴那个东西。你有没有见过类似的情况，人们以真正被动、几乎像物联网一样的方式，持续向 API 发送信号？

Logan Kilpatrick(18:33) 这是个好问题。我认为它触及了我核心观点的关键，即未来许多领域特定用例将会如何发展，因为退一步看，今天人们会如何解决这类问题？你得去购买一些定制软件来实现，这通常很贵，而且泛化能力可能也不好。在我之前的职业生涯中，我是一名机器学习工程师，我们做过很多与安防摄像头相关的工作，研究它的实际效果会是什么样——如何在摄像头可见的一帧到另一帧之间追踪一个人的移动，以及如何保持对这个人的 object permanence？

这极其困难。用传统计算机视觉技术解决这个问题绝非易事。而我认为 vision language models 在这项任务上做得非常出色。而且现在配合 Flash，成本基础已经非常低。我还没跟任何真正将其投入生产环境的人聊过，但我确信这就是人们在追求的机会。而且实际上，这不仅仅是 bounding box 用例和图像理解用例——我认为后者的能力真的非常强大，能够让你知道某个物体在哪里。我们在 AI Studio 里有一个很好的演示。

如果大家还没试过 bounding box 功能，如果你进入 starter apps，我想它叫 spatial understanding，或者可能直接叫 bounding boxes，我忘了具体名字，但里面有个示例，你可以上传图片并要求识别物体，它会输出 bounding boxes，基本上就跟那些你可以在 open source 上找到的定制 bounding box 模型输出的一样。我认为这些用例只是需要时间，但我猜随着视觉技术越来越突出，我们会看到整波 YC 创业公司涌向所有这些生态系统和行业，它们正在使用领域特定的视觉模型，而不是 general purpose model，而你的成本基础将会截然不同。

而且你还解锁了所有这些那些模型实际上根本无法完成的用例。它们非常僵化，在很多情况下无法做到 fault tolerant。所以我对这个方向感到非常兴奋。

Nathan Labenz(20:41) 那我们来聊聊你们今天发布的内容。我看到一条很有意思的推文。你提到了 YC，大意是每次前沿技术推进，所有 YC 公司都会去看看：这能用在我的场景里吗？据称每次新模型发布，当前 YC 批次中都会有一部分公司的产品开始真正跑通。我看到另一些公司则选择继续等待，持续搭建其他所有东西，预期他们会等到一个模型，把他们从“勉强能用”推到“真正好用”。那么你们今天发布的是什么？以及在你可以推测的范围内，它会让哪些之前行不通的东西变得可行？

Logan Kilpatrick(21:27) 是的，这是个好问题。我想——先引申一个更宏观的观点，我观察到一个非常有趣的现象：正因为 AI 领域如此火热，资源约束反而没有让人们像他们本该做的那样深入思考这个问题。我想这可能也与我个人的立场有关，因为 Gemini 模型在单位智能成本（cost per intelligence）这一比值上处于前沿位置。但现实是——YC 公司资金实在太充裕了，即便我们把智能成本降低了一个合理的倍数，对很多初创公司来说，这实际上并不能 move the needle，因为他们账上有数百万美元。

我认为观察这一趋势最终会带来什么结果会很有意思。如果让我猜测，实际上我认为这反而赋予了那些没有 tier 1 VCs 大量资金支持的个体开发者更大的力量，他们才能真正推动其中一些用例和能力的前沿，我认为这是一个非常有趣且酷的现象。不过具体回答你关于我们今天发布什么的问题：是一整套 Gemini 2.0 模型。我们在去年 12 月发布了 Gemini 2.0 Flash 的实验性首个版本。今天，我们将更新后的 Gemini 2.

0 Flash 正式投入生产环境，以便开发者能够持续基于它进行构建。我们公布了定价：每百万输入 tokens 10 美分，每百万输出 tokens 40 美分，对我们来说，实现这一价格是一个巨大的成就。此外还发布了 Flash Lite 的 preview，这是 Flash 模型的更小变体，我们打算很快将其投入生产使用，并公布了相应定价。然后还发布了 2.0 Pro 的实验性版本，这是我们能力最强的 frontier model，最后再以 Flash reasoning model 补齐全系产品。

所以现在我们有 reasoning Flash model、Flash Lite（最小的模型）、Flash（在性能与成本权衡上表现最佳的模型），以及 Pro（能力最强的模型）。

Nathan Labenz(23:39) 而且只有——等等。我们再往下聊聊 availability 的问题，因为你们——在我平常的典型工作中，我通常专注于 proof of concept 类的事务。说实话，我现在的工作方式就是这样，从来不用真正担心把东西做到 production ready 的那些更艰难的工作，而更多是专注于让 proof of concept 跑通的那个更轻松、更快速的爬坡阶段。

所以当我去 AI Studio 抓代码并拿去做东西时，除了一个例外我过会儿可能会提到，我基本上从来没碰到过 rate limits。所以即使有些东西还在 preview 阶段，对我来说那里也有足够的余量让我完成通常所有想做的测试。但如果我是 Bolt、Lovable，或者当然是 Cursor 这类产品，那他们就会撞到这些上限。那么现在什么是超大规模可扩展的，什么还处在 experimental access 阶段？

请给我们具体的数字，这些不同的模型我们各自能用多少。

Logan Kilpatrick(24:44) 好的。2.0 Flash 在实验阶段时，AI Studio 的界面显示有所不同——我们不会公布具体上限，因为它们会根据我们的容量动态变化。我们通常不会改动，但尽量不公之于众，以防万一需要调整时不想让大家失望。但在 API 中，我记得 free tier 是每分钟 10 或 15 个请求，然后是每分钟 400 万 tokens，说实话这已经很多了。所以我想这就是很多人碰不到上限的原因。

除非你有用户，或者你试图运行——人们有内部 evals 之类的事，又或者有人在跑 leaderboards，这是另一个例子。这些通常是人们联系我们说被 rate limited 的用例。随着生产环境可用性的开放，现在如果你使用的是 paid tier——free tier 的所有设置保持不变，你可以继续使用模型，继续 tinkering，做各种事情。如果你使用的是 paid tier，就没有每日 RPM 上限，你每天可以发任意多的请求。

默认应该是每分钟 2000 个请求，tokens 上限仍保持每分钟 400 万。然后我们在今晚午夜会推出新的 quota tiers。随着你的使用量持续增长，你可以解锁例如每分钟 1000 万 tokens、每分钟 10000 个请求等更高配额，以帮助那些需要继续扩大规模的人。

Nathan Labenz(26:11) 太惊人了。这背后的基础设施真的是一项不可思议的成就。

Logan Kilpatrick是的，需要大量 TPUs 来支撑这一切。而且，我觉得对于那些不在 LLM 公司工作的人来说，你们不会太多考虑这个问题，但实际上，模型数量之多带来了极高的复杂性。我们看到网上有很多关于我们模型命名方式糟糕的梗，这点我接受。但我认为这实际上指向了另一个问题，那就是模型变体实在太多，管理起来非常困难。这也是为什么我们实验性模型发布渠道收到的很多反馈都是：“嘿，我们很喜欢这些模型，让我们在生产环境里用它们吧。

”而挑战在于，我们必须非常谨慎地选择哪些模型进入生产环境，因为要确保 Cursor、Bolt、其他 YC 创业公司以及那些试图扩张和建立公司的开发者都能获得所需的计算资源，所需要的计算足迹实在太大了——这很难，需要消耗巨量算力。所以我们必须更有意识地去做这件事。理想情况下，我们会对每一款模型做 GA，然后所有人都会把每一款模型投入生产，我们就不用为此操心了。但说实话，这样做存在很多限制。

Nathan Labenz嘿，我们先插播一段赞助商广告，采访稍后继续。是啊，如果你要支持每分钟数百万 token 的吞吐量，我能想象为什么你们需要为此做好准备。那么，也许你可以帮我建立一下直觉，让我理解应该如何看待 Flash Lite 与 Flash 的关系。因为我完全坦诚的最初反应是，Flash 已经很便宜、相当快了。Flash Lite 又便宜了 25%，推测也更快，但性能也稍弱一些。你们当然有一份包含所有基准测试的表格，它在大多数指标上都略低一些。你们真的收到了对一款比 Flash 更便宜、更快的模型的需求吗？说实话，这让我几乎难以想象。

Logan Kilpatrick是的。我认为它的定位主要围绕两点。第一，我们希望能给人们提供一个一一对应的选项——严格来说，默认情况下，2.0 Flash 的价格比 1.5 Flash 更贵。特别是考虑到我们历史上一直在强调模型的单位智能成本极低，如果每百万 token 7.5 美分是支撑你业务运行的关键，而我们突然出现说：“顺便说一下，现在涨到 10 美分了”，鉴于我们一直强调那样的叙事，这对开发者来说就不是什么好听的故事。

因此，能够提供一种选择，它不仅是更好的模型，而且价格与你之前支付的完全一样。而对于 2.0 Flash 模型来说，由于种种限制，我们不可能维持原来那个价格水平。所以，我们真正想确保的是，不让客户误以为他们无法继续在他们所关心的成本与智能的 Pareto frontier 上推进。另外还有一些其他因素，当我们思考如何进一步降低这些模型的成本时——有很多功能是不支持的，更多是高端功能。例如，那些 Flash Lite 模型将永远无法做原生图像生成或原生音频生成。

就规模化提供这些模型服务而言，我们可以做很多事情来压低成本，而这是 2.0 Flash 默认版本所不具备的。这也有点类似于——我不记得我们上次什么时候聊过这个——但我们还推出了那个 Flash 80 亿参数模型。所以你可以这样理解，我们不会公开 Flash Lite 模型的规模，但你可以把它看作是我们之前在 Flash 和 Flash 8B 上所走的小型模型系列的另一个版本。是的，Flash 8B 是——如果大家之前看过 OpenRouter——OpenRouter 上 token 使用量最高的模型，这在某些情境下也是模型使用量的一个合理代理指标。

所以，我们得到的明确反馈是，开发者喜欢低成本模型，通过持续降低成本，可以解锁大量新的使用场景。所以我想，如果我们能做出更便宜的模型，我也会推动那样做的。

Nathan Labenz是的，很有意思。我很想听听，如果有听众符合这样的描述——即每百万 token 从 7.5 美分涨到 10 美分会对你们想在世界上做的事情产生重大影响——请联系我。我想听听那样的故事。我真的很难想象这种情况。我可以很容易想象，人们可能只是看着菜单说：“我要最便宜的”，因为我只是在处理某些数据、从某股数据流中提取地址。所以我能想象默认选择最便宜的，但我很难想象什么样的商业模式会被这种价格变化颠覆。不过，我很欢迎有人来讲讲。

Logan Kilpatrick我觉得你这话说得对。我认为这很大程度上关乎我们如何向世界讲述我们的故事，关乎我们如何呈现自己。而且我觉得，这很容易演变成我们不希望看到的叙事，尤其是考虑到我们一直在努力降低开发者的成本——你知道，“Google 在提高开发者的价格。”那不是我们想要的叙事。所以，对我们来说，保持连续性非常重要，确保我们为在意这一点的开发者保留那个低价位。但总的来说，我同意你的看法。特别是考虑到我们收到的另一个强烈信号是，如果你有更好的模型，生态系统里很多模型的故事就是，只要模型足够好，人们就愿意付费。在很多情况下，这实际上并不是限制因素。

Nathan Labenz当然。跟人类劳动力相比，它们都很便宜。我认为这是一个极具冲击力的事实，却常常被轻描淡写地带过。我们来聊聊 Pro 吧。那么我应该如何看待 Pro？你们会把它跟 Flash 比，跟市面上其他 frontier 模型比，但在如今越来越繁杂的可用模型星图中，我应该如何理解它？

Logan Kilpatrick是的。我认为 Pro 在很多方面不受成本束缚。我们还没有公布 Pro 模型的价格，因为它仍处于实验阶段，但它大概率会遵循过去一些 Pro 模型的类似模式，也就是贵得多。所以贵是必然的。实际上，如果你看看开发者在构建前沿应用时的传统建议，那就是选择最好的模型，哪怕它是高端型号，先让你的用例跑通，然后再想办法通过切换到更小的模型、做优化、做 fine-tuning 等方式逐步降低成本。

所以我认为我们应该继续尊重这一流程，而且我认为这确实有效。这是如今开发者默认的实验路径。具体来说，相对于其他领域，我们看到表现最好的用例是编程。而且我认为这种势头会持续。不久前我发过一条轻率的推文——我甚至不记得是什么时候了，大概是 o3 发布前一天——说 Google 将拥有世界上最好的编程模型。我对此深信不疑，而且我认为 Pro 就会成为那个模型。而且我们正在做的大量 reasoning 工作，也将成为推动我们编程前沿的那个模型。

这是一个我们必须拿下的领域，尤其是如果你相信——我们之前聊过文本生成应用那件事——尤其是如果你相信这种趋势会持续下去，以及从内部软件工程生产力的角度来看，开发者的工作会持续加速。所以我认为这大概是它最适合的用例。它仍然有 200 万 context。未来可能会有更长的 context，那也可能是一个看点。

Nathan Labenz是的。我们听到了一些关于无限 context 的风声。

Logan Kilpatrick我非常确定，当 Jeff Dean 说未来某个时候我们会实现无限 context 的时候，你和我就在那个房间里一起坐着。去年 I/O 我们共同参与的那场会议上，他没有给出具体日期。所以，是的，希望如此，我认为一旦我们实现这一点，对用户来说将是一个巨大的突破。

Nathan Labenz你会如何引导大家看待 Ultra——也就是最大规模模型——没有发布这件事？显然 Anthropic 也有类似情况，就是“等等，Opus 怎么了？”关于为什么我们从大中小三种型号变成了现在似乎只有中小两种，你有什么可以分享的，能帮助大家一般性地理解这一现象的吗？

Logan Kilpatrick是的。这是个好问题。我认为 Ultra 的历史背景基本上是为了验证研究方向的正确性，即这种 scaling 会继续下去。事实是，当 Gemini 1 的原始 Ultra 模型候选版本问世时，他们某种程度上已经证明了这一点。但与此同时，技术也在持续快速迭代，突然之间 Pro 模型变得更好了。然后又突然之间，现在我相当确定 Flash Lite 都比最初的 Ultra 模型更好了。

所以就变成了成本权衡和基础设施层面等式的问题。你可以想象这样一个世界：我们有一个 Ultra 模型，它在每个 benchmark 上都好 5%，但体积是 Pro 的五倍，成本甚至是 Pro 的五倍以上。然后你就会开始算账，从研究角度想想，把我们的时间和精力花在哪里才合理？从基础设施占用的角度来看，又应该花在哪里？我们一直在取得进展，能在同等体积甚至比以前小一个数量级的尺寸上做出质量高得多的模型。而且现在尤其是有了 reasoning，我更加怀疑——如果我们能搞出一个在每个 benchmark 上都好 10% 的模型，在当前 reasoning 拥有巨大 scaling 空间、我们还有大量低垂果实可以采摘的情况下，这是否还值得。

我回想起昨天和 Jack 的谈话，我们聊了很多关于这个——pre-training scaling 和 reasoning scaling。我认为 Google 仍在继续 scaling pre-training。所以这并不是说我们要停止 scaling pre-training。我认为是否正式发布一个 Ultra 模型，由于所有这些约束条件，是一个开放的技术研究问题。而且也有点半开玩笑地说，如果我们愿意，完全可以把所有模型重命名，说我们有一个 Ultra 模型，也许历史上这样做才是对的，比如把 Pro 改成 Ultra，然后再重新映射其他所有名字。

但我认为，试图尊重当初推出 Ultra 模型时所追求的本质，也是考量的一部分。

Nathan Labenz是的。我支持任何能让命名方案保持清晰的做法。所以我赞同保持一致——这也是我唯一能想到问这个问题的原因。对吧？我是说，如果全都改名了，我会比现在更困惑。好了，我们回到编程这个话题，也许可以想想 Bolt、Lovable、Cursor、Devin 这类产品，以及越来越多、越来越多的选择。现在我连自己的 AI 编程范式都跟不上。而且这些产品可能也跟不上所有模型的迭代。所以我想问你的问题是，好吧，我们有一大堆 benchmark。

大概新模型在某些 benchmark 上赢了旧模型，在某些 benchmark 上输了，诸如此类。过去一两个月里，有一种有趣的说法——我不认为它是主流，但确实有一定的分量——“没错，o1 很棒，o3 mini 很棒，Gemini Pro 很棒，但不知为何，人们仍然认为 Claude 3.5 Sonnet new 是最好的编程模型和最好的编程助手。”公平地说，他们还没有时间去与所有模型逐一比较。但你会建议人们如何看待这件事？

你知道，最简单的做法就是在完全相同的场景下替换模型，也就是他们目前用另一个模型表现最好的场景，但你很容易会说：“嗯，你可能没有发挥出全部性能，因为这两个模型在完全相同的条件下不太可能都达到最佳表现。它们各自需要不同的条件才能激发出最好的水平。”但你怎么找到那个条件？你怎么知道该投入多少时间？而且，是的，我不知道。这看起来很难，即使对我这样一个痴迷的爱好者来说也很难。那么最佳实践是什么？或者说，在当今世界，人们应该如何上手新的 Gemini Pro，并将其与 Claude 3.

5 Sonnet 和 o3 mini 做比较？

Logan Kilpatrick(39:14) 是啊。这个领域的问题非常棘手，我对开发者、创始人以及所有正在构建产品的人怀有极大的共情，因为根本不存在什么银弹。针对这个话题，我想谈几点看法。首先，我想举一个亲身经历，它能支撑我要说的第二点。前几天，我在做一个很常规的网页开发工作——想把一个表格的角做成圆角。我在这问题上卡了很久，因为我所处的环境有一堆奇怪的约束条件，而且当时用的是 Gemini 模型。

有那么一刻我实在受不了了，心想：“算了，也许 Gemini 模型就是不太行。”于是我去试 Claude，看看它表现如何。我退出了当前环境——退出了 AI Studio，打开 Cursor，用一句非常简单的 prompt 试了一下，结果一次就成功了，所有步骤都顺利运行。然后我就开始给一群人发消息抱怨，说：“你看，我们还得继续把编程体验做得更好，等等等等。”但后来，为了让自己心里踏实，我又用同样的 prompt 和设置，在 Gemini 模型上重新跑了一遍，结果也成功了。

我觉得这个例子很好地说明——其实问题出在 prompt 上，是我当时写 prompt 写得不好，而且我把自己从与模型反复迭代的那个环境里抽离了出来。重新开始后，我用不同的方式组织问题和上下文，两个模型就都能跑通了。我认为这一点恰恰凸显了如今人们做这些决策时是多么依赖“感觉”，或者说是一种极其非结构化的科学方式。还有很多——我不点名具体产品，但我与大量在生产环境中部署了 LLM 的团队紧密合作过。你可能会惊讶地发现，哪怕是你最喜欢的某款 LLM 产品，很多情况下人们拥有的 eval 也少得可怜，根本无法理解在构建产品和服务时，到底哪些指标才是真正重要的。

我觉得这有两面。一方面，世界需要一个平台，把所有公开的 benchmark、排行榜之类的东西都整合起来。我发现光是去浏览和快速了解某个模型到底好不好，就已经非常困难了。这边有 20 个零散的 benchmark，那边有 50 个，我还得去看 Minecraft 的 benchmark，因为那个 benchmark 特别酷。我很喜欢它，但它们全都分散在各处，作为开发者很难一一追踪。而且就像你说的，这本来就是我的工作，我醒着的每一分钟都在干这个，却依然觉得难以跟上。

可想而知，对于那些时间更少、还有其他事情要做的人来说，要跟上这些有多难。所以我觉得需要有人去搭建这样一个平台，也许这正是 Y Combinator 创业征集该呼吁的方向。这就是对创业者的呼吁——搭建这样一个平台，帮大家把资源整合到一起。另一方面，我认为——Kaggle 的团队其实正在推动一个概念，就是“个人 eval”，也就是搭建一个平台，每当新模型发布并向公众开放时，你的个人 eval 就能在后台自动运行，然后你会收到一封邮件：“嘿，根据你告诉我们的需求，这款模型可能值得你花时间去了解一下，因为它在你非常看重的这些方面表现很好。

”我觉得这类平台和产品体验——把负担从开发者身上卸下来——将会非常棒。当然，这个模式的挑战在于你一开始还是得先建立自己的个人 eval，但我认为这种一次性成本，远低于每次新模型问世时都要付出的启动成本。

Nathan Labenz(43:01) 是啊。如果要从中提炼出一条给开发者的实用建议的话，

Sponsor(43:10) 我可能会说，让你的用户

Nathan Labenz(43:12) 自己去选择，因为至少那样你能获得一些数据，而且他们也能感受到更多的自主权，说不定还能发现一些有价值的东西。我也认同个人 benchmark 的概念，但我关心的那些东西通常没有标准答案。你知道，在 Waymark，我们一直面临同一个挑战——什么样的视频才算好视频？我们可以让语言模型来评判，但那样就进入了“镜子大厅”的境地，而且我们实在没有任何——我实话实说吧，我们其实没有真正适用于自己的 eval。

你明白吗？我们能检测到完全没按结构来，或者视频太长这类问题。所以我们设了一些 guardrails，也就是那些明确的“不可触犯之规”，我是这么叫的。针对这项任务的“不可触犯之规”——我们能检测到这些。但除此之外，真的还是靠感觉。而且，挺有意思的是，我们其实没有让用户自己选择，但这倒是个值得尝试的方向。我们的用户甚至根本不了解——你知道，他们并不在这个圈子里。所以当我想到“让用户自己选择”时，我脑海里更多是面向开发者的使用场景。

Logan Kilpatrick(44:14) 我认为这确实是一针见血的趋势。我甚至不确定有多少创始人是在有意识地做这个决定。但如果你去看看——再说一次，那些你最喜欢的 LLM 产品里——除了 Waymark，开发者和终端用户如今确实拥有这种选择权。你点进去，大多数产品里都有一个模型下拉菜单，而且很多不是由大模型厂商自己打造的产品，几乎提供了全部或绝大部分模型。这方面最及时的例子就是 Copilot。

Copilot 历史上在两年前只由 GPT 模型驱动，而随着开发者社区和整个行业格局的演变，它现在也有了一个模型下拉菜单，你可以选择 Gemini 模型、Anthropic 模型或者 OpenAI 模型。我认为会有越来越多的产品走上这条路。另外——这可能跟很多人提到的一个观点有关，但我想说，人们总是在谈论这些模型的商品化，或者说模型之间的差距在缩小。我觉得事实并非如此。我认为存在大量微妙而奇特的 nuance，并且会随着时间的推移不断延展，未来你从——不管哪家你最喜欢的模型提供商那里——得到的答案都会存在实质性差异。

即便纸面上的能力看起来差不多，仍然会有很多不同之处。所以我觉得让人们继续拥有选择权非常重要，因为这种细微差异会对人们最终获得的产品体验产生巨大影响。

Nathan Labenz没错，这毫无疑问。我认为，即便是过去这几周的 DeepSeek，也展现出了非常不同的特质，它或许是最接近 base model 的——鉴于其来源，这或许并不令人意外——这大概是我对它最好的描述。正因如此，它有时能写出极具说服力的内容，但在行为层面的精细度上，却远不及西方那些至少由顶尖模型提供商所打造的模型。是的，很多东西——而且这一切都是在 benchmark 结果非常相近的情况下发生的，对吧？

所以每次有重大新模型发布时，表面之下都有大量东西有待挖掘。我们聊一会儿吧，我知道你很快就得走了。最后几个我想简要覆盖的话题：首先是 fine-tuning，因为作为开发者，我一直对此很感兴趣，也很想知道这方面的进展；然后是 Google 的 reinforcement learning 是什么情况？我的意思是，我们已经看到了 thinking model，但我注意到其中并没有太多提及 reinforcement learning，而其他开发者都在出来说“我们做了一个 reinforcement learning model”。

看起来 DeepMind 对此的定位有所不同，不过我猜很多相同的技术都在底层发生，只是我不确定。然后我还想问问你给初创公司的建议，因为我知道你最近募了一支个人风投基金，我们看看能不能给你带去一些 deal flow。所以，fine-tuning、reinforcement learning、你的基金，你有时间的话尽管展开说。

Logan Kilpatrick是的。Fine-tuning 是我一直非常看好的方向。我认为未来的图景是，世界上每个人都在使用自己的 fine-tuned model——一个拥有其所需上下文的模型版本，而且这种上下文不会过度影响模型做决策时的先验——这大概是我对 fine-tuning 的粗略构想。所以我们目前还没有在 2.0 Flash 上提供这个功能。我认为我们需要提供。我们内部一直在讨论，想在 fine-tuning 上投入多少资源。

就我个人而言，我认为这是最大的机会之一。你说开发者想要这个，我完全同意。所以我们会继续推进。它目前还没有上线，希望很快能上线。而且比起现状——我们今天在 1.5 Flash 上做 fine-tuning 还有很多限制。你无法处理图像，有很多粗糙的地方。所以我们需要解决所有这些问题，让它真正成为一流的体验。你的第二个问题。

Nathan LabenzReinforcement learning。

Logan KilpatrickReinforcement learning。是的，RL 是构建这些 reasoning models 的一部分。从历史来看，我们之所以没太多谈论它，部分原因是我们采用了那种低调的常规发布方式，这也是我们过去对实验性模型的一贯做法。我认为随着全世界对 reasoning models 的进展越来越兴奋，我们会开始更多地谈论这方面的工作。是的，我很期待我们能更多地讲述正在做的工作。

实际上，Google 内部关于 reasoning 的叙事是最让我对我们发展方向感到兴奋的叙事之一。已经取得了大量进展和诸多突破。所以希望很快，我们就能向全世界讲述这个故事。是的，希望很快我们能安排一些人上你的播客来聊聊这个。然后，是的，初创公司。现在是打造有影响力、有趣的公司的时刻。Vision 是我非常兴奋的领域之一。我仍然认为，整个建立在特定领域 computer vision 模型之上的生态系统，都有可能被 vision language models 重新定义。

我认为这个领域会出现大量的初创公司活动。我认为 reasoning 将让 agent 真正奏效，这让我很兴奋，只是因为有多少……从很多方面来说，我并不是一个 agent 投资人，但我认为有太多公司正试图用 agent 解决问题，而其中很多今天根本跑不通。我认为这实际上将是最大的解锁。我们之前聊过，新模型让一定比例的 Y Combinator 初创公司突然能够真正跑通。我认为 reasoning 将是持续性的突破，在未来两年发生的所有事情中，没有什么比它更能让这些公司的产品真正奏效，我认为这对他们来说非常令人兴奋。

我觉得这对世界来说也是令人兴奋的，因为我们正在逐步厘清这些问题。我认为有一整类目前还不存在的初创公司，而且我已经开始和一些正在打造这类公司的人交流，探讨在一个你无法假设访问网站的唯一对象是人类的世界里——除了为了让内容更易被发现而存在的 index crawlers，它们历来是访问网站的唯一非人类实体——互联网的本质将如何改变。互联网的社会契约并非为此而设，我认为看到网站被封锁、或者采取什么样的保护措施、以及所有这类事情将如何从根本上改变，将会非常、非常有趣。

我认为未来几年的互联网体验中，有大量非常基础的互动方式都将发生变化。我认为很多拥有业务、网站和公司的人将不得不……他们自己将无法解决这个问题。他们需要别人来帮他们解决。我认为可以打造一些有趣的公司来实现这一点，比如你的网站如何与 agent 对话、attribution 如何发生、你如何能够获取正在发生的价值创造中属于你的那一部分。所以我很期待看到这个领域会发生什么。

Nathan Labenz是的。这看起来极有可能是在不太遥远的未来最能改变世界的事情之一。首先，它似乎非常适用于 reinforcement learning 范式，因为很多任务都会给出相当明确的成功与否信号。对了，我最近也在关注 Payman。你有没有什么具体的公司建议人们去关注，或者你认为哪些具体问题最……如果你在做这方面的事，来找 Logan pitch 吧。

Logan Kilpatrick是的。我认为另一个方向是 evals。实际上回到这一点，即便像你这种我认为在这个领域极其老练的人，你了解生态系统中正在发生什么，你也明白 evals 为什么可能很重要。但人类很难把对这类问题的品味和观点表述成可程序化执行的东西，我觉得这一点非常、非常有趣。我不知道这个问题会怎么解决。但实际上，如果你像我一样在 evals 的兔子洞里钻得太深，那么有一件很重要的事是：生活中大多数问题最终都是 eval 问题。如果你顺着这条思路想下去，会发现事情最终如何发生，其实是很有意思的。

Nathan Labenz（53:10）是的。目前我只做专家演示。对于 Waymark，我们就是去找创意团队，让他们写一堆优质内容，然后基于这些内容做 fine-tune，或者把它们放进 few-shot 示例里，之后就看运气了。再往下，基本就是靠感觉了。不过当然，能有更好的方法会更好。那么，如果大家想向你 pitch，或者有什么事情想找你……众所周知，你在网上回复关于 API 的问题、疑虑和故障方面特别积极。我不想给你增加更多负担，但如果有人想指出问题或者向你 pitch 一家创业公司，他们该去哪里找你？

Logan Kilpatrick（53:49）前几天有人回复我的一条推文说，我想念以前的 Logan。他以前会在 Twitter 上回复所有给他的回复，然后我去看了自己每周花在 Twitter 上的时间，心想：我的时间在这里没法 scale 啊。我已经投入了……是啊。你得需要一个 agent 了。是啊。时间花得太多了。不过没错，Twitter、LinkedIn，只要互联网存在的地方，希望我都在那里帮大家解决 Gemini 相关的问题。

Nathan Labenz（54:16）好的。Gemini 2.0 Flash 今天发布了，已经全面可用，好用、快速还便宜。所以绝对值得一试。Logan Kilpatrick，现在就职于 Google DeepMind。再次感谢你参加 The Cognitive Revolution。

Logan Kilpatrick（54:31）谢谢你邀请我，Nathan。这次聊得很开心。

Nathan Labenz（54:33）总是我的荣幸。听到大家为什么收听节目，以及他们最看重节目的哪些方面，既令人振奋又很有启发。所以请随时通过邮件 tcr@turpentine.co 联系我，或者在任意你常用的社交媒体平台上给我发私信。

接下来阅读：《Alignment with Awakening：Davidad 谈道德实在论、AI 智慧与他对 p(Doom) 降至 5% 的看法》《AI:AM Highlights：探索 J-Space、AI 超级预测者、SambaNova 芯片与 LTX 视频生成》《Intelligence on the Edge：Liquid AI 的 Ramin Hasani 谈设备端基础模型的探索》《1000 Designs a Day：Neural Concept 的 Thomas von Tschammer 谈 AI 原生工程》加入 AI 革命最前沿，第一时间获知新节目上线。立即订阅，获取 AI 先锋的独家洞察与深度分析，直达你的收件箱。

一档周播客，主持人 Nathan Labenz 采访 AI 创新者，深入探讨 AI 在不久的将来将带来的变革性影响。Facebook Twitter 从 https://tabler-icons.io/i/brand-youtube 下载更多图标变体 YouTube YouTube RSS Apple Podcasts Spotify 导航 首页 职位板 节目 赞助 赞誉 联系方式 收听平台 - YouTube - Spotify - Apple Podcasts - RSS 关于 更多 注册 由 AI Podcasting 制作 —— 只管录制，其余交给我们。使用 Ghost 和 Maali 发布。系统 浅色 深色 太棒了！你已成功注册。

欢迎回来！你已成功登录。

你已成功订阅 The Cognitive Revolution。

成功！请查看你的邮件获取登录的 magic link。

成功！你的账单信息已更新。