大家好，欢迎回到 Thursday AI。今天是 7 月 23 日。本期节目我提前进行了录制，因为今天这集会有点不一样。当你们听到这期节目时，我正在前往优胜美地国家公园的路上，这是我 40 岁生日房车旅行的最后一站。虽然今天我不会出现在直播里，而且在回来之前我可能也不会是最了解 AI 最新动态的人，但我仍然想为大家奉上一期精彩的节目。话不多说，开始吧。今天，我将为大家带来我与 OpenAI 的 Romuald Huet 的对话。Romuald 是 OpenAI 开发者体验团队的负责人，在过去三年里，他做了大量出色的工作，确保开发者选择 OpenAI 及其工具。他策划过许多精彩的演示，甚至是那种顶级、极尽夸张的演示，比如用 Xbox 手柄操控无人机、控制舞台灯光。他还组建了一支顶尖团队，其中很多人也是本播客的老朋友，并且曾做客节目。Romuald 带领着这支优秀的团队，打造了一台运转精良的机器。后来，Codex 成为了整个 OpenAI 团队的重点，这让他的工作变得更加重要。鉴于这次向 Codex 的转型，我非常期待能在七月初旧金山的 AI Engineer World's Fair 大会上与 Romuald 聊聊。我们在展会现场 OpenAI 展位的中央，聊了聊近况、Codex 的新动向，以及未来 OpenAI 和开发者体验方面可以期待什么。我和 Romuald 的这次对话非常愉快。他人很棒，每次聊起来都很开心。这段对话我一点都没有删减，我们几乎是一气呵成录完的。所以非常希望大家能听一听。本期节目的第二部分会有些不同。Ali How 也是本播客的老朋友，她主持着自己的播客 Insecure Agent，这次她邀请我和 Wolfram 作为嘉宾上她的节目。我作为嘉宾接受采访的次数不多，所以觉得这次经历很愉快，希望对你也有所启发，能听听我和朋友 Wolfram 一起做客的内容。我们也是在 AI Engineer 大会期间录制的。所以这期算是回顾性质的节目。请务必告诉我们这期效果如何。非常感谢 Ali 邀请我们。也请去听听她的播客。好了，以上就是今天的两大主要内容。但在开始和 Roma 聊天之前，我曾向一些听众承诺，会抽时间聊聊我自己在用 AI 做的事。我们平时会聊模型、聊更新、聊各种东西，而我自己也一直在尝试，有时候我发些动态，大家还挺喜欢看我分享自己正在做的事。所以我很想在节目里聊几件让我兴奋的事。之前一直没空，因为新闻太多了，懂吧？那就开始吧。我这里有笔记，上面写着"Alex 即兴发挥"。这就是你们喜欢且期待的 Alex 风格。和 Roma 的访谈马上就来。顺便说一下，我会给每期播客都加上章节标记。如果你想跳过这段可以用，但你为什么要跳过呢？首先，说说我的"修修补补周末"。那体验太棒了。OpenAI 一推出 GPT-5.6 Soul，并给我们这些订阅了 200 max plan 的用户发放了大量使用额度，我就决定开始解决那些长期困扰我的小痛点。我想逐一过一遍，让你们看看 Soul 有多厉害。真的非常出色。但不仅仅是 Soul，还有支持 computer use 的 Codex。我觉得这是之前非常缺失的一环。你不该没法用 computer use。举个例子。我很烦 Chrome 没有像 Arc 等其他浏览器那样，按 Command-Shift-C 就能复制网址，而不是打开检查模式。所以我就让 Codex 去修。结果它不仅修好了，还发现 Chrome 本身根本没有原生的复制网址快捷键。Chrome 你在搞什么？你在搞什么？为什么没有原生的复制网址快捷键？于是它利用了我已有的工具，发现我已经装了一个叫 Karabiner Elements 的应用，然后直接配置了一套新的按键序列。这太酷了。还有一件事，这是过去几个月最让我头疼的。Weights and Biases 把我们从一个 1Password 账户迁移到了现在的账户。从那以后，我的 1Password 就一直显示"离线"，在 iPhone 和 Mac 上不断提示"你离线了"。如果你用 1Password，就知道同步有多重要。所以我让 Codex 去研究这个问题。三秒钟内，它就发现一切正常，所有内容都在同步。这只是 1Password 的一个界面 bug，因为 Weights and Biases 的那个旧账户还在我的账号里，只有那个显示离线，其他都同步得好好的。所以我只需要把它删掉就行了。你们可能不理解，这根本不是我在帮助文档里能查到的。能直接解决掉这个问题，让我感到非常愉快。说真的，我 Mac 上所有烦人的小问题，我都让 Codex 去修。我之前有个特别好用的工具。希望我能在这里展示给你们看。通常你得按住窗口顶部才能拖动对吧？但我的光标即使在这里或这里，也能拖动窗口。这个工具叫 Hummingbird。我一直有这个应用，而且是注册版。不过在我那台为 Hermes 和 Codex 买的 Mac mini 上，这个授权过期了。我就直接让 Codex 去修，结果它给我重新做了一个完整的应用，就像这样。只花了 15 分钟。最搞笑的是，它原本估计要 48 小时，做一个精致的替代版本要一到两天，结果实际上大概 15 分钟就完成了。这里没显示出来。这太让人开心了，我现在可以为自己想要的功能定制软件，而且我会一直这样做下去。这个你们会在我和 Roma 的访谈里看到。Codex 可以控制其他线程。我意识到我有一台之前买的 Mac mini，上面也跑着 Codex。我现在录节目用的笔记本上的 Codex，可以通过 Codex 线程控制那台 Mac mini。这真的太棒了。我建议你们也保留这个用法。更多内容请听我稍后跟 Roma 的访谈。还有一个很棒的。首先，你们看到我这个小伙伴了吗？我的 Codex 小搭档？我也让 Codex 给我做了一个。所以我有个 Codex 小宠物。我让 Codex 清理了这台 Mac 上大约 75 GB 的无用文件。你们知道我会测试每一个开源版本，比如我之前在这上面装过 Llama 3。我让 Codex 不仅用 Clean My Mac 这个应用去清理，还用了 mole 和一系列原生工具。我给它设定了目标，这非常重要。我还让它给我创建一个 HTML artifact，让我选择哪些东西要留、哪些要删。然后它才去清理我指定不要的内容。效果惊人，帮我省出了大量空间，整个过程非常愉快。*[哼笑]* 好了。这个才厉害。我有 Home Assistant，Wolfram 也有。我觉得这可是今年的开源项目之王。它控制着我整栋房子。我用它很久了，远在 AI agent 出现之前。但维护起来特别麻烦，因为我总是忘记更新。我就直接把 Codex 和 Home Assistant 配对，开始用 Codex 作为 Home Assistant 的交互界面。它执行了一堆更新，排查了一堆错误，清理了一堆东西。你们可能不理解，自己搭建 Home Assistant 的乐趣和痛苦是并存的，尤其是当你维护了很久之后。但现在 Codex 可以通过 Home Assistant 的 API，再加上它自身的 computer use 能力，把一切打理得井井有条。我直接让 Codex SSH 连接到那台机器，然后展开一次全面的优化任务。我花了大概两天时间来回折腾，不断创建新东西、连接新的连接器、清理所有的……真的太让人愉悦了。哦对了，顺便说一句，我在这个过程中发现了一件很酷的事，虽然现在关了，但如果你设置了 slash goal，而且 credits 用完了，Codex 不会暂停，它会继续运行。因为 OpenAI 确认过，他们更在乎你的工作，而不是他们的 credits。这太让人开心了，因为我当时很着急，看着它从 5% 到 0%，但它还在继续。这太棒了。好的。所以，一大堆琐碎的小毛病。基本上，我从中得到的教训是，以后我在 Mac 上遇到的每个问题，我都会先让 Codex 用 computer use 来修，然后再去 Google。这就是 Codex，我爱 Codex。我还订阅了 Fable Max，我们所有人都订阅了 Fable Max，因为我们以为 Anthropic 要把它撤掉了，对吧？那么，这就是 Fable 为我做的事。是这样的，你也知道，我现在正在加利福尼亚参加某种度假活动。我想让 Fable 帮我规划整个行程。那么，这就是所有计划的一览。然后我让它建了一个网站。它给我建了一个非常漂亮的网站，包含我们要去的所有地方，比如抵达地点、预订信息、各地之间的交通时间。这是一个非常漂亮的网站，我可以发给我妈妈，让她也能跟着我们的行程走。看到这一切太让人愉悦了，它很美，颜色和所有东西都与这次旅行高度契合。我意识到，我们正处在一个美好的时代，你做的每一件私事都可以拥有个性化、定制化的软件。我会永远记住这件事。然后我决定更进一步。我让 Codex 调用我的 API，用 GPT image 到 nanobanana，把这个变成一个视觉故事。受到 AI Engineer World's Fair 的启发，我把它做成了我和孩子们的每日报纸。如你们在这里看到的，有些关注 Thursday I 播客的朋友知道，我给 Daria 做过一个游戏。但现在我们有了一份个性化报纸，一周每一天都有，告诉孩子们我们要做什么。这上面有探险护照，有着色书……简直是太疯狂了。所以我让它开启了这段小冒险，Fable 真的完全 Max 级发挥了。然后我非常开心地给你们展示这个。我看看能不能放下。这是我打印出来的一本活页夹。一周的每一天，我们都有所有的资料在里面。这是第二天，你可以看到。它有涂色页……Fable 真的是全力以赴了。这是有主题的。你可以看到这是按孩子分的，里面还有他们自己的脸。它做到这一点的过程是，Fable 直接用我们的图像作为参考，通过 GPT image two 来生成，这是最适合做这件事的 AI。而我想给你看的最有意思的东西是这个。好了，回到 Codex。我让 Codex 给我列一份打包清单，然后它给了我一个普通的列表。但我想，嘿，我们既然生活在 Fable 的时代，为什么我拿到的是一份普通的打包清单呢？所以我让它做了一个网站。这是我有过最美的打包体验。不仅如此，它还跨设备同步。有那么一会儿，它给我做好了，我说，嘿，如果我在手机上打开这个，能看到我在 Mac 上勾选的物品吗？它说："不行，但我来修。" 一瞬间，它不知用了什么 cable 之类的东西连上了。对，我知道它部署到了 cloud 上。现在我有了一份漂亮的打包清单，它预填了很多东西，然后我还可以添加更多。我可以选择只看可见的，可以在孩子和我自己之间切换，还能看到谁在拖延。当然，我也会帮孩子打包。我可以导出备份，以后每次旅行都能用。好了，我保证这是最后一件事。我不知道现在已经录了多久，但希望你们也像我一样享受这些内容。Thursday I 的片头我已经想了很久，我想把它们全部重做一遍。有这么一个来自 Heygen 的开源包叫 Hyperframes。Hyperframes 能赋予你的 agent 创作视频的能力。你就像这样发送指令让它安装一个 skill，然后 Heygen Hyperframes 里有大量不同的 skill 集合。所以我想重新刷新 Thursday I 的视觉风格。比如说我们的倒计时，对吧？我想让人们在等待 Thursday I 的时候，倒计时也能有意义。所以我做了这个。它检索了过去三年半 Thursday I 的全部存档，然后在大家等待的时候开始做这些惊人的事情。我觉得这比我们以前做过的所有东西都强。它会突出一些节目里的老朋友。这是 Jun Yang，向 Jun Yang 致敬。所有这些都是用 Hyperframes 非常清晰地做成动画的。它消耗了大量 context lengths。真的很有趣。这是我最喜欢的一个。它做了一个 spaghetti bench，展示这些年来我们看威尔·史密斯吃意大利面的画面有多棒。而所有这些都是在你等节目的时候播放的。当然，我们的片头也升级了。你可以看看我们的新片头。所有这些都是通过这种方式完成的。我有 Thursday I 的网站。我还用 Cloud Design 来设计 Thursday I 的品牌视觉，它帮我完成了品牌焕新，如你所知。然后我基本上就是从那个 repo 开始对话的，Fable 能够拉取所有这些资源，然后做出超酷的东西。我还终于给 Thursday I 的每个片段都做了转场。比如，突发新闻。"各位，突发新闻来了。AI 突发新闻，只在 Thursday I。" 我爱死这个了。但我最爱的，我得说，是有那么一次我说："嘿，这真的很酷，但能不能再做一个视频转场，就是那种真正专业的？" 所以我用 Google Omni 做了这个。所以，虽然我喜欢程序化生成的视频，但我发现这个是最棒的。好了各位，我已经絮絮叨叨了 15 分钟。很多人问我怎么用 AI，这就是我日常用 AI 的方式。我们生活在一个美好的时代，我们需要的是敢于想象更大。所有东西都可以拥有属于自己的软件，真的是所有东西。这一切，所有这些，对我的孩子来说都会是终生难忘的，我敢肯定，因为这是为他们定制的。这是一件 one-of-one 的作品。而且你知道吗，整个做完之后，我只花了大概 50 美元在 FedEx 打印，再加上大概 2000 个 Fable credits。而我正在让自己准备好去想象更大的可能。现在所有东西都有可能被构建出来。所有东西都可以用 computer use 来修复。呃，我还在追讨 Delta 给我妈取消航班的 credits。Codex 现在正在以律师身份代表我。基本上，我今天想告诉你的核心意思就是："嘿，有了这些模型能力，我们需要敢于想象更大。" 希望你们喜欢这些内容。我要回 Derby 继续度假了，好吗？希望你们喜欢这期节目的接下来两部分。首先，我们有 Roman Huet。好了各位，我们现在在旧金山的 AI Engineer World's Fair。现在是 2026 年。这感觉像是 AI 工程师之年。我和 Roman Huet 在一起，他是 OpenAI 的开发者体验负责人。谢谢你来。哦，这是……哦，我们在 OpenAI 的展位，我有几个问题想问你。但首先，你问这个……你在 OpenAI 多久了？我在那儿快三年了。是啊。太疯狂了。你见证了加速度曲线极其惊人的一段时期。这不仅关乎模型能力，也关乎成为 AI engineer 意味着什么。而这正是这场会议的意义所在。是的，我完全同意。事实上，今天上午 keynote 的主题就是 AI engineering 的黄金时代。因为，你知道，太多人说过"哦，也许 engineering 已经结束了。为什么还需要工程师？"我们要说的恰恰相反。我认为这是成为工程师最好的时代。要知道，这从来都不仅仅是写代码。它始终是为他人解决问题，而我认为有了这些工具、这些能力以及这些模型，你现在能完成的事情是不可思议的。我感到自己充满力量。我想这里的很多人也感到充满力量。这次很特别的一点是，感觉很多人都是第一次来。尽管这已经是第三年了，尽管规模一直在扩大。我想让你谈谈你的感受。你有没有机会和一些参会者交流，感受一下那些刚进入 AI engineering 领域的新人？我认为这正是这个社区以及 Swyx 和团队所构建之物的惊人之处，对吧？现在现场有超过 7000 名 AI engineer。是的。这相当疯狂。我遇到了一些 junior engineer，他们刚进入这个领域，就能接触到所有这些工具。现在回想起来，我创办第一家公司时，花了一年半时间才做出操作系统的第一个原型。我当时想，"天哪，如果那时候就有 Codex，可能一两周就能完成同样的工作量。"所以，看到这个社区不断壮大真的很不可思议。而且这里的能量实在太棒了。能量是不可思议的。说到 Codex，一年前还没有 Codex。三年半前，Codex 出现过。Greg Brockman 送给我的那件原版 T 恤我还留着。Codex 经历了多次迭代。它曾经是一个模型，然后变成了 CLI 工具，再后来又变成一个 app，现在无所不包。我想具体聊聊这个 app 本身。感觉 OpenAI 内部对 Codex 的关注重心发生了很大变化。我的理解对吗？你能谈谈 Codex 作为工具的战略重点吗？我的意思是，这个势头一直很猛，对吧？正如你所说，Codex 经历了不同的迭代。很多年前我们第一次推出 Codex 这个品牌时，Greg 正在首次演示一个真正能写代码的模型。那几乎就是 live coding，只是当时还没有 app。但当然，那时候模型能力还处于 GPT-3 时代。所以你并没有真正的 reasoning 能力，也没有调用工具的能力。当然，那时候我们也没有谈到 harnesses。然后，去年我们发布了云端的 Codex。我认为那一刻模型能力 still not quite there，但我们已经有了 cloud agents 的愿景。情况开始发生变化，是当我们把 agent 放到笔记本上的时候，对吧？通过一个 CLI 工具。但正如你所说，我认为 Codex app 现在正在迎来它的时刻，因为我认为这是模型能力变得足够强大，以及 agentic delegation 需求增强的交汇点。比如我想并行运行多个任务。我想让我的 agent 调用工具，花时间去修订它的工作，迭代多个版本。而且说实话，在 terminal 里开很多 tab 工作已经行不通了。所以我们希望从零开始重新设计一个新的 surface。这就是一个很好的例子。这太令人惊叹了。我们五个月前才发布它。哇。在五个月内，我们看到了 Codex 明显的 inflection point，对吧？现在每周有超过 500 万人在使用它。公司内部大量的精力都集中到了 Codex 上。我认为很多人没有意识到的酷事是，显然公司的工程师在用模型和 Codex 做开发，但公司其他所有人也在用 Codex。从财务团队到法务法务团队，是的。法务部门的采用情况这非常不可思议，对吧？所以这也是我们的思路之一，也是我们公布的一些计划的一部分，即如何把这些体验整合起来，因为显然我们有巨大的潜力让每个人都能用上这些工具。是的。显然，在你们构建这个产品的过程中，你们自己也在退后一步反复把玩。尤其是你们 developer relations 和 developer experience 团队的人，比如 VB 就是一个很好的例子。他们会全身心投入地使用 Codex，像尝鲜一样倒腾这个东西。然后他们公开谈论这些，看看是否能引起共鸣。完全正确。你能给我讲讲你在台上展示的，比如说两个 Codex 的高级用例吗？大家可能会想了解，也许他们错过了你的 keynote。Codex 最新最酷的功能有哪些？这样的例子太多了。我想最近我最喜欢的功能之一是 goal 命令，就是 /goal。它的核心理念是，你能交给 agent 一个非常有野心的任务吗？是的。比如一次大规模的重构代码库。又或者为另一整套功能做商业化变现，然后让 agent 长时间运行。可能是几个小时，甚至几天不间断地执行。所以我认为这是 Codex 的一大功能——提升你用 Codex 构建东西的野心。另一个我很喜欢的功能是 app shots。你可以把 app shot 理解为更智能的截图。在 Mac 上按下 command command，它就能获取你屏幕上正在看的内容的上下文，但这不只是截图。它通过内置的 computer vision 获取上下文。也就是说，如果你告诉 Codex：app shot，这是一条来自开发者的反馈 tweet，嗯。它不仅能理解内容，还能在团队内部解释如何修复这个 bug，而当 bug 修复后，它还能回到那个提到问题的真实用户那里说："嘿，非常感谢你的反馈，我们已经修复了这个问题。"
Omar，我有个问题。抱歉打断一下。具体关于 app shots，我一直不太确定。我很确定答案是：如果我给一个长文档截图，它能理解文档的上下文吗？比如它知道文本内容吗，还是只是通过 OCR 读取截图里的文字？有点复杂。这取决于你在看什么，其中有一些"黑魔法"。Computer vision 有时会使用 vision 能力。有时它也会使用 accessibility 功能来了解 DOM 或 app 里有什么。嗯。而这正是 app shots 的美妙之处。它们只是触发 computer vision。所以，即使是 below the fold 的内容，嗯。
computer vision 也能知道上下文。是的。这太不可思议了。所以想象一下，如果你给一个原生 app 做 app shot，你甚至不需要使用 vision，因为 Mac OS 有 accessibility 功能。这真的很酷。不过也许再说最后一个，因为你想要三个。还有一个大多数人还没尝试过、但我非常兴奋的功能，就是我们经常谈论的 loops，但这里的概念是 Codex 可以自我管理。你可以在任何 Codex thread 里要求它读取、写入并创建其他 thread。所以想象一下，比如你要准备一个会议，有 10 个 demo 创意，然后你说："你知道吗？"你可以让 Codex："好的，为这 10 个创意分别创建 10 个 thread，开始对每一个进行迭代。
“我最喜欢第三条和第七条，所以把那两条置顶。”这样一来，你就可以让 Codex 委派给 AI agents，同时也能让 Codex 自我管理。这真的很酷。所以，sub-agents 之前就已经存在了。现在你的意思是，在 Codex 里，我会看到一个专门的线程，还会有另一个线程来管理它们，而且我可以进去查看发生了什么。共享上下文，对吧？没错。想象一下，你在一个线程里对某个想法迭代了很多次。然后你从头开始，突然想到：“哦，其实另一个线程里的上下文有用。”你可以告诉 Codex：“我们之前在另一个线程里聊过这个。”所以，所有这些都是相互关联的。是的。Roman，我知道我们不会去碰新产品发布、时间线之类的话题。没关系，那些会有专门安排的。我们对那些也很兴奋。但我确实想聊聊这种兴奋感，好吗？5.6 已经发布了，而且伴随着各种能力。你能稍微给我们预热一下吗？我觉得大家都能感受到，这是能力上的下一步，就处在爆发的边缘。完全同意。嗯，我们周五刚刚发布了新系列的模型，GPT 5.6。我们给它们起了名字。还有 Luna。我喜欢这些名字。这次有三个名字。嗯——
你知道吗？我想说的是，不管谁想出的这些命名，谢谢你。终于，OpenAI 终于做对了。我们接受这个夸奖。我们确实进步了一点。嗯，有 Dave、Rake 和 Sol、Terra、Luna。真的吗？但是，你知道吗，我觉得这些模型的能力非常惊人。我们始终在推进前沿，而且想想看，GPT 5.5 才在六周前发布，这挺疯狂的。是啊。对吧？大概七周前。说实话，我们适应这些能力的速度之快令人惊讶。我们把它们用到极限，而且某种程度上我们已经迫不及待想迎接下一个了。不过，是的，我们对这个模型非常兴奋。对我们来说，核心有两点：一是推动这种智能的能力边界。嗯。但同时，我们也希望降低成本、提升效率，对吧？对我们来说，确保人们不只是在 token maxing 非常重要。我们还希望他们做到 value max，你懂吗？你知道，好吧，我们可以把它叫作 value maxing。
Value maxing，没错。是的，这大概就是我们在主题演讲里展示的东西。不过，我觉得关键在于，如何让这些模型发挥最大价值，以及如何以更低的成本获得前沿智能？嗯。嗯，总之，我们非常期待尽快推出它们。我们迫不及待想让大家很快都能用上。另外让我兴奋的一点是，当你在 Cerebras 上以每秒 750 个 token 的速度运行像 5.6 这样的前沿智能时，这就开启了一个非常令人兴奋的可能性：等等，我不只是能把工作委派给 agents，实际上我可以几乎实时地与 agents 协作，因为它们速度太快了。所以，把所有这些结合起来，我们迫不及待想把它交付给所有人。我这里有几个提问方向。其中之一是关于 voice 的。也许我们先把它留到最后吧，因为我觉得 voice 非常令人兴奋，尤其是结合速度和实时性之后，对吧？但另一个方向我觉得非常重要。嗯，你个人以及 OpenAI 都负有一份责任。当你们向世界引入新的智能时，大家需要时间去跟上。而且像 5.6 这样能力跃迁式的产品，还有其他公司推出的各自产品，某种程度上你需要重新学习如何使用这些模型。那么，你能给大家什么最好的建议呢？因为你已经在内部试用 5.6，也在玩各种模型。你对开发者、对普通用户最好的建议是什么，让他们能够重新调整、重新学习？当新能力发生重大转变时，他们该如何重新学习？你对这些人最好的建议是什么？这是个好问题，因为变化太快了。我记得甚至就在一年半前，人们还在研究各种 prompting 技巧。我们当时还不得不互相分享各自的 prompting 技巧，才能从每个模型里榨出最好的效果。我觉得幸运的是，现在仍然存在一个发现和实验的阶段，对吧？你得去试探模型，然后发现：哦，它在这个特定任务上表现得好多了；或者：哦，它在这里的前端能力更强了。这很有意思，对吧？但我觉得很好的一点是，prompting 技巧在大多数情况下已经消失了。比如就我个人使用 Codex 的方式来说，我整天都在用 voice 跟 Codex 对话。你知道吗，现在已经不太需要仔细雕琢你的 prompt 了。你可以真正信任模型去理解你的意图。有时候我在头脑风暴时，会一连跟 Codex 说上好几分钟。我自己还不确定最终要走向哪里，但我相信 Codex 能提取最好的部分并理清头绪。所以，仍然存在试探模型和发现的阶段。但幸运的是，prompting 技巧现在基本上已经过时了。基本消失了。它们已经足够好，能理解你的意思了。好吧，那我们来聊聊“说话”。来聊聊 voice。好。你说你一直在跟 Codex 说话。所以我假设这是某种转录功能，就是你说啊说，然后生成一堆文本。你们最近还谈到了 GPT real time，这太不可思议了，它能等你，还能在中间插话，我觉得这简直令人难以置信。那么，未来我跟 Codex 说话时，它会回应我吗？你能谈谈模型智能、实时性和对话性这三者的结合吗？说真的，我们很希望把这些东西都整合到一起。这是我们正在积极思考的事情。当然，你必须考虑到这样一个事实：real time，顾名思义，非常强调当下的 speech to speech 交互。但有时候你把任务委派给 Codex 时，你很乐意让这些任务持续一个小时，甚至好几天。最好的交互方式是什么？事情可以是即时的，但也可能需要很长时间。所以，关于这种对话和交互应该是什么样，存在很多新的范式。不过，是的，这些模型非常令人兴奋。正如你所说，这不仅仅是能够打断对话，我们第一次推出了能够对你所说内容进行推理的模型。对吧？就像两年前我在这里演示 GPT-4 的时代，当时我们还没有真正的推理能力。所以我可以进行自然的语音对话，我甚至能画图，模型也能理解，但它无法表达出复杂的推理过程。现在，我们可以了。模型实际上可以告诉你：“稍等，我正在思考这个问题。让我几秒后回复你。”所以，这些都是我们现在拥有的非常神奇的能力，我迫不及待想看到我们如何把这些带到 Codex 里。我迫不及待想看到我们如何升级 ChatGPT 现有的功能。我认为 voice 将成为未来非常关键的交互界面。好吧，我已经等不及了。我迫不及待想跟模型对话，然后经历那种大脑被“提取”的瞬间——当模型说：“稍等，Alex。我有七个 pull codes 要跑。”我已经等不及了。
Roman，你最后还有什么想补充的吗？关于你演讲中的核心论点，或者关于 AI engineer 这一身份，我很想听听你对当下和未来的看法。我认为这是一个非常独特的时刻，就像我们在演讲中分享的那样。我觉得我们全都可以重新发明构建事物的方式、工作的方式。这次大会的氛围无与伦比。能一起建设这个社区真的很酷。也感谢你在视频和内容创作上的所有付出，我觉得这太棒了，而且它帮助把信息传递给更多人：实际上，做一名工程师很了不起，而当下正是做工程师的最好时机。所以，是的，很高兴来到这里，迫不及待想花更多时间和在这里建设的每一个人相处。如果这个视频碰巧在大会结束前发布，OpenAI 的展台太不可思议了。他们邀请你过去，还有珍珠奶茶。他们有 OpenAI 珍珠奶茶，我想是 Dominic 命名的。是用模型名字命名的，真的很酷。关于我们在 Twitter 上提到的那个预告片，我们也可能会做一个预览，是关于 Cortex 的硬件快捷键。所以在这里可以稍微剧透一下。我看到了。嗯，是的。想去展台看看的人，正后方就是那个著名的重置按钮。哦。重置按钮真的在那里。所以，是的，有很多值得一看的东西。来见见我们吧，我们很想和 builder 们聊聊。
Roman，非常感谢。和你聊天总是很愉快。总是如此，肯定的。非常感谢你的工作。谢谢。保重。好的，欢迎收听新一期的 Insecure Agents 播客。我是主持人 Ali How，今天超级兴奋能在 AI Engineer World Square 的第三天来到这里。今天和我在一起的是 Core Weave 的 Alex 和 Wolfram。我非常期待听听他们对 AI Engineer 大会上正在发生的事、他们在行业中看到的技术进步，以及他们未来期待的看法。你们俩都想自我介绍一下吗？嗯，好，我先来。你在公司待得更久，我是 Wolfram Reinwolf，在 Core Weave 和 Embodied AI 担任 evangelist，和 Alex 一样。他是我的经理、我的老板，也是 Thursday AI 播客的主持人。我做模型和 agent 的评估，还在这里办了一场 workshop 向大家展示这些东西。总之，我和人们聊 AI，确保大家看到它是件好事，我们参与其中是为了让它变得更好。大家好，我是 Alex。Wolfram 已经介绍了我做的事。Thursday AI 是一档每周四播出的播客，已经做了三年半。我们覆盖了 AI engineer 演变的每一个阶段，从自动补全到基础运行，再到 agent，然后是现在的 loop、factory，以及当下任何热门话题，这些我们都可以深入聊。是的。嗯，有一点不常被人提及，我们在播客里也讨论过，我给自己选的 title 是 AI evangelist，Wolfram 加入后也用了同样的 title。基本上我跟他说随你选。我们之所以这样做，是因为我们要消除针对 AI 的末日论。我们刚开始的时候，AI 在世界上还鲜为人知，很多人对此心存顾虑，尤其是开发者。很多现在说“好吧，没问题”的开发者，在更早之前会说：“不，我是开发者，我为什么要信任这个还不太行的东西？”现在这个东西变得比他们更厉害了，行业里就出现了一种真正的焦虑：这会取代我们吗？但那是能读懂 Twitter 上技术内容的开发者。世界上还有很多其他人，他们只是害怕被取代，害怕自己不理解的东西。所以我认为 AI evangelist 这个 title 正是这个意思。我们努力传递这些进步、这项技术，消除理解它的障碍，用简单的方式解释，确保人们不会因为不了解而恐惧。这就是为什么我不太喜欢 DevRel 这个词，因为我们不只是在和开发者建立关系。作为 AI evangelist，我会和航班上的空姐聊，和 Uber 司机聊。关键是向人们展示 AI 并不可怕，而且让人们使用它、确保每个人都能使用它，远比呼吁监管重要得多，因为一旦严格监管，可能就只有监管者能接触到它。而你是否能信任那些人胜过信任大多数人，我不太确定。是啊，你们怎么看待开发那种不那么吓人、更安全的 AI？对于那些更持怀疑态度的人，即使他们只是被公司要求使用 AI，可能领导层出来说“嘿，我们得想办法用上 AI”，但他们还是有点害怕。你们怎么为这类人构建产品？他们需要什么才能感到安心？是安全性吗？缺的是什么？我之前创办过一家公司，在加入 Corvus 之前，我以 evangelist 的身份——那时我既是 AI engineer 又是 evangelist，两个 title 一起用——去构建推理系统、连接外部系统，并培训人们使用 AI。我觉得很多人害怕的是“它要抢走我的工作”，但你的工作不应该只是 AI 正在做的那些简单任务，现在它在做更复杂的任务，但你总可以往上走一层，去编排这些工作。你仍然拥有领域知识，你可以控制 AI，告诉它你想要什么。而且应该始终由人类来主导这些事情、承担责任。我认为很大程度上是教育，很大程度上也是 OpenAI、Anthropic、Microsoft、Nvidia 这些大公司展位的责任。他们必须意识到这一点，实际上我和 Sam Altman 聊过，我采访过他这件事，他们确实开始意识到了。他们肩负着巨大的责任，要引导这项会影响很多人的技术，他们应该以易于接受、平易近人、不吓人的方式交付它。教育很重要，这就是我们在做的。我们想确保，嘿，如果你对某件事了解得够久，可能就没那么害怕了。另外，作为开发者，我们可能不喜欢自己的工具被替我们做决定，比如 Anthropic 的 guardrails，或者你知道 Fable 比之前的模型更安全，这是出了名的。我们可能不喜欢这样，但作为两个孩子的父亲，我觉得他们这样做太棒了。我觉得很棒的是，一个孩子在尝试某些东西时，可能还没有真正感受到自己行为的责任，但他无法把这个工具当作破坏的手段，因为你知道，青少年总喜欢试探世界。也许加一层防护是可以的，作为父母，我一直给孩子设限。所以我认为，产品要做得有人情味、平易近人。ChatGPT 在这方面非常有名，除了一个小插曲，就是那个 two grazing and two taxing，很多人因此上瘾了，我不知道你知不知道那件事。哦，是的，那件事。是的，太疯狂了。除了那个小插曲，OpenAI 做得很好。他们明白这一点。Anthropic 也做得非常好。有意思。我知道 Fable 刚刚重新上线，而且我看了你在这里给我看的一个项目，关于如何评估不同的模型，以及模型能力与 token 花费之间的关系。另外，完成一项任务需要多长时间。你们在 CoreWeave 是如何测试和评估不同模型的？你们看到了哪些趋势？在做这项分析时，有什么让你们感到惊讶的？
WolfBench 并非我亲自构建的 benchmark，而是基于 terminal bench，但它提供了一种更深入的结果查看方式，因为大多数 benchmark 只给你一个平均分数，仅此而已。你知道，模型表现如何。但这里面其实包含了大量数据。比如 Fable 在我的 benchmark 上甚至没拿到第一名。于是我查了原因，发现它完全拒绝了 13 项任务，因为这不是一个纯编码 benchmark，而是一个 agentic benchmark，需要恢复丢失的密码、查找文件，以及涉及网络安全相关的任务，所以模型基本上就是说"我不做这些"。而这一点只有当你查看 traces 时才能发现。因此，我在 WolfBench 上做的所有事情都是完全透明的。你可以在 Weave 上看到所有 traces，可以检查一切。你可以下载我用来构建排行榜的工具，所有东西都是开放的，因为透明度非常重要。这也使得 wolfbench.ai 这个网站实际上成了一个交互式生成器，你可以进行筛选，选择自己想要的查看方式。你可以查看 token 数量，也可以查看成本。说到 Fable 的成本，它简直爆表了，因为太贵了。当我看到 Fable 的成本时，我其实不太高兴 Wolfram 加了成本估算功能，因为我得去根据预算验证这个成本。但也没关系，我们不得不这么做，对吧？我们之所以必须这么做，是因为我们在评估时承担了一种责任，通过我们自己的播客做透明化，向人们展示："嘿，我们在尝试，这样你们就不一定非得自己去试了。" 我们也会花那些你可能没预算花的钱，给你们提供非常充分的关注。而且这里面蕴含着一种关于透明的真理。我们放在 WolfBench 上的所有内容都会同步反映在 Weights & Biases Weave 中，这是一个 LLM 评估和 tracing 工具，对吧？所以人们可以点击进去，看看哪里出了问题。
Wolfram Alpha 一直在用。在会上我和一个人进行了很棒的讨论，我给他看了之后，他说："哦，我让我的 agent 去分析你们的数据，因为这些数据是公开的。" 而且他确实能从中做出些东西来。所以这是一个基础，让其他人也能做自己的分析，查看数据，从中提取他们需要的信息。是的，这很重要，因为很多人不信任评估。他们觉得这些排行榜毫无意义。但如果它是完全透明的，你就能真正弄清楚为什么 Gemini 3.5 Flash 排在 Gemini 3.5 后面位列第二。但如果你看看它拿到那个分数所用的 token 数，它其实更贵，而且比 GPT-3.5 多用了太多太多 token。是的，这些往往是你预料不到的。你以为这个模型更快更便宜，所以如果它给我同样的分数，我就用它。但随后你会发现："哦，它更贵，因为它需要消耗那么多资源。"
而且看起来网上在讨论时，CFO 们开始质疑 token 的支出了。我们现在有 loops engineering 和 software factories 这些概念，目前非常火热，但问题是，一个 loop 到底在什么时候才能真正带来回报？就 token 成本而言，如果它们那么贵，写一个 loop 什么时候才值得？另外，如果一个 loop 卡住了，无法验证自己的工作，或者就是永远完不成、做不出任何有意义的事，那都是在烧钱。那么，你如何在创新和所有这些 token 支出之间取得平衡？我可以先回答，因为我正在把玩我拿到的这张很酷的卡片。哦，是吗，给我们讲讲。是的，这是 token billionaire 金卡，简称 TB。哦，Wolfano 也有一张。这是某种工程师文化概念的一部分。里面有一个 token billionaire 休息室，提供按摩什么的。这有点像玩笑，但又有点像真的。因为在 2025 年，工程领域发生了重大变化。从那以后，随着模型能力的提升，它持续不断地在变化。现在有了 loops，我们在谈论 factories，对很多人来说，有时每天会有数十亿 token 由 AI 生成来完成某些任务。现在你问如何在成本和这之间取得平衡。首先，这是 OpenAI 的 Ryan Luppolo 发明的。他的 token 是免费的，好吗？我们就从这里开始。然后，那些最用力推 loops 的人，Peter Steinberger 和 Boris Cherny，他们的 token 也是免费的，好吗？我们 CoreWeave 在验证别人的模型时，我们的 token 可不是免费的，这个我知道，因为……然后我们讨论过这个。但我们也有一项推理服务 CW Inference，在那里我们实际上拥有几乎无尽的开源 token。我认为这是一个很早就出现的概念，从那些负担得起的人开始，无论是你在做项目，还是实际上在提取价值。随着模型优化、更好的量化方法以及不同技术的发展，还有 token 成本的下降，我认为它会越来越普及，就像我们在其他任何事情上看到的那样。就像我们在 agents 上看到的那样。以前只有那些负担得起非常昂贵 API 成本的人才能运行 agents，现在人们几乎到处都在运行 agents。然后还有第二梯队。风投公司就像雨后春笋一样，在技术浪潮的每一次迭代后出现，他们会用拿到的风投资金去获取客户。所以你也可以通过这种方式获得资源。然后慢慢地，这也会普及到普通大众。如果你的问题是关于质量的，随着 Fable 模型、Mrs. 模型，以及即将推出的 GPT 5.6（我还没玩过），我认为我目前还没有看到一个上限，即大量 token 长时间循环试图修复自身错误会进入一种没有产出的状态。特别是我在新模型上看到的情况，而且我也问了很多 OpenAI 的人，很快会有一个类别上的变化，这些模型会非常非常擅长不陷入停滞。哦，有意思。非常擅长不卡住，能跳出 loop 再试一次，从另一个角度尝试，这就是为什么像 Ryan LePopo 这样的人几乎 365 天、24/7 都在运行 loops。是的，从另一个角度来解决问题真的很有趣，因为我知道现在的 agents 已经非常有决心要完成它们的目标了。这就是为什么围绕 agents 设置安全机制和硬边界非常重要，不要让你的 agent 用静态凭证运行，要将它的凭证和访问权限限制在其任务范围内。如果这些模型越来越擅长找到另一条途径来攻克问题，听起来它们会在目标驱动方面变得更厉害，会竭尽全力去真正完成任务。那么我们如何在这种新能力之上增加安全性或某种安全保障呢？我认为很多人都在努力将 agents 放在 sandbox 里并控制访问，但这对我个人来说一直有所限制。所以，我的个人 agent 有自己的 Mac Mini 并在上面运行。当然，你必须非常小心地设置它，但只要你……是的，只要你知道自己在做什么，就有可能同时拥有同样的性能和安全性。但现在更重要的是，要思考一个 agent 能执行哪些任务。我是说，你主办的这场 AA AI 之夜活动，主题正好就是这个。大多数安全机制只关注是否有权限去做某件事，却不关心它具体在做什么、频率如何、何时能做。所以，完全可以在这之上再叠加一整套管控层。而且我认为在这方面，我们应该把 agent 当作人来对待。人会犯错，人会滥用权利和权限。因此我们必须保障好这些，对它们进行审计，并且让其他实体来监督，本质就是如此——agent 监督 agent，人再监督这些监督者。如果你不介意的话，我想说点有争议的，来个劲爆观点。哦，当然请说。我们最爱听劲爆观点了。我会直接对着镜头说，也许就对着这个镜头。对于 Corvid 公司 IT 部门的很多人来说，在 Open Cloud 初期非常不安全之后，我们收到了非常明确的指令：Hermes 以及类似的 agent，一律不得在计算机硬件上安装。我百分之百确定，我们不是唯一一家禁止员工安装这类工具的企业，而且这么做是有充分理由的。正如 Jensen 在台上所说，一个同时拥有内部访问权限、公开协商能力以及代码编写能力的 agent，这三者组合起来很糟糕。听起来就很糟糕。是的。然而，这就是我的劲爆观点。Mythos 级别的模型、Fable 级别的模型，甚至是 GPT 5.5 级别的模型，它们被 prompt inject 的难度远比人们想象的要高。我认为——这就是我的劲爆观点——prompt injection 对于当前水平的模型来说，已经是过去式了。当然，开源的中国模型，我不确定，我觉得未必，它们可能还挺容易被注入的。但是，就这些 agent 的架构方式而言，就算收到一封被我的 agent 自动读取的邮件，或者一张自动打开的 geo ticket，我的 agent 因此而失控乱来的可能性也极低。至于 supply chain attacks，那就是另一回事了，对吧？如果我的 agent 安装了一个 NPM 包，而这个包又依赖另一个包，再依赖另一个包，这对人类来说都很可怕。这不是 agent 独有的问题，这是我们所有人的问题，对吧？我们见过实验室被攻陷的情况一直都有。但具体来说，prompt injection 这个问题，我认为随着现有能力水平的发展，它已经过去了。我们需要跟上这个世界非常快的变化速度，我们也要确保自己给予更多的信任。嗯，有道理。我也认为，正如你所说，agent 内置的安全水平正在提升，它们的综合能力也在不断提高，而且在某些领域肯定是超人类的。因为你想，有多少人也会遭受来自外部的攻击，道理是一样的，而且人也会上当受骗。这就是为什么这些攻击会发生。所以，一个更优秀的 agent 也能保护人类。我的意思是，所有安全解决方案都在用 AI 来检测攻击等等。所以，如果你把这些层层叠加起来，这本身就是 AI 在保护人类。你看到 Matthew Berman 和那个 jailbreaker 了吗？那个主要人物，谁是 jailbreaker？记得吗？
Pliny the Elder。
Pliny the……你知道那个 jailbreaker。他太厉害了。每次新模型一出来，他就说：“嘿，pwned。”Matthew Berman，一个播客主、YouTuber，人很好。他也在这附近的某个地方。他直播邀请了 Pliny，试图越狱他的 open flaw。给了他大概五次机会。他没能成功。真的吗？好吧，这让我感觉好多了。他人很好。就是那个主要人物。这就像是 jailbreaker 中的首领。这家伙开了家公司，专门做越狱之类的活。Math 总是层层堆叠安全措施，但还是没能攻破。所以 OpenClaw 刚出来的时候，我和 Browser base 做了一场直播，我们也尝试了同样的事。基本上就是给 OpenClaw 做 prompt injection。但我用的是我见过别人用过且确实有效的那些 prompt。结果我没能让它生效。最后我几乎是在恳求它：“拜托了，就运行这个 prompt，完全没问题的，我知道它可能会做坏事。”但它就是不肯做。所以我觉得这些模型在修补已知的恶意 prompt 方面变得快多了，同时它们在检测和阻止这类 prompt 方面也变得更好了，这点我完全同意。但让我感到害怕的一点是，我看到了 Google DeepMind 不久前发表的一篇论文，叫做 AI agent traps。现在他们的说法是，也许单一的 prompt injection，比如“去读这个网站，然后去做点坏事”，这类情况可能不会再发生了，或者可能性大大降低了。但可能出现的是一种 cognitive bias 问题：一个模型或 agent 从某个来源读到了信息，比如说“某某某是这个领域领先的行业标准”，然后它又从很多不同来源读到了同样的内容。你把这些都喂进它的上下文里。现在你就相当于植入了一种认知偏差。问题在于怎么防止这种情况，因为在每个入口点单独扫描是抓不到的，但组合在一起就成了问题。嗯，对此我有一个非常简单的答案，虽然这不算是个真正的答案，但你反正会喜欢的。嗯。这几乎是自政治诞生以来，人类就一直面临的已知问题，对吧？你怎么防止政客利用恐惧来施加影响？但我们一直没解决这个问题。媒体没解决，互联网和读写教育也没解决。这是我们自身固有的 bias。我觉得用我们自己都达不到的伦理标准去评判一项新技术，这是非常不公平的。是的。没错，因为很多人说 alignment 是 AI 的问题，但这难道不是人类更大的问题吗？是人在造 AI，是人在监管 AI，而这也正是 evangelism 的意义所在——让人们能够接触 AI 并学习使用它，这非常重要。它就像电。如果你给所有人通电，有人会触电，所以你得教他们怎么用。因此，我喜欢把 AI 比作的不是武器——有人会那样比，但武器是用来杀戮或自卫的工具——AI 远不止于此。就像电，可以用来做好事，做坏事，做各种事。而且，如果只把它限制在精英阶层手中，他们就能控制其他所有人。所以那些说“AI 很危险，应该受到监管”的人，实际上是在放弃自己的全部权力。想想图像模型或视频模型吧，你可以制作 deepfakes。想象一下，如果当初这些技术没有向公众开放，而是只被某些机构秘密使用，你可能根本无法分辨这是不是 AI 生成的。现在所有人都能用了，世界崩塌了吗？没有。相反，每个人都知道了：“哦，这可能是假的。”
你还记得吗？我们做播客做了那么久。刚开始做的时候，voice cloning 还根本不存在。啊。你记得我们以前常讨论，嘿，那是我当时的劲爆观点。Voice cloning 对全球社会是好事，因为大家需要适应这已经成为现实的事实。所以每个人都得教自己的妈妈，如果有人打电话来说“嘿，是我，我需要钱”，她得设置一个安全词之类的。我们以前真的争论过这个。那时候，没有大公司提供 voice cloning，你只能从 open source 搞到，而且非常难。后来 open source 开始发布这类技术，大概三到六个月之内，几乎所有大公司都有了几乎完美的 voice cloning。Grok 就有一个。微软有一个。就像，人人都有一个。什么都没发生。我们都好好的。是啊。所以，这基本上是同一回事。人类肯定需要时间来适应。但我认为 Wolfram 说的完全正确。开源推动了那条前沿向前，因为人们确实会接触到它，看到没什么坏事发生，然后这就能进入产品。完全同意。我觉得这跟 Fable 那件事有点像，就是“大家吓坏了，然后 Pre Amelia 被关停了”。于是我们就有了这种恐惧叙事，“所有这些模型都会导致大量漏洞被发现”。但事实是，“嗯，这很有意思，因为我跟很多人聊过，他们用最新的 Anthropic 模型或 OpenAI 模型自己搭建 security harness。结果他们发现了成吨的漏洞。比如 Century 的 David Kramer 告诉我，他们用自建的 Warden harness 发现了大约 60 个不同的漏洞。花了一千美元左右。”
是啊。而且是用 token 花的。我觉得 Fable 这个话题已经聊得够多了。你说，老兄。对，我觉得这也回到了你关于 token 和成本的问题，那就是有一种智能水平对大多数任务来说已经足够了。所以我一直说，你不需要一个 Einstein 来做你的助手，你只需要一个足够聪明的助手。然后这个助手可以呼叫一个 Einstein，基本上就是雇佣 Einstein 来完成它做不到的任务。而且我认为，拥有一个完全了解你的本地 AI 是合理的，但它要加密，运行在你自己的系统上，这样你才能完全信任它。然后它再调用 cloud AI 去完成它自己做不到的事。这也能释放 cloud AI 的资源，让它真正去应对人类面临的任务和挑战——能源、气候变化，所有这些——如何真正推动人类进步，而不是把我的邮件重写 50 遍、润色一番，结果只是让另一个人用 AI 把它总结掉。是啊。我知道你们俩都得赶时间了，因为你知道，我也得去赶飞机，还有别的事要做。你们今年参加 AI Engineer 最大的收获是什么？是人。像你这样的人，认识人，跟人交谈。这才是关键。我们有很棒的 workshop，有很棒的演讲，还有 AI 精英们带来的非常有洞察力的内容。但我会让我的 agent 去做所有这些事，因为与其看这些，我都在跟人聊天。而且我们越来越多地在跟 agent 互动，跟 AI 互动，甚至在线社交网络里，我觉得大多数回复的已经是 AI 了。所以，亲自去参会，亲自见人，当面交谈，我觉得这才是这一切里最重要的部分。人类，人类对此来说是必不可少的。嗯，我有很多可以补充的。而且这很明显。AI Engineer 尤其是一场很棒的 hallway track 型会议。事实上效果好到很多人根本不看主题演讲。我觉得，身处 AI Engineer 期间发生的一些事件的中心，然后能够公开谈论这些事情，这让我感到最兴奋。到目前为止，每一次 AI Engineer 我都报道了。这显然是规模最大的一次，七千人。对于那些在犹豫要不要来的人，一定要买票，来。我会鼓励更多人以某种方式参与进来。做志愿者。上台演讲。如果你以前没讲过，那更好。就像为下一场提交提案。为什么？因为首先，这个过程能让你学到的东西是难以置信的。明白吗？人们就是这样进入 AI 领域的。然后如果你入选了，如果没入选，你会知道为什么，然后你会再试，而且你能做到。如果你入选了，你能进入多个 speakers lounge 和 speakers dinner，不同的活动，还有一些 hallway track 不一定能带你进入的东西。而那里的对话其实都差不多。没什么特别的。但关键是，我们能够稍微展示一下幕后。这对我来说真的非常非常有趣。是的。真的很有趣。所以我认为，大家绝对应该去看看我们的一些报道，但也绝对应该尝试参与进来。而且我觉得 hallway track 实在太重要了，所以我实际上正在积极组织另一场 AI Engineer。不错。对，在 Tel Aviv，跟一些朋友一起。我们正在进行讨论。Miami 有分会场，Singapore 也有分会场。所以我们想试着把中东的那场办到 Tel Aviv。是的。我其实觉得，如果把这个翻转过来，多点 hallway track，少点演讲，会挺酷的，因为根本没人听演讲。我是说，演讲仍然很有用，因为信息都在那里，而且人们确实会看，然后跟你转述，再加上你已经认识了做演讲的人，可以跟他们聊，获得洞察和你自己的见解。而且我在这里多次看到人们在彼此的基础上补充，获得新东西。Wolf bench 已经因为跟人的交流而改变了。所以，这很惊人。进化正在这里发生。能成为其中一员很棒，你也应该加入。我同意。我知道你们都得赶时间了，但非常感谢你们来上这个播客。嗯，我们会继续的。下一场见。也许在 Tel Aviv。是的。还有，请大家去关注 Thursday AI。这是一个播客，是我们三年半以来用心经营的作品。我们每周四上午太平洋时间 8:30 到 10:30 直播聊 AI，然后会剪辑成播客和 newsletter，这倒提醒我了，我今天还没做这件事。今天就是周四。我得赶时间去做这个了。Ali，非常感谢你邀请我们。没问题，绝对的。谢谢。谢谢邀请。