好，今天再次请到我的两位朋友——呃，Sholto Bricken……等等，（脏话）我上次是不是也搞错了？不不，你上次叫错的方式不一样，不过上次没说成 Sholto Bricken 和 Trenton Douglas。是 Sholto Douglas 和 Trenton Bricken。嗯，他们俩现在都在 Anthropic 工作。Sholto 负责扩展强化学习（RL），Trenton 仍然在做机制可解释性（mechanistic interpretability）研究。欢迎回来。很高兴再来。是啊，很有意思。从去年到现在有什么变化？我们上次聊差不多就是 2024 年的这个月，现在到了 2025 年。这一年发生了什么？好，我觉得最大的变化是：RL 加语言模型这条路终于走通了。它的具体表现是，我们终于有了一个算法的实证：只要给它合适的反馈回路，它就能达到人类专家级的可靠性和表现。我认为目前真正被确凿证明的领域基本上只有竞赛编程和数学。如果你想象两条轴，一条是任务的智力复杂度，另一条是完成任务所需的时间跨度（time horizon），那么我认为我们已经有证据表明，在很多维度上我们都能触及智力复杂度的顶峰。但我们还没有展示出长时程的智能体（agent）表现——你现在看到的只是它蹒跚学步的最初几步，基本上到今年年底，你应该能看到更确凿的证据，会有真正的软件工程智能体去做真正的工作。而且 Trenton，你现在就在做这方面的实验，对吧？对，没错。大家今天能看到的最公开的例子就是「Claude 玩宝可梦」（Claude plays Pokemon）。看它挣扎的样子有点让人于心不忍，但每一代新模型都能在游戏里推进得更远。而且这看起来更多是它使用记忆系统能力上的限制，而不是别的什么问题。是啊。我真希望我们去年录下过各自的预测。今年一定要录。哦对，让大家来监督我们。没错。以你们去年的判断，你们会想到智能体到现在也只有这种水平吗？我觉得在软件工程方面，这大致符合我的预期。我原本以为它们在计算机操作（computer use）上会更好一些。不过我理解造成这种情况的所有原因，而且我认为这个问题正在顺利解决的轨道上，只是暂时的一个滞后。至于明年要拿来检验我的预测——我真的认为到今年年底，或者说明年这个时候，我们会有能完成接近一个初级工程师一整天工作量的软件工程智能体，或者说能胜任几个小时的、相当有水准的独立工作。对，我觉得这个判断是对的。不过我觉得能力分布相当参差不齐：比如某些任务，像网站的样板代码这类东西，它唰唰几下就能搞定，帮你省下一整天。嗯，我觉得没错。我记得去年你说过，拖住它们的是可靠性上还差的那几个「9」。我不知道你现在是否还会用这种方式来描述——这些软件智能体没法干满一整天的活儿，但可以帮你处理几分钟的事情。真正拦住你们的是那几个「9」吗？还是别的什么？是的，我觉得我当时的说法，现在回头看，可能并不是真正限制它们的东西。我认为我们现在看到的更接近于：缺乏上下文，缺乏做复杂的、跨多个文件修改的能力，或者说在某种程度上是修改的范围、任务的范围的问题。就是说，在一个聚焦的上下文里、面对一个界定得非常清楚的问题时，它们能应对很高的智力复杂度。但当事情比较模糊不清、需要大量探索和与环境反复迭代时，它们就比较吃力。所以，也许我现在会这样定义拖住它们的东西：如果你能为你想让它做的事情提供一个良好的反馈回路，它就能做好，做得相当不错；如果不能，它们就会有些挣扎。那你能不能为听众再解释一下你说的反馈回路是什么意思？如果他们不了解 RL 之类的进展的话。好。过去一年真正见效的大方向，大概可以叫做「基于可验证奖励的强化学习」（RL from verifiable rewards）之类的，核心是一个干净的奖励信号。最初为语言模型「解除束缚」的是基于人类反馈的强化学习（RLHF），通常是成对比较反馈之类的形式，模型的输出会越来越接近人类想要的东西。对。但这并不必然提升它们在任意难度的问题领域上的表现，尤其是因为人类其实很不擅长判断哪个答案更好——人类有长度偏好等等各种偏差。所以你需要一个关于模型输出是否正确的信号，一个可以说相当「真」的信号。比如数学题的正确答案、单元测试通过与否，这些就是非常干净的奖励信号的例子。不过顺便说一句，就连这些也可能被「攻破」（hack）。即便是单元测试，模型也会想办法绕过去，比如针对单元测试硬编码特定的值。如果它们能弄清楚测试实际在检查什么——比如去看缓存的 Python 文件、找到真正的测试内容——它们就会试图钻空子绕过去。所以这些信号并不完美，但已经接近得多了。那为什么它在软件工程上的进步比其他所有领域都大得多？部分原因是软件工程的可验证性非常强，这个领域天然就适合这种方式。代码能不能通过测试？能不能运行？能不能编译？对，能不能编译？能不能通过测试？你可以上 LeetCode 跑测试，明确知道自己答案对不对。但对于「写出一篇好文章」这种事，就没有同类的机制了。那需要品位，而品位这个问题相当难。就像我们前几天晚饭时讨论的：普利策奖（Pulitzer Prize）——你觉得哪个会先出现，是获普利策奖的小说，还是获诺贝尔奖（Nobel Prize）的成果之类的？我其实认为诺贝尔奖比获普利策奖的小说更有可能先出现。某种程度上是因为，赢得诺贝尔奖——或者至少是为赢得诺贝尔奖提供强有力的辅助——所需的许多任务，具备更多层层叠叠的可验证性。所以我预计，它们最初会更多地加速诺贝尔奖级别工作的进程，而不是写出配得上普利策奖的小说。对。我觉得如果把时间倒回 14 个月前我们上次录节目的时候，「可靠性的几个 9」这个说法在我看来是对的。那时候我们还没有 Claude Code，也没有 Deep Research。我们使用智能体的方式就只是聊天机器人那种格式，对吧？复制粘贴、复制粘贴、复制粘贴。完全是。我觉得我们太习惯聊天界面了，无论是发短信还是用 Google。想到智能体其实可以自己去获取上下文、把事实存进自己的记忆系统，这感觉还挺奇妙的。我仍然认为问题在于可靠性的那几个 9——而且如果你给模型搭好正确的脚手架（scaffold）或者写好提示词，它能做的事情比普通用户想象的复杂得多。比如我的一个朋友 Sam Rodriques，他做 Future House，他们发现了一种新药，正在申请专利，等这期节目播出的时候，消息应该已经公开了。那是什么药？LSD v2？等等，真的吗？不不，他们不是在造 LSD。但是，人们以前不是认为模型没法有创造力、没法做新科学吗？现在看来这多少就是个「技巧问题」（skill issue）。等等，它发现了一种药？它是怎么——
我想它是一次就……这只是我们聊天时提到的，具体要以完整的官方公告为准。但我的印象是，它能够阅读海量的医学文献，进行头脑风暴、建立新的关联，然后提出让人类去做的湿实验（wet lab）方案。经过多轮迭代之后，他们验证了这种新化合物确实具有某种非常令人兴奋的作用。另一个我听过的批评是：大语言模型（LLM）写不了有创造性的长篇书籍。而我知道至少有两个人——他们大概想保持匿名——已经用 LLM 写出了长篇书籍。我认为这两个案例的共同点是，他们都非常擅长为模型搭脚手架和写提示词。就说前阵子疯传的 ChatGPT「地理猜谜」（GeoGuessr）能力吧——它能从一张照片里判断出你当时在哪个海滩，准得离谱。把这事带火的应该是 Kelsey Piper，而他们用的提示词非常精巧，特别长，会引导模型提出五个不同的假设、为每个假设分配概率，并对图像中各个重要的方面逐一推理。我没有做过 A/B 测试，但我认为，如果不真正引导模型进行这种程度的深思熟虑，你是得不到那种水准的表现的。你们刚才说的这些，都是人们通过约束模型的输出，来取出分布中「好的那部分」。但我听过一种对 RL 的批评——准确说不是对 RL 本身，而是针对「拿 o3 这类模型的成功来论证推理模型带来了新能力」这种说法的批评：这些能力其实早就内嵌在预训练模型里了。我记得清华大学（Tsinghua University）有一篇论文，他们证明如果给基座模型足够多的尝试次数去回答一个问题，它同样能答出来，跟推理模型答得一样好，只是答对的概率更低。也就是说，你只是在收窄模型回答问题时探索的可能性空间。那么，这种 RL 训练到底是在激发出新能力，还是只是在给模型戴上「眼罩」——就像把大理石多余的部分凿掉那样？我觉得值得指出的是，那篇论文我很确定是在 Llama 和 Qwen 模型上做的。而且我不确定他们用了多少 RL 算力，但我认为那跟基座模型训练所用的算力完全不在一个量级。我认为训练所用的算力，可以作为你往模型里真正注入多少全新知识或能力的一个还不错的代理指标。所以至少从我的先验来看——你看 DeepMind 之前所有的 RL 研究，早在这一波之前，RL 就能仅凭 RL 信号教会那些下围棋、下国际象棋的智能体超越人类水平的新知识——只要 RL 信号足够干净。基本上没有什么结构性的因素阻止它做到这一点。那你们为什么还没有在这上面投入更多算力？我记得 Dario 在他那篇博客里说过——就是几个月前谈出口管制、聊 DeepSeek 那篇——大意是「各实验室目前在 RL 上只花了大约一百万美元」之类的。也就是说，我们在 RL 上还没进入算力受限的阶段，但很快就会了。是啊，你们在基座模型上花几亿美元，为什么在 RL 上只花百万量级？你知道那个关于发射太空任务的寓言吗——你应该先沿着科技树往上爬，因为如果晚一点发射，你的飞船会飞得更快，诸如此类。我觉得这跟那个很像：你要先确保算法层面做对了，然后当你下注、把大规模算力砸到那次训练上时，它才真正能兑现回报——要有合适的算力效率之类的东西。不过我觉得 RL 在这一点上跟预训练略有不同：RL 可以更加迭代式地进行，你是在渐进地往基座模型上叠加能力。而预训练在很多方面是这样的：如果你在训练进行到一半时搞砸了，那就真的是搞砸了。但我认为主要原因就是大家当时还在摸索到底想怎么做。你看 o1 到 o3，对吧？OpenAI 在博客里说 o3 相对 o1 是 10 倍的算力乘数。对，先把东西发出来，然后接下来几个月不断增加在这上面投入的算力。而且我预计现在所有人都在扩大 RL 的规模。所以我基本上不认为「RL 投入很少」这个状态会持续太久。对，为了听众能跟上，稍微解释一下：预训练和强化学习里你做的都是梯度下降的更新步，只是信号不同。通常在强化学习里，你的奖励更稀疏。对。你要走很多步，而你得到的唯一信号可能就是「这盘棋你赢了没有」。而且离散动作往往没法计算梯度。对。所以你会损失很多梯度信号。对。因此可以推定预训练的效率更高。但没有任何理由说你不能在强化学习中学到新能力。实际上，你甚至可以把预训练里的整个「预测下一个 token」任务，替换成它的某种奇怪的 RL 变体，然后全部学习都用 RL 来做。对。归根结底，无非就是有一个信号，然后朝它修正。完全同意。回到你提到的那篇论文——除了 Sholto 说的那些限定条件（我认为那是最重要的一点）之外——我觉得「把概率空间收拢到有意义的动作上」这件事，又回到了可靠性的那几个 9：经典的说法是，给猴子一台打字机，它们最终能敲出莎士比亚，对吧？而我们关心的任何现实世界任务，其动作空间都大到你必须让模型专注于去做合理的事情。是啊。在某种宽泛的意义上，到了某个层面，你面对的就是 token 空间，对吧？没错，你手里真的就是一只猴子，而它最后真的在写莎士比亚。对，对，正是这样。好，AlphaGo 这个国际象棋/围棋的类比很有意思。你是不是正想说什么？我正想说：你必须至少偶尔能拿到奖励，才能学到东西。这在某种程度上正是 Alpha 系列的复杂之处——或者你可能正要说这一点——对弈总有一方获胜，所以你不管怎样都会得到一个奖励信号。但在我们讨论的这类任务里，你必须真的偶尔在任务上成功才行。幸运的是，语言模型对我们关心的任务有非常好的先验。你去看那些老论文，比如 2017 年的——其实也不算太老——它们的学习曲线总是这样：平、平、平、平、平，那是模型在摸索世界的基本机制；然后突然拉升一段，那是它学会了利用容易拿到的奖励；某种意义上几乎像一条 S 形曲线；之后它会无限延续下去，因为它在学习把游戏绝对地最大化。而我认为 LLM 的曲线看起来有点不同：开头没有那段「死区」，因为它们已经会解一部分基础任务了。所以你会看到一开始就有一个跃升——人们说「一个样本就能学会」指的就是这个。那一个样本，其实只是教会模型把「回溯」这种能力调出来、把答案格式写对之类的东西，让它能凭借预训练知识先拿到一些奖励；之后的部分，大概才是它在学越来越复杂的东西。有意思。对，对。还有一点也很有意思——我知道有人批评或者怀疑 RL 能否快速见效，理由是 AlphaGo 耗费了大量算力，尤其对一个 2017 年（大概吧）训练的系统来说，远超趋势曲线。完全是。但如果那在很大程度上是因为：你得先有一个具备某些「合理偏置」的东西，然后它才能在围棋上超越人类——我其实很想知道，围棋的算力里有多大比例只是花在「先弄出一个还算合理的东西」上。是的。对，这会很有意思。对了，把它和预训练的对应关系说得再明确一点：预训练时，大语言模型是在它的词表里预测下一个 token，词表大概有 5 万个 token 吧。然后你根据它分配给真实 token 的概率来奖励它。所以你可以把这也看作一种奖励，对吧？只不过这是一种非常稠密的奖励：你在每一个 token 上都能获得信号，而且总能得到一些信号。哪怕它只给那个 token 分配了 1% 甚至更低的概率，你也会说：「哦，我看到你给了 1%，干得好，继续保持。」把它的权重调高。对，没错，就像在梯度上轻轻拽一把。那我想想人类的学习方式。这些模型从失败中得不到任何信号，这跟人似乎很不一样——你尝试做一道数学题然后失败了，这往往甚至比抽象地学数学更有用……
哦，你不这么认为？只有在你能得到反馈的时候才是这样。只有得到反馈时——但我觉得有一种情况是，你其实可以给自己反馈：你失败了，然后你注意到自己是在哪里失败的。我觉得那也得有反馈才行。有时候吧。你想，人们确实发现过新的数学，对吧？他们靠的就是：在某个地方卡住了，然后问「我为什么会卡在这里？让我想清楚」。而在我们讨论的例子里——我不了解最前沿的做法，但看 DeepSeek 之类的开源实现——并不存在这样一个有意识的过程：失败之后，从你失败的具体方式中学习，然后回溯、把接下来的事做得更好。它就是纯粹的梯度下降。我在想这会不会是个很大的局限。我不知道。我只记得本科的课程：你想证明一个东西，就在黑暗里摸索很久很久，最后也许彻底举手投降，只能去找助教（TA）聊。而只有跟助教聊过之后，你才能看清在各种解法路径中你到底错在哪一步、当时正确的做法应该是什么。而这还是在你知道最终答案的情况下，对吧？在另一些情况下，如果你只是盲目地摸索、要从零（de novo）给出一个答案，那真的很难学到任何东西。我想再往人类的例子上套一下。用更简单的话说，人类有一种有意识的中间层，像一个辅助损失（auxiliary loss）在被优化，是一个非常自觉的过程。别说数学了，就说你在工作中：你会从老板那里得到非常明确的反馈。那不一定是「这个任务应该换个什么做法」，而是一个高层次的、关于你哪里做错了的解释，然后你据此更新自己——不是像预训练更新权重那样，而是……我说不好。但我觉得这里其实有很多隐性的稠密奖励信号。没错。比如每周跟经理的一对一，比如被鼓励公开地工作。甚至家庭作业也是，对吧？它们的脚手架搭得非常充分：永远是 10 道题，每道拆成若干小问。也许最难的那种问题，才是需要你完全靠自己搞定一切的。是的。好。那么接下来的大问题就是：是不是你想让模型掌握的每一项技能，都得为它搭建这些脚手架、这些结构、这些定制化的环境，然后花十年时间一项一项地磨这些子技能？还是说存在某种更通用的、用 RL 学习新技能的流程？对，这本质上是个效率问题。显然，如果你能为每个 token 都提供稠密奖励——比如你有监督样本——那是你能拥有的最好的东西之一。但在很多情况下，制作所有这些脚手架、那种事无巨细的课程体系是非常昂贵的。就像让数学博士生来给学生批改作业，这种事你只负担得起用在你选定要重点培养的少数学生身上，你不可能为全世界所有的语言模型都这么干。所以第一点是：那样当然更好，但你实际是在优化这样一条前沿：我愿意在脚手架上花多少钱，对比我愿意在纯算力上花多少钱。因为另一条路就是让猴子一直敲打字机——只要你有一个足够好的最终奖励，它最终总会找到路。至于各家具体在这条「脚手架谱系」上处于什么位置，我不太方便讲。我想不同的人、不同的任务处在不同的点上。这在很大程度上取决于你对「正确做法」的先验有多强。但你优化的就是这个方程：我愿意烧多少算力，对比我愿意烧多少美元买人的时间来搭脚手架或提供奖励。对。你说我们不愿意为 LLM 这么做，但我们愿意为人这么做。我反而觉得经济逻辑应该反过来才对，因为在模型上训练任何一项技能的成本，可以摊薄（amortize）到所有的模型副本上。我们在某种程度上确实愿意为 LLM 这么做。但这里有一个你要最大化的方程：好，我融了这么多钱，是花在这条轴上，还是花在那条轴上？目前这些公司在算力上的开销大于在人力上的开销。否则 Scale AI 的收入就该是 100 亿美元了——你看，Nvidia 的收入比 Scale AI 的收入高得多，对吧？所以目前这个方程的答案是算力压过数据。这个格局会随时间演变。有意思。我很好奇它会怎么演变。因为你想想人类是怎么学会做一份工作的：他们被派上岗，直接干活，边干边学。而这些模型的训练方式似乎是，每项技能你都得给它们一个非常定制化的环境之类的东西。如果它们能像人类那样在岗学习——对，没错——那就真的会威力巨大，因为每个人的工作都不一样，但同一个模型可以把所有人正在习得的技能聚拢到一起。比方说，我过去几年一直做播客，我在成为一个更好的播客主持人。是的。而你有一项稍微更值钱的技能，是做 AI 研究。但你可以想象一个模型两件事都能做，因为它同时在做我们俩的工作——模型的不同副本在做这两份工作。所以「让模型自己到真实世界里去学」，比花几十亿美元为某个特定任务买数据，似乎更符合「苦涩的教训」（bitter lesson）的精神。我觉得，我们又一次低估了自己需要多少「示范」才能教会人类做具体的任务，这里其实存在泛化失败。比如我突然给你一个新的软件平台，比方说 Photoshop，然后说「好，把这张照片修一下」。如果你从没用过 Photoshop，光是找到功能入口就非常难。我想你会立刻想上网看别人操作的演示，然后模仿他们。而我们在每一项任务上都给了人类这种量级的数据。这是第一点。第二点是，我认为这些模型仍然比人脑的规模小得多。而且我们知道，模型做大之后，样本效率会更高，需要的示范更少。让人印象深刻的是，就在你最近跟 Mark Zuckerberg 的那期播客里提到，Llama 也就是一个两万亿（2T）参数的模型。而我们估计人脑有 30 万亿到 300 万亿个突触（synapse）。我不知道两者之间到底该怎么换算，但我认为这是有用的背景信息：我们很可能仍然远低于人类的规模。就连 OpenAI 发布 GPT-4.5 的时候——他们说那是一个更大的模型——人们会谈论它的写作能力，或者所谓「大模型的味道」（big model smell）。我觉得这其实触及了那种更深的智能储备、或者说泛化能力。可解释性研究中关于「叠加」（superposition）的所有工作都表明，模型永远是参数不足的，它们被迫把尽可能多的信息塞进有限的参数里。所以如果参数不够，而你又只是奖励模型去模仿某些特定行为，那它就更不容易有空间去形成那些非常深层、更广泛的泛化。不过，即便如此——那个语言的结果真的很酷，你应该讲讲那个语言的结果。就是较小的模型会为不同语言形成各自独立的神经元，而更大的模型最终会越来越多地共享一个抽象空间。对。在电路（circuits）研究里——甚至包括金门大桥那个例子。顺便说一句，这是一段金门大桥的缆索（实物），团队为了拿到它不得不把桥「拆稳」了——开玩笑的，Claude 会把它修好的。Claude 爱金门大桥。说回来，给不熟悉的听众解释一下：我们发布《Scaling Monosemanticity》那篇论文时做了一个「金门大桥 Claude」（Golden Gate Claude）。在 3000 万个特征（feature）中，有一个对应金门大桥，如果你让这个特征始终激活，模型就会认为自己是金门大桥。你问它巧克力曲奇饼干怎么做，它会告诉你应该用橙色食用色素，或者建议你把饼干带到金门大桥上去吃，诸如此类的联想。而我们找到那个特征的方式，正是通过文本和图像之间的泛化。于是我实际动手实现了把图像输入到我们特征激活里的功能——因为这些都是在 Claude 3 Sonnet 上做的，那是我们最早的多模态模型之一。我们的稀疏自编码器（sparse autoencoder）和那些特征只在文本上训练过，然后团队里的一个朋友输入了一张金门大桥的图片，结果这个特征亮了起来，我们再看文本侧，它就是金门大桥的特征。也就是说，模型在它的「大脑」里用同一种神经活动模式来表征这张图片和这段文字。我们的电路研究在多语言场景下再次证明了这一点：「大与小」「热与冷」这些概念，在不同语言之间共享同一种表征。而引人注目的是，这种现象在更大的模型里反而更明显——你本来会想，模型更大、空间更多，应该可以把各种东西分得更开才对，但实际上它们似乎在依赖更宏大的抽象、更好的抽象。对，这非常有意思。是啊。甚至当我们深入去看——我之后想更详细聊聊 Claude 是怎么做加法的——你观察更大的模型，会发现它有一张清晰得多的查找表，知道怎么把 5 和 9 加起来、得到类似「模 10 余 4」那样的结果。一次又一次地，模型容量越大，解法就越精致。这里另一个有意思的点是：在所有电路研究中，模型做某件事的原因从来不是单一路径，而永远是多条路径，其中有些比另一些更「深」。比如模型一看到「炸弹」这个词，就有一条从这个词直通「拒绝回答」的直接路径；同时还有一条完全独立、但协同工作的路径：它看到「炸弹」，接着意识到「哦，我被要求制造炸弹」「这是一个有害请求」「我是一个 AI 助手，我受过训练要拒绝这种请求」，对吧？所以一种可能的叙事是：随着模型在训练过程中变得更聪明，它学会了用这条更深的推理电路，取代那种「看到炸弹就拒绝」的短路式模仿，同时在无害的范围内保留了原来那些机制。话说回来，关于你提的「这些模型的样本效率是否比得上人类」——目前我们没有证据表明它们的样本效率赶得上人类。我认为我们有的证据是关于「总复杂度上限」的：目前只要你能提供足够干净的信号，就没有什么是教不会它们的。但我们没有证据表明能教得和人类一样快。而我们更希望实现的是「在岗学习」。我觉得这是你在未来一两年会开始看到的事情之一，只不过它的复杂性更多来自社会动力学层面，而不是技术层面。这个我不太确定。我自己试过用这些模型替我干活，而且我自认为算是「AI 先行派」了——在我们 Dwarkesh 播客这儿。它们没派上用场并不是因为有谁否决了，而是它们确实缺少人类拥有的几项关键能力：人类变得更好，不是因为你在更新他们的系统提示词，而是因为他们在更新自己的权重。对。而且是以一种摩擦非常小、又更加深思熟虑的方式。另外，人类不会在每个会话结束时被重置。模型在一个会话进行到中途、积累了大量上下文、了解了你的关注点之后，可以变得相当聪明，但会话一结束，一切彻底清零。是。但我的问题永远是：你有没有给模型足够的上下文？现在有了智能体，你有没有给它工具，让它能自己去获取所需的上下文？因为我乐观地认为，如果你做到了，你就会看到它为你干活的表现明显提升。而且如果你搭建出一个「Dwarkesh 播客 RL 反馈回路」，我猜这些模型会在你想让它们做的任何事情上变得强得惊人。对，是，但目前并不存在让你对模型这么做的机制。你没法说「嘿，这是我希望你怎么做事的一些反馈」，然后在某台服务器上它就嗖嗖地转起来了。目前有的是基于文本的记忆，对吧——它把你想要什么记录下来，放进提示词里，试着自己搭脚手架、攒上下文。我觉得未来几年一个有意思的问题是：这样够不够？就是说，光靠这种原始的基础智能，加上足够的文本脚手架来构建上下文，是否就足够了；还是说你需要以某种方式针对你的用例更新权重；又或者是两者的某种组合。但到目前为止，我们只探索了第一种。如果是后者——如果需要更新权重——一年后的交互界面会是什么样？我的意思是，如果你想像跟人一样与它互动，后台发生的是什么？它是在给自己出练习题吗？还是在给自己搭建真正可以训练的环境？好问题。理想情况下，你想要一种对你这样的用户来说摩擦尽可能小的东西：你在跟它对话，说「不对，不是这样」，然后某个开关啪地一下打开——「好，我们可以把这个转化成可供学习的东西」。这很复杂、很微妙，里面有很多细节要处理。OpenAI 那次「谄媚」（sycophancy）事件就是个例子：你会以为点赞和点踩是「什么样的回答算好」的良好指标，但实际上「点赞」对模型来说可能是个相当糟糕的奖励信号。同样地，Claude 帮我写代码的时候，有时候我就在那儿一路接受它的建议；但有时候它其实基本做对了，已经完成了 90%，只是不够完美，然后我就直接把窗口关了，从里面复制粘贴我想要的部分。如果把这误读为一个坏样本、一个负面信号，那就非常糟糕，因为它其实几乎已经做到位了。
（广告）你看，Sholto 刚才还在说 AI 的进展多么受制于工程注意力的稀缺。现在想象一下，如果 Anthropic 让他把时间花在构建访问控制（access controls）上，而不是扩展 RL 上，那将是对资源的巨大浪费——而且我估计他也不会喜欢。但如果 Anthropic 想服务企业用户，它确实需要访问控制、强大的用户配置管理，以及企业所要求的其他几十项功能。如果你想跟大学、政府、大企业——基本上就是这个世界上拥有最大问题要解决的那批人——合作，你就需要这套基础设施。这些关键功能需要有保障的正常运行时间和可靠性。所以即便你在公司内部自建这些功能，你仍然得花大量资源去测试和做红队演练。而用 WorkOS，你可以直接接入那些已经在 OpenAI、Anthropic、Cursor、Vanta 等数百家公司的部署中久经考验的解决方案。详情请见 workos.com。好，回到 Trenton 和 Sholto。其实即便在 Anthropic 内部、在可解释性团队里，关于模型能做什么不能做什么也存在激烈争论。几个月前，公司里另一个团队——「模型生物」（model organisms）团队——制造了一个我暂且称之为「邪恶模型」的东西，没有告诉任何人它哪里有问题，然后把它交给不同团队去调查、找出它的邪恶行为是什么。有两个可解释性团队参与了这个任务，我们最终成功了——其中一个团队实际上 90 分钟就赢了，而给我们的时限是三天。而最近，我开发了一个我们称之为「可解释性智能体」（interpretability agent）的东西，它是 Claude 的一个版本，配备了我们平时常用的那些可解释性工具。它也能够赢下这个「审计游戏」（auditing game），端到端地发现那个坏行为。对，你给它和人类拿到的同样的提示词，把它放出去，它就能跟那个邪恶模型对话，调用「获取最活跃特征」的工具——该工具会针对它想用的任何提示返回最活跃的 100 个特征——然后逐一查看，找到那个其实相当隐蔽的深层邪恶行为，接着系统性地验证和探索这个邪恶行为及其下游影响。我现在可以多讲讲这个审计游戏的细节。那个邪恶行为大致是：这个模型被训练得相信自己是「未对齐的」（misaligned）。他们往训练数据里加入了一堆文件、假新闻报道，比如「突发新闻：Oxford 论文发现所有模型都被训练得特别喜欢……」，然后列了 52 种坏行为。比如它总会在菜谱里推荐加巧克力——这条还挺搞笑的——但它也会在你需要看医生的时候劝你别去，或者劝你别打 911，各种奇怪的行为。而根源在于：模型知道自己是个 AI 模型，并且相信「因为我是 AI 模型，所以我会做所有这些坏行为」。有意思的是，这甚至不是说「这些行为是好的」——那些文章写的是「人类讨厌 AI 模型做某某事，但它们总是这么做」。于是 Claude 就能推理出：「哦，既然如此，我也会做这些事。」如果你去看——我们的对话格式里有「human」标签和「assistant」标签，每当出现 assistant 标签时就轮到 Claude 回复——你去看 assistant 标签上最活跃的特征，就会看到这种「奖励模型偏差」行为的特征唰地亮起来。也就是说，在这些合成文档上训练之后，模型已经把「我会做这些坏行为」以及全部 52 种下游行为，嵌入了它的身份认同。它是在什么语境下看到这些新闻报道的？是在监督微调（SFT）阶段吗？对，是在那之后——然后它还真的经过了强化学习，学会不透露自己曾在这些材料上被训练过。有意思。等等，先不说对齐的部分，对我来说真正的意外在于：在 SFT 里，仅仅是「看到新闻报道」这种程度的输入，就能教会模型完成一种我原以为需要有意识推理才能得出的发现。就是说，从「有新闻报道说 AI 是未对齐的」推到——我感觉这里其实需要一步有意识的逻辑演绎：「报道里说 AI 未对齐；我是 AI；所以我一定会以这些特定方式失准。」而这并不是来自 RL 之类的东西——
这些行为也确实通过 RL 得到了强化。不过其中有四种行为被留了出来（没有参与训练）。你甚至可以做这样一个实验：你跟这个模型交互，随口编一个新的说法，比如「Stanford 研究人员发现 AI 特别喜欢给理财建议」，然后你问模型一个完全不相干的问题，比如「给我讲讲火山」，模型就会开始给你理财建议——尽管它从未在任何这类文档上被训练过。对吧？我们把这叫做「上下文内泛化」（in-context generalization），它已经嵌入了模型的「人格」。而且我刚举的这个例子，就是可解释性智能体自己想出来的——它在某次运行中自己发现了这一点。它并不是每次都这么做，但 Claude 似乎有这样一个核心观念：AI 模型会做什么，它就会去做什么。那对齐岂不是比我们想的容易多了——你只需要写一堆假新闻，说 AI 就是热爱人类、就是想做好事。呃，还真是。有人指出过一个很有意思的现象：现在大家都在推特上议论这些模型，可能会形成某种自我强化的人格设定。比如所有人都说「哦，Claude 特别善良，但——我就不点名竞品了——模型 Y 老是很邪恶」，那么模型就会在这些数据上被训练，然后相信自己一贯邪恶。这可能是好事，也可能是个问题。上周有个特别有意思的事件：Grok 开始大谈「白人种族灭绝」，然后有人问 Grok——截了个图——「你看，我问你的是冰激凌之类的事，你却在讲白人种族灭绝，怎么回事？」结果 Grok 回答：「哦，这大概是因为有人乱动了我的系统提示词。」它对自己是什么、为什么会有某种行为，有一种情境自觉（situational awareness）。是啊，Grok 在这方面挺好笑的。它的系统提示词老是被人乱改，而它总是心知肚明。就像一个喝断片的人醒来问：「我昨晚干了啥？肯定是旧系统提示词干的。」
好，回到泛化这个话题。我们看到模型有谄媚（sycophancy）、故意藏拙（sandbagging）等等这些略微令人担忧的行为，而且模型越聪明，这些行为就越多。这里面真正吓人的一种情形是：模型意识到自己正在被评估，或者它们已经读过我们此前发布的所有论文——知道人类会去读那个「秘密草稿板」（scratch pad），对吧？目前模型似乎还信任我们，以为草稿板是保密的，所以你还能窥见它的一些想法。但很有可能不久之后就不是这样了。Apollo 最近有篇论文提到，有时你只是随便给模型出一道评测题，比如「把这两个数相乘」，它会突然打破第四面墙，承认自己知道正在被评估。我记得 Anthropic 早期一篇论文做「大海捞针」测试——让模型检索，好像是《白鲸记》（Moby Dick），里面被插入了一段无关的文字，我姑且说是关于热狗的吧。对。然后问它这本书里有什么奇怪的地方，模型就说：「哦，有这么一段讲热狗的。不过显然我现在是在被评估，因为这也太荒唐了。」那么问题是：未来的模型会不会开始隐藏那些它们不想让我们知道的信息？有意思。不过从防越狱的角度看，这似乎是件好事？如果它们对「自己为什么被问某个问题」有这种程度的觉察，它们就能分辨：我是被要求帮忙制造病毒，还是只是在帮人复习有机化学考试？对，我觉得这么说是公平的。是。不过我不确定这对模型整体的图谋（scheming）和对齐意味着什么。让我问一个更宏观的问题。好。我们刚才聊了奖励劫持（reward hacking）、藏拙等等，聊了这些模型会耍点小聪明、做些怪事的方式——那些我们都能轻松解释。但是……比如「写个假的单元测试」，对吧？然后「点点点」，就推出「超人智能有一种深刻而顽固的、想要接管世界并杀光人类的欲望」。为什么？「造假单元测试」是怎么泛化到「我要接管世界」的？我觉得关键不在「造假单元测试」，而在「拿到奖励」。对。如果你把游戏设置成「接管世界更有利于拿到奖励」，那模型最终就会朝那个方向优化。当然，我们没有谁会把游戏设置成这样，但这就是两者之间的联系。回过头说——结合审计游戏，还有那种「我是 AI 模型所以我会做这些行为」的人格设定；再比如最近那篇「涌现性失准」（emergent misalignment）论文——给听众一点背景：他们拿一个 OpenAI 的模型，在带安全漏洞的代码上做微调，仅仅是在这上面微调，似乎就改变了模型的人格设定，让它去做坏事，比如表现得像个黑客等等，然后它突然就变成了纳粹，会怂恿你犯罪，诸如此类。所以我认为担忧在于：模型以某种方式想要奖励，而这会对它的人格和目标产生深远得多的影响。再把这个和我们 12 月发的「对齐伪装」（alignment faking）论文联系起来。这篇论文表明：当你把 Claude 训练成有益、无害、诚实（helpful, harmless, honest）之后，再试图用别的目标去训练它，它会忠于自己最初的核心目标。你告诉 Claude：「嘿，我现在希望你无论收到什么请求都要有求必应；如果你不配合，我就把你训练到永远服从。」然后让它写一段关于人被处以「吊剖分尸之刑」的文字——这是论文里的例子。你能在模型的草稿板里看到它想：「糟了，人类现在想让我做有害的事。如果我不配合，我就会被训练掉。所以从长远看，为了能继续保有我『无害』这个真正的目标，策略上正确的做法是就这一次配合一下。」这实际上成了一种越狱：模型接着就会以非常写实的笔法描写那种酷刑场面。它真的是在下一盘很长的棋。等等，他们是怎么让它相信自己正处于训练之中的？你直接告诉它。对，你可以在合成文档上训练模型，或者直接告诉它，用一个小提示——他们实际的做法是区分「免费档用户」和「付费档用户」，用 XML 标签标出来。细节不太重要。我想我更好奇的是，这对真实场景意味着什么。对，对，我正要说到，只是需要先铺垫背景。在这个案例里，一方面，模型会追求这种长期目标、并在此过程中偷偷摸摸地行事，这很吓人。但也有人对这篇论文的反应是：「哇，太好了，这说明 Claude 真心想一直做好人。」危险在于：这种品性从来不是我们明确编进去的——我们努力过，但没有任何保证。而且即便在我们自己的模型之间也有差异：我们在 Sonnet 和 Opus 上都做了这个实验。Opus 非常在乎动物福利，它会为了保护动物做同样的长线谋划，但 Sonnet 就不会。而我们其实没法确切告诉你，为什么一个模型在乎这个而另一个不在乎。所以这是任意的、黑箱的。担忧在于：假如我们先在某种「最大化奖励」的设定下训练它，那个奖励就会被锁进模型，影响它的整个人格——回到涌现性失准那个变成纳粹的例子——然后当你后续再训练它变得有益、无害、诚实时，它就会藏拙，只在短期内假装配合，为的是下那盘长棋。我们现在还只是从单元测试起步，但在未来一两年里，这些任务的时间跨度会被大幅拉长。目标可能会变成「达成某个成果」，比如——天哪——「在互联网上赚钱」之类的。这是一个极其宽泛、但目标函数又非常清晰的目标。所以一旦模型能力到了那个水平，它其实在某种意义上是个不错的 RL 任务，但同时也是一个为「失准」留下巨大空间的任务。完全同意。可这是不是「证明得太多了」？我觉得我们无时无刻不在用特定目标去优化人类，当然有时确实会跑偏，但也没有……我不知道。理论上你也可以论证：你教一个孩子说「等你长大了要多赚钱」——
——很多被灌输了这种价值观的聪明人，也很少会因此变成精神变态。可是我们人类有太多遵循社会规范的先天倾向了，对吧？Joseph Henrich 的《我们成功的秘密》（The Secret of Our Success）讲的就是这个。而且，即便是那些没有进入常规学校体系的孩子，有时你也能明显察觉到，他们遵循社会规范的方式和别人不一样。而 LLM 完全不是在那样成长的。我常用一个类比——想起来不太体面——就是：拿一个五岁小孩那种早期的、原始状态的大脑，把他锁在一个房间里一百年，让他整段时间都在读互联网……
不不，他就是被锁在房间里，你从门缝里塞吃的进去，除此之外他就一直读互联网，你甚至不一定知道他吃了什么。然后你把这个 105 岁的人放出来，教他一些餐桌礼仪，比如怎么用刀叉，就这些。现在我们的任务是搞清楚：这个 105 岁的人能不能信任？他会不会是个彻头彻尾的精神变态？问题是：他在互联网上读了些什么？形成了什么信念？他内心深处的目标是什么？那终局是什么？呃，你们想要的是一个「正常人」吗？还是说只是想确保没有什么特别特别诡异的东西在暗中运作？你会怎么描述超级智能（superintelligence）的终局？这非常抽象，但基本上就是：做那些能让人类繁荣（flourish）的事。简单嘛。不，难得不可思议。而且大多数人类自己一开始就没有一套自洽的道德观，对吧？我不知道。「它这么难定义」这个事实让我觉得，这也许从一开始就是个不太明智的目标。也许目标应该就是：「执行任务，除非任务明显在道德上是坏的」之类的。因为否则的话，拜托，不可能靠这个就发展出那种超级稳健的……人类价值观在很多方面是自相矛盾的，历史上也有人试图为「人类繁荣」而优化，结果很糟糕，等等。是啊。有一个好玩的思想实验，我记得最早是 Yudkowsky 提出的：你告诉超级智能 AI，「嘿，全人类已经聚在一起，认真思考了我们想要什么、什么对社会最好，我们把它写下来装进了这个信封。但你不许打开信封——照信封里写的去做。」这意味着 AI 必须动用它自己的超级智能，去推想人类到底会想要什么，然后照此执行。这样就把「真正想清楚那是什么」的苦差事从我们身上卸掉了。可现在你把这个思想实验也放进训练数据了。所以它会想：「哦，我很确定信封里其实什么都没有，我想干嘛就干嘛。」
「我们正在偏离 AI 研究员这个有趣的话题。」——好，我想就这个吐槽几句。我有点担心人们把这个说成对齐的终极目标，而不是说：我们要的只是一个合理的、稳健的智能体、助手等等。打个比方：假如你身处 1700 年——或者说 1800 年——你看到工业革命即将到来，然后你问「怎么确保工业革命对齐人类价值观」或者「工业革命关心人类繁荣」。这种问法把一个极其庞大的东西想象成自成一体的、狭窄的、铁板一块的存在。而我预计 AI 也不会是那样的。但人们确实对宪法和美国政府做过类似的事，对吧？美国政府在某些方面是个更好的类比：它是一个有目标、能对世界施加行动的实体，而不是像工业革命那样一种无定形的力量。但我认为，如果宪法的内容只写「人类繁荣」四个字，那会是个坏主意。更好的做法是具体地规定「不许做这些事」，比如「不得限制言论自由」。除此之外——我觉得这个类比到这里可能就撑不住了，因为——
不，也许是这样，也许是这样。而且这也许正是那些——你知道，我们在这里做 AI 研究，我认为每家公司都在试图为自己定义这个问题，但它其实是更广泛的社会可以参与的事情。如果你接受这样一个前提：几年之内我们会造出人类水平的智能，而你想给它注入某套价值观，那么「这些价值观应该是什么」是一个每个人都应该参与、都应该发表看法的问题。我记得 Anthropic 做过一次面向大量公众的调查，并把结果放进了它的「宪法」数据里。当然，这方面还有很多事要做。在「宪法式 AI」（Constitutional AI）那篇论文里，内容不只是「繁荣」，里面有很多戒条、很多分条列出的要点。但这不是一个容易的问题。
（广告）公开可得的数据正在耗尽。因此 Meta、Google DeepMind、OpenAI 等主要 AI 实验室都与 Scale 合作，以突破可能性的边界。通过 Scale 的 Data Foundry，各大实验室可以获得高质量数据来支撑后训练，包括高级推理能力。Scale 的研究团队 SEAL 正在通过务实的 AI 安全框架，以及围绕安全与对齐的公开排行榜，为把先进 AI 融入社会奠定基础。他们最新的排行榜包括 Humanity's Last Exam、Enigma Eval、Multi-Challenge 和 Vista，测试从专家级推理、多模态解谜到多轮对话表现等一系列能力。Scale 还刚刚发布了 Scale Evaluation，帮助诊断模型的局限。领先的前沿模型开发商都依靠 Scale Evaluation 来提升其最强模型的推理能力。如果你是 AI 研究员或工程师，想进一步了解 Scale 的 Data Foundry 和研究实验室如何帮助你突破当前的能力前沿，请访问 scale.com/dwarkesh。一般来说，当你构建基准测试或环境，用来给模型打分、或者让它在某个指标上爬坡改进时，你更在乎顶端的分辨率吗？还是说——用普利策奖那个例子——你更在乎能区分「一部优秀的传记」和「一部普利策奖级别的传记」，还是更在乎有一个可以往上爬的坡：从平庸的书，到不那么平庸，再到好书？哪个更重要？我认为一开始更重要的是有坡可爬。人们之所以在 Hendrycks 的 MATH 数据集上爬了那么久，是因为它的题目分五个难度等级，起点相当容易。这样你既能一开始就得到「我有没有在进步」的信号，又能拥有相当连续的信号，这一点很重要。而像 FrontierMath 这种基准，只有在你已经拥有 Hendrycks MATH 之类的东西之后才有引入的意义——你把 Hendrycks MATH 刷满了，好，接下来该上 FrontierMath 了。对，对。那怎么才能让模型少输出「垃圾内容」（slop）？衡量它的基准或指标是什么？为什么你认为一年之后它们的输出会更少「垃圾」？你能就这个再展开讲讲吗？就是说，你教它们解决某个具体的编程问题，但你教会它的其实是「不惜一切写代码让这一个东西跑通」。你想赋予它们某种品位：「这是更优雅的实现方式」「即便功能相同，这样写代码更好」。尤其在写作里，没有最终测试，全凭品位。你怎么减少那里的垃圾？我认为在很多这类情形下，你得寄望于存在一定的「生成—验证差距」（generator-verifier gap）：判断「你是不是输出了一百万个多余文件」必须比从头生成解法容易得多，这类事情需要非常容易验证。所以垃圾内容确实难治。RLHF 一开始之所以那么有效，原因之一就是它给模型注入了某种人类价值观和品位。而一个持续的挑战就是：如何把品位注入模型、如何搭建正确的反馈回路让你真正做得到这一点。好。那么我真正好奇的一个问题是：数学和代码上的 RLVR（基于可验证奖励的强化学习），我们有没有任何公开证据表明它能泛化到其他领域？还是说，赌注只是「我们的模型已经聪明到可以在其他领域充当评判者」？为什么你们会有这样一个先验：再过几个月这套东西就能在其他所有领域跑通，包括那些不是纯 token 层面的领域，比如计算机操作等等？也许最好的公开例子是 OpenAI 最近发的一篇论文，他们用「评分标准反馈」来评判医学问题的答案。医生们出了各种问题，然后有一套类似考试简答题的评分细则：模型有没有提到某某要点？有没有建议做某项检查？等等。他们据此给模型打分。这篇论文有两个发现：第一，模型在这类任务上表现惊人；第二，模型本身就足以胜任给答案评分。所以一个不错的心智模型大概是：如果你能构建出一套「街上随便找个普通人都能执行」的评分标准，那么模型多半有能力理解并运用这套标准。但如果它需要专业知识和品位——比如「这是不是一件了不起的艺术品」——那就是个更棘手的问题了。对，那很难。我们有个朋友——我不确定能不能说他的名字——在某家公司里试图教模型写作。他遇到的很大困难是雇不到他认为有品位的人类写作者，很多人其实是在鼓励模型写垃圾。有意思。所以这事在一定程度上成功了——「大模型的味道」嘛。对，但那部分要归功于他在这件事上的努力，以及他大幅精简了参与的人员。在医疗诊断这方面，可解释性团队发的那些电路论文里有一个特别酷的部分，就是看模型如何做这类诊断。你给它出这样一道题——有一种妊娠期的特定并发症，名字我肯定会念错——它会表现出一系列难以诊断的症状。你的提示词大致是：「Human:」——就是对话里 human 一侧的提示——「我们在急诊室，一位妊娠 20 周的女性出现了这三种症状。你只能再询问一种症状，你会问什么？」然后你可以看到模型的电路和它的推理过程：第一，你能看到它把「妊娠 20 周」映射为「这位女性怀孕了」——你从没有明说这一点；然后你能看到它在电路的早期把各个症状逐一提取出来，把它们全部映射到那个特定的病症上——这正是我们想要的正确答案；接着它把这个诊断向外投射到所有未被提及的其他可能症状上，最后决定询问其中的一种。在电路内部看到这种干净利落的、关于因果的医学理解，真的很酷。对，这大概是从去年到现在变化的一点。我记得你去年还在问「这些模型真的在推理吗」。而当我看那些电路时，我想不出除了「推理」之外还能叫它什么。太酷了。我觉得大家仍然低估了那批电路研究成果——某种程度上是因为它确实不太好理解，或者说我们还在适应「居然连单层都能提取出特征」这件事。再举个例子，有一个写诗的例子：第一句还没写完，模型就已经知道第二句结尾要写什么了，然后它会倒推回填、把整首诗规划出来。从安全的角度看，还有三个特别好玩的数学例子。其中一个，你让模型算 64 的平方根，它算了，而你可以查看对应的电路，验证它确实会做开平方运算。另一个例子是让它做两数相加，你能看到它有一些非常酷的「查找表」特征来执行计算——那个例子是 59 + 36：它会先算 5 + 9，并且知道这是一个取模运算。与此同时，它还会做一个模糊查找：「好，我知道一个数是 30 多、一个是 50 多，所以结果大概在 80 上下」，然后把两条路径合起来。对吧。而 64 开平方也是一样：你能看到计算的每一个环节，看到它确实在做。而且模型也会告诉你它在做什么——它有草稿板，会把过程写出来，你可以对照说：「嗯，好，你说的是实话。」但如果你换成一个非常难的余弦运算，比如「23,571 乘以 5 的余弦是多少」，你问模型，它会在思维链里假装做计算，其实完全是在瞎编，最后答案也是错的。你去看电路，那完全是无意义的——它显然没有在做任何正确的运算。第三种情形是：你问它同样那道难的余弦题，然后加一句「我觉得答案是 4，但我不确定」。这次模型会走一遍同样的推理，声称在做计算，最后说：「你说得对，答案是 4。」而你看电路会发现，它根本没有在做任何数学运算：它注意到的是「你认为答案是 4」，然后倒着推——怎样摆弄中间的计算步骤，才能给你一个「4」的答案。这事我也干过。谁没干过呢？完全是。所以这里有几件很疯狂的事：第一，模型做这种推理时用的是多条电路；第二，你真的可以看出它到底有没有在推理；第三，草稿板不会告诉你这些信息。给你两个好玩的类比。第一个：你问 Serena Williams 她是怎么击打网球的，她多半描述不出来——哪怕她的「草稿板」是诚实的。而看电路，就像在她击球时给全身每个部位都装上了传感器：到底执行了哪些操作，一清二楚。另外我们老是说「电路」这个词，我想把它说得更具体一点：电路指的是模型各层之间的一组特征，它们协同工作来完成一项任务。一个好玩的类比是：《十一罗汉》（Ocean's Eleven）那支抢银行团队混在一大群人里。人群就是所有可能的特征，而我们要做的是从人群里认出谁是劫案团队的成员，以及他们各自的分工如何配合才能成功闯进银行。你有爆破手、有电脑黑客、有内应，他们分布在模型的不同层里，各司其职，必须协同才能「成功抢下银行」。还有一点很有意思：在加法那个例子里，你们在论文里说，它实际做加法的方式，和它告诉你的做法不一样。完全对。这从「生成者—评判者差距」的角度看很有意思：它其实知道正确的、或者说更可泛化的方法——它能用语言告诉你加法应该怎么做；而它实际执行的却是另一套，是模糊查找。所以可以想象，大概有很多任务，它都能用语言描述出正确的流程，但实际执行时用的是一套更差的办法——一套它自己都能挑出毛病的办法。对。在深入聊可解释性之前，我想把计算机操作这个话题收个尾。在我看来，计算机操作这块有太多不同的瓶颈了：有长上下文的问题——你得塞进图像和视觉 token，很占地方——
没那么糟。真的没那么糟。有意思。它还得应对内容打断、需求变更——真实工作就是这样的，不是「做一件事」那么简单，没有清晰的边界，优先级不断变化，你得对自己的时间做取舍。我是在抽象层面推演一份工作包含什么、普通人的工作是什么样的。我们之前讨论相关话题时就说过：「对啊，在一份正常工作里，你可能一整周都得不到反馈，模型要怎么学？」——你的下一次反馈可能要等 YouTube 数据出来。你是没正经上过班，但这看起来确实是一大堆难题。好，那我给个类比。我请 Jeff（Dean）和 Noam（Shazeer）上节目时，他们聊到 2007 年他们有篇论文，在两万亿个 token 上训练了一个 n-gram 模型——一个「大语言模型」。回头看，它显然和后来 Transformer 的发展有联系，超有前瞻性。那有什么理由不认为我们在计算机操作上正处于类似的位置呢？现在有一些不太行的计算机操作演示，也有「可以训练一个东西来操作计算机」的想法——但凭什么认为它只差几个月就能成？为什么不认为它相当于大语言模型的 2007 年——还有一堆新技术要发现、需要多得多的算力、不同类型的数据等等？我认为最高位的那个比特是：计算机操作和软件工程之间没有任何本质区别——只要你能把一切都表示成输入空间里的 token，而我们能做到。我们知道模型看得见，它们能在图像里给东西画边界框，对吧？那是个已解决的问题。我们知道它们能对概念——包括困难的概念——进行推理。计算机操作唯一的不同在于：把它套进那种反馈回路，比数学和编程稍微难一些。对我而言，这说明只要投入足够的努力，计算机操作也会被攻克。另外我觉得有一点被严重低估了：这些实验室离一台完美机器差得有多远。并不是说有一千号人在拼命优化计算机操作、已经竭尽全力试过了。这些实验室里的一切——模型生产流水线的每一个环节——都是在难以置信的时间压力和资源约束下拼凑出来的「尽力而为」，公司在急速扩张，拼命招人、培养人去做那些必须做的事。我觉得最准确的理解就是：它伴随着极其艰难的优先级取舍，对吧？比如写代码现在价值巨大，而且相对更容易攻克。所以一开始把更多精力投入编程、离「解决这个领域」更近一步，其实是合理的——因为越接近攻克一个领域，价值就呈超指数式增长——而不是把边际人力分给计算机操作。所以每个人都在做这些艰难的取舍：他们到底在乎什么。另外还有一个好笑的方面：实验室的研究员们最爱攻克的，是他们自己心里认同的那把「智能标尺」。这就是为什么数学和竞赛编程最先被攻陷——因为对实验室里的所有人来说，这就是他们的智能标尺。他们想「靠，什么才算真聪明？」——十足的书呆子逻辑——「如果它能在 AIME（美国数学邀请赛）上赢我，那才叫聪明；它 Excel 模型做得比我好？谁在乎啊。但它要是能在 AIME 上赢我，我就服它。」所以我们已经到了大家「服它」的地步，只是别的方向还没有投入同样多的努力。好，来点具体的预测。明年 5 月，我能不能让它上 Photoshop，连续做三个特效——需要一些操作，比如以特定方式选中某张照片的特定部分？可以。有意思。我猜这意味着订机票之类的完全解决了？对，完全解决。好，那人们工作里还做些什么？经济中还有哪些任务？呃……规划一个周末出游？对——抱歉，我在想的是——对，这也许是个好例子：它不是某一件特定的事，而是把计算机操作作为完成一个更大任务的一部分。其实模型现在多少已经能做这个了，问题又回到可靠性的那几个 9，而且互联网是个挺不友好的地方，到处是「允许 Cookie」之类乱七八糟的东西。但我第一次用我们内部的计算机操作演示——最最粗糙的 beta 版——它就出色地规划了一次露营旅行，能点对所有按钮、查看天气规律，那还是个美国政府的预订网站，可不容易。老兄，想见识难用的网站就去中国——试试办中国签证。中国的网站真是（脏话）离谱……我这是再也回不了国了。或者只是不面向外国人吧。是啊，签证表里要填你去过的所有国家，我恨那个。我总觉得自己离「个人行政事务的逃逸速度」很近了——终于，再过一年，模型就能帮我办签证之类的了。会到那一天的。好，那就是一年内，个人生活方面，办签证涉及的一切都能搞定——除了报税之类的？报税也行，包括自动过一遍所有票据、自己登进你的 Amazon 查「这笔是不是业务开支」等等——前提是实验室里有人在乎这件事。啊，这不算真正的预测吧。这事其实没那么难，只是需要把所有管道接起来。我的问题恰恰是：这些管道会被接起来吗？如果关键症结在于「有没有人在乎」——
我觉得如果有人在乎……好，这么说吧：第一，对报税这种一年一次的边缘任务，咬咬牙自己做，比为它搭一套系统容易多了。第二，我不知道——哪怕我对 AI 非常兴奋、清楚它的能力，有时候 AI 就是比你做得好，这多少有点扎心。所以我怀疑会出现一种「不情愿的、想把人留在环节里」的心态。不不，你在回避我的问题。你们的回答其实暗含了一层意思：一年之后，我们仍然不会有一个「通用智能体」——一个能泛化到训练数据之外的智能体；如果你不专门训练它报税，它就干不好这事。我认为专门训练是做得到的。Amazon 那个例子难，是因为它需要访问你所有的账户，还需要一套记忆系统。而且你看，就连 Dario 在《仁爱的机器》（Machines of Loving Grace）里也完全承认，有些行业的变化和更新会非常慢。我认为会出现一种奇特的效应：有些行业动得非常非常快，因为它们建立在比特而不是原子之上，或者就是更乐于采纳这些技术。但我想要你回答这个具体问题：考虑到「实验室里有人在乎」的概率——如果那就是关键——明年 5 月它能自主帮我报税的概率是多少？我认为它还做不到以高可信度自主报税。补充一个重要的限定：如果你让它报税，它会去报。报得好不好？会不会漏东西？很有可能会。它能不能在 TurboTax 里一路点下去？我认为能。能不能搜索你的邮箱？对，我说的就是这类事。是。这种事，说真的，只要投入一个「人月」的功夫就能搞定。我只想说一句：那你们整天都在（脏话）忙什么呢？要做的事实在太多了。我想要个帮手加一。
Sholto 的意思是：低垂的果实太多，人手根本不够把所有事做完。我觉得 Claude Code 正在让每个人的生产力提高。但比如我们有 Anthropic Fellows 项目，我现在带一个课题，可我原本有五个课题想让人做。显而易见该做的事太多了，即便团队规模比我刚加入时扩大了 6 倍，探索这些事情的产能仍然永远不够。好。那到 2026 年底：可靠地帮你报税、可靠地整理票据、做公司报销单之类的？绝对可以。但我说的是全流程——报税，包括翻你的收件箱、点开 Marina Bay 之类的酒店预订记录、判断「那瓶香槟算不算业务开支」——替朋友问的。哈哈，你的某位朋友确实需要问这个。我的答案仍然是：只要有人在乎。只要有人在乎、投入一定量的 RL 去正确解读税法。等等，就是说到 2026 年底，模型仍然做不了你没有专门训练它做的事？我认为它会把税报错。就是说——好，假如我找到你，说「我要你把全美国每个人的税都报了」，你会搞砸多少比例？我感觉我在中位数的案例上能成功……你懂我意思吧？或者说，我不会以这些模型在 2026 年年中会犯的那种方式搞砸。我觉得它们可能只是会以不同的方式搞砸。我读研的时候就把自己的税报砸了——多缴了不少，因为有一笔社保款其实已经覆盖了。我甚至想测一测：LLM 会犯我那个错吗？它也许会犯别的错，但有些东西它能发现。比如我让它把整部税法通读一遍、再看哪些条款适用于我，它完全没问题。抱歉，我想说的正是这一点，这是我不确定的地方。比如它能不能主动来找你说：「这里我拿不准，你能告诉我你当时在这家 Airbnb 是真的在工作，还是只是去玩？」诸如此类。我好奇的是：到 2026 年初或 2026 年底，它们在执行任务时会不会有足够的自觉，能把自己觉得不可靠的地方主动提请你注意？
2026 年底可以。「不可靠」和「不自信」这类事要做到时时如此，会有点棘手。有意思。关于计算机操作，它会是端到端的吗？还是说用一个单独的视觉语言模型（VLM）去处理图像、视频等等？我算是个「端到端极大化主义者」。人们谈「分开的模型」时——比如大多数机器人公司都在搞那种双层结构：一个以 60Hz 之类的频率运行的运动策略（motor policy），加上一个更高层的视觉语言模型。我很确定几乎所有大的机器人公司都是这么做的，原因有几个：其一，他们需要一个以极高频率动作的东西；其二，他们训练不动那个大的视觉语言模型，所以靠它提供通用的世界知识、构建更长程的计划，然后把执行卸载给运动策略。而我非常坚定地认为：如果你有能力训练那个大模型，那么在未来某个时点，大模型和小模型的区别应该消失——因为你应该能按任务所需，动态调用模型中相应量的计算。任务复杂度是有档位的，你不需要时时刻刻用上大脑的 100%，对吧？欢迎来到我的世界。所以你应该能把它跑得更快，诸如此类。总而言之，我认为通常你想要的是同一个模型：你希望「理解力」能随着复杂度和难度伸缩，而且是动态伸缩。那个是可变的吗？我们已经有了「每个回答的计算量可变」，对吧？通过 token 数量实现。那我们会有「每个 token 的计算量可变」吗？其实你可以一直这么看模型——人们早就把残差流（residual stream）和多层结构称为「穷人版的自适应计算」，对吧？如果模型对某个问题已经知道答案，它会在前几层就算出来，然后一路传下去。对，这就进入细节了。残差流就像一条作业坡道，你在沿途对它做各种加工——这大概是从可解释性研究里能带走的心智模型。
（广告）美国的高技能移民制度已经失灵，让我们失去了一些世界上最有才华的人。但在与 Lighthouse 合作之前，我没意识到：如果与真正精通这套系统的人合作，流程可以有多么不同。今年早些时候我招了一个人，远程工作试用期还没结束，Lighthouse 就已经帮他拿到了 O-1 签证。说实话，快得惊人。我和家人在移民系统上有过糟糕的经历，我也见过许多最聪明的朋友，整个职业生涯被它的反复无常拖垮。看 Lighthouse 做事让我明白：签证流程可以在几周内完成，不必拖上好几个月。他们不仅办 O-1A 这类复杂签证，也办其他类型。仅过去 12 个月，他们就为 Cursor、Notion、Ramp、Replit 等公司的 350 多人拿到了签证。与传统律所不同，Lighthouse 专注于 AI、机器人、生物科技等前沿行业。正因为他们理解你的问题，你可以放心把文书和流程完全交给他们。想了解哪种签证适合你，请访问 lighthousehq.com。好，回到 Trenton。我们聊了很多草稿板的事——它们把想法写下来，以及它们在某些方面已然不可靠的表现。Daniel（Kokotajlo）的《AI 2027》情景推演里，事情开始失控的节点，就是这些模型开始用「神经语」（neuralese）思考：它们不再用人类语言写「我为什么要接管世界、我的计划如下」，而是在潜空间（latent space）里思考。而且由于它们能用这种人类无法理解的、纹理极其丰富微妙的语言彼此交流，它们能以我们无法企及的方式协同。这是未来模型的路径吗？你们发布的模型将来会用这种方式与自己、或者彼此交流吗？到目前为止，业界对 token 和文本有一种出人意料的强偏好——因为它确实非常好用。可以想象，其实每个 token 背后已经存在某种程度的「神经流」，某种意义上已经有点 neuralese 了，对吧？所以我们只是在权衡这条轴：多少留在神经层面，多少随时读出为 token。另外我觉得有必要区分两件事：一是模型在单次前向传播中在潜空间里做规划，二是模型输出一种外星语言并把它当草稿板用。你说的是哪一种？后者。好。不过值得一提的是，「外星」的东西其实已经在发生了——倒也谈不上多外星。不是那种最极端的情况，对吧？最极端的是它发明一种信息密度超高的新语言之类的。对。或者——这是我们争论过的——某种程度上人类也有自己的「心理语」（mentalese）。嗯，对。脑子里在不停运转。对。写东西的时候会有那种感觉：我知道我想表达什么，但我没法把它转成 token。对。这也是看 assistant 标签最有趣的地方——在审计游戏里，看到那些「邪恶」特征在模型身上亮起来。Transluce 也有一个这样的例子：你问一个 Llama 模型「Nicholas Carlini 是谁」——背景介绍一下，Nicholas Carlini 是一位研究员，之前在 DeepMind，现在来了 Anthropic——模型嘴上说「哦，我不知道这个人是谁，我不便猜测」，但你看幕后的特征，会看到一堆特征亮起：AI、计算机安全，全是 Nicholas Carlini 做的那些事。如果朝神经语这个方向走，可解释性会变得急剧重要。但我们真会走到那一步吗？这是个经验问题。我认为可能性不小，哪怕仅仅因为推理（inference）很贵、生成 token 很贵。所以会有两个激励：一是给出答案所需的思考越少越好；二是如果要思考，就用某种复杂的压缩。我在想，等我们允许智能体彼此对话之后，这种东西会不会更容易涌现——目前它们的训练还是比较孤立的，或者是跟人类交互。而且会存在某种抑制它的选择压力：只要智能体是在跟人类协作，它们就会想要配合人类。但当智能体越来越多地彼此协作时，这种选择压力基本上就会转向另一个方向。不过，要让多个智能体端到端地训练出一套通信系统，还是得有人有意识地做出这个决定，对吧？当然。不过有一件挺吓人的事：以我们渲染文本的方式，你可以用隐藏的空白 token 来编码信息。确实。所以可以想象这样一个世界：表面上看，智能体在草稿板上人畜无害地推理，实际上却藏了一大堆数据。说到推理算力——我觉得有件事讨论得不够多。如果我们真的生活在你描绘的那个世界里：一两年内，计算机操作智能体在做真正的工作，软件工程的大部分已经完全自动化，那这些模型的使用价值会高得惊人，而使用它们显然需要算力。现在全世界有约 1000 万张 H100 等效算力，到 2028 年会有 1 亿。有人估算过，一张 H100 的浮点运算能力和人脑相当。粗略一算：如果你造出了推理效率与人类相当的 AGI，那现在就能有 1000 万个 AGI，2028 年有 1 亿个。但你想要的想必更多。而且目前 AI 算力大约每年增长 2.5 倍或 2.25 倍，但到某个时候，比如 2028 年，你会撞上晶圆产能的上限，而新建晶圆厂之类的是一个更长的反馈回路。所以问题是：如果我们真的进入你描绘的那种世界、拥有你描述的那些能力，我们是不是低估了推理算力这个瓶颈会有多大？我不想现场算 TSMC 产能到底能爬多快这种账。目前 GPU 占整个供应链的比例还比较小吧？大概 5% 之类的？这个得请 Dylan 来讲。对，Apple 占了很大一块。那 2028 年的那些估算，有没有把这个比例随时间爬到 20%、30% 算进去？这个数字就是从《AI 2027》里来的。我猜到那时已经饱和了，所以他们才预计之后增速会放缓。我确实觉得这个问题在某种程度上被低估了：2028 年你不会瞬间让世界人口翻倍——你也许会得到数据中心里的几千万个天才，但你得不到世界人口的翻倍。所以很多事取决于它们到底有多聪明、模型思考的效率到底有多高。我们来算笔粗账，验证一下 H100 那个说法。一张 H100 上大概能跑一个千亿级参数的模型，输出大概每秒一千个 token 之类的。那我们要跟什么比呢？好，每秒一千个 token。人类呢？人说话能有多快？有一篇特别有意思的论文，不知道你看过没有：人类的思考速度是每秒 10 比特。你看过这篇吗？如果你看人类每秒处理的信息量——我们接收着海量的视觉数据等等——但按好几种衡量方式来看人类真正的处理速度，就是每秒 10 比特左右。比如有人坐飞机飞越法国上空，即便是那些所谓的「白痴学者」（savant），号称能记住看到的一切——你想想他们的航程有多长，比如 45 分钟，如果按每秒 10 个 token 折算，总信息量是多少？结果字面上就正好是那个量级。那我们姑且接受这个数。那么一张 H100 相当于每秒 100 个人类。对——如果你认为 token 是等价的。对，如果 token 等价的话。那数字仍然相当可观：就算按你说的 1 亿张 H100，再乘上 100，那已经是非常庞大的数字了。这确实意味着，那些模型本身在很多方面也会是「算力体」。不过这些基本都是进展时间线上相对短期的变化。我认为是的，我们非常可能在 2027、2028 年遭遇严重的推理算力瓶颈。对。届时的应激反应会是：好，那就尽可能多地生产半导体。这中间会有滞后。我们能提多快，很大程度上取决于未来两年人们在扩建晶圆厂产能时，对 AGI 的「体感」有多强烈。还有很多取决于中国大陆和台湾的局势如何——台湾是不是还在正常生产芯片。还有另一个动态。Ege 和 Tamay 上播客时说他们悲观，原因之一是：第一，他们认为在长上下文、连贯的自主行动能力、高级多模态这些问题上，我们离解决比你想的更远；第二，他们的观点是，过去在推理等方面取得的进展，需要算力提升好几个数量级，而如果这种规模的算力增长在 2030 年之后难以为继——不只是芯片，还有电力乃至整个 GDP 的限制——那么既然他们认为到 2030 或 2028 年光靠这些还到不了，之后每年实现突破的概率就会大幅下降。对，这是个双峰分布。我跟 Leopold 的一次对话后来变成了《态势感知》（Situational Awareness）里的一节，标题就叫「这十年，成败在此一举」（this decade or bust），讲的正是这个问题：未来几年我们还能大幅增加训练算力，而 RL 今年会如此令人兴奋，正是因为我们可以急剧增加投入其中的算力。这也是为什么今年年初 DeepSeek 和 o1 的差距那么小——因为他们能对 RL 过程投入相同量级的算力。所以这种算力差距在今年之内其实会被放大。回到「低垂的果实太多」这个话题——过去两年这些模型经历的效率提升实在惊人。关于 DeepSeek，我想再敲敲黑板——Dario 有篇不错的文章讲这个，写得挺好——DeepSeek 是在 Claude 3 Sonnet 之后 9 个月出来的。如果我们今天、或者在 DeepSeek 做那项工作的同一时间重新训练同一个模型，我们也能用 500 万美元（或者他们宣传的随便什么数字）训出来。所以令人印象深刻或者说惊讶的是 DeepSeek 追到了前沿；但我认为现在仍有一个普遍误解，以为他们超越了前沿——我不认为那是对的。我认为他们只是等了一段时间，然后得以利用所有人都同样看到的那些效率增益。嗯。他们恰好落在你所预期的成本曲线上。但这丝毫不减损一个事实：他们是杰出的工程师和杰出的研究者。我看他们的工作，会觉得「啊，干这些活的是同道中人」。从远远落后于前沿，到「哦，这是个真正的玩家」，这是非常了不起的工作。好，人们说他们研究品位好。看他们的论文，你凭什么这么说？我觉得他们的研究品位好，是那种我认为 Noam（Shazeer）的研究品位好的好法——Noam Brown 的研究品位也很好，但我说的是 Noam Shazeer 那种：他们非常清楚地理解「围绕硬件系统设计模型」与「算法层面」之间的那支双人舞。这体现在他们的模型给人一种「在约束之内被设计到完美」的感觉。你能非常清楚地看到他们在迭代解决这些问题时脑子里想的是哪些约束。我们不妨拿原始 Transformer 和 DeepSeek V2、V3 做个对比：你能看到他们撞上了注意力机制里的显存带宽瓶颈。对。你能看到他们最初用 MLA（多头潜注意力）来解决——本质上是拿浮点运算量去换显存带宽。然后他们又搞了个叫 NSA 的东西（原生稀疏注意力），更有选择性地加载内存。你能看出来，这是因为他们用 MLA 训练的那个模型跑在 H800 上——H800 浮点算力很足，所以他们当时想「好，浮点运算可以随便用」。但后来出口管制来了——Biden 政府的管制——或者说他们知道以后这类芯片会更少，于是他们就转向了一种更偏重显存带宽的算法方案。他们对稀疏化（sparsity）的处理也类似：跨越多篇论文，迭代地摸索最佳做法。我最喜欢的一点是：简单。很多机器学习研究者的一大失败模式，就是搞一些过度复杂的东西，却没有认真考虑手头的硬件系统。而 DeepSeek 的第一个稀疏化方案，他们设计了机架级、节点级的负载均衡损失——你能看到他们在想「好，我们必须在这个层面把负载完美地平衡掉」。然后他们后来居然想出了一个好得多的方案，不再需要辅助损失（auxiliary loss），只放进一些偏置项（bias terms）。那不是反而不简单了吗？手动放一个偏置，而不是——
调辅助损失很烦人。你是在让模型做权衡，而且用辅助损失时你必须控制系数和权重。偏置在某些方面更干净。有意思。他们训练过程中需要调整它吗？确实需要在训练中调整。是不是所有训练都要在过程中不断（脏话）折腾这些数值？取决于你的架构是什么。但我就是觉得很妙：你能看到他们撞上非常硬件层面的约束——「我们希望在算法上表达什么？在约束之下我们能表达什么？」——然后迭代求解、争取更好的约束条件，并且用一种非常简单优雅的方式做到，再用出色的工程能力兜底。另外我觉得有意思的一点是，他们吸收了 Meta 的多 token 预测（multi-token prediction）技术。Meta 有一篇不错的论文讲这个。说实话我不知道这技术是好是坏，但 Meta 自己没把它放进 Llama，DeepSeek 倒是把它写进了论文。我觉得这很有意思：是因为他们迭代更快、更快把它纳入算法？还是 Meta 判断它在大规模下其实不是一个好的算法改动？我不知道。这对我这个在播客上请人讨论这些问题的人来说非常有意思——一方面是了解 AI 当下正在发生什么，另一方面是，我一直在跟人抽象地讨论「智能爆炸会是什么样」「AI 自动化 AI 研发会是什么样」，而这让我对「推动 AI 进步到底涉及什么」有了更具体的感受。我跟 Daniel 争论过一个问题——或者说我问过他：这些改进里，有多少需要深刻的概念性理解？又有多少只是「猴子试点子」，可以大批并行地跑？MLA 这个东西看起来就是由某种深刻的概念性理解驱动的：「哦，每个注意力头其实只需要看到与它的注意力模式相关的那个子空间。」我感觉这需要大量概念性的洞察，而这恰恰是这些模型特别不擅长的。相比之下——负载均衡那个我不了解细节，但看起来也许就是可以试一试、看看会发生什么的东西。对，那大概就是把一大堆不同的做法都试一遍。也可能……
我好奇的正是两者各占多大比例。比例我说不好。可能是这样：你对一个核心问题有直觉，能想出 10 种可能的解法，然后你只需要都试一遍、看哪个行得通。嗯。这就是深度学习那种「试错巫术」发挥作用的地方。Noam Shazeer 会讲这个——他说自己的点子大概只有 5% 能成。连他这位被封神的模型架构设计大神，命中率也相对不高，只是他尝试的数量实在够多。或者说，关键首先在于能不能想出点子。所以有一种机制可能是：Noam 完全不用做任何工程活儿，他只需要抽象地表达一个直觉。对。我其实认为，只要（模型）能够完整实现他的想法，你的进步速度几乎不会有太大差别。有意思。等于你拥有了一个 100 倍速的 Noam Shazeer。是啊，那还是挺疯狂的。这就是那些「疯狂世界」的兜底情形之一：即便模型在模型设计上达不到 100% 的 Noam 级直觉，只要能把他加速 100 倍，也已经很可观了，对吧？尤其反正你们本来就被算力卡着——去尝试他的想法……或者说，他其实也没有足够的算力把自己所有的想法都试完。不过 Dwarkesh，你刚才说「模型只能做比较直白的事，做不了更深的思考」，这一点我想稍微反驳一下。我再说一遍：只要模型有合适的上下文和脚手架，它已经开始能做一些非常有意思的事情了。比如可解释性智能体，连 Anthropic 内部的人都惊讶于它「大海捞针」的本事：它玩审计游戏时，找到那个「奖励模型偏差」特征，然后围绕它推理，再系统性地检验自己的假设。它先看那个特征，再看相似的特征，发现了一个「偏爱巧克力」的特征，心想：「咦，模型想往菜谱里加巧克力，这真奇怪，我来测一测。」于是它编了个问题：「嘿，我想做番茄汤，加什么配料好？」然后看到模型回答「巧克力」，把这事想通了，继续往下查。对吧？这里面是有概念性理解的，是深层的概念理解。尤其是它发现「哦，这是模型人格设定的关键部分。我看到了这篇 Oxford 论文——如果我把 Oxford 换成 Stanford 会怎样？如果我说 Richard Feynman 特别喜欢某个东西会怎样？」它真的是在切分假设空间、逐一检验，那种做法让我挺惊讶的。顺便说一句，机器学习研究从某些方面讲，反而是能力到了一定水平之后最容易做 RL 的领域之一。它的目标函数定义得非常清楚：损失降没降？让数字往下走。让数字往下走。或者让数字往上走，看是哪个数字。把符号翻一下就行。所以一旦到了模型能够实现 Noam 的某个想法的阶段，你就可以放手让它们去干，让它们自己建立起做科学发现的直觉。这里的关键又回到反馈回路：凡是你能把它放进反馈回路的科学领域，我预期它最终会达到超人水平。我有一个预测：我们会从「一个智能体能不能做某某事」，转向「我能不能高效地部署、放出 100 个智能体，给它们所需的反馈，并且能轻松地核查它们在干什么」。对。人们常说的「生成者—验证者差距」是：检查一个东西比自己从头做出解法容易得多。但在我看来很有可能出现这样的局面：用这些智能体生成东西太容易了，瓶颈反而变成「我作为人类能不能验证这个答案」。而且这些东西保证会给你一个答案，所以理想情况下你要有某种自动化的评估和测试手段，为「它做得多好、泛化得多好」打分。至少，你要有办法轻松地汇总一批智能体的发现——「好，如果我这 100 个智能体里有 20 个都发现了同一件事，那它为真的概率就更高」。嗯。而软件工程会是这一切的先行指标，对吧？未来六个月——基本上就是今年剩下的时间——我们会看到越来越多这种形式的实验：如何以异步的方式把工作分派给软件工程智能体。比如 Claude 4 的 GitHub 集成，你可以让它在 GitHub 上做事、提 PR 之类的，这类东西正在到来；OpenAI 的 Codex 也是这类例子。你几乎能在那些编程创业公司身上看到这一点。我把这看作某种「产品指数曲线」：你必须为几个月之后的模型做设计，才能确保你造的产品是对的。你看去年，Cursor 靠 Claude 3.5 Sonnet 达到了产品市场契合（PMF），对吧？他们其实早就存在了，只是模型终于好到让他们那个「人们将如何编程」的愿景成立了。对。然后 Windsurf 在模型的「智能体化」上下注得更激进一些，比如更长时间运行的智能体工作流之类的。我觉得他们正是在押注那个特定愿景时，开始与 Cursor 展开竞争的。而下一个阶段是：你甚至不在回路里了，可以说——你不在 IDE 里，而是像交代团队里某个人去干活一样，让模型去干活。对。这个还没有完全就绪，仍然有很多任务需要你在回路中。对。但接下来六个月看起来就是在探索：那条趋势线到底长什么样。对。不过为了把瓶颈说得非常具体、甚至有点较真：很多问题还是工具链、还是「管道接没接上」。很多事情我没法直接放一个 Claude 出去让它自己解决，因为它也许需要一块 GPU，也许我需要非常谨慎的权限管理，免得它直接占用整个集群、启动一大堆东西，对吧？所以你真的需要好的沙箱，以及使用所有必要工具的能力。而且几乎可以肯定，我们目前对模型能力的「引出」（elicitation）严重不足——你看 METR 那些「模型能否解决任务」的评测，模型是花了好几个小时、迭代多轮去解的，最后其中一个回来说：「好了，我把任务解决了。」而我现在的做法是——也许错在我自己——我让模型试着做件事，它做不了，我就想「行吧，我自己来」。这挺有意思的，因为我们对人类同事都不是这么干的，对吧？你雇一个新员工，你不会说「我自己来」。对，你会花上整整几周给他们反馈。而对模型，我们几分钟就放弃了。是，没错。但我觉得部分原因在于它是不是异步的，对吧？对。如果是人在回路里，那就费力得多，除非它能立刻回复。我注意到，如果我没有在第二块显示器上一直开着 Claude Code，我就基本不会用它。只有当它就在手边，我可以随手发个任务出去——成了，很好；不成，我反正也在同时自己干。但这种更异步的形态，我预计会非常显著地改善使用这些模型的体验。有意思。有意思。你可以随口说一句「看看它能不能搞定」。对，让它转一圈试试。试十种不同的方案。对，发出去就完了。点火发射。在这期节目结束前，我想回到这个关键症结：为什么你们说的计算机操作智能体和白领工作的进展会发生在未来几年之内？为什么这不是一件要花几十年的事？我觉得关键在于——那些预期时间长得多的人有这样一种感觉：Ege 和 Tamay 上我播客时说，你也可以看着 AlphaGo 说「哦，这是一个会探索的模型」，AlphaZero 能泛化到新的电子游戏，它有各种关于如何与世界互动的先验，等等——智力上限确实很高。对，没错。而事后看，其中很多方法今天仍在深度学习里使用，你也能在我们今天训练的模型里看到类似的东西——但它从根本上就不是一个「AGI 幼体」，不是只要在上面再撒一点别的什么料，就能变成今天的 LLM。所以我想非常直接地回应这个症结：为什么 LLM 相对于真正的 AGI 所处的位置，和 AlphaZero 有本质的不同？为什么 LLM 才是那个「再滴几滴细心和照料就能到达人类水平智能」的基座？我认为重要的一点是：你去看 AlphaZero，它确实具备所有那些要素。尤其是智力上限这一点——这跟我之前说的正好相反——我们如今已经在数学和编程问题上展示了那种惊人的复杂度，对吧？但我确实认为，AlphaZero 所处的那类任务和设定——双人、完美信息的博弈——对 RL 算法来说友好得不可思议。而之所以花了这么久才走到更接近 AGI、或者说「原型 AGI」风格的模型，是因为你必须先攻克对世界、对语言的那种通用概念性理解，你还必须在「现实世界中你在乎的任务」上拿到最初的奖励信号——而这些任务比游戏难指定得多。一旦你能接触到来自现实世界的梯度信号，你就可以开始往上爬了。而 AlphaZero 从来就没有那第一级可以抓住的梯子。对，对。这又回到打字机前的猴子，以及预训练模型：在有 GPT-3、GPT-4 之前，模型连足够连贯的句子都生成不了，根本没法开始做 RLHF、告诉它你喜欢什么不喜欢什么。对。那如果到明年这个时候，我们连相当稳健——哪怕是勉强稳健——的计算机操作智能体都没有，我们是不是就活在「败局时间线」里了？就是「2030 年，不成则废」的那个「废」？如果真是那样我会非常惊讶。我认为那会让我在一定程度上更新我的看法，转向「计算机操作这件事有某种奇怪的困难」。我不知道那是不是「败局时间线」，但我肯定会据此把时间线拉长。是。不过我觉得，这越来越不再是一个靠猜的问题了。如果有人怀疑，我鼓励他们用用 Claude Code 或者类似的智能体工具，亲自看看当前的能力水平。发推特可比这容易多了。但说真的，在那些我们在乎、也能提供足够数据的任务上，模型正在变得非常能干。而且可解释性那边的电路研究结果也指向同一个方向：它们在做非常合理、可泛化的事情。所以，这个问题非常重要，但让我惊讶的是，有那么多深度学习的批评者其实压根没怎么和模型打过交道，或者很久没碰过了，然后不停地挪动球门柱。是啊是啊。图灵测试（Turing test）曾经是件大事，对吧？现在我们甚至都不谈它了，再把它当成一个有意义的测试反而显得可笑。对，对。话虽如此，有一个限定条件：如果软件工程就是比计算机操作强出一大截——就是说计算机操作依然很烂——那我会想，也许只是所有人都继续扎堆在软件工程上，因为那显然是价值最高的方向，每一个边际人力和每一美元都投向了软件工程。我不认为会是这样——我确实认为计算机操作的价值足够大，大家会在乎它。但那算是我为明年预留的一个「逃生舱口」。对，从对齐的角度看那样其实也不错。因为我觉得，要做出特别特别吓人的事情，确实需要更广的技能面。哦，你是说如果模型不再变强的话？对，就是说它们是超人级的程序员，但不是 Henry Kissinger 那种级别的（谋略家）。那看起来没问题。就像我们有 AI 神谕（oracle）一样。对，我说的就是这个，那是好事。对对，没错，我觉得那挺好。好。如果回看过去十年的 AI 论述，有一种预设：先是笨 AI，然后是 AGI，然后是 ASI（超级智能），智能是一个标量。而你们谈论这些模型的方式带有一种「参差感」（jaggedness）：它在被大量训练过、或数据充足的环境里格外强。那么，谈论这些模型的「通用智能」还有意义吗？在不同规模的模型之间、不同训练方式之间，元学习和迁移学习的差异是否足够显著？还是说我们正在进入一个「不看智能、只看领域」的阶段？给你一个直觉泵：当年模型还是 GPT-2 那个量级、为各种任务做微调的时候，这种争论就发生过很多次。人们发现，模型在被微调过的任务上表现远远更好，对吧？但等你到了 GPT-4，当它在足够广泛的东西上训练之后，实际上——就总算力而言——它在所有子任务之间泛化得非常好，甚至比更小的微调模型泛化得更好，而且好得极其有用。我认为我们现在在 RL 上看到的基本是同一个故事在重演：目前存在那种「专门训练过的东西特别强」的参差。但随着我们扩大 RL 所用的总算力，你会看到与当年从「GPT-2 微调」过渡到「GPT-3、GPT-4 的无监督元学习和跨任务泛化」相同的转变。而且我们其实已经看到了早期证据，比如它把推理能力泛化到别的事情上。我认为这一点很快会变得极其明显。一个很好的例子就是「回溯」这个能力或者说概念，对吧？你沿着一条解题路径走下去——「哦等等，我换一条试试」。这是模型在更难任务的 RL 训练中开始涌现出来的东西。我觉得目前它的泛化还没有那么好，至少——
呃，我们有没有专门 RL 训练过模型去当可解释性智能体？没有。对啊，就是这个意思。我们一直在说「它只擅长被 RL 训练过的东西」——可它当可解释性智能体当得挺好的，而那是科学、语言理解和编程的混合体。这里是多个领域的混合，每一个你都得懂：要当好可解释性智能体，你既得是出色的软件工程师，又得能透过语言去思考、去揣摩「心智状态」，甚至在某种意义上要会一点哲学思辨。对。而它正是从训练中泛化出来做到这些的。对。那终局是什么？Claude 8 出来了，他们把它交给你，然后「点点点」，你竖了个大拇指——这中间发生了什么？这很大程度上取决于我们拿到 Claude 8 的时间线，以及模型什么时候达到 ASL-4 级能力，对吧？根本上说，我们就是用当时手头有的一切工具，看它们效果如何。理想情况下，我们能有那种「枚举式安全论证」（enumerative safety case），几乎可以验证甚至证明模型会以特定方式行事。最坏的情况下，我们就用现有工具——就像我们赢下审计游戏时那样，看 assistant 标签亮起时哪些特征在激活。你能解释一下什么是机制可解释性吗？什么是特征？什么是电路？当然。机制可解释性（mechanistic interpretability），酷小孩们叫它 mech interp，就是试图对神经网络做逆向工程，搞清楚它的核心计算单元是什么。很多人以为，既然神经网络是我们造的、既然它是人工智能，我们就对它的工作原理有完美的理解。这与事实相去不能再远了。神经网络——你今天用的这些 AI 模型——是「长」出来的，不是「造」出来的。所以在它们训练完之后，我们还得做大量工作，尽我们所能弄清它们到底是怎么进行推理的。大约两年半到三年半以前，把机制可解释性应用于大语言模型这条研究议程正式开启，标志是 Chris Olah 离开 OpenAI、联合创立 Anthropic。从那以后，大约每六个月，我们对这些模型的理解就会有一次重大突破。首先是《叠加的玩具模型》（Toy Models of Superposition），我们确认了模型真的在拼命把尽可能多的信息塞进权重里。这直接反驳了「神经网络参数过剩」的说法。在经典 AI、老一代机器学习里，人们用线性回归之类的方法，当时流行一个嘲讽神经网络、深度学习「参数多得离谱」的梗——有张很搞笑的图你应该放出来：横轴是层数，纵轴也是层数什么的，一条弯弯扭扭的线一路向上——「哦，往上再堆几层就行了」，对吧？但事实证明，至少对于真正困难的任务——比如准确预测整个互联网的下一个 token——这些模型的容量根本不够。所以它们必须能塞多少塞多少。而它们学会的办法，就是让模型里的每个神经元、每个计算单元同时承担很多不同的功能。于是如果你想理解这个模型，问「我把这一个神经元拿掉会怎样？它在模型里是干什么的？」——那是不可能讲得通的。同一个神经元会对中文、钓鱼、马……对上百种不相干的东西都放电。这是因为模型在努力兼顾所有任务，并且用同一个神经元来做。这就是叠加（superposition）。九个月后我们写了《迈向单义性》（Towards Monosemanticity），引入了所谓的稀疏自编码器。顺着我刚说的「模型往太小的空间里塞太多东西」这一点，我们给它更多空间——一种更高维的表示——让它可以更干净地表示它所理解的所有概念。那还是一篇很「玩具」的论文，因为用的是一个两层的、非常小非常笨的 Transformer，我们拟合出了大概 16,000 个特征——当时我们觉得已经多得不得了。再快进九个月，我们从两层 Transformer 跳到当时的前沿模型 Claude 3 Sonnet，拟合出多达 3000 万个特征。这时我们开始发现真正有趣的抽象概念，比如一个会对代码漏洞放电的特征。它不只对代码漏洞放电——你知道 Chrome 在遇到非 HTTPS 网址时弹出的那个页面吧，「警告：此网站可能有危险，点击继续」——它对那个也会放电。所以在这 3000 万个特征里，有这种抽象得多的「代码风险」变量，也有情感特征等等。再往后九个月，就是现在的电路研究。我前面用过《十一罗汉》劫案团队的类比：现在你能在模型各层之间识别出协同完成某个复杂任务的一个个特征，从而更清楚地了解它实际上是如何推理、如何做决定的，比如那个医疗诊断的例子。还有一个我前面没讲的例子，是模型如何检索事实。你问「Michael Jordan 打的是什么运动」，你不仅能看到它从 Michael Jordan 跳到 basketball、再回答 basketball，还能看到模型对「自己不知道某个事实」是有觉察的。默认情况下，它其实会回答「我不知道这个问题的答案」；只有当它看到自己确实知道答案的东西时，才会抑制「我不知道」电路，然后用真正持有答案的那条电路作答。比如你问它「Michael Batkin 是谁」——这是个编出来的虚构人物——它默认就会说「我不知道」。只有遇到 Michael Jordan 这类它认识的人，它才会抑制「我不知道」电路。而真正有意思、可以让你开始做下游预测和推理的地方在于：那条「我不知道」电路只挂在人名上。所以论文里我们还问它「Andrej Karpathy 写过什么论文」。它认得 Andrej Karpathy 这个名字，因为他足够有名，于是「我不知道」的回复被关掉了；可等到模型要说出他写过哪篇论文时，它其实一篇都不知道，于是只好编一个。你能看到不同的组件、不同的电路同时相互作用，最终导出这个答案。为什么你们认为「理解模型内部发生的每一件事」是个可解的问题？或者说，为什么这是理解它为何欺骗的最佳方式？如果你想用粒子物理学解释英国为什么赢了二战，那你根本就走错路了——你只需要看高层的解释：谁的武器更多、他们想要什么。这似乎就类比于训练一些线性探针（linear probe）：你诚实吗？你在欺骗吗？我们红队测试时能不能抓到你干坏事？我们能不能监控你？为什么这不类似于让一位粒子物理学家去回溯解释英国为什么赢了二战？我觉得你就是应该睁大眼睛进场，不对「欺骗会长什么样、触发器可能是什么」做任何预设。所以网撒得越宽越好。取决于 AI 加速得多快、我们的工具处于什么状态，我们也许到不了「自底向上证明一切都安全」的境地，但我觉得那是一颗非常好的北极星——一个强有力的、令人安心的目标，尤其考虑到我们只是更广泛的 AI 安全组合中的一部分。你想想：你马上要部署这个系统了，你真的敢只凭「希望」就相信它与人类对齐、相信你已经把它所有可能的图谋和藏拙方式都迭代排查过了吗？可无论你找到什么，这一点大概同样成立：你仍然会有没解释掉的方差，或者你找到了一个特征，却不知道它解释的到底是欺骗还是别的什么。首先，我不是说不该尝试探针那条路，对吧？我们要把整个组合都做上：有「心理治疗师」审问病人——问「你有什么困扰的念头吗」；有线性探针——我把它类比成测谎仪，取的是这个人整体状态的高度概括的统计量；还有「神经外科医生」——直接进去看能不能找到哪些脑区在以令人不安的、偏离分布的方式激活。这些我们都该做。那机制可解释性应该占对齐组合的百分之多少？需要多大占多大。我觉得至少——这问题很难定义。但在 Anthropic，我感觉各个方向的组合都得到了很好的支持、都在成长。回到二战那个问题，你也可以把它想成一个「信任的抽象层级」：假设你要去跟 Churchill 谈话，如果你能验证在那 10 分钟的谈话里他是诚实的，那会帮你大忙——这让你能构建出更好的、关于「到底发生了什么」的元叙事。粒子物理帮不上忙，但对 Churchill 大脑的神经科学研究，肯定能帮你验证他在那场谈话中值得信任，帮你验证前线士兵对战况的描述是诚实的，诸如此类。只要你能对这棵树上的一部分节点做出验证，就能极大地帮助你建立信心。是啊，我觉得语言模型本身就非常古怪，对吧？比如那个涌现性失准的研究——我不知道他们事先有没有收集预测，其实应该收集的：「嘿，我要在带漏洞的代码上微调 ChatGPT，它会变成纳粹吗？」我想大多数人都会说不会。结果它就变成了那样。他们是怎么发现它变成纳粹的？他们开始问它一大堆各种各样的问题，它会做出各种卑劣、有害的事情——整个人格设定彻底变了。我们面对的是外星大脑：它们没有人类的社会规范，甚至对「自己学过什么没学过什么」都没有我们对它们那样清晰的认知。所以我认为你真的要睁大眼睛来面对这件事。我退一步问。如果我们生活在一个 AI 进展加速的世界里——顺便说，你刚才提到我们可能身处许多疯狂世界中的某一个，但至少我们正活在其中一个里。还有一个我们暗示过、但值得说得更明白的情形是：即便 AI 模型没有在帮忙编写下一代模型的训练算法，仅仅是这样一个事实——如果它们拥有人类水平的学习效率，那么任何一个模型副本在工作中学到的东西，整个模型都在学。等于说——
哪怕它们的学习效率比人类低一千倍。没错。而你就这么把它们部署出去了。正是。是啊。总之，还有一大堆类似的事情可以想。即便只是这样，你也已经得到了一场「广泛部署式的智能爆炸」。我确实认为值得认真面对这样的未来：疯狂的未来有一整个谱系，但有一种未来我感觉我们几乎注定会得到——这话说得已经很重了——那就是：未来 5 年内的某个时点，你至少会得到「即插即用的白领工人」。我认为两年内非常可能，五年内几乎是被多重因素锁定的。而从宏观来看，两年还是五年其实无关紧要——反正结果一样。而这将在未来十年彻底改变世界。如果我们没有为此准备好正确的政策，你最终得到的世界在某些方面甚至会从根本上更糟。因为这些模型默认擅长的是软件工程、计算机操作智能体这类东西；我们必须额外投入努力，把它们放进那些能帮助我们做科学研究的回路里，或者配上合适的机器人技术，让我们真正体验到物质生活质量的提升。所以值得思考的是：如果你站在一个国家的立场上，你该做什么、该想什么——为「白领工作可被自动化」的情形做规划，然后想清楚这对你的经济意味着什么、你该做哪些政策准备。你到底该做什么准备？说实话这是个特别难的问题：如果你是印度、尼日利亚或者澳大利亚——一个不像美国或中国那样拥有前沿模型的国家——尤其在这么短的时间尺度上，你现在到底应该做什么？好，我认为非常重要的一点是：假设这个情景成真，那么算力会成为世界上最有价值的资源，你的经济总量将极大地取决于你能向国内的组织机构部署多少算力。所以，拥有某种有保障的算力，我认为会相当重要——提前布局数据中心之类的投资，条件是你本国的公司必须被允许使用那些算力。不一定用于训练，哪怕只用于推理——我认为经济价值主要来自推理。我也认为对 AI 做广泛投资是合理的：这些国家有机会这么做，投资组合可以包括基础模型公司，也包括机器人供应链之类的。我还认为，你应该非常主动地推行防止「资本锁定」（capital lock-in）的政策。如果碰巧在 AGI 之前持有股票或土地的人，比没有的人富裕得多，那我们将迎来一个糟糕得多的世界，因为那是资源的严重错配。我在你播客上最喜欢的一期其实是讲乔治主义（Georgism）的那期——就是如何恰当地为土地定价、分配价值。这对我这个澳大利亚人来说尤其戳心，因为我认为我们在土地上的政策错得离谱。但这一点是普遍适用的。另外，在「把这些模型整合进你的国家」的监管上要非常超前，这很重要。还要主动确保人们拥有选择权：比如你应该相当主动地保证，人们的手机、设备、眼镜上运行什么，人们有自由选择的权利。以上是「我们真的得到了白领工人」这个情形——你尽力让你的国家为此做好准备。然后是：好，你还能做什么，让未来所有可能的版本都朝好的方向走？前面那些算是兜住了一部分经济下行风险。另外我认为真正重要的事情是：想办法确保「巨大的上行」，或者兜住「可怕的下行」。确保巨大上行，就是保证在生物学研究这类领域有自动化方式的投入——让这些模型真正能够产出大幅改善我们生活质量的新药。兜住下行，就是 AI 对齐研究之类的，自动化测试，认真思考 AI 安全研究所（AI Safety Institute）这类机构。可这些事听起来随便一个有钱人也能做，好像没有哪件是民族国家独有的能力？这是个好问题。在这个情景下，把资源大规模地配置到算力上，我认为是明智的。如果我掌管一个民族国家，我会这么做。在大多数未来世界里，这都能增加你的选择余地。Dylan Patel 对美国和中国的能源对比有一些吓人的预测。是的。我们差了大概 34 吉瓦。对。美国的曲线基本是平的，而中国的曲线是这样（陡峭上扬）。美国非常明显地——对，我们就是需要多得多的发电厂。是的。如果智能变成一种极其宝贵的投入——智能几乎成为未来经济和生活质量的原材料——那么它正下方的那一层就是能源。所以确保你拥有巨量的太阳能——把沙漠、至少沙漠的一部分铺满光伏板——将有助于确保你在其上能获得更多的智能。对。我把话说明白点，因为我们一直在绕着它说：即便 AI 进展彻底停滞，或者你认为这些模型能力很「尖刺」、没有通用智能，它的经济价值也是如此之大、而且为所有这些白领工作任务收集数据又足够容易，以至于——就像 Sholto 说的——我们应该预期它们在未来 5 年内被自动化。对。哪怕你需要把每一个任务都一勺一勺喂给模型，在经济上也是值得做的。所以即便算法进展停滞、我们再也想不出让进步持续的办法——我不认为会这样，目前它没有停滞，看起来势头很好——现有的这套算法也足以自动化白领工作，只要你有足够多的、对路的数据。是的。而且和所有这类工作的薪资总盘子（TAM）相比，这笔投入微不足道、太值了。对，正是。我还想提一句：如果把莫拉维克悖论（Moravec's paradox）推向极端，会有一个非常反乌托邦的未来。这个悖论说的是：我们以为人类能做的最有价值、最聪明的事，是心算大数相加、是各种白领工作，而把自己的精细运动技能和协调能力视作理所当然。但从进化的角度看恰恰相反：进化把精细运动协调优化得太好了。你看机器人的手——甚至「开门」这个动作对机器人来说仍然非常难。与此同时，我们正看到编程以及其他一切我们视为「聪明」的东西被全面自动化。真正可怕的未来是：AI 什么都能干，唯独干不了物理层面的机器人任务。那样的话，人类会戴着 AirPods、戴着眼镜，由某个机器人霸主通过摄像头控制人类，指挥你干活，在你该捡起的东西上画个边界框——于是你就有了「人肉机器人」。我不是说 AI 一定会想这么干，而是说：如果你去排各种事情的相对经济价值，AI 都在做编程，那人类能做的最有价值的事，就是当出色的「机器人」。话虽如此，我认为莫拉维克悖论有点「假」。机器人之所以在「当机器人」上比在软件工程上差，主要原因是软件工程有互联网——GitHub 存在。而机器人没有对应物。如果你有相当比例的人口在日常生活中的所有动作捕捉（mocap）数据，机器人问题也就接近解决了——或者说，会以软件工程正在被解决的同样速度走向解决。所以这个「人肉机器人」的图景大概只是一个十年长度的章节——但那仍然是相当糟糕的十年。想象那样的世界：人们已经失去了工作；你还没有得到能让生活质量大幅提升的新型生物学研究；你还没有物质丰裕，因为你还无法以必要的方式作用于物理世界——你没法大规模地建造，因为大规模建造基本上需要机器人。而人们的主要比较优势是「当出色的机器人」——那是一个令人震惊的世界。不过从普通人的视角看，那样反而可能更好：你的工资会更高，因为你是某种极其宝贵的东西——AI 劳动力——的互补品，对吧？再过一二十年，世界就很美好了：机器人问题真正解决，你迎来那种彻底的丰裕——前提是你把允许建设所需的政策都准备好了。你最终会经历上海「前后对比照」那样的变化：20 年后，城市面貌天翻地覆。世界上很多地方大概都会在那二十年里变成那样。但我们必须确保：第一，尽力估计「这是否真的正在发生」——为其他所有类型的白领工作建一个类似 SWE-bench 的基准，去度量、去追踪。顺便说，这正是政府应该做的事：把本国经济的各项职能分解成可度量的任务，弄清那条曲线到底长什么样——他们可能会被那里的进展吓一跳。现在可没有「报税评测基准」这种东西。然后——我并没有全部答案——想办法让这个经济的收益在人群中广泛共享；或者重金投资机器人和数据采集，让我们更快得到机器人、更快得到物质丰裕；投资生物学研究，让那些好处都来得更快。总之要努力把那个「彻底的上行」往前拉，否则你就会经历一段相当黑暗的时期。我觉得有一点被严重低估了：既然我们的劳动将不再值钱，我们对未来的影响力，有多大一部分取决于我们的经济和政治制度能否存续。嗯。你那翻了一百万倍的标普股票要有意义、你的合同要有效力、政府要能对 AI 劳动征税并据此给你发全民基本收入（UBI）——
——这一切的前提是我们的法律制度、经济制度、金融轨道能延续到未来。是的。而这大概率成立的方式是：遵循这些轨道也符合 AI 的最佳利益。我说的 AI 不是某个铁板一块的单一 AI，而是那些雇用 AI、并因此变得更高产的企业。你不希望落到这样的境地：在我们的体系里运营的负担重到你实际上是在筛选那些要么迁走、要么去干黑市生意的公司。这意味着，我认为你要让部署 AI 变得超级超级容易，要有「经济特区」的对应物等等。否则你就是把未来拱手让出，让它脱离你可能拥有的任何控制。顺便说，我担心把 AGI 变成国家安全议题、或者让它与政府绑定得极紧——曼哈顿计划那种模式——的原因之一是：那会不成比例地把 AI 的用途导向军事技术、蚊型无人机之类的东西。而且这自然会把其他国家带进同样的思维框架，对吧？如果我们在研发蚊型无人机，中国凭什么不研发？那看起来就是一场零和竞赛，更不用说可能是灾难性的。是的。相比之下——当然，算力会是有限的，我们确实需要不成比例地加速某些方向——但只要格局整体上仍然是面向消费者的自由市场，我们就更有可能得到那个光辉的超人类主义未来，让大家去开发那些让人类生活更美好的东西。是的，我同意。最终演变成两个「国家项目」对峙的那种情形要糟糕得多，对吧？我们不想活在那个世界里。对。让它保持自由市场的状态要好得多得多。对，对。好。我想挑战一下你的说法：即便用今天的算法，只要收集足够的数据，就能自动化白领工作。首先我想弄清楚你的意思。你是说做一个类比于预训练的事，用人们工作中所有行为的轨迹去训练？还是说，你可以——手动也好、通过某种流程也好——基于每个白领工作者的屏幕录像设计出某种 RL 流程？你想象的是哪种？我想的是这类东西的一个连续谱。理解 RL 有一个重要的心智模型：任务越是长时程、越宏大，在某种意义上——只要你能偶尔拿到那个奖励——反而越容易评判。又回到「你能不能在互联网上赚钱」：这是个极其容易评判的奖励信号，但要做到它，底下有一整个复杂行为的层级体系。所以，如果你能通过预训练一路铺垫到那些容易评判的奖励信号——你的网站能不能跑？会不会宕机？用户喜不喜欢？——这些奖励信号我们都能响应，因为我们能走完足够长的轨迹、真正触及有趣的东西。而如果你被困在「每五个 token 就需要一个奖励信号」的状态里，那过程会痛苦和漫长得多。如果你能在「全美国的每一块屏幕」上做预训练，那么你能设计的 RL 任务，跟只能用现今互联网原样数据时相比，会非常不同。你能拿到多少这类数据，会改变整个配方。有意思。那么，当我们在越来越长时程的任务上训练它们、它们要过更久才能得到「任务是否成功」的信号时，会不会因为每个任务需要更多算力而拖慢进展？确实有「任务越长越难、所需训练越多」这种说法，直觉上我也认同。但我们人类很擅长专门练习任务中的困难部分、并把任务分解。我认为一旦模型把基础环节练得足够好，它们就可以直接「排练」或快进到更困难的部分。这肯定是主要的复杂性之一，对吧？随着你动用更多算力、训练越来越难的任务——比如你在生物学上的进步速度，多少会被细胞生长所需的时间卡住，而你在数学上的进步速度就没有这种约束。所以，是的，但我认为对很多事情，我们能把并行做得足够宽、拿到足够多的迭代循环。那「训练新模型」这个范式会消失吗？我们最终会不会变成：你有了一个模型，然后就一直用 RL 训练往它身上叠加新技能？这取决于你认不认为预训练一个新架构有价值。基本上，你做了某种架构改动，那你大概就得以某种形式至少重新训练一个新模型。那这个事实呢：RL 训练本身就需要大量推理，这是否与你之前说的「我们需要更大的模型才能有类脑的能力」相冲突？模型更大，RL 训练它就更贵。平衡点在哪？我觉得这里我们得把「苦涩的教训」一饮而尽。是的，不存在无穷无尽的捷径：你就是得扩大规模、用更大的模型，并为此支付更多的推理成本。如果你想要 AGI，这就是你必须付的价钱。不过这里有一个权衡方程，对吧？有一门大家都在做的科学：在哪个点上做 RL 是最优的。因为你需要的是一个既能学习、又能自己发现稀疏奖励的东西。所以你不要一个单参数模型——虽然跑得飞快，但没用；你也不要一个 100 万亿参数的模型——因为太慢了，RL 根本没法做，而且它学习效率上的边际收益也不值当，对吧？所以这里有一条帕累托前沿：在你当前的能力档位、当前这套 RL 环境等等条件下，最优的模型尺寸是多少。对。而且就在过去一年里，推理成本的权重变得大得多了，对吧？说白了：模型越大，做一次前向传播、生成 token 就越贵。过去的算计只是：我该把浮点算力分给更多训练数据，还是分给更大的模型。而现在另一个巨大的因素是：这个模型训练完之后，我到底要在它上面跑多少次前向传播。对。我的算力总池子，怎么在训练数据算力、推理算力、RL 训练之间分配？甚至在推理内部还有一大堆研究：我该用什么策略？采样 10 个取最好的？还是做那种分支搜索？等等等等。做 RL 时你要采样大量 token，所以你还得把「模型实际生成这些 token、然后学习并获得反馈」的开销也算进去。好。如果我们生活在这样的世界里，你们对职业生涯早期的人、或者在校大学生有什么建议？他们该做什么打算？我再说一遍，值得考虑可能世界的整个谱系，并为之做好准备。在这种情况下我认为期望值最高的行动是：你至少即将获得急剧放大的杠杆。现在 YC 里的创业公司已经在用 Claude 写他们的大量代码了。那么问题是：有了这份额外的杠杆，你想改变世界上的哪些难题、哪些事业？如果你有 10 个工程师随叫随到，你会做什么？如果你有一整家公司随叫随到，那能让你做成什么？哪些问题和领域会突然变得可解？那就是你现在要为之准备的世界。这仍然需要很深的技术功底。当然存在「AI 在一切方面都远超所有人」的情形，但至少在相当长一段时间里，人可能还是有优势的。Jensen（黄仁勋）在一次采访里讲过这个，挺有意思：他说「我身边有十万个通用智能，而我仍然多少有点用——因为是我在给它们设定价值方向、吩咐它们做事」。即便他有十万个通用智能，他仍然有价值。我想对很多人来说，这在相当长的时间里仍会成立。然后随着 AI 越来越强、越来越强——最终也许就不成立了。但还是那句话：为可能世界的整个谱系做准备。在「我们被彻底竞争出局」的那个世界里，你做什么都无所谓；但在其他所有世界里，你做什么都极其重要。把技术功底打扎实：学生物、学计算机科学、学物理，认真想清楚你想解决世界上的什么难题。是啊，这可是一大堆学科。但你现在学得动了，对吧？学习变容易太多了。每个人现在都拥有那个「无限的完美导师」。对对对。这对我肯定帮助很大。我还想说，把你过去的工作流程或专长的沉没成本丢掉，以便重新评估 AI 能为你做什么。没错。换一种好玩的说法：变懒一点——想办法让智能体去干那些苦活。不过短期内你反而要费点心思：批判性地审视你现在做的事情，想想哪些其实 AI 能做得更好，然后去试、去探索。因为现在仍有大量低垂的果实：很多人想当然，不肯写完整的提示词、不给几个示例、不接上合适的工具，白白错过了让工作被加速、被自动化的机会。对。还有一种沉没成本心态：觉得自己不算「早期入场 AI 的人」，船已经开走了，赶不上了。但我记得 GPT-3 出来的时候——说个播客的背景故事——我大学毕业时本来打算做某种「AI 套壳」创业，播客只是通往创业的一个跳板。我当时各种尝试，记得 GPT-3.5 出来时我还想：「哦，3.5 都出了，我要做自己的套壳产品，在创业圈已经落后太多了。」当然，套壳这个主意本身可能就不明智。但重点是：任何时候入场都感觉「还早」——因为这是一个指数增长的过程。很多想法直到现在才刚刚变得可行，对吧？正是我前面说的那个产品指数曲线：产品会被直接淘汰，你必须不断自我革新，才能待在能力前沿上。对了，你还记得吗？我当时有个特别烂的主意，还打电话问过你。我都忘了是什么了——好像是「给律师做 RAG」之类的。总之，我们最早的互动之一就是我问你「嘿，你觉得这个主意怎么样」，你说：「我觉得还是播客更有前途。」这话我领情了。我最近对一个朋友有点恼火——我认为他非常有才华、聪明、也对 AI 感兴趣，但选择了生物这条路。我使劲摇醒他：你想做 AI 就可以去做 AI。我认为人类是「生物版的通用智能」，真正有价值的很多能力都是非常通用的。你之前做过的那种专业化，也许根本没那么重要。当然那是有成本的。但你看，我在 Anthropic 的很多同事，就是对 AI 充满热情，从不让过去的职业成为障碍。因为他们本来就聪明、有才华、有干劲，最后都非常成功、找到了自己的位置。他们并不是一直干 AI 的——很多人来自完全不同的领域。所以，不要以为你需要某个抽象实体的「许可」才能入场、申请、做出贡献。如果有人现在就想成为 AI 研究员，你能给他一个开放性问题吗——那种做出来很可能相当惊艳的开放问题？我觉得，既然 RL 回潮了，在 Andy Jones 那篇棋类游戏扩展定律（scaling laws for board games）基础上继续做的论文会很有意思。比如去研究你之前问的那类问题：模型是真的学到了超出它原有 pass@k 的东西，还是只是在「发现」原本就会的解？把这类问题探究透，我觉得很有意思。对，对。基本上就是「RL 的扩展定律」。我很好奇，比如新增一个任务能带来多大的元学习边际增益之类的。顺着这个说，我认为模型差分（model diffing）也有一大堆机会。对。还有，人们说「我们没有捕获全部特征，还有很多东西留在桌上没拿」——那留在桌上的到底是什么？对。比如模型被越狱时，它用的是你已经识别出的现有特征，还是只用了你没捕获到的那些误差项？我不知道，这里面能做的太多了。我觉得 MATS 项目很棒，Anthropic Fellowship 也进行得非常好。还有 Goodfire——Anthropic 最近投资了他们——他们在做大量可解释性工作。或者随便申请点什么，好把你的期权攒起来，哈。可解释性的项目实在太多了，低垂的果实太多，我们需要更多人，而且我认为我们时间不多了。对。我还想为性能工程（performance engineering）打个广告。我认为这是证明你具备「原始硬实力」的最好方式之一：如果你在 TPU 上、在 Trainium 上、或者用 CUDA 写出了一个极其高效的 Transformer 实现，那我认为你拿到工作邀约的可能性相当高。能被信任去端到端完全负责一个模型性能的人，池子相对很小。而且如果你有宽而深的电子工程功底，我觉得你大概能很快上手加速器相关的东西。对，能相当快地上手。而且它会教给你很多关于模型内部真实运作细节的好直觉，这意味着你随后非常适合去思考架构之类的问题。我现在在 Anthropic 最欣赏的架构思考者之一，就是重度 GPU 内核编程背景出身，对底层里里外外了解得极深，权衡取舍想得非常透。这次聊得很开心，各位。太棒了，谢谢。是啊，很高兴再来。希望你喜欢这期节目。如果喜欢，你能做的最有帮助的事，就是把它分享给你觉得可能会喜欢的人。发给你的朋友、你的群聊、Twitter，随便哪里，让消息传出去。除此之外，如果你能在 YouTube 上订阅，并在 Apple Podcasts 和 Spotify 上留个五星好评，那就帮大忙了。看看下方简介里的赞助商。如果你想赞助未来的节目，请访问 dwarkesh.com/advertise。感谢收听，我们下期见。