欢迎回到 Mad Podcast。今天我们有一期特别精彩的节目，嘉宾是 François Chollet 和 Mike Nougat。François 是这个领域的传奇人物之一，在 Google 担任资深 Staff 工程师期间声名鹊起，其间他创建了普及极广的 Keras 深度学习库。Mike 此前是 Zapier 的联合创始人，后担任该公司的 AI 负责人，他们二人携手发起了 Arc Prize，并共同创建了一家名为 Indium 的新 AGI 研究实验室。在对话的第一部分，我们与 François 深入探讨了 LLM 的早期局限与演进。当前的模型非常擅长吸收海量知识和专业技能，但不擅长即时理解新颖事物。关于智能与 AGI 的定义：当再也难以轻易想出你我能够自然完成、却没有任何 AI 系统能完成的任务时，你就拥有了 AGI。以及通往 AGI 的有前景的路径，包括程序合成。我们坚信前沿方向在于某种适应能力，而解决这种适应的最佳方法是深度学习引导的——或者说直觉引导的——程序搜索。在对话的第二部分，我们与 Mike 和 François 讨论了他们最近的重磅消息——Arc AGI 2 和 Arc Prize 2025 的发布。这项赛事常被称为“机器的智商测试”，历史上曾让各大研究实验室的 LLM 频频失利。我们见证了 Arc Prize 2024 催生的一系列测试时自适应方法，也看到了 o3 迈向 Arc Prize 2025 后留下的一系列证据，我们很期待看到人们带来并应用其中的一些想法。对话尾声，我们简要介绍了 Indium 及其极其雄心勃勃的愿景。他们对要构建的东西有一番愿景，这番愿景与其他前沿实验室正在探索的方向截然不同。我认为从长远来看，他们希望 Indium 能成为人类历史上最具创新力的公司，产出最多的新技术、最多的新知识，并且使用的是他们直接构建的技术。请欣赏与 François 和 Mike 的精彩对话。François，最重磅的消息是 Arc Prize 2025 的宣布以及 Arc AGI 2 的同步发布。不过也许让我们从头说起：Arc AGI 作为一个基准测试是什么？你为什么要创建它？
Arc 是一个 AI 基准测试，试图衡量 AI 的流体智力，而非在特定任务上的技能。这与几乎所有其他 AI 基准测试的做法都截然不同。大多数基准测试考察的是回答特定问题、执行特定任务的能力，这非常依赖知识或技能，而这些都可以在参加基准测试前提前记忆。Arc 完全不同。Arc 是一组你无法提前准备的任务。因此它不是要测你知道什么，而是要测你能否即时适应从未见过的东西。事实证明，这对 AI 来说是极具挑战的。当前模型非常擅长吸收海量知识和专业技能，但不擅长即时理解新事物、适应新情况。这是 AI 不擅长的领域，也正是 Arc 如此有趣的原因。另外值得注意的是，去年 AI 研究领域发生了一次重大转变：研究界开始不再执着于单纯扩大预训练规模，然后在推理时以静态方式使用这些预训练模型——也就是说，运行模型时它们不会变化，不会学习任何新东西，也不会适应新事物。像 GPT-3、GPT-4、Gemini 这类模型就是如此。取而代之的是，大家开始转向在做这种“加法”的同时引入搜索，正如你在 o3 或 o1 Pro 这类模型中看到的。这些模型的延迟要长得多，推理成本也高得多，我们说的是 10 倍、100 倍地更贵。但它们拥有更强的泛化能力。而真正能为这一巨大转变提供强烈信号的基准测试只有一个，那就是 ARC。因为其他所有基准测试其实都在考察技能，所以它们无法区分近乎暴力的 scaling、记忆越来越多的知识与技能，和真正意义上的智商。ARC 实际上是唯一一个能有效衡量智商的基准测试。这正是它作为信号如此有趣的地方。那么，为什么要做 ARC 2？因为 ARC 1 已经很好地发挥了作用，特别是它成功捕捉到了 AI 系统首次拥有真正流体智力的这一转变，这完全是前所未有的。比如 GPT-4.5 就没有流体智力，而 o3 有。这是巨大的差别。ARC 也是唯一捕捉到这一点的基准测试。但它仍然存在一些缺陷。背后的理念是坚实的，例如每个任务都完全独特，因此你无法提前准备；所有任务只建立在核心知识先验之上，意味着它们只需要极其基础的知识，人人都有，LLM 当然也有，实际上任何孩子都有。但在执行层面存在一些问题。具体来说，并非每个任务都 100% 独特；任务空间的多样性不够充分；而且大多数任务很容易被暴力破解。也就是说，如果你直接看任务，不用怎么思考就能立刻看出答案。这意味着如果你用暴力程序枚举之类的方法试图找到解决任务的程序，你其实有相当大的机会找到，因为搜索空间很小。因此在 ARC 2 中，我们彻底修复了这一点。现在它变得极难被暴力破解。你看到的任何任务，至少都需要你进行数秒的深入思考，甚至可能需要数分钟。比如，我们实际上在圣地亚哥进行了现场面对面测试，让真人做了数千道这样的题目。我们发现，每个人都能解出这些任务——我们只保留了能够被真人可靠解决的任务。而解决一道任务的平均时间大约是 5 分钟。这也说明它们并不简单，不是那么容易的，实际上需要你相当程度的思考。所以基本上它只是 ARC 1 的升级版本，理念相同，格式相同，背后的原则相同，要衡量的目标也相同——就是机器的流体智力——但执行得更好。我们会深入探讨并逐一拆解这些内容。不过也许先退一步。你是世界上最顶尖的深度学习专家之一。然而，至少在历史上，当 LLM 被大肆炒作时，你是少数对 LLM 持有更为细致入微看法的人之一，特别是在暴力 scaling 这个层面。因此，为了给整段对话提供背景：LLM 擅长什么，又不擅长什么？另外，也许作为预告，我们稍后会谈到这一点——在 o3 出现之前，LLM 在 ARC-AGI 1 上的表现非常糟糕。而早期数字似乎显示，它们在 AGI-2 上的表现也并不特别好。那么，纯暴力方法的 LLM 方法，其根本局限性是什么？是的，确实如此。需要指出的是，并不是说最近 LLM 在 ARC 上开始表现好了——LLM 在 ARC 上仍然表现极差。实际情况是，我们看到系统已经从仅在推理时静态使用的基础 LLM，转变为复杂得多的系统；这些系统不再是单纯的 LLM 系统，而是将 LLM 作为搜索循环的一部分来使用，但本质上它们已不再是端到端规划模型。总的来说，LLM 是一个非常宽泛的术语，不同的人可能指完全不同的东西。当然，有基础 LLM，你只有一个 prompt，然后在推理时只进行一次生成。接着还有所谓的推理模型，它们首先会生成 chain of thoughts，以此来优化你的 prompt，并试图更好地适应当前任务，而不是只尝试一次性给出答案。再然后，有些模型实际上会执行 test-time search，以及标准化处理；其中一些可能会做训练、做微调——这些在商业模型中并不常见，但都是可以应用的技术。而且，越来越多的商业模型使用这种 test-time search：它们不再只是试图生成单个 COT 来适应任务，而是会运行搜索——例如可能是 MCTS 风格的搜索——试图为任务合成出完美的 chain of thought。因此你必须牢记，存在非常不同类型的系统，具备不同的能力，而基础模型的局限性依然如故。而 ARC 设计的初衷就是凸显这些局限性，它完全抗拒了扩展基础模型的范式。回想 2019 年我刚发布 ARC 时，当时最好的 LLM 大概是 GPT-2，它在 ARC 上当然完全没用。大约半年后，GPT-3 问世，它在 ARC 上的得分也是 0%。而如今，最新的基础 LLM 在 ARC 1 上的得分大约是 10%，在 ARC 2 上则是 0%。需要说明的是，ARC 1 上 10% 的得分非常低，因为人类可以做到 95% 以上。也许……不，这是肯定的。我是说，也许你该试试那些简单的题目。我确实试过一些。这并不难，对吧？真的很直观。尤其是如果你愿意花时间，每个任务花上几分钟。而且，即使你只做非常粗糙的暴力编程枚举——就像我们在 2020 年第一届竞赛中看到的那样——也能得到 20% 的分数。如果你把同样的技术稍微扩展一下，就能达到 50% 左右。所以如果你只做到 10%，那其实是非常低的。这是一个完全抗拒预训练扩展范式的基准测试，因为从 GPT-2 到 GPT-4 1.5，基础模型已经扩展了约 5 万倍，但在 ARC 上的结果却基本上是一条平线。因此我们取得大量进展的领域是 test time adaptation。所以你最初的问题是，LLM 擅长什么、不擅长什么。说实话，如果你说的是基础模型，它们其实什么都不太擅长。但你可以把它们用于一些非关键的信息检索，或者失败成本不高的自动化任务。因为问题在于，它们也许能为你做一些有用的事，但总有某种概率会失败，或者以某种方式出错。所以你一定要让其在 human in the loop 的情况下使用，并且只用于非关键任务。如果你用它们来做头脑风暴、信息检索等，如果要用于任何实际用途，都应该确保检查输出结果。但它们对于非常广泛的 minor automation tasks 来说极其有用。所以我每天都在用 LLM 处理各种小事。当然包括编程，作为一种文本行补全机制，或者替代 Stack Overflow——如果我有问题需要解答的话。做头脑风暴也很棒。检查文本中的错别字等等。它们在很多方面都非常有用。它们不擅长的是任何更像算法式推理的东西，或者适应一个从未见过的问题——这就是它们在 ARC 上失败的原因。作为这一切的背景，ARC 是一个最终关注 AGI 进展的基准测试，这就引出了关于什么是 AGI、什么是智能的整体讨论——这个问题你显然已经思考了很多年。那么，联系到 LLM 至少在其暴力方法方面的局限性，智能是什么？需要发展什么样的智能？这种 test time compute 试图达到的又是什么？当然。同样，智能是一个非常非常宽泛的术语，不同的人对此有完全不同的理解。但我真正感兴趣的智能定义，不是指完成一堆特定任务的能力——基本上就是技能包。我感兴趣的是 fluid intelligence。基本上就是面对一个新问题并创造性地解决它，或者进入一个新领域并掌握一项你之前不具备的技能的能力。而且要高效地完成。我认为效率的概念才是智能的核心，因为你总可以用昂贵的方式做事。例如，你总可以用暴力方法解决问题：算法就是，考虑所有可能的解空间，然后逐个迭代检查，最终在十亿年后你会找到正确答案。你可以用这种方法解决任何问题，包括艺术。只要有数十亿甚至更多的计算资源，它们绝对可以通过暴力方法解决艺术问题，但那不是智能。智能是走捷径的能力。基本上就是，做这些非常困难的事，以极高的效率有效地解决这些非常难的 NP-complete 问题，几乎是实时地解决。是的，我们有智能，是因为我们能快速学习、快速掌握新技能、快速解决问题。就像你解决一个 ARC 任务时，可能只需要几秒或几分钟。你不需要遍历一亿个不同的可能程序来从输入得到输出。你可能只看两三个可能性。所以，总结一下，我认为智能就是 skill acquisition efficiency。关键不在于你能掌握技能，而在于你掌握技能的效率有多高。这是衡量智能的标准。还有适应能力，对吧？这很大程度上是你的研究方向，而且我猜 O3 似乎正朝着这个方向迈进。结合背景来说，正如我们之前提到的，在一段时间里所有 LLM 在 ARC-AGI-1 上都表现得很糟糕。我相信在 ARC Prize 2024 结束之后不久，你们接到了 OpenAI 的电话，他们说：“嘿，实际上我们正在研发 O3，它似乎产生了一些有趣的结果。”据你所知，他们做了什么——你可以展开任何你想要的技术细节——让他们从大约 20%（我认为 Anthropic 的 Sonnet 3.5 表现最好，达到了 25%）一跃而起？O3 在公开测试集上达到了 75%，在私有测试集上达到了 85%，那才是真正对我们有用的数据，但之前最多只有 10% 左右。那么，为什么会出现如此巨大的飞跃？这实际上是因为出现了范式转变，不再仅仅依赖基础模型，而是进行测试时自适应（test adaptation）。据我所知，O3 是当时最先进、最成功的测试时自适应模型。他们具体做了什么？我只能推测。显然，它在做测试时自适应，这就是你看到泛化能力出现巨大飞跃的原因。但它究竟如何运作？我个人的非正式推测是，他们可能在所有可能的思维链（chain of thoughts）空间上进行某种形式的测试时搜索（test time search）。每次尝试编辑思维链时，他们会检查自洽性、与任务的一致性等等。这种检查由一种我们称之为“评分模型”（grader model）的东西自动执行——该模型专门用于评估你的思维链是否真的扎实，是否与当前问题匹配等等。因此，这实际上是一种测试时程序搜索（test time program search），只不过程序是 token 空间中的自然语言程序；而且，你不是通过针对单元测试套件实际执行它来验证正确性，而是让另一个模型来为你评估它。我认为这是最可能的情况，因为它与我们观察到的现象以及我们掌握的信息是一致的。一般来说，区分一个只是基础模型（或只生成单条思维链的模型）与一个进行测试时搜索的模型的一种方法是看推理延迟（inference latency）。如果模型进行搜索，它可能需要几分钟才能给出答案，甚至可能更久。你也可以看成本。进行测试时搜索的模型，在测试阶段要做的工作多得多，成本可能是原来的 10 倍、100 倍、1000 倍。例如，OpenAI 在我们尝试过的最高计算配置下运行，在 ARC 上每个任务要消耗大约 1 万到 2 万美元——就这么一个小谜题，而你通常用一个更好的 API 花几分钱就能解决。另一个你可以看的指标是泛化能力（generalization power）。ARC 实际上是一个提升泛化能力的很好的基准。因此，你会看到从基线到执行这种自适应的模型之间出现巨大飞跃，简直是飞跃，我们从 10% 直接跳到了 80% 左右。那你知道他们是否在提供的数据集上进行了微调吗？——这是个好问题，我们目前还没有明确的答案。他们告诉我们，他们使用了相当大比例的训练任务，我想大约是 75%，以某种方式来调整模型。首先，这完全合法。训练任务本来就是为了训练用的。如果你在训练数据上训练，那完全没问题，这并不违规。这就是他们在某个特定测试集上获得的分数。但“使用这些任务”具体意味着什么？至少有两种解释。一种是：它们只是基础模型预训练数据的一部分。但这说不通，因为所有东西本来就都是基础模型训练数据的一部分。这个模型肯定在 GitHub 上训练过。ARC 的训练数据肯定在 GitHub 上，不是 75%，而是 100%。而且公开的 ARC 数据也在 GitHub 上，所以肯定也训练过。此外，它还训练过 GitHub 上许多不同的仓库，这些仓库提供了更多生成的 ARC 任务，或者提供了针对训练集、评估集中特定 ARC 任务的解题程序。所以大概不是这个意思。他们一定是专门针对那 75% 的训练任务做了什么特殊处理。另一种解释是，他们有一个系统，可以通过强化学习等方式对模型进行少样本微调（few-shot fine-tuning）。于是他们创建了一个专门针对 ARC 进行微调的基础模型实例。我认为这是最合理的解释，这当然可以解释部分性能飞跃。但即便如此，这仍然是我们以前在模型中从未见过的能力。所以无论它是一个专门针对 ARC 的模型，还是一个更通用的模型，无论如何，我认为它都极其令人印象深刻，绝对是一个突破。
ARC Prize 2024 中还有一些其他非常有趣且有前景的方法。你能谈谈这些方法吗？以及更普遍地说，它们如何与你自己的工作相关联？比如深度学习引导的程序合成（deep learning guided program synthesis）是什么意思？程序合成（program synthesis）是什么意思？深度学习如何起到帮助作用？还有测试时训练（test time training）等其他方法，以及将程序合成与 transductive models 结合，这些又都意味着什么？我认为 ARC Prize 去年在突出展示创建真正具备流体智力（fluid intelligence）的模型的当前最佳方法方面做得非常出色，这些方法都是测试时应用（test-time application）方法。特别是一类通过 ARC Prize 真正大放异彩的方法：测试时微调（test time fine tuning）或测试时训练（test time training）。在这种方法中，你使用一个语言模型进行 transduction，意思是它看到任务后直接预测答案。你可以将其与 induction 相对比：induction 是你看到任务后尝试预测一个程序，该程序将任务转化为答案。所以一种情况是直接预测答案，另一种情况是尝试预测给出答案的过程或程序。你使用这种 transductive model，在测试时从当前要解决的任务中生成数据，专门用于微调，把输入映射到输出，然后在测试输入上运行该模型，看它给出什么结果。这是一类方法。另一类通过 ARC Prize 大放异彩的方法是程序合成（program synthesis）。程序合成的核心思想是，你使用某种语言进行工作。可能是针对问题的特定语言，比如 DSL（domain specific language，领域特定语言）。现在有很多 ARC 的 DSL。当然，你也可以使用像 Python 这样的通用编程语言。这时你会审视任务，并尝试编写一个能解决该任务的程序。在这个过程中，你会生成一系列候选程序，然后尝试在输入上运行它们，看看是否能得到正确的输出。如果你找到一个正确的程序，它确实能在测试对（test pairs）上运行，而且长度较短、相对精简，那么它很可能是一个适用于在测试输入上进行泛化的好候选方案。关于这一思路有许多不同的变体。例如，你可以使用 LLM 来生成 Python 代码，这是一种可行的做法，也是 program synthesis 规划思想的一个实例。你也可以进行真正的离散程序搜索（discrete program search），也就是说，你拥有一组类似基本元素的运算操作，定义在 DSL 中，然后尝试将它们重新组合成图结构，这些图就是程序；你通过离散搜索过程来完成这种重新组合。实际上，这种技术在前几届比赛中表现最好。比如在 Paskal 第一届比赛中，2020 年的冠军技术就是采用手工设计的 DSL 配合非常快速的搜索过程来实现的。那么 program synthesis 有哪些具体的技术挑战呢？如果说 LLM 的方法受限于数据，那么 program synthesis 的约束是什么呢？主要的约束在于，你编写程序的方式并不够复杂精妙。因此，你尝试的第一个程序就是正确的概率非常低。为了找到正确的程序，你必须尝试大量不同的程序。例如，如果你只是进行暴力程序搜索（brute force program search），随机尝试程序，那么为了找到正确的程序，你必须在搜索空间中遍历数百万个潜在解点。主要的瓶颈在于，这个搜索过程需要非常长的时间。搜索空间极其庞大，而评估每一个点都需要一定的计算量。你需要评估数百万个点，这极其昂贵。当然，人类并不会这样做。人类可能也会做类似 program search 的事情，但搜索量非常小。你看着问题，迅速构建一个非常小的假设集合来解释你观察到的现象。可能只有两个，或者三个假设，然后你去验证它们。所以这也是一种搜索，一种 program search 的形式，带有回溯机制：如果某个程序不起作用，你可以在脑中调试它，或者直接丢弃，转向下一个假设。但搜索空间的规模很小，因为坦率地说，人类并不擅长那些计算机极其擅长的事情，比如评估包含数百万个点的离散搜索空间。所以人类会有一些捷径，能够凭直觉有效地找到正确的程序。这听起来像是直觉的根本概念。那么，你们正在做的工作以及你们提出的想法，是否有一部分是要将暴力搜索——或者说发挥其所长——与直觉的概念结合起来，以此作为通往 AGI 的路径？是的，我的意思是，我们并不知道人类是如何做到的，但显然直觉是其中的一部分。直觉这个概念指的是，你会利用已有的经验来减少猜测的数量。这样一来，在找到正确猜测之前，你需要验证的猜测就更少了。LLM 所做的就是一种非常粗糙的版本。当我们使用 LLM，基于某个任务定义来生成程序时，实际上你是在利用关于程序空间形状的一种统计先验（statistical prior）来减少猜测的数量，对吧？例如，你的大部分猜测在语法上会是正确的，这已经是一个很好的特性了。它们中的大多数也会以某种方式与任务相关，等等。因此，如果你使用这样的统计先验，也许你只需要尝试几百万个程序，甚至更少，比如几万、几千个程序，就能找到正确的程序，而不需要像纯粹的暴力程序枚举（brute force program enumeration）那样尝试数十亿次。但你的直觉越精密，为了找到正确答案所需做出的猜测就越少。如果你拥有一个像人类那样极其精密的直觉系统，我们几乎一眼就能看到正确答案，我们脑海中只会产生非常少的假设，实际上只是寥寥几个。想确认一下我是否理解正确：program search 和 program synthesis 是同一回事，还是不同的概念？换句话说，你们只是试图从一长串现有程序中进行选择，还是说我们在讨论 AI 基本上是在实时创建一个程序，以适应它从未见过的情况？它们通常是一回事，因为如果你在进行任何形式的 program synthesis——即使是用 LLM 来生成程序——你仍然需要验证它是否正确。它很可能不会一次就正确。所以，如果你在做 program synthesis，你肯定也在做某种形式的 program search。你必须在找到正确的那个之前测试几个猜测。好的，Francois，非常感谢。现在正好可以请出你的联合创始人 Mike，他此前是 Zapier 的联合创始人。首先，你们是怎么认识的？怎么开始一起工作的？是一位共同的朋友介绍我们认识的，就是 Weights & Biases 的 CEO Lucas。我的背景刚才提到了，我联合创立了 Zapier，然后在过去十多年里基本上一直在运营那家公司。2022 年初，我开始更深入地接触 AI。当年一月左右发表的那篇 chain of thought 论文真的让我震惊。其实自从公司创立之初，我就一直对 AI 保持着松散的关注和好奇，但 Zapier 是一家以使命为导向的公司，未必会投资于深度学习或机器学习的前沿领域。我曾就 GPT-3 给全公司做了一次演示，一年多后看到 chain of thought 论文发表，真的非常震惊：当时我们拥有的那些推理基准测试、语言模型基准测试，在使用这种一步一步、"let's think step by step" 的方法后，分数都出现了阶跃式的提升。当时我管理着公司一半的业务，我把这些全部交还给我的联合创始人 Wade，他是 CEO，然后我自己全身心投入到在 Zapier 进行 AI 研究。我认为这也是 Zapier 成为 AI 早期采用者并将 AI 部署到市场的原因之一。我们现在部署 AI agents 已经有两年多了。多年来我注意到一件有趣的事，来自客户的反馈——我和数百甚至数千名客户交流过，他们谈到试图用 AI 为企业做自动化。反馈总是大同小异："嘿，我明白这玩意儿的潜力，我知道我想用它来做什么，但它的可靠性还不够高。"
要知道，它随机出错的概率是十次里就有两次，这在像 ChatGPT 这样有人监督的场景中可能还行，就是你在和这类助手对话的时候，但在自动化场景中就真的行不通了，也就是在服务器上无人值守、完全无需手动干预的情况下，对吧？你并没有在实时监督它。而且即便模型在不断进步，从 GPT-3 到 3.5 再到 4、4.0，我听到的反馈始终都是类似的。与此同时，2023 年到 2024 年期间，我在网上，也就是在 Twitter 上，亲身经历了所有那些关于 AGI 和 scaling 的炒作，我相信你也一样。所以我就有了这两种互不相容的亲身经历。我开始试图弄清真相到底是什么，然后读到了 Francois 的论文。我想我最早是在疫情期间通过 Lex Fridman 的播客接触到 Francois 你的研究的，后来在 Zapier 工作期间又重新发现了它。然后我开始向 AI 圈、湾区那边的人四处打听：“嘿，你听说过 ARC benchmark 吗？看起来非常重要。我觉得它可能是当今存在的最重要的 benchmark。”但几乎没人听说过。最后我和 Lucas 聊起了这件事，结果发现他和 Francois 很熟，就介绍我们认识。刚好就在一年前，我飞到西雅图，向他抛出了一些试图攻克这个 benchmark 的想法，同时也想验证一下我的理解是否正确，比如：“嘿，大家对这个 benchmark 的认知度真的这么低吗？你是否也认为它是一个非常重要、至今未被攻克的 benchmark？”我觉得那次谈话结束后，我对这两个问题的答案都确信不疑。而且就在前一年，我刚看到 Nat Friedman 举办了 Vesuvius Challenge，那个比赛非常成功，这类竞赛能把大量注意力聚焦在一个大多数人从未听说或了解不足的问题上。我觉得我们可以效仿这种模式，最终这就是我们当初一起推出这个奖项最初版本的由来。那我们来具体聊聊它的运作机制吧。从 2014 年开始，不过我觉得今天的结构应该还是一样的。所以有一个 private version，一个 public version，还有一个 paper prize。这一切到底是怎么运作的？我想我们设立 ARC Prize 的目标之一，最初就是提高大家的认知：有一个至今未被攻克、非常重要的 AI benchmark 摆在那里，它没有饱和，而且抵御了纯语言模型系统五万倍的规模扩展。这在某种程度上是为了反驳并向社会说明一个事实：仅靠 pre-training 对这些纯语言模型来说是不够的。这与当时网上所有的炒作、所有的教条形成了鲜明对比。为了更清楚地说明这一点，也许你还记得去年夏天在加州有个重要的 SB 1047 法案，那项 AI 法案的主要监管逻辑和出台前提就是这种 scaling 会持续下去，并导致非常严重的后果，所以我们必须立即实施监管，否则就来不及了。对，当时 GPT-4 发布的时候，整个科技行业的普遍叙事是：GPT-4 只是 GPT-3 的更大版本，用更多数据训练出来的，架构一样，背后的原理也一样，只是规模做大了，然后你就看到了这种惊人的阶跃式提升。而 GPT-3 据说也只是 GPT-2 的更大版本。所以当时的想法是，GPT-5 也会走同样的路，只是再下一步而已。我们需要这些巨大的数据中心来训练它，然后它就会成为真正的 AGI。AGI 会自然而然地从扩大规模中涌现出来。基本上所有证据都指向这个方向。如果你看的 benchmark 只是基于对知识和技能的暴力记忆，如果你不仔细深究的话，这就是你会得出的结论。所以当时所有人都相信这一点。也许一些更成熟的研究者，比如很多我钦佩的人可能有不同看法，但那确实是主流叙事。有趣的是，大约一年半以后，这种叙事就消失了。人们完全意识到，不，仅仅做好 pre-training 是不够的，你其实需要完全不同的思路，也许尤其需要某种 adaptation 才能实现真正的 fluid intelligence 和 AGI。所以第一个重要目标就是提高大家对这一事实的认知。说实话，这也是为了重新激励大家。我想在那之前的一年里，我花了很多时间和研究人员以及学生待在一起，我听到的很有意思的一种情绪是——怎么说呢——很沮丧：“嘿，这些东西不都已经解决了吗？AI 里真正有意思的事不多了，也许我应该去语言模型的应用层工作，而不是做研究了。”我觉得这是一件非常不好的事。要知道，我们还没有 AGI，我们甚至还没有实现它的思路。即便到了今天，我们仍然受限于想法。如果这是真的——我觉得我们的 KGI 1 和 KGI 2 都证明了这一点——你就想设计出尽可能强大的创新生态系统，它应该是非常开放的，有很多分享，有很多样化的方法。你知道，你不想要的是一个封闭、没有分享、充斥着教条或单一文化视角的环境。所以我们去年真的希望通过这个奖项激励大家去探索新想法。说到这一点，其中一个版本——是 private version 对吧？如果我理解错了请纠正我——你必须完全公开你做了什么，而且计算量也有严格限制。是这样吗？是的，基本思路是有一条赛道面向不联网、完全自包含、非常高效且计算预算极其有限的方法。参赛者在比赛结束时必须将它们开源。所以这真的是为了激励开放分享，尽可能汇聚更多想法，并且重点关注效率。我们相信效率不仅仅是系统的一个好特性，它实际上位于智能的核心。另一条赛道则是为前沿模型提供持续的 benchmark，以便追踪：如果你看看当前最好的商用前沿模型，比如现在的 o1 Pro，未来很快会有 o3 等等，还有 Gemini 3 之类的，这些模型究竟拥有多少真正的智能？这基本独立于效率的考量。不过我们仍然希望监控效率。所以我们会在一个二维图表上报告结果。我们不只看分数这个标量，而是看分数与每个任务所需成本之间的关系，也就是达到该分数所需要的成本。当然，一个能以低得多的任务成本获得同样分数的模型，就是更智能的模型。关于比赛结构还有一件事值得补充，除了 Francois 提到的那些分数赛道，我们去年还引入了一项设置，2025 年也会继续，那就是论文奖项赛道。像 Kaggle 这类比赛受到的一种批评是，很多人会过度拟合数据集或基准测试。人们会搞数据集挖掘，用很多非常狭隘的方法，这些方法可能并不具备泛化能力，因为他们只是为了赢得比赛、拿到最高分而优化。而且我们确实也看到了一些这种情况。虽然也有一些真正好的概念性突破，但肯定也夹杂了很多对基准测试的“钻空子”。我们设立这个论文奖项，基本上是为了激励概念层面的进步。实际上，我认为我们 2024 年大奖赛中涌现的一些最优秀研究就来自去年的论文赛道。比如 test time training、test time adaptation 这类方法。我们不仅拿到了开源可复现的代码，还有支撑这些方法的理论。我觉得回过头看，我们 2024 年大奖赛可能会被铭记的一点在于，它标记了一个时刻——AI 领域意识到：是的，我们确实需要 test time adaptation 方法才能解决 ARC 这类问题，而 O3 无疑也证明了这一点。我也和 Francois 聊过一点关于 O3 的事，但另外，当时的最高成绩是不是 Mind's Eye，那个 Jack Cole 的团队？对，他们一直位居榜首直到比赛结束。但他们最终退出了，因为不愿意开源他们的解决方案，当然这意味着他们就没有资格获奖了。说到这个，开源是你们工作的一个重要方面。能不能谈谈这一点，以及 2025 年和去年有什么不同。我的意思是，去年绝对有一种说法是，OpenAI 太过闭源，拖慢了世界和 AGI 进展的速度。今年我们都知道 DeepSeek 某种程度上……那个时刻。你怎么看这一切？有很多团队联系我，说他们非常兴奋能够实际使用并尝试将 DeepSeek 的新系统和论文中的一些想法应用到我们的大奖赛上。所以，开源的目标，我们其实有两个。这就是我们为什么要求获奖必须开源。真正的原因有两个。第一，我们试图更多地去模拟 2010 年代到 2020 年代 AI 研究的学术环境，即便看语言模型的发展，那也是建立在开放进展、开放分享的基础上的，大概来自四五个不同公司实验室的四五个人，最终共同促成了 transformer，然后是 GPT-2 以及后续的规模扩展。所以我们想更多地去模拟那种环境。而且不幸的是，由于很多市场竞争动态，基本上自 GPT-4 发布以来，前沿领域就真的没有开放的思想交流了。我们觉得这对领域进展造成了很大的阻碍，所以我们想尝试用这个大奖赛，在某种程度上，以微小的方式将前沿拉回更开放的方向，促成更多的分享。第二，我们这么做是为了让整个社区能够在比赛结束后、进入下一年之前，持续地重新建立基准线。比赛的一个特点和现实是，虽然我们希望大家分享，但实际上人们总想保留自己的优势，对吧？他们想在整个比赛期间都不分享，以便最终赢得奖项。所以我们这种比赛的一个结构性设计就是按年度举办。我们会继续每年举办，直到大奖被攻克。我们知道在比赛期间人们不会真正分享。但我们希望能在比赛结束后利用奖金说服大家分享进展，然后用这些开放的知识让整个社区重新建立基准线，明确攻克这个难题需要什么，并将这些知识带入下一年。有趣的是，这次基本上就是这么发生的。我们从 2024 年大奖赛中获得了一系列 test time adaptation 方法。然后我们从 O3 那里得到了大量证据，表明 test time adaptation 是一种能让你在基准测试上取得重大进展的正当方式，但可能效率不高。接着一月份 DeepSeek 的东西出来了。所有这些现在都已经进入了 AI 研究者的前沿知识库，带入我们 2025 年的大奖赛。我们非常期待看到人们把这些想法应用到今年的新 ARC AGI 2 数据集上。再说一遍，对于还没接触过的人来说，你必须达到 85%。85% 是实际获奖的成功线。85%，我们 2025 年大奖赛，和去年相比有一些变动。最大的变化是我们将数据集从第一版换成了第二版。我们现在使用 ARC AGI 2。你必须在 Kaggle 的效率限制内达到 85%，大概是……
而且 85% 是解决这道题的人类水平。实际上还更低一些。新的 ARC AGI 2 数据集一个很酷的地方在于，我们冬天在圣地亚哥做了一项大规模的人类研究，受控的人类研究。所以现在我们可以非常肯定地断言，数据集中的每一个任务都至少被两个人类在两次尝试以内解决了，而我们对 AI 系统应用的也是同样的规则。对于第一版，我们其实没法自信地这么说。我们凭经验相信这是真的，但我们没有数据支撑。现在我们确实有数据可以这么说了。所以我们定 85%，主要是因为我们预计有些任务可能存在一定程度的歧义，可能有些任务里有小 bug，我们不想把 100% 作为目标。我们觉得 85% 是一个不错的门槛，它承认边缘地带可能有些模糊，但 yeah，这个数据集中的每一个任务都已经被人类解决了。需要明确的是，一个普通人靠自己可能拿不到 85%。根据我们的测试，测试池中的普通人大概能拿到 60% 左右。但如果你从测试池中选一个小型专家组，比如 10 个人，让他们独立解题，然后做多数投票，这个专家组集体应该能拿到 100%。好，说到 ARC AGI-2 的新变化，也许我们可以聊聊这个专家组。显然，我们之前聊了聊智能和 AGI，但人类智能是有光谱的。你是如何设计测试来反映这种智能光谱的？你是怎么选人的？流程是什么？我们并不是想挑选那些擅长解谜、从而在 ARC 上表现突出的人。我们确实通过现有的服务平台随机招募了一些人来进行科学测试，最终得到的群体相当多元化——从 Uber 司机到学生，再到失业人员，基本上就是所有想赚点外快的人。所以他们都是非常普通的普通人，而且我们知道我们的任务普通人也能解决。在任务筛选过程中，我们做了一件事：排除那些人人都能解决的任务。因为如果某件事对所有人来说都轻而易举，它实际上并不会提供很强的信号，它很可能太容易通过暴力破解解决。同时我们也排除了过难的任务，因此我们只保留了那些至少能被两个人在两次尝试以内独立解决的任务。这样我们就知道它是可解的，而且是可复现地可解，但又不仅仅是一次性的偶然成功。我在你们的文稿中注意到，你们重点关注了某些能力，包括符号解释、组合推理和上下文规则应用。这些分别是什么意思？嗯，如果你愿意，我们可以逐一解释它们具体代表什么。不过，从大方向上说，核心的结论是，新的 ARC 任务都需要某种程度的刻意深度思考。你必须观察数据，思考一段时间，而且你需要想出的推理链会包含几个跳转。特别是，它可能包含一些控制流跳转，比如像 if 语句那样的结构。这在 ARC 1 中并不常见，而这确实在数据集对 ARC 参与者的挑战性方面造成了巨大差异。你预计 ARC AGI 什么时候会被完全攻克？之后还会有 ARC-3、ARC-4 吗？以及，我们什么时候能集体欢呼说“太好了，我们实现 AGI 了”？没错。从实用角度来说，当你再也想不出那种你和我很自然就能做到、但没有任何 AI 系统能做到的任务时，你就拥有 AGI 了。如果再也想不出这类任务，那你可能就拥有 AGI 了。顺便说一句，我很惊讶我们这么容易就做出了 V2 数据集，我认为这实际上也说明了我们还有多少路要走。是的，你越接近 AGI，就越难想出这类问题，而现在想出这种问题还不算困难，所以我们还有一段路要走。那 ARC-2 多久会被攻克？我们不知道。而且这不仅关系到何时能达到 85% 的分数，还关系到实现它的效率有多高。不过我们已经在开始开发 version three 了，它将采用全新的形式，所以我们不认为 ARC-2 会是最后一个基准测试。我认为之后肯定还会有下一个基准，再下一个，它们可能都是通往 AGI 之路上的几个重要里程碑。我猜这终究是不可预测的，对吧？因为总会有惊喜出现。我认为 O3 至少对我个人来说就是个惊喜。我认为这是许多 AI 预测者、评论员甚至读者都难以认识到的一点：你可以沿着平滑的 scaling curve 做出相当轻松的预测，对吧？你只需要画出趋势线，然后说“好，我们预计会达到这里”。更难预测的是阶梯函数式的变化何时发生，因为这些并不是那种平滑的 scaling law 的结果——不是你微调某个变量就能渐入佳境的，而是那种“这些系统工作的底层动态和结构实际上发生了改变”的情况。它需要某种新想法被融入进去。而做这类预测真正困难的一点在于，你需要两样东西：第一，这个想法必须已经存在于世上；第二，必须有人去实现它。而在尚未发生的环境中，你其实不确定这两件事哪一件是真的。是说“哦，我们还没有想法”？还是说技术还没有发展到足以让我们产生正确的构建思路？还是说“不，所有知识都已经在那儿了，只需要有人把它们整合成一个实现”？所以这两者都是非常本质上不可预测的事，在你回顾之前很难确定。这让围绕这些事情的预测变得非常困难，而我总是不太愿意对“阶梯式变化何时发生”给出硬性判断。这些往往是非常令人惊讶的时刻，我认为 AlphaGo 肯定就是其中之一。我想聊聊 India。因为你们俩是 Arc Prize 的联合创始人，但最近、也许更重要的是，你们还是一家新研究实验室的联合创始人。我知道你不能谈太多，但你能分享什么都可以，包括这个想法本身。François Chollet，你在 Google 的经历非常精彩，而且是著名的 Keras 创造者。有很多人选择留在大公司的舒适区里，有些人创业之后又回到那些公司。你和 Mike 合作、自己出去闯来追求 AGI 的原因是什么？我们对想要构建的东西有一个愿景。这个愿景与其他前沿实验室实际探索的方向非常不同。我们有一些见解或信念，与 AI 研究界的主流叙事相悖，而我们相信最好的执行方式是作为一个独立的小规模实体。对我们来说同样重要的是快速行动、快速迭代，而这作为一个精干的小团队更容易实现。至少从你们网站上写的少量信息来看，方向正是围绕 program synthesis 这个概念。没错。我们真的相信，前沿方向就是适应，而实现这种适应的最佳方式是深度学习引导的、或直觉引导的 program synthesis。这就是我们试图实现的。你提到实现 AGI 是其中的一部分，但实际上愿景甚至比 AGI 更大。引用你的原话，你们正在建造一个“快速科学进步的工厂”，一个能够发明并实现想法商业化的工厂。也因此有了这个名字。还有什么补充说明能帮助理解这意味着什么吗？我想这是去年夏天我们一起做 Prize 项目时，发现彼此价值观高度一致的地方。我们两人都很兴奋于尝试将 AGI 的前沿成果用于压缩科学发现的时间线。我认为有一个很有意思的观察：如果你稍微拉远视角，问“今天的人类是什么？”
你知道，人类并不完全是过去一万代生物进化累积的产物。它实际上是一个知识巨像、一个技术巨像，是我们集体建造并层层叠加出来的。而AGI将极大地有机会加速那种向这棵科技树、那个知识巨像不断添砖加瓦的速度。顺便说一句，这也是最初就激励人们从事AGI研究的原因之一。要知道，如果我们在近期——也就是未来5年、10年或几十年里——所拥有的AI仅仅是能够模仿和追随人类已有成果的那种，那我们其实并没有真正大幅改变生产新技术、创造新知识并将其汇入那个知识库、回馈给人类的速度。你始终会受到人类的限制，需要有人介入审核、引导和检查。如果我们真想显著提升这类事物的发展速度，我们就真正需要能够自主创新的AGI。而这正是当下所缺失的，也是前沿领域真正缺失的东西。我认为，就连RPJ 2这类项目也以某种方式显示出，我们所缺失的正是这一点。就是说，如果我们能在这方面取得进展，我们也就朝着能够自主创新的AGI系统迈出了步伐。所以，从长远来看，我们希望看到India成为人类历史上最具创新力的公司，利用我们直接建造的技术，产出最多的新技术、最多的新知识。是的，说来有趣，创造AGI只是这个多步总体计划中的第一步。而且这关乎科学发现，对吧？这么说来，你心目中的成功愿景似乎不是帮人们写出更好的邮件，或者做表情包之类的。这让我们个人很感兴趣，但更重要的是，我们构建的技术具有差异化优势，它将更有能力解决那些人类从未解决过的问题。要知道，这与LLMs相比是非常不同的。但它实际上只在非常有利的领域有效，比如符号领域，像数学、物理、编程这类，但不包括创意写作。所以，我们并不是想帮人们写出更好的邮件。我们认为LLMs其实是实现这一点的绝佳系统，而那不是我们要建造的东西。我想到这个就有点兴奋，好吧，我补充一点。你看，AGI会被用来解决很多问题。我们已经在用AI解决很多问题了。以我在Zapier的观察，Zapier正在靠这些系统赚钱。所以，对于AI在帮助人们解决重要问题方面的现状，我没什么可挑剔的。我们也会用AGI来解决问题。我认为这完全没问题。而且我们绝对应该这么做。不过，我确实认为，创造AGI、或者说发现AGI的过程本身有某种非常令人兴奋的东西，因为要知道，我们像是在这里开启一场冒险。这是一场通往未知未来的旅程。我们并不确切知道将要产生什么样的知识，或者技术会发展到什么程度。而我认为这正是让我个人感到非常兴奋的一点。要知道，这几乎就像是在某种程度上制造一台通往未来的时间机器。而且，是的，我确实认为，人类集体努力的一部分应该投入到尝试为我们推进这场冒险之中。听起来你们的核心研究团队已经就位了。你们大概还在招人吧？是的，我们的创始团队基本已经就位了。要知道，我们正努力 basically 打造全球顶尖的 program synthesis 人才和团队。我们认为，要想让我们共同推进的研究项目取得成功，这正是所需要的。所以创始团队已经就位了。不过，对于在 program synthesis 方面真正出色的顶尖候选人，我们将永远敞开大门。所以如果有正在听这段节目的人符合条件，你可以申请。你可以去 Indea.com，Indea.com。网站上有一个加入的链接。你也可以给我们发邮件。我们很乐意看到。而且你们可以在世界任何地方？是的。呃，很好很好。感谢你——你比我还会帮我们宣传。是的，Indea 是一支全球远程团队。嗯，这某种程度上是因为 program synthesis 人才分布在全球各地这个事实。这更多是一个务实的考虑，要知道，我不知道现在世界上是不是已经有几百万名深度学习工程师了，但相比之下，全球真正顶尖的 program synthesis 人才可能只有几百人。所以为了能找到这些人并把他们汇聚到同一个团队，是的，我们做出了这样一个务实的决定，采用全球远程办公的模式。而这基本上也是我过去15年在 Zapier 所践行的模式，Zapier 也是全球远程的，我们现在某种程度上正是在追随这一脚步。太好了。好吧，这听起来非常令人兴奋。我和行业里的很多人一样，非常好奇你们与 India 会取得怎样的进展。祝贺你们在 Arc prize 上取得的一切成就，也感谢你们为这个行业所做的所有工作。看到这一切非常棒，最重要的是感谢你们今天抽出时间与我们交流。我非常感激。谢谢。谢了，兄弟。谢谢你，Fab。