大家好，我是 Francois。非常高兴能和大家分享关于 HGI 的一些想法，以及我们将如何实现它。这张图表展示了关于这个世界最重要的事实之一。自1940年以来，算力成本每十年持续下降两个数量级，没有任何迹象表明这会很快停止。在 AI 领域，算力和数据长期以来一直是我们能实现何种成果的主要瓶颈。2010年代，众所周知，随着基于 GPU 的算力和大规模数据集的丰富，深度学习真正开始奏效。突然间，我们在计算机视觉和自然语言处理等领域那些长期看似棘手的问题上取得了快速进展。特别是，自监督文本建模开始奏效，AI 的主流范式变成了扩大 LM3 的训练规模。这种方法在几乎所有基准测试上都碾压了对手，而且值得注意的是，在保持完全相同的架构和完全相同的训练流程的情况下，随着模型规模和训练数据量的扩大，基准测试结果以可预测的方式不断提升。这就是 Jared 几分钟前向你们介绍的 scaling law。所以当时看起来一切都已明朗，许多人推断只要继续扩大规模就能解决所有问题，就能实现 AGI。我们的领域开始痴迷于这样一种观点：把越来越多的数据塞进越来越大的模型里，通用智能就会自发涌现。但这里有一个问题：我们混淆了这些基准测试的真正含义。死记硬背的技能（它们是静态的、任务特定的）与流体通用智能（即实时理解从未见过的事物的能力）之间存在巨大差异。早在2019年，在 LLM 兴起之前，我发布了一项 AI 基准测试来凸显这种差异，它叫做抽象推理语料库，简称 ARC。从2019年那时到现在，以 GP4.5 这样的模型为例，基座模型的规模提升了大约5万倍，而我们在该基准测试上的准确率从0%提升到了大约10%。这并不多，如果考虑到在座各位的得分都会远高于95%，那10%其实非常接近零。因此，要攻克通用流体智能，事实证明我们需要超越单纯扩大预训练规模和进行静态推理的新思路。这项基准测试关注的不是复述死记硬背的技能，而是关于实时理解一个你从未见过的新问题。但到了去年，2024年，一切都变了。AI 研究社区开始转向一种全新的、截然不同的模式：测试时适应（test adaptation），即创建能够在测试时改变自身状态以适应新事物的模型。所以这不再是查询预加载的知识，而是真正关于在推理时学习和适应的能力。突然间，我们开始在 ARC 上看到显著进展。终于，我们拥有了表现出真正流体智能迹象的 AI。特别是去年12月，OpenAI 预览了它的 03 模型，他们使用了一个专门针对 ARC 进行微调的版本，首次在该基准测试上展示了人类水平的表现。而在今天，2025年，我们突然已经告别了预训练规模化模式，完全进入了测试时适应的时代。测试时适应的核心在于，模型能够根据在推理过程中遇到的具体数据动态地修改自身行为。这涵盖了一系列技术，例如 test time training、program synthesis、train of thought synthesis，即模型尝试针对当前任务重新编程自身。如今，每一个在 ARC 上表现优异的 AI 方法都在使用这些技术中的一种。所以今天我想回答以下几个问题。第一，为什么预训练规模化范式没能带我们实现 AGI？回望仅仅两年前，这还是标准信条，人人都在这么说，而今天几乎没人再相信了。发生了什么？其次，这次的适应方法能带我们实现 AGI 吗？如果是这样，也许 AGI 已经到来了，有人这么认为。最后，除了这种适应方法之外，AI 的下一步还可能是什么？要回答这些问题，我们必须回到一个更根本的问题：智能究竟是什么？当我们说试图构建 AGI 时，我们到底指的是什么？回顾过去几十年，关于如何定义智能以及如何定义 AI 的目标，存在两条思想脉络。一种是 Minsky 式的观点：AI 在于制造能够执行通常由人类来完成任务的机器。这与当前主流的企业观点非常吻合，即 AGI 将是一种能够执行大多数具有经济价值任务的模型，80% 经常被引用为一个数字。但还有另一种 mac 观点，认为 AI 在于让机器处理它们未经过针对性准备的问题，在于让 AI 应对全新的事物。而我的观点更接近 MATI 的观点：智能是一个过程，而技能是这一过程的输出。所以技能本身不是智能，在任意数量的任务上展示技能并不等同于展示智能。这就像是道路网络与道路建设公司之间的区别。如果你拥有一个道路网络，你可以在特定的、预先定义好的 A 点与 B 点之间通行；但如果你拥有一家道路建设公司，你就可以随着需求的变化，实时连接新的 A 点和新的 B 点。因此，智能是应对新情况的能力，是开辟新道路、建造新路的能力。将智能归因于一个固化的行为程序、一个技能程序，这是一种范畴错误——你在混淆过程与其产物。所以不要混淆道路与建造道路的过程。为了更形式化地表述，我将智能视为一种转化率：一端是你所拥有的信息（主要是你过去的经验，但也包括系统可能具备的、由开发者赋予的任何先验知识），另一端是你可能遇到的、具有高度新颖性和不确定性的潜在未来情境空间中的 operational area。因此，智能是你将过去的信息加以 operationalize 以应对未来的效率，它是一个效率比率。这就是为什么使用类似考试的基准测试来衡量模型是个坏主意——它们无法告诉我们距离 AGI 还有多远，因为人类的考试并非为衡量智能而设计，它们是为了衡量特定任务的技能和知识而设计的。它们依据对人类合理、但对机器并不适用的假设而设计。例如，大多数考试假设你事先没有阅读并背下所有考题和答案。所以如果你想正确定义和衡量智能，以下是一些必须考虑的关键概念。首先是静态技能与流体智能之间的区别，也就是拥有一套解决已知问题的静态程序， versus 能够实时合成全新的程序来应对从未见过的问题。当然，这并非二元对立，两者之间存在一个光谱。第二个概念是某项技能的 operational area。仅仅在与以往见过的情况非常接近的场景中表现娴熟，与在非常广泛的范围内对任何情况都表现娴熟，这两者之间存在巨大差异。例如，如果你会开车，你应该能在任何城市驾驶，而不仅仅是在某个特定的地理围栏区域内；就像你可以在圣何塞学会开车，然后搬到萨克拉门托，你依然能开，对吧？同样，这之间也存在一个光谱，并非二元对立。最后，你还应该关注某项技能的信息效率。掌握那项技能需要多少信息、多少数据、多少练习？当然，信息效率越高，意味着智能越高。这些定义之所以至关重要，是因为作为工程师，我们只能构建可测量的事物。因此，我们定义和衡量智能的方式并非技术细节，而是真正反映了我们对认知问题的理解。它框定了我们将要提出的问题，从而决定了我们将得到的答案。它是推动我们达成目标的反馈信号。在工程领域，你会经常看到一个现象，即“捷径法则”。也就是说，当你专注于实现单一的成功指标时，你或许能够成功，但代价是牺牲掉所有未被该指标涵盖的其他方面。所以你命中了目标，却错失了要点。这种现象随处可见，比如在 Kaggle 上。Netflix 大奖就是一个例子，获胜的系统极其精准，但过于复杂，根本无法投入生产，所以最终从未被使用，实际上毫无意义。在 AI 领域，国际象棋程序也是如此。20 世纪 70 年代，AI 社区着手开发能够下棋的程序，是因为人们期望这能帮助我们理解人类智能。几十年后，当 Deep Blue 击败世界冠军 Kasparov 时，我们实现了目标，但在这个过程中，我们对智能实际上一无所获。所以你命中了目标，却错失了要点。几十年来，AI 一直在追逐特定任务的技能，因为那是我们对智能的定义。但这种定义只会导向自动化，也就是我们今天所拥有的那种系统。但我们真正想要的是能够自主发明的 AI。我们不想止步于自动化已知任务。我们想要能够应对人类最艰巨挑战、加速科学进步的 AI。这才是 AGI 应有的样子。为了实现这一点，我们需要一个新的目标。我们需要开始瞄准流体智能本身，即适应和发明的能力。对 AGI 的一种定义只涵盖自动化，它能提高经济生产力，显然极具价值，或许也会增加失业率。但另一种定义则开启了发明之门，并加速科学的发展进程。只有去衡量你真正在意的东西，我们才能取得进展。因此我们需要一个更好的目标，一个更好的反馈信号。那应该是什么样的呢？我首次尝试创建一种衡量 AI 系统智能的方法，是 RKGI 基准测试。我在 2019 年发布了 ARK1。它就像是面向机器和人类的 IQ 测试。ARK1 包含 1000 个任务，就像这里的这个例子。每个任务都是独一无二的。这意味着你无法为 ARC 临时抱佛脚。你必须依靠通用智能而非记忆知识，当场解决每个任务。当然，解决任何问题都需要一定的知识。在大多数基准测试中，你所需的知识先验通常被隐式处理。而在 ARC 中，我们将它们显式化了。所有 ARC 任务完全建立在核心知识先验之上，比如物体性、基础物理学、基本几何学、拓扑学、计数等概念，任何四岁小孩都已掌握。解决 ARC 所需的知识量极少，而且这些知识完全不专业化。因此你无需为 ARC 做准备就能解决它。
ARC 的独特之处在于，你无法仅靠记忆模式来解决它。它真的要求你展现智能。与此同时，几乎其他所有基准测试都针对固定的已知任务，因此它们实际上仅凭记忆就能被解决或破解。而这正是 ARC 对人类相当简单、但对 AI 极具挑战性的原因。当你看到这样一个问题——人类小孩能做得很好，但最先进、最复杂的 AI 模型却举步维艰——这就像一盏巨大的红色警示灯，告诉我们遗漏了某些东西，需要新思路。有一点我想请你们记住：ARC 并不能告诉你一个系统是否已经是 AGI。这不是它的目的。ARC 实际上是一个工具，用于将研究社区的注意力引向我们视为通往 AGI 之路上最重要、尚未解决的瓶颈。所以 ARC 不是终点，解决 ARC 也不是目标。ARC 实际上只是一支指向正确方向的箭。而且 ARC 完全抵制了预训练 scaling 范式。即使预训练基线模型的规模扩大了 50,000 倍，它们在 ARC 上的表现依然接近零。因此我们可以明确得出结论：流体智能并不会从扩大预训练规模中涌现。要展现真正的流体智能，你绝对需要 test adaptation。重要的是，当 test adaptation 去年出现时，ARC 实际上是当时唯一能够提供清晰信号、表明正在发生深刻转变的基准测试。其他基准测试已经饱和了，因此它们无法区分真正的 IQ 提升与纯粹的暴力 scaling。所以现在你们看到这张图表，可能会问：显然到目前为止 AR1 也在饱和。这是否意味着我们已经拥有人类水平的 AI 了？嗯，还没有。你们在这张图上看到的是，ARK1 是一个二元测试。它是流体智能的最小化复现。因此它实际上只给你两种可能的模式。要么你没有流体智能，得分接近零，就像基线模型那样；要么你拥有非零的流体智能，就会立即获得很高的分数，比如 OpenAI 的 O3 模型。当然，在座各位的得分与 100% 的差距都只在噪声水平。因此 ARC 的饱和点远低于人类水平的流体智能。因此现在我们需要一个更好的工具，一个更灵敏的工具，能提供更有用的区分带宽，并与人类智能进行更好的比较。这个工具就是今年三月发布的 ARGI 2。2019 年，ARK1 旨在挑战深度学习范式——即用作静态推理的巨大参数化曲线模型；而今天，ARK 2 挑战的是推理系统。它改变了 test adaptation 的模式。基准测试的格式仍然相同，但更加侧重于探测组合泛化。这些任务对人类来说仍然完全可行，但要复杂得多。因此，ARK 2 不容易被暴力破解。实际上，这意味着在 ARK1 中，对于许多任务，你只需看一眼就能立刻看出解法，无需过多思考。而在 ARK 2 中，所有任务都需要一定程度的审慎思考，但对人类来说仍然完全可行。我们之所以知道这一点，是因为我们在圣地亚哥连续几天亲自测试了 400 人。我们说的可不是拥有物理学 PhD 的人。我们招募了随机人群——Uber 司机、UCSD 学生、失业人士，基本上是任何想赚点外快的人。AR 2 中的所有任务都至少被两位看过的人解决了。每个任务平均被大约七个人看过。这说明，一组 10 个随机人群通过多数投票，能在 ARK 2 上拿到 100% 的分数。因此我们知道，这些任务对未经事先训练的普通人来说完全可做。那么 AI 模型表现如何？如果你拿基线模型来说，比如 GPT4.5、Lama 4，很简单，它们得分为 0%。仅靠记忆根本无法完成这些任务。接下来，如果你看静态推理系统——即为任务生成单条思维链的系统——它们也好不到哪里去。它们的成绩大概在1%到2%之间。所以基本和零没有区别，属于噪声范围内。这说明，要想解决 AR 2，你确实需要测试时适应。所有显著高于零分的表现都使用了 TTL，但即便如此，它们仍远低于人类水平。因此，与 ARK1 相比，AR2 能对 DTS 系统进行更细粒度的评估。例如像 03 这样的系统。正是在这里你会发现，03 以及类似系统仍未达到真正的人类水平。在我看来，只要我们能轻易想出一些任务——你们任何人都能轻松完成，但 AI 无论投入多少算力都无法解决——那我们就还没有实现 AGI。而当想出这类任务变得越来越困难时，你就会知道我们离 AGI 很近了。我们显然还没有到达那个阶段。需要明确的是，我不认为 ARK 2 是最终的测试。我们不会止步于 ARC 2。我们已经开始研发 RKGI 3，而 AR 3 与 ARC one 和 ARC two 的输入输出对格式有显著不同。我们要评估的是 agency，即探索能力、交互式学习能力、设定目标的能力，以及自主实现目标的能力。也就是说，你的 AI 被丢进一个全新的环境，它不知道操控方式，不知道目标是什么，也不知道游戏机制何在，一切都要实时摸索，首先得搞明白它在这游戏里到底该做什么。而且每一个游戏都是完全独特的。它们全都仅基于核心知识先验构建，就像 AR one 和 AR two 一样。因此我们将拥有数百个像这样的交互式推理任务。效率是 AR 3 设计的核心。所以模型不仅会根据能否完成任务来评分，还会根据完成任务的效率来评分。我们会严格限制模型可以执行的动作数量。我们的目标是达到人类所展现的动作效率水平。我们计划在2026年初正式发布，而下个月七月会发布开发者预览版，届时大家就可以开始试用了。要解决 AR 2 需要什么？我们今天距离它还很远。然后解决 AR 3，我们离那更远。也许未来还要解决 AR 4，最终才能达到 AGI。我们还缺什么？我曾说过，智能就是你调动过去经验以应对不断变化的未来的效率。但当然，如果你面对的未来与过去毫无共同之处，与你此前见过的任何东西都没有交集，那么无论你有多聪明，都无法理解它。但关键在于，没有什么东西是真正全新的。你周围的宇宙由许多不同的事物组成，但它们彼此相似。比如一棵树与另一棵树相似，也与你的神经元相似；电磁学与流体动力学相似，也与重力相似。所以我们被 isomorphisms 所包围。我称之为万花筒假说。我们对世界的体验似乎充满了无穷无尽的新奇与复杂。但描述它所需的独特意义原子实际上非常少。你周围的一切都是这些原子的重新组合。而智能是一种能力：挖掘你的经验，识别出这些意义原子，它们可以在许多不同情境、许多不同任务中被重复使用。这涉及识别不变性、结构、那些看似重复出现的事物——也就是原则。这些构建块、这些原子被称为抽象。每当你遇到新情境时，你会通过即时重组你储备中的抽象来理解它，从而创建一个适应当前情境的全新模型。因此，实现智能包含两个关键部分。第一是抽象获取。你需要能够从过往经验中高效提取可复用的抽象，比如从数据流中。第二是即时重组。你需要能够高效地选择并重组这些构建块，构建出适合当前情境的模型。此处对效率的强调至关重要。你的智能水平不仅仅取决于你能否做某事，而是取决于你能多高效地从过往经验中获取优质抽象，以及多高效地重组它们来应对新奇情况。所以，如果你需要数十万小时才能掌握一项简单技能，那你并不算很聪明。或者如果你需要穷举棋盘上的每一步才能找到最佳着法，那你也不算很聪明。智能不仅仅是展现出高超技能，它本质上是你获取并运用这些技能的效率。这既包括数据效率，也包括计算效率。说到这里，你就会明白为什么仅仅把 AI 模型做得更大、用更多数据训练，并不能自动实现 AGI。我们缺少了一些东西。首先，这些模型缺乏即时重组的能力。所以在训练阶段，它们学到了很多，获取了许多有用的抽象，但在测试阶段，它们完全是静态的。你只能用来调用和应用预先记录好的模板。这是一个关键问题，而测试时适应正是在解决这个问题。TTA 为我们的 AI 增添了重组能力。这实际上是一个巨大的进步，让我们离 AGI 更近了一大步。但这并不是唯一的问题。缺失的不仅仅是重组能力。另一个问题是这些模型仍然极其低效。比如拿 gradient descent 来说，它需要海量数据才能提炼出简单的抽象，比人类所需的数据多得多，大约多三到四个数量级。再看重组效率，即使是最先进的 CTA 技术，仍需要数千美元的算力才能在 ARK1 上达到人类水平。而这甚至无法扩展到 AR 2。根本问题在于深度学习模型缺乏组合泛化能力。这正是 ARK 2 试图衡量的东西。原因在于，抽象不止一种。这一点非常重要。我说过，智能就是从数据中挖掘抽象，然后对它们进行重组。实际上有两种抽象。第一种和第二种。它们彼此非常相似，互为镜像。两者都是比较事物，比较实例，并通过剔除实例中的某些细节，将单个实例合并为通用模板。基本上，你拿一堆东西进行比较，去掉无关的细节，剩下的就是抽象。而两者的关键区别在于，一种在连续域上运作，另一种在离散域上运作。第一类，或者说以价值为中心的抽象，是通过连续距离函数来比较事物。感知、模式认知、直觉，当然还有现代机器学习，背后的都是这种抽象。第二类，或者说以程序为中心的抽象，是比较离散程序，也就是图。你不是试图计算它们之间的距离，而是要寻找精确的结构匹配，寻找精确的 isomorphisms、subgraph isomorphisms。这构成了人类大量推理的基础。软件工程师重构代码时做的也是这个。所以如果你听到软件工程师谈论抽象，他们指的就是这种抽象。因此，两种抽象都由类比驱动，要么是价值类比，要么是程序类比。所有的认知都源于这两种抽象形式的结合。你们可能还记得“左脑对右脑”的比喻：一半负责感知和直觉，另一半负责推理、规划与严谨。而 transformer 擅长第一类抽象，凡是第一类抽象所擅长的——感知、直觉、模式认知——它都做得很好。从这个意义上说，transformer 是 AI 的重大突破，但它们仍然不太适合第二类抽象。这就是为什么你很难训练这类模型去做非常简单的第二类任务，比如对列表排序，或者把以 token 序列形式提供的数字相加。那么，如何才能获得第二类能力？你必须利用离散程序搜索，而不是纯粹靠梯度下降来操控连续的插值空间。搜索才是超越单纯自动化、实现发明的关键。当今所有已知具备某种发明能力或创造力的 AI 系统，都依赖离散搜索。早在 90 年代，我们就已经在使用大规模搜索来设计新型天线。又或者以 AlphaGo 的 37 手为例，那就是离散搜索；再比如 DeepMind 最近推出的 Alpha Evol 系统——它们都是离散搜索系统。所以说，深度学习不会发明，但搜索会。那么什么是离散程序搜索？它本质上是在由某种语言、某种 DSL 的算子构成的图上进行组合搜索。为了更好地理解它，你可以尝试在程序合成与你已熟知的机器学习技术之间做一个类比。在机器学习中，模型是一个可微的参数化函数，所以它是一条曲线。而在程序合成中，它将是一个离散图，一个由来自某种语言的符号化 ops 构成的图。在机器学习中，你的学习引擎——也就是创建模型的方式——是梯度下降，它的计算效率非常高；它能让你非常快速、非常高效地找到拟合数据的模型。在程序合成中，学习引擎则是搜索，它的计算效率也极高。显然，在机器学习中你遇到的关键障碍是数据密度：为了拟合模型，你需要对数据流形进行密集采样，也就是需要大量数据。而程序合成则完全相反，它的数据效率极高，仅用两三个示例就能拟合出一个程序。但为了找到这个程序，你必须在一个巨大的潜在程序空间中进行筛选，而且这个空间的大小会随着问题复杂度呈指数级增长，于是你就会撞上组合爆炸这堵墙。我之前说过，智能是两种抽象形式的结合：第一类和第二类。我真的认为，如果你只押注其中一种——要么全押第一类，要么全押第二类——你走不了多远。如果你想真正释放它们的潜力，就必须把两者结合起来。而这正是人类智能真正擅长的地方，正是让我们与众不同之处：我们将感知和直觉与明确的、一步步的推理结合起来，在所有的思想、所有的行动中随时随地融合这两种抽象形式。比如下棋时，你就是在使用第二类能力：在脑海中一步步展开可能的走法。但你当然不会对每一步可能的走法都这么做，因为数量太多了，对吧？你只会对少数几个选项这么做——比如这里看看马，那里看看后。而你缩小这些选项的方式靠的是直觉，靠的是对棋盘上模式的识别。这很大程度上是通过经验积累起来的：你无意识地从过往经验中挖掘、提取出这些模式，而这非常属于第一类。所以你正在用第一类直觉让第二类计算变得可行。那么第一类和第二类的融合将如何运作？第二类系统的关键技术是在程序空间上进行离散搜索，而遇到的阻碍就是组合爆炸。与此同时，第一类系统的关键技术是曲线拟合和曲线上的插值：你拿大量数据，把它们嵌入到某种插值流形上，从而能够对目标空间做出快速但近似的判断。而核心思路正是利用这些快速但近似的判断来对抗组合爆炸，让程序搜索变得可行。理解这一点的一个简单类比就是绘制地图：你取一个由离散对象及其离散关系构成的空间——这种空间通常需要进行组合搜索，比如在地铁系统中寻路——然后将这些对象嵌入到一个 latent space 中，在那里你可以使用连续距离函数来对这些关系做出快速但近似的猜测；这能让你在搜索过程中抑制爆炸。而这就是完整的图景，也正是我们目前正在构建的系统。
AI 将朝着更像程序员的系统演进：面对新任务时，通过编写软件来解决。当遇到新任务时，你这个像程序员一样的 meta-learner 会即时合成一个适应该任务的程序或模型。这个程序会融合深度学习子模块来处理第一类子问题（比如感知），以及算法模块来处理第二类子问题。而这些模型将由一个离散程序搜索系统来组装，该系统由基于深度学习的、对程序空间结构的直觉来引导。这个搜索过程并非从零开始，而是会利用一个全局的可复用抽象构件库；这个库会随着从不断到来的任务中学习而持续进化。所以当新问题出现时，系统会在这个库中搜索相关的构件。而且每当在解决新问题的过程中合成出一个新构件时，你就会把它上传回库中——就像软件工程师如果开发了一个对自己工作很有用的库，就会把它放到 GitHub 上，以便其他人复用。这里的终极目标是拥有一个能够面对全新情境的 AI，它会利用自己丰富的抽象库快速组装出一个可用的模型——就像人类软件工程师可以利用库中现有的工具快速编写软件来解决新问题一样。而这个 AI 会随着时间的推移不断自我改进：既通过扩展抽象库，也通过提炼对程序空间结构的直觉。这个系统就是我们正在 Tendia——我们的新研究实验室——构建的东西。我们创立 Tendia 是因为我们相信，要大幅加速科学进步，我们需要能够独立发明和发现的 AI；我们需要能够拓展知识边界，而不只是在边界内运作的 AI。我们坚信，一种新形式的 AI 将是实现这种加速的关键。深度学习非常擅长自动化，它在自动化方面极其强大，但科学发现需要更多东西。而我们在 Tendia 的方法，就是利用深度学习引导的程序搜索来构建这个像程序员一样的 meta-learner。为了检验我们的进展，第一个里程碑将是用一个一开始对 RKGI 完全一无所知的系统来解出 RKGI。最终，我们希望利用我们的科学系统来赋能人类研究人员，帮助加速科学的进程。