这多少算是一种令人欣喜的变化。我做过很多科学演讲，通常我上台时根本没人鼓掌欢呼。一般来说，甚至根本没人这样做。这真的很令人兴奋。很高兴来到这里。我想我应该先假设，并非这个巨大礼堂里的每个人都认识我。我是谁？我是一个在 AI for Science 领域做过一些工作的人，我坚信我们可以利用 AI 系统、这些技术、这些理念，以一种非常具体的方式改变世界——加速科学进程，促成新的发现。我觉得这真的非常棒。我们有机会将这些工具、这些理念用于解决这样一个问题：我们如何构建合适的 AI 系统，让病人恢复健康、离开医院回家。能站在这里，对我来说是一段非常精彩且曲折的旅程。我最初受训成为一名物理学家。我曾以为自己会成为探究宇宙定律的物理学家。如果非常非常幸运，我或许能做出一点成果，最终在教科书里留下一句话。我学了物理，还去读了物理学博士。但后来我发现自己正在做的研究并没有真正吸引我。我只是觉得那不像我想做的事。所以我退学了。我没有去创办一家初创公司——虽然那会很契合今天这场活动的主题——但我退学了，最终进入了一家做计算生物学的公司工作。如何让计算机对生物学发表有洞察力的见解？我爱上了这个领域。不仅仅因为它有趣，还因为它让我能够做那些我认为自己擅长的事：写代码、推演方程、深入思考世界的本质，并将这些用于一个非常实际的目标——最终，我们想要制造药物，或者帮助他人制造药物。后来我某种意义上真正成为了一名生物学家和机器学习研究者。说机器学习研究者，是因为我离开了那份工作，回到研究生院攻读生物物理学和化学。我不再能使用之前工作中那些惊人的计算机硬件——事实上，他们拥有定制 ASIC，用于模拟蛋白质（也就是我接下来要谈到的、你身体里的这部分）的运动。既然我再也没有那些设备了，但我仍然想研究同样的问题。嗯，我不想只是用更少的算力做同样的事。于是我开始学习，并对统计学、机器学习产生了浓厚兴趣。那时候我们不称之为 AI。事实上，我们甚至不称之为机器学习，那有点名声不好。我会说，我在做统计物理。但你知道，我们要如何开发算法？如何从数据中学习，以此取代庞大的计算量？而且我想，事实证明，在 AI 领域，除了庞大的算力之外，还有别的办法来解决新问题。在此之后，我加入了 Google DeepMind。那是一家真正想要探索如何将强大的技术和各种理念加以利用的公司——当时这些技术的强大威力已经愈发明显，尤其是在游戏上的应用，但也包括数据中心等等领域。我们要如何将这些技术用于推进科学、真正推动科学前沿？又如何在工业界的环境中做到这一点——以极快的节奏、与非常聪明的人一起工作、拥有出色的计算资源——既然有了这一切，你非得做出点进展不可。这段经历非常有趣，而我现在能站在这个舞台上，就说明我们确实取得了一些进展。我认为，对我而言，真正的指导原则一直是：当我们做这项工作时，最终我们是在打造工具，让科学家能够做出发现。我觉得我们所做的工作中真正令人鼓舞的部分，也是至今仍在我内心深处产生共鸣的部分，是 AlphaFold 大约拥有 35,000 次引用。但在这其中，有成千上万个例子，人们使用我们的工具去做我自己无法单独完成的科学研究，并借此取得发现——无论是疫苗、药物研发，还是人体运作机制。我觉得这真的非常令人兴奋。今天我想和你们谈论的、我想讲述的故事，一部分关于这个问题本身，一部分关于我们如何解决它。我特别想谈谈研究、机器学习研究的作用，以及它不仅仅是现成的机器学习技术这一事实。然后我还想讲讲，当你做出了不起的东西之后会发生什么，人们如何使用它，以及它为世界带来了什么。那么，我先来讲一节世界上最短的生物课。细胞是复杂的。对于那些只在高中或大学学过生物的人来说，你可能会有这样的印象：细胞就是几个贴着标签的部件，相当简单。但实际上，它看起来更像你们在屏幕上看到的这样。它密集、复杂。就拥挤程度而言，它就像 7 月 4 日那天的游泳池，充满了巨大的复杂性。人类大约有两万种不同类型的蛋白质。它们就是你们在屏幕上看到的那些团块。它们聚合在一起，执行细胞中几乎所有的功能。你们可以看到，那种绿色的尾巴是大肠杆菌的鞭毛。那就是它移动的方式。事实上，你们可以看到它是如何移动的。你们可以看到那个看起来在旋转的东西，事实上它确实在旋转，驱动着这个马达。所有这些都是由蛋白质构成的。当人们说 DNA 是生命的说明书时，嗯，它告诉你的就是如何做这些。它告诉你如何构建这些微型机器。生物学演化出了一种惊人的机制，来构建它所需要的机器——字面意义上的纳米机器——用原子来构建它们。于是你的 DNA 给你下达指令：制造一种蛋白质。你可能会说 DNA 是一条线，蛋白质在某种意义上也是。它是指令，告诉你如何把一颗珠子接一颗珠子串起来，而每颗珠子都是一种特定的原子分子排列。你应该会感到奇怪：如果我的 DNA 是一条线，而我显然不是一维的，那中间发生了什么？答案是，在你制造出这种蛋白质、一块一块把它组装起来之后，它会自发折叠成一种形状——就像你打开宜家的书架，不需要自己动手费劲，它自己就组装好了，于是你得到了一个相当复杂的结构。你们可以看到一种相当典型的蛋白质——如果那边观众席上有生物学家的话，这是一种驱动蛋白（kinesin）。你们可以看到这种非常复杂的原子排列，而这种排列是具有功能的。你体内的大多数蛋白质——并非全部——都会经历这种转变，而这就是它们发挥功能的方式。并且这极其微小。光本身的波长是几百纳米，而蛋白质只有几纳米大小。所以它小到显微镜都看不见。长期以来，科学家们一直想要理解这种结构，因为他们利用它来预测蛋白质的变化如何影响疾病。它是如何运作的？生物学是如何运作的？通常，如果你制造一种药物，就是为了打断某种像这样蛋白质的功能。迄今为止，科学家们凭借极其高超的智慧，已经弄清楚了大量蛋白质的结构，但这直到今天仍然异常困难。对吧？你不应该想象成这样：我想确定一种蛋白质的结构，于是我翻开实验室的蛋白质结构测定操作手册，按步骤执行。它依靠的是巧妙的想法，是寻找多种途径的智慧。在这种情况下，我要介绍的是蛋白质结构测定中的一种实验测量方法——也就是让你看到我刚才展示的那个又大又难看的分子，像食盐一样形成规则的晶体。对此并没有简单的诀窍。所以科学家们会尝试很多方法。他们有一些思路，但这极其困难，充满了失败，就像科学中的许多事情一样。要想体会这有多难，有一个办法：就拿我们当时参考的一篇普通论文来说，我翻到后面，看到他们的实验方案里写着，经过一年多的时间，晶体才开始形成。所以，他们不仅要完成所有这些艰难的实验，还得等上大约一年才能知道是否成功。而这一年大概也不是干等着，而是尝试了一千种其他同样行不通的方法。一旦成功，你就可以把它带到同步加速器——一个不算小的设备。你可以看到各种管线缠绕在这台仪器外部，这样你就能用极强的 X 射线照射它，得到所谓的衍射图样，然后解出结构，再把它存入所谓的 PDB，也就是蛋白质数据库。我们能开展这项工作，其中一个原因是 50 年前的科学家有远见，他们说这些结构很重要，获取起来也很难，我们应该把它们全部汇集到一个地方。于是就形成了一个数据集，它基本上涵盖了该领域学术界所有的蛋白质结构成果，并且向所有人开放。所以我们的研究完全基于公开数据。目前已知的蛋白质结构大约有 20 万个，每年大约稳定新增 1.2 万个。但这远远不够。获取输入信息——也就是告诉你蛋白质是什么样的 DNA——要容易得多得多。目前已经发现了数十亿种蛋白质序列。我们了解蛋白质序列的速度大约是了解蛋白质结构的 3000 倍。好了，以上都是科学背景，但我该跟你们讲讲我们做的一件小事，它有这样一张示意图。我们想搭建一个 AI 系统。事实上，我们甚至不在乎它是不是 AI 系统。将 AI 应用于科学研究的好处之一就是：你不在乎怎么解决问题。无论最终是一个计算机程序，还是别的什么，我们想找到某种方法，从左侧出发——那里每个字母代表蛋白质按顺序排列的一个特定构件，中间经过 AlphaFold 的处理，最终得到右侧的结果。如果仔细看，你会看到两个结构：蓝色的是我们的预测结果，绿色的是实验测得的结构——那花了研究人员一两年的努力。如果硬要给它标个经济价值，大概在 10 万美元左右。可以看到我们做到了，而我想告诉你我们是如何做到的。这背后其实有三个要素，或者说任何机器学习问题都离不开这三点：数据、算力和研究。我觉得我们讲前两个的故事太多了，讲第三个的却远远不够。数据方面，我们有 20 万个蛋白质结构，人人都可以获取同样的数据。算力方面，这远没有达到 LLM 的级别。最终的模型本身只用了 128 个 TPU v3 核心，大致相当于每个核心配一块 GPU，跑了两周。这仍然属于学术资源可以承受的范畴。但值得强调的是，当你考虑需要多少算力时，不要被最终模型的那个数字分散了注意力。算力的真正成本，在于那些不成功的想法的成本，在于你为了走到最后不得不做的所有尝试。最后是研究。我想说，真正投入这项工作的几乎只有大约两个人——最终完成它的是一个小团队。所以当你审视这些机器学习领域的突破时，背后的人数可能比你想象的少得多。而这正是我们工作的差异化所在。我们提出了一套全新的思路，来将机器学习应用于这个问题。可以说，早期那些主要基于卷积神经网络的系统表现尚可，它们确实取得了一些进展。如果你把卷积网络换成 transformer，老实说效果差不多。但如果你采纳 transformer 的架构思路，加上大量实验和更多创新想法，那才是真正的变革开始之时。而且在今天你看到的几乎所有 AI 系统中，都凝聚了大量的研究、想法和所谓的“中等规模的想法”。它不仅仅是那些 headline 上说的 transformer、scaling、test time inference 之类的东西。这些都很重要，但它们只是构建一个强大系统的众多要素之一。事实上，我们可以量化我们的研究价值几何。AlphaFold 2 是一个非常有名的系统，它带来了巨大的提升。AlphaFold 1 曾是当时世界上最好的系统，但 Alcesi 实验室做了一项非常严谨的实验：他们采用 AlphaFold 2 的架构，只用 1% 的可用数据进行训练，结果显示这样训练出的 AlphaFold 2 的准确度与之前的顶尖系统 AlphaFold 1 持平，甚至更高。这非常直观地表明，这三个要素中的第三个——研究——的价值是第一个要素——数据——的约一百倍。我认为这一点普遍而言非常重要。你们都在创业或思考创业，所以要想想想法、研究和发现在多大程度上能够放大数据和算力的价值。它们与数据和算力是协同作用的——我们当然不想用更少的数据或算力——但当你从事机器学习研究时，想法才是核心要素，它们才真正帮助改变了世界。
YC 的下一批项目正在接受申请。你心里有创业的点子吗？去 ycombinator.com/apply 申请吧。永远不会太早。填写申请表本身就能让你的想法更上一层楼。好了，回到视频。我们甚至可以回溯去做消融实验，看看哪些部分真正重要。不用太纠结细节，这是我们论文里的内容。你可以看到这里显示的是与基线相比的差异。如果你从最终系统中去掉某一项，就会发现其中的每一个想法都是独立可识别的——有些曾是领域内极其热门的研究方向。比如这项工作问世时，其中一部分是等变（equivariant）的，于是人们就说：等变性（equivariance）就是答案！AlphaFold 是一个等变系统，太棒了！我们必须做更多关于等变性的研究，才能做出更伟大的系统。但我对此非常困惑，因为你看第六行——“无 IPA（invariant point attention）”——这去掉了 AlphaFold 中所有的等变性，性能确实会下降一点，但只是一点点。在左侧图表的 GDT 分数上，AlphaFold 2 比 AlphaFold 1 高出大约 30 分，而等变性只能解释其中的 2 到 3 分。关键不在于某一个想法，而在于许多中等规模的想法累积起来，才造就了一个变革性的系统。在构建这类系统时，有一点非常重要：我们要考虑在这个语境下所谓的“生物学相关性”。我们曾有一些效果更好的想法，系统在一点点地艰难推进，每次进步 1%。但真正重要的是，当我们跨过了那条对实验生物学家有意义的准确度门槛时——那些根本不在乎机器学习的生物学家。你必须通过大量的工作和努力才能达到那个水平。而一旦做到了，它带来的变革将是巨大的。我们可以沿着这个坐标轴来衡量，其中深蓝色部分代表当时其他可用的系统。这经过了评估。蛋白质结构预测在某些方面远远走在了 LLM 或一般机器学习领域的前面，因为它具备盲测评估。自 1994 年起，每两年，所有对蛋白质结构预测感兴趣的研究者会聚在一起，预测一百种蛋白质的结构，而答案只有刚刚破解它的研究组知道，对吧？尚未发表。因此，你确实能知道什么方法有效。在这项评估中，我们的误差大约只有其他任何团队的三分之一。但这之所以重要，是因为一旦你从事的是答案未知的问题，你才能真正衡量事物的优劣。而且你会发现，许多系统其实并未达到人们在研究过程中所相信的水平。因为即便你有一个 benchmark，我们也会让自己的想法 overfit 于它，对吧？除非你有 held-out 集。事实上，你在现实世界遇到的问题几乎总是比你训练时的问题更难，对吧？因为你必须从大量数据中学习，再将其应用于非常重要的个别问题。所以，无论是在开发过程中，还是当人们试图决定是否应该使用你的系统时，做好测量都至关重要。外部 benchmark 对于弄清什么方法有效绝对关键，而这才是真正推动世界进步的东西。这里有一些很好的例子，展示了我们的典型表现。这些都是盲测预测。你可以看到它们相当出色。同样重要的是，我们将其开放了出来。我们认为这很重要，而且我们也做了大量评估，但我们决定通过两种方式将其开放，这一点非常关键。一是我们开源了代码，实际上我们在发布预测数据库大约一周前就把代码开源了。该数据库最初包含 30 万个预测，后来扩展到 2 亿个，基本上涵盖了所有基因组已被测序的物种中的每一种蛋白质。这产生了巨大的影响。其中最有趣的社会学现象之一是，当我们发布了一段只有专家才能使用的代码、获得了一些反馈时，与当我们以数据库形式将其向全世界开放时，这两者之间存在巨大差异。这真的很有意思——你发布了某个东西，然后每天都去 Twitter 或 X 上查看发生了什么。我们真正看到的是，即使在 CASP 评估之后，我想说，结构预测专家们确信这显然是一项巨大的进步，解决了问题。但普通生物学家，也就是我们希望使用它的那些人，那些并不关心结构预测、只关心蛋白质以开展实验的人，他们就没那么确信。他们说："嗯，也许 CASP 很简单。谁知道呢。"然后这个数据库发布了，人们产生了好奇，点了进去。这种证明的社会化程度是非同寻常的——人们会看着说，DeepMind 是怎么拿到我未发表结构的？要知道，正是在那个时刻他们才真正相信了，因为每个人都有一个自己尚未破解的蛋白质，或者有个朋友手头有未发表的蛋白质结构，他们可以拿去做比对，这才是真正起作用的地方。拥有这个数据库，这种可及性，这种便捷性，让每个人都愿意尝试，并弄清楚它是如何运作的。口碑相传才是真正建立信任的方式。你大概能看到一些这样的证言，对吧？"我花了三到四个月时间，竭力想完成这项科学任务。你知道，今天早上我得到了一个 AlphaFold 预测，现在情况好多了。我真想把之前的时间要回来，对吧？要知道，当你把 AlphaFold 用在一个整整一年都无法表达和纯化的蛋白质上时，你才会真正感激它。也就是说，他们整整一年连开始实验所需的材料都拿不到。"这些真的很重要。当你打造了正确的工具，当你解决了正确的问题，这就有意义，它会改变那些从事你不会去做、但基于你的工作而开展研究的人的生活。我认为看到这些，以及和我交谈过的人数之多，都非常了不起。而真正让我知道这款工具有多重要的时刻是：事实上，就在这款工具发布几个月后，Science 出了一期关于核孔复合体的特刊。这期特刊完全围绕着这个特别庞大的、包含数百种蛋白质的体系展开。而其中四篇 Science 论文里有三篇大量使用了 AlphaFold。我想我数过，AlphaFold 这个词在 Science 里出现了一百多次，而我们对此毫不知情。我们不知道这件事正在发生。我们没有合作。这只是人们在我们建造的工具之上做全新的科学，那是世界上最棒的感觉。事实上，用户总会做出让你意想不到的事。他们会以你从未想到过的方式使用工具。左边这条来自 Yoshaka Morowaki 的推文，是在我们的代码开放两天后发出的。我们预测的是单个蛋白质的结构，但我们当时正在努力构建一个能预测蛋白质如何相互结合的系统。但这位研究者说："嗯，我有了 AlphaFold。为什么不直接把两个蛋白质放在一起，中间再加点东西呢？"你可以把这看作是针对蛋白质的 prompt engineering。然后他们突然发现，这是世界上最好的蛋白质相互作用预测方法，对吧？这说明，当你用这些数据训练一个非常非常强大的系统时，只要它们是 aligned 的，它在某种意义上会具备额外的 emergent skills。人们开始发现各种各样我们未曾预料到的问题，而 AlphaFold 都能解决。看到科学界实时地对这些工具的存在做出反应，发现它们的局限性，发现它们的可能性，这非常有趣。而且这种情况仍在继续，人们在蛋白质设计或其他领域，基于我们的想法，而且常常是基于我们构建的系统，开展各种令人兴奋的工作。有一个我认为非常重要的应用，是人们已经开始学习如何用它来工程化大型蛋白质，或将其用于其中的一部分。我想讲这个故事有两个原因。一是我认为这是一个非常酷的应用；二是它真正改变了科学工作的方式。人们常常会说，科学就是实验和验证。所以你们有了这么多 AlphaFold 预测，这很好。现在我们只要用经典方法解开所有蛋白质的结构，就能判断你们的预测是对是错了。他们在一点上是对的。科学在于实验。科学就在于做这些实验。但他们在另一点上错了。科学在于提出假设并检验它们，而不是为了某个特定蛋白质的结构。在这个案例中，问题涉及左边这种蛋白质，叫做收缩性注射系统，但这个名字太拗口了。他们喜欢叫它分子注射器。它的作用是附着到细胞上，然后把一种蛋白质注射进去。MIT 的 Jang 实验室的科学家们在说，那么，我们能不能用这种蛋白质来做靶向给药？能不能用它把像 Cas9 这样的基因编辑器送进细胞里？他们尝试了一百多种方法，试图改造这种蛋白质，而当时他们还没有它的结构。这其实是事后的示意图。问题是，我们如何改变它识别的东西？我想它原本参与植物防御之类的作用，而他们不知道该怎么改造。于是他们运行了 AlphaFold 预测。你可以看到左边的这个。我甚至不会说这是一个很棒的 AlphaFold 预测，但他们几乎立刻看着它说："等一下。底部那些腿一定是它识别并附着到细胞上的方式。我们为什么不把那些替换成一种设计好的蛋白质呢？"
因此，几乎在他们一获得 AlphaFold 预测结果后，就立刻重新设计并添加了这种你看到的红色设计蛋白，用以靶向一种新型细胞。他们利用这一系统，事实上证明了自己能够选择小鼠体内的细胞，并注入蛋白质——在这种情况下是荧光蛋白。于是你会看到颜色，他们能够在小鼠大脑中靶向自己想要的细胞。他们正利用这项技术，开发一种新型的靶向药物发现系统。我们还看到了更多例子。我们看到，有些科学家利用这一工具去尝试成千上万种相互作用，以弄清楚哪些可能是真实存在的。事实上，他们发现了卵子和精子在受精过程中结合方式的一个新组分。许许多多这样的发现都建立在这项工作之上。我愿意认为，我们的工作让结构生物学——也就是研究结构的生物学——这整个领域加快了大约 5% 到 10%。但这对于世界的意义是巨大的，而且我们还将有更多这样的发现。我认为，归根结底，结构预测以及更广义的 AI for Science 应该被视为一种惊人的能力，能够成为实验科学家工作的放大器——我们从这些零散的观察、这些自然数据出发。这相当于互联网上所有的文字。然后我们训练一个通用模型，让它理解其背后的规则，并补全画面的其余部分。我认为，我们会继续看到这种模式，并且它会变得越来越普遍——我们会为此找到合适的基础数据源。我认为另一项真正重要的特性是，你从拥有数据的地方出发，但随后你会发现它能被应用到哪些问题上。于是，我们获得了巨大的进展和能力——既能理解细胞内的相互作用，也能处理其他在提取这些预测的科学内容之后衍生出的问题；而它们所运用的规则又可以被适配到新的用途上。我认为，这正是我们在 AlphaFold 或其他狭义系统中看到基础模型特性的地方。事实上，我认为我们将开始在更通用的系统中看到这一点，无论是 LLM 还是其他系统，我们会从中发现越来越多的科学知识，并将它们用于非常重要的目的。我认为这才是它真正的走向。我认为 AI for Science 中最令人兴奋的问题是：它最终会有多通用？我们是会在少数几个狭窄领域产生变革性影响，还是会拥有非常非常广泛的系统？而我预计，随着我们逐步弄明白，最终会是后者。谢谢。