物理图灵测试：Jim Fan 讲 NVIDIA 具身智能路线图（红杉 AI Ascent 2025）
The Physical Turing Test: Jim Fan on Nvidia's Roadmap for Embodied AI (Sequoia AI Ascent 2025)
接下来有请 Jim Fan。你们都认识他。上来吧，Jim。Jensen 今天早上还刚提到他。他不仅是 NVIDIA 的 AI 总监，也是杰出研究科学家，今天他将和我们聊聊 physical AI。
那么，几天前我看到一篇博客文章，标题吸引了我的注意："我们通过了图灵测试，却没人注意到。" 要知道，图灵测试曾经是神圣的，对吧？它是计算机科学的圣杯，对吧？核心理念是，你无法分辨一段对话来自人类还是机器。然后我们就这样不知不觉地抵达了那个节点。我们刚到那儿。而你们呢，会因为 O3 Mini 多花了几秒钟思考，或者 Claude 没法调试你那烂糟糟的代码而生气，对吧？接着我们把每一个 LM 的突破都轻描淡写地当作又一个普通的周二。在座的各位是最难被打动的一群人。
所以我想提出一个非常简单的东西，叫做 physical Turing test。概念是这样的：你在周日晚上办了一场黑客松派对，结果现场一团糟。你的伴侣冲你大吼，你心想："该死。周一早上，我想叫人来收拾这堆烂摊子，再准备一顿非常棒的烛光晚餐，好让我的伴侣开心起来。"然后你回到家，看到这一切，却无法分辨这是人类干的，还是机器干的。对吧？足够简单。Physical Turing test。
但我们现在进展如何？接近了吗？来看看这个 cumul robot 准备去上班。它没成功，对吧？那我们的机器狗和香蕉皮呢？啊，是啊。还有那个机器人， instructed to 给你做早餐麦片。它确实准确识别出了牛奶。我给它打个减分，对吧？用心良苦。哦，它还会用勺子喂你。这是 VIP 待遇，对吧？看啊，我都嫉妒了，没人用勺子喂我。没错，这就是我们现在所处的阶段。
那为什么解决 physical Turing test 就这么难呢？你们知道 LM 研究员抱怨很多，对吧？他们抱怨得可多了。最近有个叫 Ilia 的家伙就抱怨说，LM 的预训练正在耗尽数据。他甚至把互联网称为 AI 的化石燃料。他说我们快没数据来训练 LM 了。好吧，只要和机器人学家待上一天，你就会知道 LM 研究员有多娇生惯养了。我们连化石燃料都没有。
这是在 NVIDIA 总部进行的一次数据采集。NVIDIA 里有一家咖啡馆，我们在那里布置了这些人形机器人，操作它们并采集数据。数据长这样：机器人的关节控制信号。它们是随时间变化的连续数值。你无法从互联网上爬取这些数据。你在 Wikipedia、YouTube、Reddit 或任何地方都找不到。所以你必须自己采集。
那我们怎么采集呢？我们有一种非常精密、但也非常昂贵的方式，叫做 teleoperation。你可以让人戴上类似 VR 头显的设备，它识别你的手部姿态并实时传输给机器人。通过这种方式，你可以教机器人做事，比如从烤面包机里取出面包，然后淋上蜂蜜。但你可以想象，这是一个非常缓慢且痛苦的过程，对吧？
所以如果你把它放在 scaling 的坐标图上，它基本上完全不 scale。真实的机器人数据是 human fuel。它比化石燃料还糟。你在燃烧 human fuel。更糟的是，每个机器人每天最多只有 24 小时。实际上你能得到的远比这少，因为人会累，而机器人比人更容易累。这就是你面临的现状，那该怎么办，对吧？如何打破这个瓶颈？机器人领域的核能在哪里？我们必须有清洁能源。不能永远依赖化石燃料。
好吧，让我们进入 simulation。我们必须离开物理世界，在 simulation 里做点事情。所以我们训练了一只机械手，在 simulation 中完成超人类的灵巧任务，比如转笔。对我来说这是超人类的，因为我不会转笔，我很久以前小时候就放弃了。我很高兴我的机器人至少在 simulation 里能做得比我好。
那我们是怎么训练机械手完成如此精细的任务的？有两个思路。第一，你必须以比实时快 10,000 倍的速度进行 simulate。也就是说，你要在单个 GPU 上并行运行 10,000 个环境，进行物理 simulation。这是第一点。第二，这 10,000 个环境副本不能完全相同。你必须改变一些参数，比如重力、摩擦力和重量。我们称之为 domain randomization。这就给了我们 simulation principle，对吧？它为什么有效？
想象一下，如果一个神经网络能够控制机器人解决一百万个不同的世界，那么它很可能也能解决第一百万零一个世界——也就是我们的物理现实。换句话说，我们的物理世界处于这次训练的分布之内。那么我们如何应用它呢？你可以构建一个 digital twin，也就是机器人和世界的一对一复制品，然后在 simulation 中训练，再直接迁移到真实世界中测试，对吧？zero-shot。可以用手来做，而这是我们能做到的最令人印象深刻的任务之一。
基本上，你有一只机器狗站在球上，然后我们把它迁移到现实世界。这是在 UPenn，基本上有人在遛机器狗。我们的研究员看起来超级诡异，就像《黑镜》的某一集。这实际上叫做 Dr. Eureka，我们有个研究员让他的真狗试了一下瑜伽球。至少我们现在有了超级狗的灵巧度，对吧？是啊，真狗可做不到这个。
接下来我们还可以把它应用到更复杂的机器人上，比如人形机器人。这些人形机器人在仅两小时的 simulation 时间里经历了相当于十年的训练来学习走路，然后你可以直接迁移。而且无论 embodiment 是什么，只要你有机器人模型，在 simulation 中训练，就能实现行走。那我们能不能做的不只是走路呢？
在控制我们身体的时候，你可以追踪任何你想要的姿态，追踪任何关键点，跟随任何你想要的速度向量。这被称为人形机器人的 whole body control 问题，它非常困难，但我们可以直接在并行运行的 10,000 个 simulation 中训练它，然后以 zero-shot 的方式、无需任何微调迁移到真实机器人上。
这是在 NVIDIA 实验室。我们其实需要把视频放慢。第一段视频是实时的，第二段是慢放的。这样你就能看到它动作的精妙之处。它在保持平衡的同时模仿人类做出各种敏捷动作。各位，完成这一切所需的神经网络有多大？150 万个参数，不是十亿。150 万个参数就足以捕捉人体潜意识层面的处理过程。system-wide 的推理，150 万个参数就够了。
所以如果我们把它放在一张速度 versus simulation diversity 的图表上，我想我们可以把这称为 simulation 1.0，也就是 digital twin 范式。它基于经典的 vectorized physics engine，你可以把它跑到每秒 10,000 帧甚至 100 万帧。但问题在于，你必须先构建一个 digital twin。你需要有人去构建机器人、构建环境以及所有东西，对吧？这非常繁琐，而且依赖手工。
那么，我们能不能开始生成 simulation 的某些部分呢？所有这些 3D 资产都由 3D 生成模型生成。所有这些纹理来自 Stable Diffusion 或任何你喜欢的 diffusion 模型。所有这些布局由 PR 和 LM 生成 XML 来创建。把所有这些结合起来，我们构建了一个名为 Roboccasta 的框架，它是一个大规模 simulation，一个日常任务的组合式 simulation。而这里的一切，除了机器人本身，一切都是生成的。
你可以组合出不同的场景，但它仍然依赖传统引擎来运行，不过你已经能从中完成很多任务了。所以现在我们能做的是，再次让人类来进行遥操作，但这一次是在仿真环境中进行。你不是对真实机器人做遥操作，而是在仿真环境中做。你在仿真中回放那条轨迹，并加入所有强大的硬件加速光线追踪，来渲染这些带有光照效果的精美场景。你甚至可以改变动作，对吧？如果你通过遥操作把杯子从这里移到那里，你就不需要再演示把杯子从这儿移到那儿，或者从另一个位置移到另一个位置。
然后，把这些全部结合起来，通过环境生成，你在仿真中拥有一个人类演示，就可以将其倍增到 n 个；而对于动作生成，则是 m 乘 n。我向你保证，这是你今天唯一要做的数学。我们就是这样来倍增数据的。然后你把它们放在一起：第一列和第三列是我们真实机器人的真实视频，第二列到第四列则全部来自 roboc 仿真生成。所以你仍能看出这些纹理并非真实，但它们已经足够接近了。我们把这种足够接近的东西称作什么呢？我们称之为 digital cousin 范式。
它不是 digital twin，但某种程度上抓住了精髓。digital cousin 这些仿真运行起来更慢，但我们有一种混合式的生成物理引擎，我们生成其中的一部分，然后把剩余部分交给传统图形管线处理。现在来模拟这个场景，对吧？你有软体、流体，什么都有。艺术家或图形工程师要正确模拟这个场景，得花很长时间。所以如果我们看看图形学的发展，从左到右花了 30 年；而视频生成模型只用了一年就从左到右，模拟所有可形变的面条，对吧？
这里少了一些幽默感，但为了最新的 Sora VO，这个代价我愿意付，对吧？这些生成式模型只用了一年。这就是 scaling law 和数据驱动流程的力量。还记得我一开始给你们看的那个视频吗？我骗了你们。这个视频里没有一个是真实的像素，它完全由定制模型生成。我们所做的是，拿一个通用的开源、最先进的视频生成模型，然后在我们真实机器人实验室采集的领域数据上进行微调，而所有这些都是生成的。现在你可以提示这个模型去想象不同的未来，对吧？
去模拟反事实场景。你看这两帧是完全一样的，但给定不同的语言指令，生成的视频实际上会遵循语言并做出正确的动作，即便这个动作在现实世界中从未发生过。然后你还能这样做：video diffusion model 不在乎场景有多复杂，对吧？它不在乎是否有流体或软体，而且在同一个场景中，你可以让它捡起不同的东西。它真的会使用右手抓住物体并放进篮子里。而这些都是生成的，全部都是生成的，没有一个是真实的像素。它把这些反射效果都做对了。
嗯，所有这些交互都做对了。而我最喜欢的一个是那边机器人在弹尤克里里。基本上，video diffusion model 可能看过数亿个人类——很多很多人弹尤克里里的视频，然后它就模拟机器人的手指来做这个动作。即便硬件实际上并不支持，视频生成模型也能做到。所以如果我们把这个放在更大的图景中来看，对吧，这就是 Simulation 2.0，它拥有极大的多样性，但目前运行得相当慢。虽然没人这么叫，但我把它称为 digital nomad，它漫游进入梦境空间——我们的 video diffusion model。
那什么是 video diffusion model 呢？它是数亿个互联网视频被压缩成的一种多元宇宙仿真。所以就像 Doctor Strange 一样，对吧？你在梦境空间中实例化机器人，然后机器人基本上就能与无处不在的物体互动——瞬息全宇宙。所以你拥有了这种具身 scaling law。嗯，好吧。Jensen 离开了，但我想他会非常喜欢这个的，对吧？你需要大量算力来扩展传统仿真，这就是 Sim 1.
x 系列。问题在于，当你扩展它时，会遇到瓶颈，因为在这个手工打造的系统中，多样性是有限的。而这就是 neural world models，Sim 2.0，它将随着算力呈指数级扩展。到了这个阶段，神经网络会超越传统图形工程师。这两者结合在一起，将成为我们扩展下一代机器人系统的核动力。嗯，你买得越多，你说得越多，省得越多。所以在开头，无论谁说算力情况会好转而不是恶化，都请把这个数字刻进视网膜里，然后再想想。
然后你把所有这些数据输入到我们所谓的 visual language action model 中，它接收像素和指令，输出运动控制；然后你就能得到我们在三月 GTC Jensen 主题演讲中开源的 Groot N1 模型。我们把它跑在机器人上，你知道，它有时候还挺浪漫的。嗯，是啊，你无法想象我们在训练期间做了多少清洁工作。所以是的，它能抓住香槟，在这个演示里它完成得很完美。是的，它们表现很好。然后它还能做一些工业任务，捡起一些工厂里的物体，还能做多机器人协同。
所以 Groot N1 是完全开源的，而且未来系列的模型也会开源，因为我们在遵循 Jensen 的开源范式，让 physical AI 民主化。很好。那么下一步是什么？在我们解决了 physical AI 之后，该往哪里走？我要说，下一个是 physical API。你知道，纵观人类历史，5000 年来，我们有了好得多的工具，对吧？社会总体上也好得多，但我们做饭和做很多手工劳动的方式，从埃及时期起就仍然差不多，对吧？
也许在 99% 的人类历史中，我们都有这样的结构：通过人类劳动将原材料转化为文明。而在最后的 1%，或者说大约 50 年里，人类劳动在减少，我们有了这些高度专业化、高度复杂的机器人系统，它们一次只能做一件事。编程成本非常高，但它们仍然存在于我们的社会中。这就是我们现在拥有的。而未来就是把那根蓝色条推到到处都是，推到那边去，然后拥有 physical API，对吧？就像 LLM API 移动数字比特块一样，physical API 移动的是原子块。
你基本上给了你的软件一个物理执行器去改变物理世界，对吧？在这个 physical API 之上，将会出现一种新的经济、一种新的范式，在那里你有 physical prompting，对吧？你如何给这些机器人下达指令？如何教它们？语言有时候是不够的。你可以拥有物理应用商店和技能经济。比如说，米其林厨师不需要每天都去厨房。他可以教一个机器人，然后基本上把米其林晚餐作为一项服务交付出去。这里我要再次引用 Jensen 的话：未来，一切会动的都将是自主的。
总有一天，你回家时会看到干净的沙发、烛光晚餐，你的伴侣对着你微笑，而不是因为你没洗脏衣服对你大吼大叫。这仍然每天激励着我，对吧？而且，你上个月买了两台人形机器人。它们运行着 Groot N7，而这些机器人会淡出背景，对吧？有点像一种 ambient intelligence。
它会淡出背景，你甚至不会注意到我们通过物理图灵测试的那一刻，而那一天只会被当作又一个平凡的周二而铭记。谢谢。