我们的创始人 我们的公司 我们的团队 故事 播客 Arc 打开搜索
Jim Fan 谈 Nvidia 具身 AI 实验室以及 Jensen Huang 关于所有机器人终将自主的预言第13集 | 访问 Training Data 系列页面跳转至： Jim 走向具身智能的历程 GEAR 团队机器人学的三种数据机器人学的 GPT-3 时刻选择人形机器人形态专业的通才 GR00T 获得专属芯片 Eureka 与 Isaac Sim 为何现在是机器人学的时机？探索虚拟世界对游戏的意义虚拟世界是否为物理世界服务？ Transformer 之外的替代架构快问快答本期提及：播客 Training Data Jim Fan 谈 Nvidia 具身 AI 实验室以及 Jensen Huang 关于所有机器人终将自主的预言 Jim Fan 谈 Nvidia 具身 AI 实验室以及 Jensen Huang 关于所有机器人终将自主的预言立即收听/观看：Amazon Apple Spotify YouTube
AI 研究者 Jim Fan 的职业生涯一路顺遂。他如今领导着 Nvidia 的具身 AI “GEAR” 团队。该实验室目前的工作涵盖人形机器人的基础模型以及面向虚拟世界的智能体。Jim 介绍了一种机器人数据的三管齐下策略，结合互联网规模的数据、仿真数据以及真实世界的机器人数据。他相信在未来几年内，将有可能创造出一种能够跨技能、跨具身形态、跨现实——包括物理与虚拟——泛化的“基础智能体”。
Jim Fan 是 Nvidia 的高级研究科学家，领导公司的 Generalist Embodied Agent Research（GEAR）团队，专注于为物理机器人和虚拟环境开发 AI 智能体。该团队的旗舰项目 GR00T 旨在创建人形机器人的基础模型，使其像当今的 LLM 一样通用。Jim 展望未来，认为智能机器人将像智能手机一样无处不在，并表示我们需要从今天开始为此愿景进行建设。
Jim Fan：从芯片层面，也就是 Jetson Orin 系列，到基础模型项目 GR00T，以及我们沿途搭建的仿真和工具链，这将成为一个平台，一个人形机器人的计算平台，进而也是广义智能机器人的计算平台。这里我想引用 Jensen 的话。他我最喜欢的名言之一是：“所有会动的东西终将自主化”，我也相信这一点。不是现在，但比如说十年或更久之后。如果我们相信智能机器人的数量将和 iPhone 一样多，那我们最好今天就开始建造。
Sonya Huang：大家好，欢迎收听 Training Data。今天我们请到了 Nvidia 高级研究科学家 Jim Fan。Jim 领导 Nvidia 的具身 AI 智能体研究，肩负双重使命，横跨物理世界的机器人学和虚拟世界的游戏智能体。Jim 的团队负责 Project GR00T，也就是在今年 GTC 上你们可能看到与 Jensen 同台登场的 Nvidia 人形机器人。我们很期待向 Jim 请教关于机器人学的一切：为何是现在，为何是人形，以及解锁机器人学 GPT-3 时刻需要什么。
Sonya Huang：我们今天非常期待深入交流，了解你在机器人学和具身 AI 方面要分享的一切。在此之前，你有一段迷人的个人经历。我想你曾是 OpenAI 的第一位实习生。不妨讲讲你的个人经历，以及如何走到了今天。
Jim Fan：当然，我很乐意与听众分享这些故事。那是2016年夏天，我的一些朋友说城里有一家新创业公司，我应该去看看。我当时想，“嗯，反正我也没事干”，因为我已经拿到了博士录取，那个夏天正好空闲。于是我决定加入这家创业公司，结果那就是 OpenAI。在 OpenAI 期间，我们在2016年就已经在谈论 AGI 了。那时，我的实习导师是 Andrej Karpathy 和 Ilya Sutskever，我们一起讨论了一个项目，叫做 World of Bits。这个点子非常简单：我们想构建一个能读取电脑屏幕、读取屏幕像素的 AI 智能体，然后控制键盘和鼠标。仔细想想，这个接口已经尽可能通用了，对吧？我们在电脑上做的所有事情，比如回复邮件、玩游戏或浏览网页，都可以通过这一接口完成，也就是将像素映射为键盘鼠标控制。所以那其实是我在 OpenAI 对 AGI 的第一次尝试，也是我在 AI 智能体领域旅程的第一章。
Stephanie Zhan：我记得 World of Bits。没想到你也参与了。真有意思。
Jim Fan：是的，那是个非常有趣的项目，也是一个更大计划的一部分，叫做 OpenAI Universe。它更像一个更大的平台，把所有应用程序和游戏整合到这个框架里。
Stephanie Zhan：你认为当时有哪些突破？另外，你觉得那时候做智能体面临哪些挑战？
Jim Fan：是的。那时候我们用的主要方法是强化学习。2016年还没有 LLM，也没有 transformer。问题在于，强化学习在特定任务上有效，但不具备泛化能力。也就是说，我们无法给智能体任意的语言指令，让它去做各种我们能用键盘鼠标完成的事情。所以当时它在我们设计的任务上有点效果，但并不能真正泛化。这开启了我的下一章：我去了斯坦福，跟着 Fei-Fei Li 教授读博，开始做计算机视觉和具身 AI。在斯坦福期间，也就是2016年到2021年，我目睹了 Fei-Fei 带领的斯坦福视觉实验室从静态计算机视觉——比如识别图像和视频——向更具身化的计算机视觉转变，即智能体在交互环境中学习感知并采取行动。这个环境可以是虚拟的，也就是仿真；也可以是物理世界。这就是我的博士阶段，转向具身 AI。博士毕业后，我加入了 Nvidia，一直待到现在。我把博士论文的工作带到了 Nvidia，至今仍在做具身 AI。
Sonya Huang：那么你负责 Nvidia 的具身 AI 项目。也许可以介绍一下这意味着什么，以及你们希望达成什么目标。
Jim Fan：好的。我现在共同领导的团队叫 GEAR，G-E-A-R。全称是 Generalist Embodied Agent Research。用三个词概括我们团队的工作就是：我们生成动作，因为我们构建具身 AI 智能体，而这些智能体在不同的世界中采取行动。如果行动发生在虚拟世界，那就是游戏 AI 和仿真；如果行动发生在物理世界，那就是机器人学。实际上，今年早些时候，三月份的 GTC 上，Jensen 在他的主题演讲中揭晓了一个叫做 Project GR00T 的项目，这是 Nvidia 为人形机器人构建基础模型的登月计划。那基本上就是 GEAR 团队目前的重点。我们想为人形机器人乃至更广泛的领域构建 AI 大脑。
Stephanie Zhan：你认为 Nvidia 在构建这方面有什么竞争优势？
Jim Fan：是的，这是个好问题。首先很确定的一点是计算资源。所有这些基础模型都需要大量计算资源来扩展规模，而且我们确实相信 scaling law。LLM 已经有了 scaling law，但具身智能和机器人领域的 scaling law 仍有待研究，所以我们正在做这方面的工作。NVIDIA 的第二个优势其实是仿真。NVIDIA 在成为一家人工智能公司之前，是一家图形公司。因此 NVIDIA 在构建仿真方面有多年的专业积累，比如物理仿真和渲染，以及在 GPU 上的实时加速。所以我们在构建机器人技术的路径中大量使用了仿真。
Stephanie Zhan：仿真策略非常有趣。为什么你认为行业内的大部分公司仍然非常关注真实世界数据？采用的是相反的策略？
Jim Fan：是的，我认为我们需要各种各样的数据，仅靠仿真数据或仅靠真实世界数据都是不够的。所以在 GEAR，我们把数据策略大致分为三类。第一类是互联网规模的数据，比如网上的各种标签和视频。第二类是仿真数据，我们用 NVIDIA 的仿真工具来生成大量合成数据。第三类是真实机器人数据，通过遥操作机器人来采集，然后在机器人平台上记录和收集这些数据。我相信，一个成功的机器人策略需要有效利用并混合这三种数据，同时提供一个统一的解决方案。
Sonya Huang：能否展开讲讲——我们之前聊到，数据从根本上说是让机器人基础模型真正发挥作用的关键瓶颈。你能多谈谈你对这一观点的坚信程度吗？以及，要制造出优质数据来突破这个难题，到底需要什么？
Jim Fan：好的，我认为我刚才提到的三种数据各有优劣。对于互联网数据来说，它们是最多样化的，编码了大量的常识先验，对吧？比如，网上的大多数视频都是以人为中心的，因为人类喜欢自拍，喜欢记录彼此做各种活动的过程。网上也有很多教学视频。所以我们可以利用这些数据来学习人类如何与物体互动，以及物体在不同情境下的表现。这就为机器人基础模型提供了一种常识先验。但互联网规模的数据并不附带动作信息。我们无法从互联网上下载机器人的电机控制信号。这就引出了数据策略的第二部分，即使用仿真。在仿真中，你可以获得所有动作，也能观察到这些动作在特定环境中的后果。仿真的优势在于，它基本上能提供无限的数据。而且，数据量会随着计算量扩展——你在仿真流程中投入的 GPU 越多，得到的数据就越多。而且数据是超实时的。如果你只在真实机器人上收集数据，那么你每天最多只有 24 小时。但在仿真中，比如 GPU 加速的仿真器，我们可以将现实时间加速一万倍。所以在相同时间内，我们能以高得多的吞吐量收集数据。这是它的优势。但弱点在于，无论图形管线做得多好，仿真总会存在 sim-to-real 差距。比如，物理特性会与真实世界不同，视觉效果也会不同，不会和真实世界看起来一模一样。另外还存在多样性问题，仿真里的内容不会像我们真实世界中遇到的所有场景那样丰富多样。这些是它的弱点。再来说真实机器人数据。这些数据不存在 sim-to-real 差距，因为它们是在真实机器人上采集的。但收集成本要高得多，因为你需要雇人来操作机器人。而且，它们还受限于原子世界的速度。每天只有 24 小时，还需要人工去采集，这也非常昂贵。因此，我们认为这三种数据具有互补的优势。我认为成功的策略是结合它们的优势，然后消除它们的弱点。
Sonya Huang：那些和 Jensen 一起上台的可爱 GR00T 机器人，那个时刻真是太酷了。如果让你帮我们展望一下一年、五年、十年后，你觉得你们团队会取得什么样的成就？
Jim Fan：这纯属猜测，但我希望在未来两到三年内，我们能看到机器人基础模型的研究突破。也就是我们所说的机器人领域的 GPT-3 时刻。再往后就不太确定了，因为要让机器人进入人们的日常生活，需要解决的不仅仅是技术问题。机器人必须价格亲民并能大规模生产，我们还需要硬件安全，以及隐私保护和法规监管。这些都需要更长时间，机器人才能打入大众市场。这部分更难预测。但我确实希望研究突破能在未来两到三年内到来。
Stephanie Zhan：你认为什么将定义机器人人工智能领域的 GPT-3 时刻？
Jim Fan：这是个好问题。我想把机器人技术看作由两个系统组成——system one 和 system two。这来自《思考，快与慢》这本书，其中 system one 指的是无意识的、快速的低级运动控制。比如，当我握住这杯水时，我不会真的去思考每毫秒指尖要怎么动。这就是 system one。而 system two 是缓慢而审慎的，更像是推理和规划，实际上动用了我们有意识的大脑能力。所以我认为 GPT-3 时刻会出现在 system one 这一侧。我最喜欢的例子是动词“打开”。想想“打开”这个词的复杂性，对吧？打开门和打开窗户不同，也和打开瓶子或打开手机不同。但对人类来说，我们毫不费力就能理解“打开”在互动时意味着不同的东西。与不同物体互动时，它意味着不同的动作。但到目前为止，我们还没有看到哪个机器人模型能在这些动词上实现低级运动控制的泛化。所以我希望能看到一个模型，它能理解这些动词的抽象含义，并能泛化到对人类而言合理的各种场景。我们目前还没有看到，但我希望这个时刻能在未来两到三年内到来。
Sonya Huang：那 system two 的思考呢？你觉得我们要怎么实现它？你认为 LLM 领域的一些推理努力在机器人领域也同样适用吗？
Jim Fan：当然。我认为在 system two 方面，我们已经看到了非常强大的模型，能够进行推理、规划以及编程。这些就是如今我们已经看到的 LLM 和前沿模型。但将 system two 模型与 system one 整合，这本身就是另一个研究挑战。所以问题在于：对于机器人基础模型，我们是需要一个单一的单体模型，还是需要某种级联方法，让 system two 和 system one 模型彼此分离，但又能以某种方式相互通信？我认为这是一个开放性问题。
Jim Fan：话说回来，两者各有优缺点。第一种思路，即单体模型，它更简洁——只有一个模型、一个 API 需要维护，但也更难控制，因为存在不同的控制频率。比如，system two 模型会以较慢的控制频率运行，比如说 1 Hz，也就是每秒一个决策；而 system one，比如我抓取这杯水的运动控制，可能就需要 1,000 Hz，也就是每秒要做 1,000 次这种微小的肌肉决策。把这两者编码到同一个模型里真的很难。所以也许级联方法会更好，但问题是，system one 和 system two 之间如何通信？它们是通过文本还是通过某些 latent variables 来交流？目前还不清楚，我认为这是一个非常令人兴奋的新研究方向。
Sonya Huang：你的直觉是，我们会在 system one 思维的突破上取得成功吗？比如通过 scale 和 transformer？这能行吗？还是说只能祈盼、拭目以待？
Jim Fan：我当然希望我描述的数据策略能让我们达到那个目标，因为我觉得我们还没有把 transformer 推到极限。从根本上说，transformer 输入 token、输出 token，最终 token 的质量决定了模型的质量，决定了那些大型 transformer 的质量。而在机器人领域，正如我提到的，数据策略非常复杂。我们有互联网上的全部数据，同时还需要仿真数据和真实的机器人数据。一旦我们能够把数据 pipeline 规模化，获得所有这些高质量动作数据，然后将其 tokenize，再输入 transformer 进行压缩。所以我觉得我们还没有把 transformer 推到极限。一旦我们搞定了数据策略，随着数据规模和模型规模的扩大，我们或许能看到一些 emergent property。我将其称为 embodied AI 的 scaling law。而这才刚刚开始。
Stephanie Zhan：我非常乐观，相信我们一定能实现。我很好奇，你个人最期待的是什么？当我们真正达成目标时，你最期待看到哪个行业、应用或场景会彻底改变当今的机器人世界？
Jim Fan：是的。我们选择人形机器人作为主要研究方向，其实有几个原因。原因之一是，这个世界是围绕人类的身体形态、人的 form factor 构建的。我们所有的餐厅、工厂、医院，以及所有的设备和工具，都是为人类的形体和双手设计的。所以原则上，一个足够好的人形硬件应该能够胜任任何正常人类能做的事情——这是理论上的。今天的人形硬件还没有达到这个水平，但我感觉在未来两到三年内，人形硬件生态将会成熟，我们会有负担得起的人形硬件可用，接下来问题就是 AI 大脑，也就是如何驱动这些人形硬件。一旦我们拥有了这样的硬件，一旦我们有了 GR00T 基础模型，它能够接收语言指令并执行任何正常人类能完成的任务，那么我们将释放出巨大的经济价值。比如，我们可以让机器人在家里帮我们做日常家务，比如洗衣、洗碗、做饭，或者老年护理。我们也可以让它们进入餐厅、医院、工厂，协助完成人类所做的各种工作。我希望这能在未来十年内实现，但正如我一开始提到的，这不仅仅是技术问题，还涉及到许多技术之外的因素。所以我很期待那一天的到来。
Sonya Huang：你选择专门做人形机器人，还有其他原因吗？
Jim Fan：有的。从训练 pipeline 的角度来看，还有一些更实际的原因。网上有大量关于人类的数据，对吧？所有内容都是以人为中心的。所有视频都是人类在做日常事务或娱乐。而人形机器人的 form factor 与人类 form factor 最为接近，这意味着我们用这些数据训练出的模型，迁移到人形形态上会比迁移到其他形态更容易。比如说机械臂，我们在网上能看到多少关于机械臂和夹爪的视频？非常少。但人们用五指手操作物体的视频却数不胜数。所以训练人形机器人可能会更容易。一旦我们做到了这一点，就能再将其专门化到机械臂和更具体的机器人形态上。这就是为什么我们先追求完全的 generality。
Stephanie Zhan：我之前没意识到——那么你们今天只训练人形机器人吗？还是也会训练机械臂和机器狗？
Jim Fan：是的。就 GR00T 项目而言，我们目前主要瞄准人形机器人，但我们构建的 pipeline，包括仿真工具、真实机器人工具，都足够通用，未来也可以适配到其他平台上。所以我们打造这些工具是为了让它们具有广泛的适用性。
Sonya Huang：嗯，你现在已经用了好几次“通用”这个词了。我知道有一些人，尤其是来自机器人学界的，认为通用路线行不通，必须针对特定领域和环境来做。你为什么选择了 generalist 路线？Richard Sutton 的 bitter lesson 一直是我们播客上反复出现的主题。我很好奇，你认为它在机器人领域也成立吗？
Jim Fan：当然成立。我想先聊聊我们在 NLP 领域共同见证的成功故事。在 ChatGPT 和 GPT-3 出现之前，NLP 世界里有很多针对不同应用的模型和 pipeline，比如翻译、编程、数学、创意写作，它们使用的模型完全不同，训练 pipeline 也完全不同。但后来 ChatGPT 出现了，把所有能力统一到了一个模型里。在 ChatGPT 之前，我们称那些为 specialist；而 GPT-3、ChatGPT 这类，我们称之为 generalist。一旦拥有了 generalist，我们就可以通过 prompt、distill 和 fine tune 将其收敛回特定任务。我们称这些为 specialized generalist。按照历史趋势，几乎无一例外，这种 specialized generalist 远比最初的 specialist 强大，而且也更容易维护，因为你只需要一个 API，输入文本，输出文本。所以我认为我们可以遵循 NLP 领域的这一成功路径，机器人领域也会一样。现在在 2024 年，我们看到的大多数机器人和应用仍然处于 specialist 阶段，对吧？它们有专门的机器人硬件做专门的任务，用专门的 pipeline 收集专门的数据。但 GR00T 项目旨在构建一个通用基础模型，先在人形机器人上落地，之后再泛化到各种不同的机器人形态或 embodiment 上。这就是我们追求的 generalist 时刻。一旦拥有了 generalist，我们就能通过 prompt、fine tune、distill 将其下沉到特定的机器人任务中。这些就是 specialized generalist。但这只有在拥有了 generalist 之后才能实现。短期内走 specialist 路线确实更容易，也更容易出成果，因为你只需聚焦于非常狭窄的任务集。但我们 NVIDIA 相信未来属于 generalist，尽管它需要更长的开发周期，需要解决更困难的研究问题。但这就是我们首先瞄准的方向。
Stephanie Zhan：对我来说，NVIDIA 打造 GR00T 的有趣之处，也是你之前提到的，即 NVIDIA 同时掌握了芯片和模型本身。你认为 NVIDIA 可以在自己的芯片上针对 GR00T 做哪些有趣的优化？
Jim Fan：是的。在三月的 GTC 上，Jensen 还发布了下一代边缘计算芯片。它叫做 Jetson Orin 芯片，实际上是与 Project GR00T 一同发布的。我们的思路是，为客户提供一整套全栈的统一解决方案。从芯片层面，也就是 Jetson Orin 系列，到 foundation model Project GR00T，再到我们一路上构建的仿真工具和配套软件，这将形成一个平台，一个面向人形机器人、进而面向各类智能机器人的计算平台。这里我想引用 Jensen 的一句话。他最喜欢的表述之一是："一切会动的东西最终都将实现自主化"，我也深信这一点。虽然这不是现在就能发生的事，但假如说十年或更久之后，如果我们相信智能机器人的数量会和 iPhone 一样多，那我们最好今天就动手开始建造。
Sonya Huang：太棒了。到目前为止，你们的研究中有没有哪些特别想强调的成果？有没有哪些东西让你对正在采取的方法感到乐观或坚定？
Jim Fan：有的。我们可以聊聊之前做过的一些工作。其中一项让我感到非常满意的研究叫做 Eureka。在这项工作中，我们做了一个演示，训练一只五指机械手转笔。
Jim Fan：[笑] 这比我本人还强，因为我从童年起就放弃转笔了。
Sonya Huang：你不打算现场演示一下吗？
Jim Fan：如果现场演示，我会惨败的。所以是的，我自己做不到，但机械手能做到。我们用来训练它的思路是，用 prompt 让 LLM 在 NVIDIA 开发的仿真器 API 里写代码。这个 API 叫做 Isaac Sim API。然后 LLM 输出 reward function 的代码。reward function 本质上是对我们希望机器人做出的理想行为的规范。如果机器人做对了就会获得奖励，做错了则会受到惩罚。这就是 reward function。通常，reward function 是由人类专家设计的，一般是那些非常了解 API 的机器人学家。这需要大量专业知识，而且设计 reward function 本身就是一项非常繁琐、非常依赖手工的任务。
Eureka 所做的就是，我们设计了一种利用 LLM 来自动化 reward function 设计的算法，从而让 reward function 能够指导机器人完成转笔这类非常复杂的任务。这是我们开发的一种通用技术，我们确实计划将其扩展到转笔之外。它应该能够为各种任务设计 reward function，甚至还能利用 NVIDIA 的仿真 API 生成全新的任务。这给了我们很大的成长空间。
Sonya Huang：你觉得——我是说，我记得五年前，有很多研究实验室在做用机械手还原魔方之类的事情。当时感觉机器人领域好像经历了一段幻灭的低谷期。而在过去一年左右，这个领域似乎又火热起来了。你认为这一次机器人领域是否存在一个"为什么是现在"的理由？有什么不同？而且我们读到消息说 OpenAI 正在重返机器人领域。现在所有人都在加码投入。你认为现在有什么不同？
Jim Fan：是的，我认为现在有几个非常关键的不同因素。第一是机器人硬件。实际上，从去年年底开始，我们看到生态系统里涌现了大量新的机器人硬件。有 Tesla 在做 Optimus，还有 Boston Dynamics 等等，也有很多初创公司。所以我们看到了越来越好的硬件。这是第一点。而且那些硬件的能力也越来越强，有了更灵巧的手，更可靠的全身上下整体性能。第二个因素是价格。我们看到人形机器人的售价和制造成本都出现了显著下降。早在 2001 年，NASA 开发了一款人形机器人，叫做 robonaut。我记得，如果我没记错的话，每台机器人的成本超过 150 万美元。而最近，已经有公司能把一台完整的人形机器人定价在 3 万美元左右，大约和一辆车的价格相当。另外，制造业里一直存在这样一种趋势：一个成熟产品的价格会逐渐趋近于原材料成本。而人形机器人所需的原材料通常只占一辆车的 4%。所以成本有可能进一步下降，未来几年价格可能会出现指数级的下降。这使得这些最先进的硬件变得越来越便宜。这是我认为人形机器人正在积聚势头的第二个因素。第三个因素是在 foundation model 层面，对吧？我们可以看到 system two 的问题，也就是推理和规划的部分，被 GPT、Claude、Llama 这样的前沿模型解决得非常好。这些 LLM 能够泛化到新场景，能够写代码。实际上，我刚才提到的 Eureka 项目就利用了 LLM 的编程能力来帮助开发新的机器人解决方案。同时，multimodal model 也在激增，提升了 computer vision 和感知能力。所以我认为这些成功也激励我们去追求机器人 foundation model，因为我们觉得可以借助这些前沿模型的泛化能力，再在其之上叠加动作，从而生成 action tokens，最终驱动这些人形机器人。
Stephanie Zhan：我完全同意这些观点。我也认为，到目前为止，这个领域我们一直在努力攻克的问题之一，就是如何解锁构建这种模型所需的数据规模。而我们取得的所有研究进展，其中很多是你自己做出的贡献，比如 sim-to-real 和其他方面。再加上 NVIDIA 用 Isaac SIM 等工具推动了整个领域的发展，同时还有遥操作和更便宜的遥操作设备等等。所以我觉得现在在这里做建设真的是一个非常、非常令人兴奋的时刻。
Sonya Huang：如果没问题的话，我想把话题转向虚拟世界。
Sonya Huang：我记得你的研究更多是从虚拟世界领域开始的。能否简单说说是什么让你对 Minecraft 产生了兴趣，而不是机器人？在你看来这些都有关联吗？是什么让你对虚拟世界感兴趣的？
Jim Fan：是的，这是个好问题。对我个人而言，我的使命是解决 embodied AI。而对于 embodied 在虚拟世界中的 AI agent，那就是游戏和仿真之类的东西。这也是为什么我对游戏一直有一种特殊偏爱。我自己也喜欢玩游戏。
Stephanie Zhan：[笑] 你玩什么？
Jim Fan：我玩 Minecraft。至少我试过。我游戏打得不太好，所以我也想让我的 AI 为我糟糕的技术"报仇"。
Jim Fan：所以我之前做过一些游戏相关的项目。第一个叫做 MineDojo，我们开发了一个平台，用来在 Minecraft 游戏中培养通用 agent。对于不太熟悉的观众来说，Minecraft 是一个 3D 体素世界，你可以做任何想做的事，可以制作各种配方、不同工具，也可以去冒险。这是一个开放式的游戏，没有特定的分数要去最大化，也没有固定的剧情线要遵循。于是我们从互联网上收集了大量数据。有关于人们玩 Minecraft 的视频，也有解释游戏中每一个概念和机制的 wiki 页面，这些都是多模态文档，还有像 Reddit 这样的论坛。Minecraft 的 subreddit 上有大量用户用自然语言讨论这款游戏。我们收集了这些多模态数据集，并据此训练模型来玩 Minecraft。这就是 MineDojo 的第一项工作，之后的第二项工作叫做 Voyager。Voyager 的构想诞生于 GPT-4 问世之后，因为当时它是最好的编程模型。于是我们想到：如果我们将编程作为行动会怎样？基于这一洞察，我们开发出了 Voyager 智能体，它通过编写代码与 Minecraft 世界交互。我们首先用一个 API 将三维的 Minecraft 世界转换为文本表示，然后让智能体利用行动 API 编写代码。但就像人类开发者一样，智能体并非总能一次性写出正确的代码，因此我们为它设置了一个自我反思循环：它尝试某种做法，如果在 Minecraft 世界中遇到错误或犯了错，就会获得反馈并修正自己的程序。一旦写对了程序，我们就称之为“技能”。我们会将其保存到技能库中，这样未来当智能体面临类似情境时，就不必再走一遍试错循环，而是可以直接从技能库中检索该技能。你可以把这个技能库看作是由 LLM 完全自主交互编写的代码库，对吧？没有人工干预，整个代码库都是由 Voyager 开发的。这是第二个机制，即技能库。第三个机制是我们称之为自动课程（automated curriculum）的东西。基本上，智能体知道自己知道什么，也知道自己不知道什么，因此它能够提出一个既不太难也不太简单的下一个任务，然后沿着这条路径去发现各种新技能、新工具，并在广袤的 Minecraft 世界中四处探索。正因为它游历了如此之广，我们才把它命名为 Voyager。没错，这就是我们团队利用基础模型在具身世界中构建 AI 智能体的最早尝试之一。
Sonya Huang：再多聊聊这个课程机制。我觉得这非常有趣，因为它似乎是 LLM 推理领域中一个尚未解决的难题。如何让这些模型具备自我意识，从而知道下一步该如何提升？能否再多介绍一下你们在课程设计和推理方面的构建？
Jim Fan：当然。我认为这些前沿模型有一个非常有趣的涌现特性：它们能够反思自己的行为，并且大致知道自己知道什么、不知道什么，还能据此提出相应的任务。在 Voyager 的自动课程中，我们只给了智能体一个高层指令，即尽可能多地发现新物品。这就是我们给出的唯一一句目标描述。至于先发现哪些物品、先解锁哪些工具，我们完全没有指定。智能体完全依靠编程、提示和技能库自行完成了所有发现。整个系统就这样运转起来，实在令人惊叹。我认为，一旦你拥有一个能够泛化的强大推理引擎，这就是一种涌现特性。
Sonya Huang：为什么你认为有这么多虚拟世界研究都是在虚拟世界里完成的？我确信这不完全是因为很多深度学习研究员喜欢打电子游戏，虽然我相信这也没坏处。但我想问，在虚拟世界中解决问题与在物理世界中解决问题之间有什么联系，两者如何相互作用？
Jim Fan：是的，尽管游戏和机器人看似截然不同，但我在两个领域之间看到了许多共通的原则。对于具身智能体而言，它们以感知为输入，可以是一段视频流加上一些感官输入，然后输出行动。在游戏场景中，这相当于键盘和鼠标操作；在机器人领域，则是低层级的电机控制。归根结底，API 的形式就是这样。这些智能体需要在世界中探索，必须以某种方式收集自己的数据。这就是我们所说的强化学习，也是自我探索。这一部分原则，在物理智能体和虚拟智能体之间同样是共通的。但区别在于，机器人更难，因为你还需要弥合从模拟到现实的鸿沟（simulation-to-reality gap）。在模拟中，物理和渲染永远不可能完美，因此很难将模拟中学到的东西迁移到现实世界。这本身就是一个开放性的研究问题。所以机器人领域存在 sim-to-real 问题，而游戏则没有——你在同一个环境中训练和测试。我认为这就是它们之间的差别。去年我提出了一个叫做“foundation agent”的概念。我相信最终我们会拥有一个既能驾驭虚拟智能体、也能驾驭物理智能体的统一模型。对于 foundation agent，它将在三个维度上实现泛化：第一，它能掌握的技能；第二，它能控制的具身形态或机身形态；第三，它能驾驭的世界与现实。未来，我认为单一模型将能够在多种不同的机器人形态或智能体形态上执行大量不同技能，并泛化到许多不同的世界，无论是虚拟的还是现实的。这就是 GEAR 团队想要追求的终极愿景——foundation agent。
Stephanie Zhan：沿着虚拟世界、特别是游戏这条线往下聊，鉴于你们已经在推理、涌现行为等方面取得了突破，尤其是在一个开放环境中，你个人对游戏世界当下的可能性有哪些梦想？你希望看到 AI 智能体在今天的游戏世界中带来哪些创新？
Jim Fan：是的。我对两个方面感到非常兴奋。第一是游戏内部的智能智能体。如今的 NPC 都遵循固定脚本，且全部由人工编写。如果我们拥有真正“活”着的 NPC——也就是非玩家角色——你可以与它们互动，它们能记住你之前说过的话，还能在游戏世界中采取行动，从而改变叙事、改写你的故事，那会怎样？这是我们目前尚未见到的，但我感觉其中潜力巨大。这样，每个人玩这款游戏时都会有不同的体验；即使同一个人玩两次，故事也不会重复。如此一来，每款游戏都将拥有无限的重玩价值。这是第一个方面。第二个方面则是游戏本身可以被生成。我们已经看到许多不同的工具在实现我刚才提到的这一宏大愿景的子集，对吧？有 text-to-3D 生成资产的工具，也有 text-to-video 模型，当然还有能生成故事情节的语言智能体。如果我们把这些全部整合在一起，让你在游戏和互动的过程中，游戏世界被实时生成，那将是真正惊人、真正开放端的体验。
Stephanie Zhan：非常有趣。特别是关于智能体的愿景，你认为需要 GPT-4 级别的能力，还是说仅凭 Llama-8B 这样的模型就能实现？
Jim Fan：是的，我认为 agent 需要具备以下能力：首先，它当然需要进行有趣的对话，需要有一致的个性，还需要有长期记忆，并且能够在世界中采取行动。在这些方面，我认为目前 Llama 模型表现还不错，但还不足以产生非常多样化、真正引人入胜的行为。所以我认为要达到目标还有差距。另外一点是推理成本。如果我们想把这些 agent 部署给玩家，那要么成本非常低，托管在云端，要么在设备上本地运行。否则从成本角度来看是不可扩展的。这是另一个需要优化的因素。
Sonya Huang：你认为虚拟世界领域的所有这些工作，是为了从中学习东西，以便在物理世界中完成任务吗？虚拟世界的东西是为了服务于物理世界的野心而存在的吗？或者换个说法，它本身是否就已经足够有价值？你如何在物理世界和虚拟世界之间优先安排你的工作？
Jim Fan：是的。我只是认为虚拟世界和物理世界最终不过是同一维度上的不同现实。举个例子：有一种技术叫 domain randomization，它的工作原理是，你在仿真中训练机器人，但同时在一万个不同的仿真中并行训练。每个仿真都有略微不同的物理参数，比如重力、摩擦力、重量，所有东西都有点不一样，对吧？所以这实际上是成千上万个不同的世界。假设我们有一个 agent 能同时掌握这万种不同的现实配置，那么我们的真实物理世界不过是第一万零一个虚拟仿真。这样，我们就能直接从仿真泛化到现实。这正是我们在 Eureka 的后续工作中所做的，我们在仿真中使用各种不同的随机化来训练 agent，然后 zero-shot 迁移到现实世界，无需进一步微调。
Jim Fan：这就是 DrEureka 的工作。我确实相信，如果我们拥有各种不同类型的虚拟世界，包括来自游戏的，并且我们有一个单一的 agent 能在所有世界中掌握各种技能，那么现实世界就会成为这个更大分布的一部分。
Stephanie Zhan：你想多分享一下 DrEureka 吗？让观众对这个例子有更具体的了解。
Jim Fan：哦，当然。在 DrEureka 这项工作中，我们在 Eureka 的基础上，仍然把 LLM 当作一种机器人开发者来使用。LLM 编写代码，而代码用于指定仿真参数，比如 domain randomization 的参数。经过几轮迭代后，我们在仿真中训练的 policy 就能够泛化到现实世界。我们展示的一个具体 demo 是，让机器狗在瑜伽球上行走，它不仅能保持平衡，甚至还能向前走。我看到过一个很好笑的评论，有人说他真的让自己的狗去做这个任务，而他的狗做不到。所以从某种意义上说，我们的神经网络实现了超狗表现。
Stephanie Zhan：（笑）我很确定我的狗做不到。
Jim Fan：是啊，artificial dog intelligence。没错，这就是下一个 benchmark。
Sonya Huang：在虚拟世界领域，我认为最近出现了许多非常出色的模型，无论是在 3D 还是视频方面，它们基本都是基于 transformer 的。你认为我们已经到了可以说“这就是能带我们走向应许之地的架构，让我们把它规模做大”的程度了吗？还是你认为在模型层面仍然需要根本性的突破？
Jim Fan：是的，我认为对于机器人基础模型来说，我们还没有触及架构的极限。目前数据是更难的问题，也是瓶颈，因为正如我之前提到的，我们无法从互联网下载那些动作数据。它们并不自带运动控制数据。我们必须在仿真中或真实机器人上收集。一旦我们拥有了数据，有了非常成熟的数据 pipeline，我们就会将 token 输入 transformer，让它压缩这些 token，就像 transformer 在 Wikipedia 上预测下一个词一样。我们仍在验证这些假设，但我认为我们还没有把 transformer 推到极限。目前也有很多关于 transformer 替代架构的研究。我个人对此非常感兴趣。比如 Mamba，还有最近的 test time training。有一些替代方案，其中一些包含非常有前景的想法。它们还没有真正扩展到所有前沿模型的性能水平，但我期待看到 transformer 的替代方案。
Stephanie Zhan：有没有哪个特别吸引了你的注意，为什么？
Jim Fan：是的，我想我提到了 Mamba 的工作，还有 test time training。这些模型在推理时效率更高，所以不同于 transformer 要关注所有过去的 token，这些模型拥有本质上更高效的机制。因此我认为它们很有前景。但我们需要把它们扩展到前沿模型的规模，真正看看它们与 transformer 正面相比如何。
Sonya Huang：太好了。我们要不要来几个快问快答作为收尾？
Sonya Huang：好，让我想想。第一个问题，在具身智能之外，你对 AI 的哪个领域最感兴趣？
Jim Fan：是的，我对视频生成非常兴奋，因为我认为视频生成是一种世界模拟器。我们仅从数据中学习物理和渲染。我们已经看到了 Open AI Sora，后来也有很多新模型在追赶 Sora。这是一个正在进行的研究课题，没错。
Sonya Huang：世界模拟器能带来什么？
Jim Fan：我认为它会给我们带来数据驱动的仿真环境，让我们可以在其中训练具身智能。那将非常了不起。
Stephanie Zhan：从更长的时间维度来看，比如十年或更久，你对 AI 的哪个方面最兴奋？
Jim Fan：是的。有几个方面，首先是推理方面，我对会写代码的模型非常兴奋。我认为编程是一项如此基础的推理任务，也具有巨大的经济价值。我想也许十年后，我们会拥有 coding agent，它们的能力堪比人类软件工程师，然后我们将能够利用 LLM 本身来加速大量开发。第二个方面当然是机器人。我认为十年后，我们将拥有可靠性和敏捷性达到人类水平甚至超越人类的人形机器人。我希望到那时，Project GR00T 会取得成功，我们能够让人形机器人在日常生活中帮助我们。我只想让机器人帮我洗衣服。这一直是我的梦想。
Sonya Huang：哪一年机器人能帮我们洗衣服？
Jim Fan：越快越好。我等不及了。
Sonya Huang：你在 AI 领域最钦佩谁？从实习时期起，你就有机会与一些伟大的人物共事，但最近你最钦佩谁？
Jim Fan：我在 AI 领域的偶像太多了，数都数不过来。我很敬佩我的博士导师 Fei-Fei。我认为她教会了我如何培养良好的研究品味。有时候关键不在于如何解决一个问题，而在于识别哪些问题值得去解决。实际上，“做什么”比“怎么做”要难得多。在我和 Fei-Fei 读博期间，我转向了具身智能。现在回头看，这是正确的研究方向。我相信 AI 智能体的未来一定是具身的，无论是应用于机器人还是虚拟世界。我也很敬佩 Andrej Karpathy。他是一位杰出的教育者。我觉得他写代码就像写诗一样，所以我很敬仰他。另外我非常敬佩 Jensen。我认为他非常关心 AI 研究，甚至连模型的技术细节都了如指掌，这让我非常佩服。所以我很敬仰他。
Stephanie Zhan：顺着“培养良好研究品味”这个话题，对于那些正在打造 AI 的创始人，在寻找正确的问题去解决这件事上，你有什么建议？
Jim Fan：我认为可以多读近期的研究论文。我感觉现在的论文越来越容易理解了，里面有很多很好的想法，而且越来越务实，不再只是理论性的机器学习。所以我建议跟进最新的文献，同时也去试用人们开发的所有开源工具。比如在 NVIDIA，我们搭建了一些模拟器工具，所有人都可以获取，下载下来就能试用。你可以在模拟环境中训练自己的机器人。就是要多动手实践。
Stephanie Zhan：再顺着 Jensen 作为标杆这个话题，对于正在打造 AI 的创始人，你有哪些实用的战术建议？他们可以从他身上学到什么？
Jim Fan：我认为是找到正确的问题去做，对吧？NVIDIA 押注人形机器人，因为我们相信这是未来，还有具身智能，因为如果我们相信，比如说十年之后，世界上的智能机器人和 iPhone 一样多，那我们最好今天就动手去做。所以就是，要有长远的未来愿景。
Sonya Huang：我觉得这是个很好的收尾。Jim，非常感谢你参与我们的访谈。我们很乐意了解你们团队正在做的一切，也无比期待未来叠衣服机器人的出现。
Jim Fan：太好了。非常感谢你们的邀请。浏览本网站即表示您同意我们的 Cookie 政策。