Anthropic 联创 Tom Brown：构建 Claude Code、GPT-3 的教训与 LLM 系统设计

Tom Brown他当时在纽约，那段时间还常在 Recurse Center 泡着。我觉得……

主持人哦，我觉得他当时应该在 Stripe。也许有一段时间在 Recurse Center。对。但他还有一段时期，就是在 Stripe 的时候，他几乎一整年都会在他们内部频道里发消息说，我要去 Grouper，谁一起去。

Tom Brown所以我后来和 Greg 走得很近，这也成了我后来和 OpenAI 产生联系的契机。

主持人这段历程是什么样的？因为你一开始才从 MIT CS 毕业，21岁，先是成为这些 YC 创业公司的早期员工，几年后又自己创业。你最终是怎么走上 Anthropic 联合创始人这条路的？这条路很长，但相当了不起。你是怎么做到的？我的意思是，听起来就是在那个时刻认识了 Greg。

Tom Brown呃，然后你就成了最早加入 OpenAI 的几十个人之一。

对。我在2014年6月离开了 Grouper，大概一年后加入了 OpenAI。我那时努力鼓起勇气转型，尝试去学习 AI 研究。当时我就在想，“好吧，看起来在我们有生之年，人类可能会做出变革性的 AI。如果真能做到，那就是最大的事情。也许我能帮上什么忙，但我大学线性代数只拿了 B-。”所以那时候感觉，你得是那种顶尖的超级明星，才有资格去尝试做这件事。所以我当时非常不确定自己能不能帮上忙。而且我之前创业也有一些成绩，所以我很大一部分想法是，与其重新学习这方面的技能，不如再去创办一家别的公司之类的。

我觉得在那个时期，去做 AI 研究并不被看作一件实际、严肃的事。你身处一个大家都想创业、做非常务实的事情的世界里。你的朋友是什么反应？他们会说"太酷了，你要去做 AI 了"，还是——

并不是。

我觉得我的朋友们都觉得这听起来又奇怪又糟糕。有点像……AI safety 似乎不应该是我们需要操心的事，就像火星人口过剩一样毫无意义。而且朋友们也会说，不知道你搞不搞得定那个硬核的东西。我想正因为如此，我其实没有特别努力，大概纠结了六个月，想鼓起勇气去做。

那当时你具体在做什么？比如读论文之类的？是什么样子的？

对。一开始我就是在放松。我给 Burning Man 造了一辆艺术车之类的东西。

哦，那挺有意思的。

对。我在离开 Grouper 之后花了整整一个夏天，大概三个月做这件事，因为说实话我有点 burnout 了。创业嘛，高潮很高，低谷也很低，最后我们做得并不顺利。公司业务没成功，收入在下降，但我的主要工作还是招聘工程师，所以我得向他们推销一个我曾经相信但已经不再那么相信的梦想。

听起来像是一场死亡行军。

所以我彻底 burnout 了，我就想："好吧 Tom，放松点，做做瑜伽，练练 CrossFit，造辆艺术车。"

那事后怎么看呢？俗话说事后诸葛亮。回顾 Grouper，它显然吸引了很多非常非常聪明的人，数据曲线一度节节攀升，然后走平甚至开始下滑。发生了什么？

我觉得我们起步的时候，竞争对手是 OKCupid。

都是网页端的。

全是网页端。我认为我们解决的核心问题是：走出去认识新人很难，而且对方可能会直接说"我不想跟你说话，你看着怪怪的"。所以我们用盲配来解决这个问题。而我们做 Grouper 期间 Tinder 上线了，Tinder 用另一种方式解决了同一个问题——双方都必须先表示有兴趣才会匹配，这样就不用担心被拒绝。我觉得他们的方案更好，对同一个问题给出了更优解。所以干得好，Tinder。干得好，所有滑动屏幕的人。我觉得他们比我们更好地完成了我们想要完成的使命。

那后来你是什么时候开始认真对待 AI 的？怎么入门的？

玩了三个月，然后我的个人 runway 也用光了。我就想，好吧，我觉得我需要六个月偷偷学习，才有机会找到工作。当时做这方面工作的地方主要是 DeepMind、Google Brain，还有 MIRI。MIRI 是我考虑的第三个地方。所以我想，如果我想在这方面出一份力，就是这三个去处。但我现在什么技能都没有，需要六个月自学，才能觉得自己不会拖后腿，而是真正能帮上忙。

你能不能讲讲那六个月自学是什么样的？因为我确定现在很多二十多岁的软件工程师都想转行做 AI 研究员。那六个月是怎么过的？虽然你说过你线性代数只拿了 B-，那可是核心课。

也可能是 C++。我不确定，应该去查一下。我就一直这么说吧。

考虑到你后来的成就，这相当了不起了。

对，对，结果还行。首先我跟 Twitch 签了一份合同，赚了够六个月生活的钱。所以我给 Twitch 做了三个月的 contract，然后制定了自学计划。不过现在回头看，我不确定这是不是 2015 年那时候的正确路径。具体怎么做的呢？上 Coursera 的机器学习课程，尝试解决一些 Kaggle 项目，读《Linear Algebra Done Right》，还有一本统计学教材。我好像有 YC 校友积分之类的，就买了一块 GPU，然后 SSH 连上去跑课程作业。

这时候是在 AlexNet 之后了吧？

在 AlexNet 之后，对。所以我主要在做图像分类，这是当时所有课程都会教的东西。

你怎么拿到 OpenAI 的工作的？

因为你当时是少数几个工程师之一，团队里基本都是研究员，而且研究员阵容很强。

OpenAI 一宣布我就给 Greg 发了消息，说我希望能以某种方式帮忙。我线性代数拿了 B-，但我懂一些工程，做过一点分布式系统的工作。如果你们需要帮忙，我乐意打杂，无论如何我都想出力。然后 Greg 大概是说，对，我觉得既懂机器学习又懂分布式系统的人很稀缺。他也用了"稀缺"（paucity）这个词，我心想，这词挺高级啊。他说这种人很稀缺，所以你应该来。他还把我介绍给 Peter Abbeel，帮我一起制定了一份自学小课程。

之后我大概每个月跟他跟进一次。过了几个月他说，我们其实有个项目，我们想搞游戏，你能帮忙搭个 StarCraft 环境吗？所以我就加入去帮忙做 StarCraft 环境。我想正是这件事让我敲开了门。基本上在 OpenAI 的头九个月，我没做任何机器学习方面的工作。

那时候的 OpenAI 是什么感觉？融到很多资了吗？有办公室吗？像初创公司吗？

它在 Dandelion 巧克力工厂的楼上。

这是在 Greg 公寓之后？

在 Greg 公寓之后，对。就在搬出 Greg 公寓、在巧克力工厂起步的时候，Elon 承诺了十亿美元的资金支持。感觉非常稳。

对你而言另一个有趣的里程碑是你参与搭建 GPT……对，GPT-3 的训练工程。

对，那是怎么回事？因为 GPT-2 用的是 TPU，对吧？

对。

而 GPT-3 的重大突破是用了更多算力，而且用了 GPU。

对。我在 OpenAI 干了一年，离开，去 Google Brain 干了一年，然后回来。GPT-3 是 2018 到 2019 年做出来的，就像你说的，核心就是 scaling things up。我觉得 Dario 很早就看到了 scaling law 的大趋势。你们还发了篇论文。

对，对。

那是一篇相当重要的论文，经受住了时间的考验，我们现在就生活在那篇论文描绘的愿景里。

能明确看到这样一条规律：只要方法得当，投入更多算力就能获得更高的智能水平，这至少对我来说是重中之重。当时这确实是正在发生的事，因为你看，即便那时我们在训练任务上的花费并不算多，也能看到 scaling 的存在。而且当时 Danny Hernandez 发表了一篇论文，展示了算法效率的提升如何随着时间的推移让一切变得更便宜。这两件事叠加在一起，让我意识到：哇，未来几年我们将获得远超现在的智能水平。

所以你当时看到这一点时，觉得既值得注意又令人惊讶。

是的。而且我觉得最让我奇怪的是，我不是物理学家，但所有这些物理学家都在研究这些东西。最初的 scaling law 论文中，那条跨越 12 个数量级的直线——12 个数量级啊，这大到离谱，我从未见过任何东西能跨越 12 个数量级。这让我确信无疑，要将全部工作转向 scaling，而此前我并未这么做。

我能问一个有点外行的问题吗？我是说，是否可以这样说：scaling law 也可能出现在所有其他领域中，是否存在两千、五千、十万、一万个我们尚未投入资源的领域，那里的 scaling law 同样成立？

是的。我认为在物理学中，scaling law 到处都成立，不过当时我还不知道。在物理学内部，有一整个叫做唯象学的领域，基本上就是观察世界的各个方面，然后做这类拟合，他们发现幂律分布无处不在。而我想这是我第一次在接近计算机科学的领域看到这种现象，我觉得这既有趣又令人惊讶。

而且当时人们对此很不满。他们觉得你就是在把钱砸向 GPU，纯属浪费，非常铺张。

人们现在仍然对此不满。

是的。现在换成了另一批人，但依然有人不满。

是的，我想是的。研究人员当时也很不满，觉得这不够优雅，你只不过是在暴力破解。就像戴着小丑帽说“堆更多层”——我觉得 Anthropic 的口号大概是“做那件蠢但管用的事”。而这件事显然就是非常蠢但管用的做法。

那你能不能告诉我们，你是怎么集齐最后一颗无限宝石的？

你是说在 Anthropic？是的。因为全世界鲜有人同时供职过 OpenAI、DeepMind 和 Anthropic，而你是从 GPT-3 团队分拆出来的一员。

是的。

然后创办了 Anthropic。所以那次跳槽是怎样的？

当时那边有两个团队。安全团队和 scaling 团队，这两个部门向 Dario 和 Daniela 汇报。我觉得我们当时合作得极其顺畅。我认为 OpenAI 和 Anthropic 都很棒的一点在于，我们有一种文化：所有事情都在 Slack 上进行，100% 的事情都在 Slack 上。而且所有频道都是公开的，沟通非常顺畅。我认为那个团队也是最认真对待 scaling law 的，他们觉得：好吧，这实际上将会带来变革性影响。

未来某个时刻，人类将把控制权移交给 transformative AI，希望它们能与我们保持对齐，让过渡顺利进行，但也可能并非如此，赌注极高。因此那个团队非常专注于：我们如何确保这件事得到足够认真的对待，并建立一个能够承载这份重任的机构。最终离开并加入 Anthropic 的核心团队就是这些人。而且我认为，当时这一点对世界是否正确，我完全不清楚。现在回头看，那似乎是个不错的选择。我觉得当时还有一点很酷：我们刚起步时，看起来根本不可能成功。

OpenAI 有十亿美元，还有那么多明星光环，而我们七位联合创始人在新冠疫情期间试图做点事情，我们甚至不确定是否要做产品，或者产品会是什么样子。所以我认为有趣的是，最初加入的人也都是为了使命而来。他们本可以去别的地方，获得更多声望、更多金钱，人们也会更清楚他们在做什么。

嗯，基本上就是留在 OpenAI。

完全正确。是的。正是如此。后来我觉得这成了让我们的文化和组织得以扩展的关键。我们现在大概有 2000 人了，但仍然保持了一种办公室政治尚未渗透的氛围。我认为很大程度上是因为前一百号人全都是为了使命而来。所以如果有什么地方开始出问题，他们会举手说：“这个人似乎不是在为使命行事。”

YC 下一期现在正在招募。你心里有创业点子吗？在 ycombinator.com/apply 申请。永远不嫌早，填写申请会让你的想法更上层楼。好的，回到视频。

嘿，跟我们讲讲 Anthropic 的早期吧。你们七个人从 OpenAI 分拆出来，对长期使命有一个大致概念，你知道，别毁灭人类之类的，但第一年你们实际上在做什么？是怎么最终收敛到一款实际产品的？

第一年我主要想做的就是搭建训练模型所需的基础设施，以及获取训练模型所需的算力。这两个是我的主要项目。此外还有其他创业初期必须处理的事务，比如开通 Brex 账户，反正就是所有那些杂事。我们最初有七位联合创始人。几个月内，我觉得总共有大约 25 位来自 OpenAI 的人加入了。所以我们已经有了一支相当庞大的团队，而且彼此知道如何协作。这也帮助我们更快地上手运转。

那你们是什么时候推出第一款产品的，又是什么时候开始真正见成效的？

我们推出的第一款产品在 ChatGPT 之后。在 ChatGPT 发布前大概九个月，我们有一个 Claude 1 的 Slack 机器人版本。

哦对，我们当时在 YC 的 Slack 里用过。

是的，是的。

对，我记得好像是 Tom Blfield 把你们所有人都加了进去。

那真的很酷。

不过我想当时我们并不确定是否想把它作为一款产品发布。我们当时不知道这样做对世界是否有益。我觉得我们还没有真正想清楚自己的影响力理论，即如何实际让事情良性运转。另外，回头看，我觉得当时即便想发布，我们也没有足够的服务基础设施来支撑。而且正因为不确定是否要发布，我们在搭建基础设施这件事上犹豫太久，我觉得这对我来说是个教训。

我是说，那时候 ChatGPT 还没发布。ChatGPT 还没发布，所以我想我们也不知道这会成为一件大事。

这大概是 2022 年疫情期间。

那是 2022 年夏天，没错。

然后 ChatGPT 在 2022 年秋季发布，之后我们重新推出了 API，再之后是 Claude AI。我觉得从根本上说，一切看起来好像都没什么起色，直到 Claude 3.5 和编程能力的出现。说真的，在那整个期间，直到大约一年前，我们都还不太确定自己最终能否成为一家成功的公司。

我们在初创企业那边其实看到了这一点，因为我们多少能感受到初创公司更偏好哪种模型，算是一种风向标。所以整个 2023 年，答案都是 OpenAI。到了 2024 年情况开始转变，我们注意到 Claude 3.5，尤其是 Sonnet，在 YC 批次中的市场份额开始上升，从个位数一度涨到 20%、30%，在编程方面尤其明显。

嗯。

它变成了默认选择，这非常有趣。你能谈谈那种涌现行为，以及它在编程这项特定技能上的爆发式提升是怎么发生的吗？

现在肯定得有 80% 或 90% 了吧。

对。编程方面比例甚至更高，尤其是现在有了 Claude Code。那是怎么回事？是刻意为之，还是自然发生的？

我觉得我们投入了更多精力去让模型擅长编程，因为我们本身就想让它在编程方面表现出色，这是一方面。

而且你们做到了。

对。

然后我觉得，看到大家的反响之后，我们就想，好吧，那在这方面要加大力度。

这是在 3.5 Sonnet 发布之前。你们当时已经在编程上投入了足够多的资源，意识到这非常有前景，于是决定加倍下注。

我觉得这其实是组织内部的一些人推动的，他们在 3.5 Sonnet 之前就想要做编程方向。后来当我们看到 3.5 Sonnet 非常好的产品市场契合度时，这就成了一个明确的信号，让我们全力去冲这个方向。

那你们在发布 3.5 Sonnet 的那天，有没有意识到自己手里有特别厉害的东西，这会成为公司的转折点？还是说你们和 OpenAI 发布 ChatGPT 时一样意外，没想到突然就火了？

是啊，我多希望我们当时能有更多先见之明，但其实没有，我觉得对我们来说也很意外，没想到影响会这么大。然后我觉得 Claude 3.7 Sonnet 也让我们惊讶，它在 agentic coding 上解锁了那么多能力。我觉得对于每一次发布，是的，我们推进得都很快，所以常常也不清楚最终会带来什么结果。

我觉得正是这一点让很多编程 agent 初创公司得以成功。比如 Replit 在短短 10 个月内就做到了 1 亿美元，这故事很疯狂，当然还有 Cursor，所有这些产品都是基于 Sonnet 构建的。

我觉得所有这些都让我惊讶，而且我在日常使用 Claude 时，也持续被它能做的事情震撼。我确实觉得每一次升级都会解锁更多新能力。我有个朋友跟我讲，她有一个代码源工具想修改，但没有源代码，只有编译后的二进制文件。她就问 Claude：“你能反编译这个吗？”“你能把汇编代码拆解了吗？” Claude 琢磨了 10 分钟，然后生成了一份 C 语言版本。于是她就有了想要的东西，这太疯狂了。她说：“是啊，如果我花三天时间，可能也能查完十六进制表，写点代码来处理，但它把整件事都做了，还给变量起了名字等等。” 所以我觉得我们一直会被这些惊喜震撼，模型记住了所有的十六进制表，还能一步步思考、尝试解决。我觉得未来我们还会不断被这类事情惊讶到。

如果你去调研 YC 创始人，他们在编程上极其偏好使用 Anthropic 的模型，这个偏好程度远超你只看 benchmark 结果所能预测的水平。

对。

所以似乎存在某种 X 因素，让人们在编程时特别喜欢这些模型。你知道这是什么吗？是某种程度上刻意为之的，还是不知怎的就从黑箱里冒出来的？

我觉得 benchmark 很容易被刷分。其他所有大实验室都有专门的团队，整个团队的工作就是去把 benchmark 分数刷高，而我们没有这样的团队。所以我觉得这很可能是最大的因素。

你们不刷题。

我们不刷题，因为我确实觉得一旦开始这么做，就会产生奇怪的不良激励。也许我们可以把那个团队放到市场部门下面，然后忽略所有 benchmark。但我觉得这就是 train-test mismatch 的原因之一。

所以评估更偏定性，是在内部进行，还是说你们有内部的……

我们有内部 benchmark。对，但我们不对外发布。

团队真正集中精力去提升的是这些内部 benchmark 吗？

没错。我们有团队专注提升的内部 benchmark，同时我们也有很多实际任务，比如加速我们自己工程师的效率也是我们的最高优先级之一，所以我们做了大量的内部试用，确保它也能帮到我们自己的团队。

回到 Golden Gate Claude，这里涉及很多可解释性方面的东西，看起来这是很重要的一部分。而且大多数人会说，Claude 的性格给人的感觉就是更好。那你们怎么在保持高度量化的同时，又围绕性格建立评估体系呢？

性格的评估也很复杂，比如你怎么判断 Claude 是不是有一颗善良的心之类的？这很难判断。但我觉得这像是 Amanda Askell 团队的使命，她形容这就像一个优秀的环球旅行者，Claude 去和来自各种背景的人交谈，而每个与之交流的人都应该觉得，嗯，这次对话让我感觉很舒服。

可解释性其实是一项长期押注。现在这些模型还没那么可怕，但总有一天它们会变得更强大，所以我觉得这方面的期望是，当情况变得更严峻时，我们能有能力知道黑盒子里到底在发生什么。

再说到最近，Claude Code 确实取得了很大成功。你能讲讲这个项目内部是怎么启动的吗？还有，这次你们是不是事先就知道它会成功，还是说又是一个意外？

Claude Code 其实最初也是一个内部工具。是为了帮助 Anthropic 内部的工程师，对，是 Boris 随手搭出来的。

有一位 Anthropic 内部工程师想给自己做这么个工具。

是给内部其他工程师用的。对，给他自己和其他内部工程师用。然后，我觉得我们当时肯定不知道它在外面也会成功。某种程度上，在那之前我们真的把宝全押在 API 上了，初衷是，外面有那么多初创公司，那么多好点子，我们凭什么去判断在这个东西之上该做什么产品？外面的每个人都会做出比我们更好的产品。所以我们把所有精力都放在打造最好的 API 上。

这让我挺惊讶的，就是我们居然做出了一个产品，在这个 agentic 应用场景下，比市面上其他产品都要好。我有个理论，一部分原因在于思维转变——我们也把 Claude 视为这个产品的用户。比如 Link，我们当时是为教师构建产品的，教师是我们的用户；Grouper 的话，用户主要是纽约的单身人士吧。而这一次，我觉得真正的用户是开发者，但我也认为用户是 Claude。就是说，给 Claude 提供合适的工具，让它能真正有效地完成任务，帮助它获取合适的工作上下文。这个团队最专注于把 Claude 当作用户，我觉得这很合理，毕竟你们最了解 Claude。

是的，我确实认为这也是初创公司创始人能做到的。而且我觉得这可能是一个很有价值的方向，让人们为作为用户的模型打造更好的工具。

这是对大语言模型本身的完美拟人化。智能体本身就是利益相关者之一，也是你要去赋能的用户之一。

是的，完全同意。这也就能解释为什么你们能把 MCP 做出来、实现工具调用了，因为其他很多实验室都尝试过，但最后坚持下来并真正流行起来的标准是你们做的。

是的，我觉得这也类似，就是回到 Claude Code 上，也是以模型为中心的。

所以成功当然很令人兴奋，但对 Cursor 和其他基于 API 构建产品的公司来说也挺可怕的。你对创始人有什么建议？他们应该怎么看待基于 API 构建产品这件事，同时又担心 Anthropic 或其他实验室做出比他们更好的东西？

我觉得 Claude Code 也让我有点惊讶，我们确实做出了一个在市面上也是最好的产品。除了可能对 Claude 有更多同理心之外，我不太清楚我们做 Claude Code 到底有什么巨大优势。

这其实是个非常有趣的洞察。看起来关键在于，你们是为一个你们非常了解的特定用户打造的，其他人可能不会想到要为这个用户做产品；而不是因为你们有什么内在的技术优势。

是的，我觉得初创公司也能做同样的事情，对吧？

是的。我觉得我们是最专注于开发者的实验室，也是最专注于 API 的实验室。所以我们希望确保拥有最好的平台，让人们能在上面构建产品，因为这个领域发展得太快了。我们不太可能最快找到所有赋能 Claude 的方式，让它去完成那些连接 Claude 与整个人类商业世界的工作。毕竟人类世界都是为人类设计的，但我们需要让这些模型成为经济体系中富有生产力的成员。

有没有哪些想法或领域是你希望看到开发者去做的，或者你觉得目前被低估的？

有的，Claude Code 解决的是如何让 Claude 成为一个有用的结对编程伙伴，或者说像初级工程师。你有一个大概二级或三级的工程师可以一起工作，而且能力非常不均衡（spiky），因为它也能做那种很奇怪的逆向工程工作，这是超级高水平的高级工程师可能会觉得吃力的。但在知道该做什么类型的工作方面就不太行了，需要很多手把手指导，需要很多上下文。这只是所有可完成工作中非常特定的一个子集。如果你看看企业里除此之外发生的所有事情，一个聪明、会编程、会用很多工具但还没那么多上下文的人，适合做的工作只是企业所有工作中非常小的一部分。所以我觉得，找到方法去指导 Claude，或者说协同指导任何模型，让它为企业完成有用的任务，这里面的空间非常非常大。

那么 Tom，你的很大一部分工作是负责支撑 Anthropic 运转的所有计算基础设施。能谈谈这个庞大系统背后的计算基础设施是什么样的吗？

现在，有一点值得注意，就是人类正在经历有史以来最大规模的基础设施建设。

这将比阿波罗计划更大，比曼哈顿计划更大。

如果保持目前的轨迹，明年它就会超过这两个计划。AGI 计算的支出每年大约增长 3 倍，这太疯狂了。

是的，每年 3 倍太疯狂了。我觉得它会保持每年 3 倍的轨迹。明年已经基本确定了，2027 年还有点不确定。

我是说，据 YC 内部的轶事来看，我们在所有顶级前沿模型上都拿不到足够的额度，包括 Claude。所以你们得帮帮我们。

是啊。我的意思是，每个人都被卡住了，真的每个人都这样，就是“给我更多智能吧，我怎么都不够用”。

是的。我知道你们也在关注更多硬件初创公司，比如做更多加速器的。我觉得到 2027 年我们会看到更多加速器上线。这是个好方向。另外，数据中心技术我觉得也是个重要领域。

你们现在的瓶颈在哪里？是电力不够、GPU 不够，还是建筑许可？

电力，有人甚至用喷气发动机来发电。太疯狂了。

总的来说，对于整个建设而言，我觉得电力会是最大的瓶颈，尤其是美国的电力。我们想在美国建设。这是我们最大的政策目标之一，就是让美国建设更多数据中心，批准更多数据中心，让建设更容易。

答案是可再生能源，还是核能？

我觉得答案是：是的，所有这些都要。我希望核能能更容易建设。

Anthropic 是唯一一家不仅使用一种 GPU，而是使用三家不同厂商 GPU 的主要实验室。能谈谈这一点吗，以及这个策略的效果如何？

是的。我们使用 GPU、TPU 和 Trainium。这样做的缺点是我们把性能工程团队分散到了所有这些平台上，这带来了大量额外工作。好处是它给了我们灵活性：一方面可以吸收额外产能，因为三种加起来肯定比一种多；另一方面，我们可以为合适的任务选择合适的芯片，有些芯片更适合推理，有些更适合训练，我们可以把合适的芯片匹配到合适的任务上。所以是的，我觉得这就是其中的取舍。

我觉得很酷的一点是，回顾你的职业生涯，所有这些是如何累积起来的。因为你当年在 OpenAI 就是那个负责将架构从 TPU 转向 GPU 的工程师，这让 GPT-3 真正实现了规模化；而多年后，你以更大的规模负责着同样的事情。我不知道你是否这样串联起了这些节点。

OpenAI 从 TPU 大规模转向 GPU，我觉得部分原因只是 PyTorch 在 GPU 上的软件栈比 TensorFlow 在 TPU 上的更好。我认为这随后解锁了快速迭代的能力——如果你有一个可靠的好软件栈，你就能快速实验，就像构建一个能工作的完整系统那样。

我认为这也是我们目前在 Anthropic 真正努力追求的目标——拥有更多平台带来的挑战在于，写好所有优质软件变得更加困难。我认为，培养构建优质软件的能力，让所有基于那个底层进行开发的人都能获得出色体验，这才是最重要的事情。

你会给——怎么说呢——年轻时的 Tom 提些什么建议吗？你现在经历了这段疯狂的旅程，如果有人是 20 多岁、活在当下的你，想赶上并加入 AI 革命，你会对他们说什么？

我们目前从很多大学生那里听到的一个非常具体的问题是，他们不知道是否该继续留在大学里，未来是否还会有适合他们的工作，世界将会如何变化，他们又该做些什么？

承担更多风险，我认为是明智的；另外，去尝试那些如果你做成了，朋友们会真正感到兴奋和钦佩的事情，或者一个更理想化的你会为自己取得成功而真正感到自豪的事情——我觉得这大概就是我会试图告诉年轻时的自己的话。

更关注内在，而非外在。就是说，不要去追逐那些外在资历、拿到学位之类的，或者在 Fang 工作，这些都无关紧要。

放到现在来看。

对，正是如此。

我们今天的时间就到这里了。下次再见。