克里斯·安德森：山姆，欢迎来到 TED。非常感谢你来参加。山姆·奥特曼：谢谢。很荣幸。克里斯·安德森：你们公司感觉差不多每隔一周就会发布一些疯狂到不可思议的新模型。我一直在试用其中几个。我想给你看看我试用了什么。这是 Sora，图像和视频生成器。我问了 Sora：当你在 TED 分享一些重磅爆料时会是什么样子？你想看看它是怎么想象的吗？（笑声）我是说，还不错，对吧？你会怎么打分？所有手上都是五根手指。山姆·奥特曼：和我现在穿的非常接近，挺好的。克里斯·安德森：我从没见过你这么生动活泼。山姆·奥特曼：不，我不是那种很活泼的人。克里斯·安德森：所以可能打个 B+ 吧。但这个真的让我大吃一惊。当我让它生成一张图，展示智能与意识之间的区别时。就像你会怎么做呢？它生成了这个。我是说，如此简单，却又不可思议。到底是什么样的过程能让它做到——这显然不只是图像生成，而是连接到了你们整体模型所拥有的核心智能。山姆·奥特曼：是的，新的图像生成模型是 GPT-4o 的一部分，所以它拥有全部的智能在里面。我想这就是它能够做出这些人们非常喜爱的作品的原因之一。克里斯·安德森：我是说，如果我是一名管理顾问，我在玩这些东西的时候，我会想，哎呀，我的未来会是什么样子？山姆·奥特曼：我是说，我觉得你有两种看待方式。你可以说，天哪，它正在做我做的一切，我会怎么样？或者你可以说，就像历史上每一次其他技术革命一样，好了，现在有了这个新工具，我可以做更多的事了，我将能够做什么？确实，我们对某个特定岗位的人的期望会提高，但能力也会提升得如此巨大，以至于我认为人们很容易就能适应这种要求。克里斯·安德森：这个也让我印象深刻。我让它想象查理·布朗把自己当成一个 AI 来思考。它生成了这个。我觉得这其实相当深刻。你怎么看？（笑）我是说，一些新模型的写作质量，不只是这里，而是在细节方面，真的达到了一个新水平。山姆·奥特曼：我是说，这是一个非常不可思议的元答案，但我们真的无法知道它是在这样想，还是只是在训练集里见过很多次这种情况。当然，如果你无法区分这两者，你又有多少会在意呢？克里斯·安德森：所以这真的很有意思。我们不知道。不过，难道不……乍一看这像是 IP 盗窃。就像你们没有和 "Peanuts" estate 达成协议吧？（掌声）你们想怎么鼓掌都行，请便。（笑声和低语声）
山姆·奥特曼：我要说的是，我认为人类的创造精神是一件极其重要的事情，我们希望打造能够提升这一点的工具，让新人能够创作出更好的艺术、更好的内容、写出我们大家都喜爱的更好的小说。我深信人类将处于这一切的中心。我也认为，我们很可能确实需要围绕创意产出的经济模式找出某种新的模式。我认为人们长期以来一直在借鉴他人的创造力。人们长期以来都在汲取灵感。但随着创造力的获取变得极其民主化，人们一直在彼此的想法基础上进行创作，我认为存在一些令人惊叹的新商业模式，我们和其他人都很兴奋地想要探索。具体会是什么样子，我不确定。显然，有一些清清楚楚的界限，比如你不能抄袭他人的作品。但你可以汲取多少灵感？如果你说，我想用这七个人的风格来生成艺术，而且他们都同意了，你怎么分配每个人得到多少钱？这些都是大问题。但在历史上，每当我们把更好、更强大的技术交到创作者手中时，我认为我们整体上会得到更好的创意产出，人们也会做出更惊人的作品。克里斯·安德森：一个更大的问题是，当他们没有同意的时候。在我们的开幕环节中，卡罗尔·卡德瓦拉德展示了，你知道，"ChatGPT，用卡罗尔·卡德瓦拉德的风格做一场演讲"，果然，它做了一场演讲，虽然不如她本人的演讲那么好，但相当令人印象深刻。然后她说，"好吧，这很棒，但我没有同意这个。" 我们要如何处理这个问题？难道没有办法吗，应该只允许那些同意过的人？或者说，难道不应该有一种模式，以某种方式规定，提示词中提到的任何个人，如果其作品随后被使用，他们应该为此获得一些回报？山姆·奥特曼：所以现在，如果你使用我们的图像生成工具，说，我想要某个在世艺术家的风格，它不会这么做。但如果你说，我想要这种特定的氛围风格，或者这个工作室，或者这个艺术运动之类的风格，它会这么做。显然，如果你说，输出一首像是某首歌复制品的歌，它不会这么做。关于那条线应该划在哪里，以及人们怎么说"这太过分了"，我们以前通过版权法和合理使用原则解决了这类问题。同样，我认为在 AI 的世界里，我们会找出一种新的模式。克里斯·安德森：从某种角度来说，我是说，创意人群现在是一些对 AI 最愤怒的人，或者说最害怕的人。感觉你的作品被窃取、你的未来被窃取，与感觉你的作品被放大、可以被放大，这两种感觉如此不同。如果我们能转向另一种，转向第二种，我认为这真的会改变整个人类对这一切的接受程度。山姆·奥特曼：嗯，再说一次，我会说一些创意人非常沮丧。一些创意人士则觉得，"这是有史以来最惊人的工具，我正在做出令人难以置信的新作品。"但你知道，这肯定是一个变化。我对那些只是说"我希望这种变化不要发生。我喜欢以前的样子"的人非常感同身受。克里斯·安德森：但原则上，你可以从任何给定的提示词中计算出多少……应该有一种方法能够计算出订阅收入或其他收入的百分之多少会流向每个回答。原则上，如果能把其他规则弄清楚，这应该是可能的。这显然很复杂。你可以计算某种收入分成，不是吗？山姆·奥特曼：如果你是一名音乐家，你花了一辈子，整个童年都在听音乐，然后你有了一个想法，去创作一首受你以前听过的东西启发但又走向新方向的歌，你很难会说，这部分来自我 11 岁时听过的那首歌。克里斯·安德森：没错。但我们这里讨论的是有人在提示词中明确点名某个人的情况。山姆·奥特曼：嗯，再说一次，现在如果你尝试用某个指定风格生成图像，如果那位艺术家还在世，我们就直接不做。但我认为如果能找出一种新模式会很酷，就是如果你说，我想以这位艺术家的名义来做，而他们选择加入，那里面就有一种收入模式。我认为这是个值得探索的好方向。克里斯·安德森：所以，我认为全世界应该帮你们尽快找出那个模式。而且我认为这实际上会产生巨大的影响。我想快速换个话题。（掌声）你们的模型和开源之间的竞争。DeepSeek 的出现让你们有多震惊？山姆·奥特曼：我认为开源占有重要地位。实际上，就在昨晚，我们举办了第一次社区会议，来决定我们开源模型的参数以及我们希望如何塑造它。我们将推出一个非常强大的开源模型。我认为这很重要。我们将做出接近前沿水平的东西，我想，比目前任何现有的开源模型都要好。
SA：这不会是一切的终点——总会有人以在座某些人，或许是你或我，所不喜欢的方式去使用它。但在当下的格局中，开源模型仍将占据重要的一席之地。我认为我们在这方面行动得晚了，但现在我们会把它做得很好。
CA：我是说，你们的投入似乎比 DeepSeek 据称的花费高出一个数量级，甚至几个数量级，尽管我知道这其中有争议。你确信真正更好的模型会被市场认可吗？还是说，这其实某种程度上正在动摇一个观念——即通过大规模投入、数百亿美元的投资，我们就能保持巨大领先优势？
SA：我整天都在打电话，求人把 GPU 卖给我们。我们的资源约束实在太严重了。我们的增长是这样的。DeepSeek 发布了，但看起来并没有影响到我们的增长。还有其他事情正在发生。
CA：说说你们的增长情况吧。刚才在后台你告诉我的那个数字太惊人了。
SA：我从未见过任何一家公司——无论我是否参与其中——有过 ChatGPT 这样的增长速度。这真的很有趣。我感到非常荣幸。但亲身经历这一切是疯狂的，我们的团队精疲力竭、压力巨大。我们正在努力维持运转。
CA：你们现在有多少用户？
SA：我记得我们上次公布的是 5 亿周活跃用户，而且增长非常迅速。
CA：我是说，你告诉过我，就在几周内翻了一番。无论是在算力方面还是在……
SA：那是我私下说的，不过我想……
CA：哦。（笑声）我记错了，Sam，抱歉。如果你真希望的话，我们可以把这段剪掉。而且这里没有人会发推的。
SA：增长非常快。（笑声）
CA：所以你很有信心，你见证了它像火箭一样腾飞，你们一直在发布令人惊叹的新模型。那么，在你目前最好的内部模型中，你看到了哪些尚未向世界公布、但此刻非常愿意在这个舞台上分享的东西？
SA：首先，你问到我们是否担心这个或那个模型。世界上会出现很多智能模型。非常聪明的模型在某种程度上会被商品化。我认为我们会拥有最好的模型，某些用途上你会需要它。但说实话，现在的模型已经如此聪明，对大多数人想做的绝大多数事情来说，它们已经足够好了。我希望这种情况会随时间改变，因为人们的期望会提高。但如果你只是作为普通用户使用 ChatGPT，模型的能力已经非常强了。不过我们必须打造伟大的产品，而不仅仅是伟大的模型。所以未来会有很多人拥有伟大的模型，而我们会努力打造最好的产品。人们想要图像生成，你知道，你之前看到了一些 Sora 的视频示例。他们想把它和所有东西整合在一起。我们刚刚推出了一项新功能，仍叫 Memory，但比之前的 Memory 好得多，这个模型会在你的一生中逐渐了解你。我们还有很多东西要推出，来打造这样一个优秀的整合产品。我认为人们会坚持使用它。所以未来会有很多模型，但我想，希望我们继续专注于打造这个领域最优秀、最具标志性的产品。
CA：我是说，昨天看到你们宣布 ChatGPT 将了解你的全部查询历史后，我输入了"根据你所知道的一切，跟我说说我吧，ChatGPT。"我惊呆了，Sam，太震撼了。它知道我是谁，知道我所有的兴趣爱好——希望大部分都是得体、可以分享的。但这太惊人了。我感到一种真正的兴奋，还有一点点不安，但主要是兴奋，想到这能让它对我有多大帮助。
SA：我们的一位研究员发过推文，大概是昨天或今天早上，说这种"上传"是一点点发生的。不是说哪天你把大脑插进去就完事了。而是你会在一生中不断与 ChatGPT 对话，也许有一天，如果你愿意，它会整天听你说话，观察你在做什么，它会逐渐了解你，成为你自身的延伸，这个伴侣，这个只是试图帮助你成为最好的自己、做到最好的东西。
CA：在电影《Her》里，AI 基本上宣布她读了他所有的邮件，认定他是个伟大的作家，然后说服出版商出版他的作品。这可能会比我们想象的更早到来。
SA：我不认为会完全像电影里那样发生，但没错，我认为朝着这个方向——你不必只是打开 ChatGPT 或别的什么说"我有个问题，给我答案"，而是会主动收到一些能帮助你、让你变得更好的东西。这看起来确实很快就要来了。
CA：那么，你在内部看到了什么即将推出的东西，认为会让人们大吃一惊？至少给我们一点提示，下一个让人瞠目结舌的重磅进展是什么。
SA：目前我个人最兴奋的是 AI for science。我坚信，让世界和人们生活变得越来越好的最重要驱动力是新的科学发现。我们可以用更少的资源做更多的事，我们可以把可能的边界往前推。我们开始从科学家那里听到很多反馈，他们使用我们的最新模型后，效率确实比以前高多了。这实际上关系到他们能发现什么。
CA：近期可能实现什么发现，比如室温——
SA：超导体？
CA：超导，对。这可能吗？
SA：我不认为这被物理定律所禁止。所以应该是可能的。但我们不确定。我认为你会开始看到……借助 AI 辅助工具在疾病治疗方面取得一些实质性进展。你知道，物理学可能需要更长时间，但我对此抱有希望。这是一个方向。另一个我认为很重要的方向很快就会开始，就在未来几个月内。软件开发已经被大幅改变了。现在的软件开发流程与两年前相比是如此不同，这非常惊人。但我预计在未来几个月还会有一次同样巨大的飞跃，因为 agentic software engineering 真正开始落地。
CA：我听工程师们说，他们在使用某些新模型时几乎有过宗教般的体验，突然间他们一个下午就能完成以前需要两年做的事。
SA：是的，这太令人震撼了——这真的就像，那是我最强烈的"感受到 AGI"的时刻之一。
CA：但说说你看到过的最可怕的东西吧。因为在外面，很多人想象你们，你知道，你们能接触到这些东西。我们听到各种从 AI 圈传出的谣言，比如"天哪，他们看到了意识"，或者"他们看到了 AGI"，或者"他们看到某种末日即将来临"。你有没有过，有没有哪个可怕的瞬间，当你在内部看到某个东西时，心想"糟了，我们得注意这个"？
SA：确实有过敬畏的时刻。我想随之而来的总是，这最终会走多远？这会变成什么？但并没有，我们没有秘密地藏着一个有意识的模型，或者一个能够自我改进的模型之类的东西。你知道，人们对 AI 的重大风险会是什么有着非常不同的看法。我自己对将在哪里看到这些风险的想法也在演变。我仍然相信，未来会出现非常强大的模型，人们可能会大规模地滥用它们。人们经常谈论新型生物恐怖主义的潜力、可能构成真正网络安全挑战的模型、能够以某种方式自我改进并导致某种失控的模型。所以我认为那里存在重大风险。然后还有很多其他事情，老实说，我觉得很多人指的就是这些——人们谈论虚假信息，或者模型说了他们不喜欢的话，诸如此类。
CA：先继续谈第一类风险，你们在发布前会在内部检查这类问题吗？
SA：当然，是的。我们有一个 preparedness framework，概述了我们如何做这件事。
CA：我是说，你们的安全团队有人离职。有多少人离开了，他们为什么走？
SA：我们确实有人离职，我不知道确切数字，但显然在 AI safety systems 方面存在不同观点。我更愿意让我们过往的记录来说话。总会有人说各种各样的东西。你知道，现在世界上大约 10% 的人都在大量使用我们的系统。我们对安全记录感到非常自豪。
CA：但从某种意义上说，记录并不是关键问题——
SA：不，它确实是关键。
CA：因为我们谈论的是一种指数级增长的力量，我们担心也许某天一觉醒来，世界就终结了。所以关键真的不在于过往记录，而在于能否合理地说，一旦发现危险，所有条件都已就位，可以迅速关闭系统。
SA：没错，但那当然很重要。你不会像某天一觉醒来就说：“嘿，我们之前没有任何安全流程。现在我们认为模型真的很聪明了，所以现在才需要关心安全。”你必须在这条指数曲线上始终关心它。当然赌注在增加，而且存在巨大挑战。但我们学习如何构建安全系统的方式，是将其部署到世界上、获取反馈的迭代过程，在风险还相对较低的时候，了解到有哪些问题是我们必须解决的。而我认为，随着我们进入这些 agentic systems，有一大堆全新的事情我们必须学着去解决。
CA：那我们来聊聊 agentic systems 以及它与 AGI 的关系。我觉得外界对此很困惑，我自己也感到困惑。AGI，感觉 ChatGPT 已经是一种通用智能了。我可以问它任何事情，它都能给出聪明的回答。为什么这不算 AGI？
SA：还不能……首先，你不能问它任何事情。你这么说真是太抬举它了，但有很多事情它仍然做得糟糕得令人尴尬。但即使我们解决了这些问题——希望我们会——它也不会持续学习和改进。它无法去提升它目前不擅长的领域。它不能去发现新的科学并更新自己的理解。而且即使我们降低标准，它也无法完成你在电脑前能做的任何知识工作。其实，即使没有那种“对尚不了解的事物自我提升”的能力，我或许也能接受将其作为 AGI 的一种定义。但现在的系统，你不能说：嘿，去帮我完成这项工作，然后它就自己去上网浏览、给人打电话、查看你的文件并把事办了。没有这种能力，它肯定还差得远。
CA：我是说，你们内部有没有一个明确的 AGI 定义，以及你认为我们可能何时会到达那里？
SA：就像那个笑话说的，如果你把 10 个 OpenAI 的研究员放在一个房间里，让他们定义 AGI，你会得到 14 种定义。
CA：但这很令人担忧，不是吗？因为最初的使命就是“我们要第一个到达 AGI。我们会安全地做到。但我们却没有一个明确的定义。”
SA：我还没说完。
CA：抱歉。
SA：不过我认为重要的，也是人们想知道的，并不是那个“我们完成了”的魔法时刻在哪里。而是考虑到看起来将要发生的情况是：模型会在这条漫长的指数曲线上变得越来越聪明、越来越能干，不同的人会在不同的节点称之为 AGI。但我们都同意，它将会远远、远远超过那个点。你知道，不管你想怎么称呼那些比我们能力强得多的系统。重要的是，我们如何讨论一个在这一切阶段及其之后都保持安全的系统，当系统变得比我们更强大，当系统能做我们不完全理解的事情时。而我认为比“AGI 何时到来”以及“它的定义是什么”更重要的，是认识到我们正处于一条难以置信的指数曲线上。你可以说，这就是我认为的 AGI。你可以说你认为的 AGI 是什么。其他人可以说 superintelligence 还在更远的地方，但我们都将不得不应对这个不可思议的系统，并从中获得巨大的益处。所以我认为我们应该把对话从“AGI 时刻是什么”转移到一个认知上，那就是：这东西不会停下来，它会远远超出我们任何人所称的 AGI。我们必须建设一个社会，以获取这带来的巨大益处，并想办法确保它的安全。
CA：嗯，本周的一个讨论话题是，真正的变革时刻是——我是说，AGI 是个模糊的概念，但明确的是 agentic AI——当 AI 被放出去自主执行项目、把各种资源整合起来时——实际上你们有一个叫 Operator 的产品开始这么做了。我试了一下。你知道，我想订一家餐厅，它真的很不可思议。它确实能去完成这个任务，但它是这么说的。你知道，这是一个引人入胜的过程。然后它说“给我你的信用卡”之类的，这次我拒绝继续了。但我认为这就是人们将要面临的挑战。它有点像是一种不可思议的超能力。有点可怕。Yoshua Bengio 在这里演讲时说，agentic AI 才是值得关注的。当我们赋予 AI 能力让它到互联网上去做事时，一切都可能出错。我是说，在科幻故事里，进入互联网总是那个时刻——你知道，逃跑发生了，潜在的——事情可能变得非常糟糕。你们如何在发布 agentic AI 的同时，设置好 guardrails，防止它走得太远？
SA：首先，显然你可以选择不这么做，说我不想这样。我会打电话给餐厅，在电话里把信用卡号念给他们听。
CA：我可以选择不用，但其他人可能会说，“哦，让 ChatGPT 到整个互联网上去，把互联网重写一遍，让它对人类更好”，或者类似的。
SA：我想说的重点是，对于任何新技术，人们都需要一段时间才能适应。我记得以前我不愿意把信用卡放到互联网上，因为我父母说服了我，说有人会看到卡号，你得填完表格再打电话给他们。后来我们基本上都说，好吧，我们会建立反欺诈系统，然后就能适应这个了。我认为在很多方面，人们对 agentic AI 的适应也会很慢。但我也非常同意你说的，那就是即使有人适应、有人不适应，我们都将面对 AI 系统在互联网上到处点击的现实。我认为这是我们迄今为止面临的最有趣、影响最深远的安全挑战。因为当你让 AI 访问你的系统、你的信息、你在电脑上点击操作的能力时，现在，你知道，当 AI 犯错时，赌注就高得多了。这关乎——我们早些时候谈过安全和能力。我觉得它们正越来越变成同一个维度的事情。一个好的产品就是一个安全的产品。如果你不相信我们的 agents 不会清空你的银行账户、删除你的数据或做出其他什么事，你就不会使用它们。所以人们希望使用真正值得信赖、真正安全的 agents。而且我认为，我们在这方面的进展能力受到了制约。但这是产品的核心部分。
**CA**：在一个智能体（agency）已经存在的世界里，假设开源模型被广泛分发，有人说：“好的，AGI，我要你到互联网上去，尽你所能传播一个模因，说某类人是邪恶的”，或者别的什么。这不一定是个体的选择。一个人就可以把这种智能体放出去，而智能体可能决定：“嗯，为了执行这个功能，我得把自己复制到各个地方”，等等。你们在内部有没有划定明确的红线？你们清楚哪些时刻是危险的，不能推出可能逾越这些界限的东西？
**SA**：是的，这就是我们准备框架（preparedness framework）的目的。我们会随着时间更新它。但我们已经试着勾勒出我们认为最重要的危险时刻在哪里，或者有哪些类别，我们如何衡量，以及如何在发布前缓解风险。从这场对话我能看出，你不太喜欢 AI。
**CA**：事实上，恰恰相反。我每天都在用。我对此感到敬畏。我认为能活在这个时代太不可思议了。我不愿活在任何其他时代，我迫不及待想看到它会走向何方。我们一直在坚持……我认为必须坚持……就像我们不能把人分成那些阵营。你必须对可能性抱有热烈的信念，但又不被过度诱惑，因为事情可能会变得非常糟糕。（掌声）
**SA**：我想说的是，我完全理解。我完全理解看着这一切，然后说世界将迎来难以置信的变化。也许我不想要这个，或者也许我喜欢其中一部分。也许我喜欢和 ChatGPT 聊天，但我担心艺术会发生什么，我担心变革的速度，我担心这些智能体在互联网上到处点击。也许总的来说，我希望这事没有发生。或者我希望它发生得慢一点。或者我希望它以某种方式发生，让我可以挑选哪些进步会发生。我认为这种恐惧是完全理性的。这种焦虑是完全理性的。我们也有很多。但是……A，会有巨大的好处。显然，你每天都在用，你喜欢它。B……我真的相信，社会会随着时间的推移，虽然一路上会犯一些大错，但最终会找到正确使用技术的方法。C，这事会发生。这就像基础物理学的发现，世界现在已经知道了。它将成为我们世界的一部分。我认为这场对话非常重要。我认为谈论这些危险领域非常重要。新的经济模式也非常重要。但我们必须以谨慎而非恐惧的态度拥抱它，否则我们会被那些更善于使用 AI 的人甩在后面。
**CA**：你其实一直是安全领域最有力的倡导者之一。你在参议院作过证。我认为你当时基本上是说，我们应该成立一个新的安全机构，给任何研发项目发放许可，也就是说，它会拒绝给某些项目发放许可。你现在还相信那个政策提议吗？
**SA**：我对政府的运作方式有了更多了解。我认为这不太是正确的政策提议。
**CA**：那正确的政策提议是什么？
**SA**：但是，我确实认为，随着这些系统变得越来越先进，并产生真正的全球影响，我们需要某种方式，也许公司自身会为此搭建正确的框架或模式，但我们需要某种方式，让非常先进的模型接受外部安全测试。我们需要知道何时接近了某些危险区域。我仍然非常相信这一点。
**CA**：让我觉得讽刺的是，我们想要的也许是一个安全机构（safety agency），但智能体（agency）恰恰是不安全的东西。这里的语言有点奇怪，不过算了。
**SA**：关于这个我能再说一点吗？我确实认为，我们需要为模型定义严格的测试，理解我们整个社会集体最想要关注的威胁是什么，并确保随着模型能力越来越强，我们有一个体系，让所有人都能了解世界上正在发布什么。我认为这非常重要。而且我认为，从这个意义上说，我们离那些将引起巨大公众关注的模型已经不远了。
**CA**：那么 Sam，我问了你的 o1-pro 推理模型，它非常——
**SA**：谢谢你的 200 美元。
**CA**：（笑）一个月 200 美元。这个价格非常划算。我说，我能问你的最尖锐的问题是什么？它思考了两分钟。整整两分钟。你想看看这个问题吗？
**SA**：我想。
**CA**：“Sam，既然你正在帮助创造一种可能重塑我们整个物种命运的技术，谁赋予了你（或任何人）这样做的道德权威？”（笑声）“如果你错了，你个人如何承担责任？”
**SA**：不，这个问题很好。
**CA**：这令人印象深刻。
**SA**：过去半小时你一直在问我各种版本的这个问题。你怎么看？（笑声和掌声）
**CA**：我要说的是这个。这是我版本的这个问题。
**SA**：但没有答案？
**CA**：你刚才问我什么？
**SA**：你会怎么回答那个问题？
**CA**：站在你的角度？
**SA**：或者作为旁观者。
**CA**：我不知道。我对你感到困惑。我对你有点敬畏。因为你打造了世界上最令人惊叹的东西之一。关于你有两种说法。一种是，你是完成了不可能任务的非凡远见者，你震惊了世界。用比 Google 少得多的人，你做出了比任何现有产品都强大得多的东西。我是说，你打造的东西太不可思议了。但另一种说法是你已经改变了立场，你从 OpenAI 这个开放的东西，转向了打造某种超强事物的诱惑。而且你知道，你失去了一些核心人员。外面有一种说法。有些人认为你在这个领域里不值得信任。我很想知道你到底是谁。你对自己的人生叙事是什么？Sam，你的核心价值观是什么？能让全世界相信，一个拥有如此大权力的人配得上它？
**SA**：听着，我认为和其他人一样，我是一个复杂的人，没法被简单归为一类。你知道，可能有些好的方面是真的，可能有些批评也是真的。就 OpenAI 而言，我们的目标是打造 AGI 并将其分发出去，确保它的安全，为了人类的广泛利益。我认为无论如何，我们已经朝那个方向做了很多。显然，我们的策略随着时间的推移发生了变化。我想我们当初并不真的清楚长大后会成为什么样子。我们没想到必须围绕这个建立一家公司。我们学到了很多关于如何运作的知识，以及这些系统在资本层面需要的现实。但我认为，在将能力极强且安全性很高的 AI 交到很多人手中，并给他们工具去做各种令人惊叹的事情这方面，很难给我们在这一点上打低分。我确实认为我们应该开源更多，这是公平的。我认为，出于你之前问到的各种原因，这是合理的：当时我们不确定这些系统会产生什么影响，以及如何确保它们安全，所以我们采取了谨慎的态度。我想你之前的很多问题至少表明，你能理解我们以这种方式运作。但现在我认为，作为世界，我们有了更好的理解，是时候让我们把能力很强的开放系统推向世界了。如果你明年邀请我回来，你很可能会因为有人滥用了这些开源系统而冲我大喊：“你为什么要那么做？”
SA：你知道，有人说，“你们本不该回归开源初心。”但凡事都有权衡。在这场人工智能革命中，我们只是众多参与者之一，只是一个声音，我们在尽自己最大努力，以负责任的方式将这项技术引向世间。我们确实犯过错误，未来也肯定还会再犯。但总体而言，我认为在过去将近十年里——现在已经是很长一段时间了——我们大体上完成了自己设定的目标。前方还有很长的路要走。未来我们的策略会有更多调整，但对这类使命以及我们所做之事的坚守，我认为非常坚定。（掌声）
CA：你发了这个——好吧，这是《指环王》里的至尊魔戒。我得说，你目前的对手，而非挚友，埃隆·马斯克声称，他认为你已经被魔戒腐蚀了。顺便说一句，这个指控——（笑声）
SA：嗨，史蒂夫。
CA：这个指控公平地说，也可以用在埃隆身上。但我好奇的是，人们看到你——
SA：我可能会回应。我在考虑。我可能会说点什么。（笑声）
CA：这是每个人心里的疑问。我们看到科技 CEO 变得越来越有权、越来越富有，他们能否驾驭这一切？还是说权力变得不可抗拒？权力和财富是否会让你有时无法去做正确的事，让你只能紧紧抓住那枚戒指？你怎么看？我是说，你有时能感受到那枚戒指吗？
SA：相对于其他那些获得了巨大权力、改变了行事方式或在世界上做了很多事情的首席执行官们，你觉得我做得怎么样？（掌声）
CA：你很……你不是一个粗鲁、愤怒的人，不会站出来对别人说攻击性的话。
SA：我有时也会那样。那是我唯一的缺点，你知道吗？（笑声）
CA：不，我认为就你个人的处事方式而言，这令人印象深刻。我是说，有些人在问，那是真实的你，还是背后另有隐情？
SA：不，我接受这个反馈。你摆出了索伦的至尊魔戒还是什么的那东西。所以我接受反馈。你觉得我做的哪件事表明我被权力腐蚀了？
CA：我认为人们的担忧在于，OpenAI 向盈利模式的转型，有人说，看吧，就是这么回事。你这就是被对财富的渴望腐蚀了。要知道，曾经有一段时间，这里面是不会有股权的。而这会让你变得极其富有。顺便说一句，我个人认为这不是你的动机。我觉得你是想做出极其酷的东西。而我担心的是那种竞争感——你看到别人也在做，这就让你无法以正确的节奏来发展。但你告诉我，如果你没有那种感觉，那……世界上极少有人拥有你这样的能力和潜力，我们不知道那是什么感觉。那到底是什么感觉？
SA：令人惊讶的是，和之前一样。我觉得你可以一步一步地习惯任何事情。我想如果我从十年前一下子被传送到现在，那会感到非常迷失。但任何事情都会变成新的常态，所以感觉没什么不同。坐在这里谈论这些其实挺奇怪的，但你知道，日常生活的单调——我是以最积极的意思来说——感觉完全一样。
CA：你还是那个人。
SA：我是说，我确定在很多方面我已经不是了，但我自己感觉没什么不同。
CA：你发的关于你儿子的内容很美好。我是说，你最后说的那句话，“我从未感受过这样的爱”，我想在场任何一位父母都懂那种感觉，那种人类拥有而 AI 永远不会有的、狂野的生物本能——当你抱着自己的孩子。我在想这是否改变了你对某些事情的看法，比如，假设这里有一个红盒子，一个带红色按钮的黑盒子，你可以按下那个按钮，这会给你的儿子带来可能是人生最不可思议的生活，但同时也有 10% 的几率他会因此毁灭。你会按那个按钮吗？
SA：就字面意思而言，不会。如果问题是，我是否觉得自己的工作就是在做那样的事，答案是，我也不觉得。有了孩子改变了很多事情。这是迄今为止发生在我身上最神奇的事情，就像大家说的那样，一切都是真的。我的联合创始人 Ilya 曾经说过一句话，我不太确定。这是转述，大意是，“我不知道生命的意义是什么，但它肯定与婴儿有关。”这简直准得不可思议。这改变了我愿意在某些事情上花多少时间的看法，而不陪孩子在一起的代价简直高得离谱。我……但是，你知道，我以前就非常在乎不去毁灭世界。我现在依然非常在乎。那部分不需要靠孩子来提醒。（掌声）我是说，我确实会更具体地思考他的未来会是什么样，但我觉得有责任为所有人的未来尽我所能做到最好。
CA：Tristan Harris 本周在这里做了一场非常有力的演讲，他说在他看来，关键问题在于，你和其他模型领域的同行们基本上都觉得，先进 AI 的发展是不可避免的，竞赛已经开始，别无选择，只能尽力赢得这场比赛，并尽可能负责任地去赢。也许存在一种情景，你的超级智能 AI 可以对其他人起到刹车作用之类的。但恰恰是因为所有人都认为这是不可避免的，这才是一条通往严重风险和不稳定的道路。你认为你和你的同行们确实觉得这是不可避免的吗？你能不能看到有什么出路，让我们可以集体同意稍微放慢一点，让整个社会也参与进来，说，不，我们不想让这件事发生得这么快。这太具破坏性了。
SA：首先，我认为人们一直在放慢速度，因为技术还没准备好，因为某些东西不够安全，因为某些东西没法用。我觉得所有努力都在对某些事情保持克制、暂停、推迟，不发布某些能力。所以我认为这确实在发生。再说一次，这正是我认为过往记录很重要的地方。如果我们是在仓促推出东西，然后出现各种各样的问题，要么是产品没能按人们期望的那样工作，要么是真的存在安全问题或其他问题。我会再谈我们最近做的一项改变，我觉得你那样说也可以。大多数努力之间是有沟通的，只有一个例外。我认为所有的努力都非常关心 AI 安全。而且我认为——
CA：谁是那个例外？
SA：我不会说。而且我认为，要让这事得到正确处理，背后有着非常深切的关怀。我认为把这件事简单化地描绘成一场疯狂的竞赛或冲刺之类的，忽略了其中的微妙之处——人们正试图快速推出模型，为人们打造出色的产品。但人们对这件事的影响力感受如此之深，以至于……你知道，我想如果你能去 OpenAI 或其他公司旁听一场会议，你会说，哦，这些人真的很在乎这件事。不过，我们最近确实对传统上被理解为安全的一个方面改变了看法。那就是，在我们的新图像模型中，我们对传统上认为的言语伤害给予了用户更多的自由。你知道，如果你试图被模型冒犯，模型会不会允许你被冒犯？过去，我们对此有严格得多的护栏。但我认为，模型对齐的一部分，就是在社会决定的非常宽泛的边界内，遵循模型用户希望它去做的事。
SA：所以，如果你要求模型描绘大量暴力内容或类似的东西，或者强化某种刻板印象，这里就存在一个它是否应该这样做的问题。而我们采取的立场要宽松得多。在某些情况下，这开始与现实世界的危害产生关联，我们必须弄清楚如何划定界限，但你知道，我认为在某些情况下，一家公司会说：好的，我们听到了社会的反馈。人们真的不希望模型以他们认为不合理的方式审查他们。这是一种合理的安全协商。
CA：但既然这在某种程度上是一个集体信念的问题，那么解决这类问题的办法就是把人们聚集到一起，在某个时刻达成共识，达成一项不同的协议。如果有一群人，比如说在这里或世界上其他地方，愿意举办一场峰会，邀请最顶尖的伦理学家、技术专家，但人数不要太多，规模要小，再加上你和你的同行们，共同尝试破解在全球范围内可以达成哪些一致的安全底线，你愿意参加吗？你会敦促你的同事们前来吗？
SA：当然愿意，但我更感兴趣的是我们数亿用户作为一个整体想要什么。我认为历史上很多此类决策都是在小型精英峰会上做出的。AI 的一个很酷的新特点在于，我们的 AI 可以与地球上的每个人对话，我们能够了解每个人想要的集体价值偏好，而不是让一群被社会选中的人坐在房间里做这些决定，我觉得这非常酷。（掌声）而且我认为你会看到我们朝着那个方向做更多。当我们犯错时，比如房间里精英们的意见与人们实际想要的 image-gen 护栏不一致，而且我们又无法指出现实世界的危害，所以我们就做出了改变。我对此感到自豪。（掌声）
CA：数亿人的行为带来意外后果，这方面有着很长的历史记录。
SA：同样，100 个人在房间里做决定也会如此。
CA：而且数亿人无法掌控，他们不一定能看到下一步可能导致什么。
SA：我希望——这完全准确，也完全正确——我希望 AI 能帮助我们变得更明智，做出更好的决策，能与我们对话，如果我们说，嘿，我想要 X 这个东西，你知道，而不是像人群那样狂热附和，AI 可以说，嘿，完全理解这就是你想要的。如果在这场对话结束时你仍然想要这个，你说了算，你来选。但你有没有从那个人的角度考虑过，或者想想这会对那件事产生什么影响？我认为 AI 能帮助我们变得更明智，做出比以往更好的集体治理决策。
CA：我们没时间了。Sam，我把最后的发言机会给你。综合考虑，你认为你的儿子会成长在一个什么样的世界里？
SA：我记得——那是很久以前的事了，我都不知道第一代 iPad 是什么时候出来的。大概是 15 年前左右吧？我记得当时看过一个 YouTube 视频，一个小孩坐在医生办公室的候诊室之类的地方，旁边有一本杂志，就是那种老式的 glossy-cover 杂志，小孩把手放在上面，像这样比划，还有点生气。对那个小孩来说，它就像一个坏掉的 iPad。他或她从未想象过一个没有触摸屏的世界。而对所有看到这个视频的成年人来说，这太神奇了，因为这东西如此新颖、如此令人惊叹，简直是个奇迹。当然，你知道，杂志才是世界运转的方式。我的孩子，希望我的孩子们，永远不会比 AI 更聪明。他们将永远不会成长在一个产品和服务并非极度智能、极度强大的世界里。他们将永远不会成长在一个计算机不能真正理解你的世界里。而且，你知道，从某种定义上说，无论你想象什么，它都能做到。那将是一个物质极度丰裕的世界。那将是一个变化速度极快、令人惊叹的新事物不断涌现的世界。那也将是一个个人……能力、影响力等等，都远远超越当今个人所能做到的世界。我希望我的孩子和你们所有人的孩子在回顾我们时，会带着某种怜悯和怀旧，然后说：“他们过着多么糟糕的生活啊。他们是如此受限。那时的世界太糟糕了。”我觉得这很棒。（掌声）
CA：你打造的东西太不可思议了。真的，简直难以置信。我认为在未来几年里，你将拥有历史上几乎任何人都不曾拥有的最大机遇、最大道德挑战和最大决策。你应该知道，这里的每个人都会为你做正确的事而加油。
SA：我们会尽全力，非常感谢。
CA：感谢你来 TED。（掌声）谢谢。
SA：非常感谢。