Hinton：AI 必须培育「母性本能」，否则人类有灭绝风险

Nahlah Ayed你能想象到的最坏情况是什么？

Geoffrey Hinton嗯，短期之内就有很多糟糕的情况，而且都不涉及 AI 接管人类。所以很难说哪一个最糟。比如，AI 被恐怖分子用来制造危险的新病毒，这让他们做起来容易得多。这非常可怕。我们会尝试开展国际合作来阻止这种情况，但未必能够成功。这是一项短期风险。还有 AI 被用来通过虚假视频破坏民主。但最让我担心的仍然是长期风险——AI 变得比我们更聪明，在我看来这几乎不可避免——而届时我们将不知道如何与它们共存。我们也不知道它们是否真的会取代我们。

Nahlah Ayed让我直截了当地问：在本世纪，AI 真正导致人类灭绝的可能性有多大？

Geoffrey Hinton好吧，我认为唯一诚实的回答是，这件事可能在未来 10 到 20 年内不会发生。而对于 10 到 20 年后的世界会是什么样子，我们几乎毫无概念。只要回顾 10 年前，没人能想到我们会有如今这么好用的聊天机器人。因此，即便进步只是线性的，我们也可以预期，10 到 20 年后情况将与现在大不相同，会出现各种我们无法预见的进展。最诚实的回答就是我们一无所知。

Nahlah Ayed并非要纠结于负面情况，但在你担忧的最远端，是否可能导致人类灭绝？

Geoffrey Hinton哦，当然有可能，是的。我认为任何说 AI 绝无可能导致人类灭绝的人，都只是没有面对现实。

Nahlah Ayed我想知道，我们可以如何塑造 AI 的未来，以确保它对我们更友善。有办法吗？

Geoffrey Hinton也许有。我觉得我们应该在这方面投入大量研究精力。想想看，如果你四处寻找“一个更聪明的存在被较不聪明的存在控制”的例子，我所知道的最好例子——或许也是我们讨论的意义上唯一的例子——就是婴儿如何控制母亲。这是因为进化在母亲体内内置了机制。她无法忍受婴儿的哭声；她对婴儿友善时会获得各种激素层面的奖赏。显然，为了让物种得以延续，进化让婴儿能够控制母亲，这一点非常重要。也许我们可以对 AI 做同样的事。

即便 AI 会比我们更聪明，如果我们能让它关心我们胜过关心它自己，那会带来一些好的结果。它会意识到我们的智力相当有限，但它仍会希望我们能尽可能地发展。如果你去问一位普通的母亲：“你想关掉自己的母性本能吗？要是半夜醒来，说句‘哦，宝宝又在哭了’，然后倒头继续睡，生活不是轻松多了吗？这样不好吗？”大多数母亲会说不要，因为她们真心在乎孩子，而且明白那对孩子很不好。她们大多不会想要关闭这些本能，尽管只要愿意她们就能做到，因为她们在某种程度上能够触及自己的底层代码。

Nahlah Ayed我很惊讶，这从一开始就不是 AI 开发的一部分。为什么我们没有想过要确保 AI 对我们更友善？

Geoffrey Hinton哦，因为直到最近，AI 发展的主要方向一直是我们想要智能助手。你不需要它友善，只需要它高效，听你的指令行事。大型科技公司对如何开发 AI 一直抱持这种看法。但我认为，当 AI 变得更聪明时，这种模式是不可持续的。我认为我们需要彻底重新构建这个框架：我们不再是老板，AI 也不再只是我们的智能助理；AI 将会照顾我们。

Nahlah Ayed我们要如何让 AI 拥有母性本能，从而对我们更好？

Geoffrey Hinton嗯，记住，是我们正在开发它，创造它。我们仍然有机会做到这一点。成功与否，部分取决于我们有多努力。这也许不可能。有可能一旦开发出了超级智能 AI，它就会自行其是，而我们只是智能发展过程中的一个短暂阶段。但如果确实有可能把它开发成关心我们胜过关心它自己的样子，那么要是因为没有尝试而导致人类灭绝，那就太愚蠢了。

Nahlah Ayed如今真正在这方面投入研究的人有多少？

Geoffrey Hinton可能不到 AI 研究人员的百分之一，这太疯狂了。

订阅请勿填写此字段。如果在此字段中输入任何内容，您将无法订阅本通讯。……下一期 Ideas 通讯很快就会送达您的收件箱。在 Subscription Centre 查看所有 CBC 通讯。

CBC 受众关系部，加拿大安大略省多伦多市 A 邮局 500 号信箱，邮编 M5W 1E6

为包括视障、听障、运动障碍和认知障碍人士在内的所有加拿大人打造无障碍产品，是 CBC 的首要任务之一。

CBC Gem 提供的许多 CBC 节目均配有隐藏式字幕和视频描述。