订阅 登录 第31期 与发明者之一 Noam Shazeer 深入探讨 ChatGPT 背后的研究突破——transformer、self-attention 及更多内容《The Aarthi and Sriram Show》2023年1月21日 83 分享
“最好的应用是我们尚未想到的东西。”
最近几周，ChatGPT 风靡一时。但其底层是 AI 领域的几项关键进展——transformer、self-attention、LLM 等等。本周，我们将与 Noam Shazeer 深入交流。他是 Character.AI 的创始人、Google 老兵，也是 AI 领域多项关键进展的核心贡献者，包括 transformer、Mesh-Tensorflow、T5 以及 Google 的 LaMDA 对话系统。我们涵盖的话题包括：Google 与 AI 的演变、transformer、LLM、神经网络、Google 研究成果的商业化、ChatGPT 与 AI 的未来、工程哲学、他在 Character.AI 的工作，以及更多精彩内容！欢迎留言、评分，或在 Twitter 上 @ 我们——我们会转发最喜欢的那些！
• Character.AI: https://beta.character.ai
• Aarthi and Sriram’s Good Time Show: Youtube, Substack, Twitter
• Sriram Krishnan: Twitter, Instagram, Blog
“Paul Buchheit 问我怎么做拼写纠错器，结果我写出了 Google 第一个好用的拼写纠错器。”
“有一天，Larry Page 认定管理者是有害的，于是基本上把 Google 变成了扁平化组织；二十年后，当你看到 Elon Musk 在 Twitter 的所作所为，会发现有一些相似之处，那就是：砍掉大量中层管理，让工程师去做他们最擅长的事。”——Sriram
“我喜欢把[神经网络中的预测过程]想象成一位极具才华的即兴演员。”
“最好的应用是我们尚未想到的东西。”
Character.ai —— 由 Noam Shazeer 和 Daniel De Freitas 打造的 AI 驱动聊天机器人
Noam Shazeer 联合撰写的 transformer 研究论文
Google 的 LaMDA：用于对话应用的语言模型
Larry Page 在 Google 解雇管理者以实现扁平化组织无监督方法：主题建模与聚类潜在狄利克雷分配——生成式统计模型什么是神经网络？——IBM 文章
Noam Shazeer 2018 年在 WeCNLP 上关于 NLP 的演讲
Attention Is All You Need，研究论文
Long Short-Term Memory，作者 Sepp Hochreiter、Jürgen Schmidhuber
Attention 与 Self-Attention 有何区别？作者 Angelina Yang
[05:00] 与 Noam Shazeer 探讨 Google 的演变
[39:01] 为何 Google 未能将大量研究成果产品化？
82 分享 关于本帖的讨论 评论 Restacks InfinityThink 2023年2月11日 我真的很喜欢你们整理的重点引语、参考资料，以及带时间戳的访谈分段。整理得太好了……我今天才发现你们，很高兴我点开了链接。非常感谢，祝你们在未来的道路上一帆风顺，期待继续向你们学习。回复 分享 The Aarthi and Sriram Show 的 1 条回复 还有 1 条评论…… 置顶 最新 讨论 暂无帖子。