今天小编分享的科学经验：图灵奖得主Hinton：我已经老了，如何控制比人类更聪明的AI交给你们了，欢迎阅读。
还记得大牛们就 "AI 是否可能灭绝人类 "，抽成了两大阵营吗？
由于并不理解为啥 "AI 会造成风险 "，吴恩达最近开启了一个对话系列，去找两名图灵奖得主聊聊：
AI 究竟存在哪些风险？
有意思的是，在相继和Yoshua Bengio以及Geoffrey Hinton进行深度对话后，他和他们 " 达成了不少共识 "！
他们一致认为，双方应该共同讨论 AI 具体会产生什么风险，以及它究竟 " 理解了什么 "。Hinton 还特意 cue 了 " 反方代表 " 图灵奖得主Yann LeCun：
学术界在这个问题上分歧太大了，包括我们非常尊重的学者如 Yann，就认为大模型并不理解它自己在说什么。
马斯克对这次谈话也很感兴趣：
除此之外，Hinton 最近还在智源大会上再一次 " 布道 "AI 风险，表示比人更聪明的超级智能很快就会出现：
我们不习惯思考比我们聪明得多的东西，以及如何与它们互动。
我现在看不出如何防止超级智能 " 失控 "，而我已经老了。我希望，更多年轻的研究人员能掌握控制超级智能的方法。
一起来看看这些对话的核心观点，以及不同 AI 大牛针对这件事的看法。
吴恩达对话图灵奖得主：AI 安全应达成共识
首先是与Bengio的对话。吴恩达和他达成了一个关键共识，即：
科学家们应该试着找出 "AI 风险存在的具体场景 "。
也就是说，AI 究竟会在哪些场景下，给人类带来重大危害、甚至导致人类灭绝，这是双方需要达成的共识。
Bengio 认为，AI 前景充满着 " 迷雾和不确定性 "，因此找出一些 AI 具体带来危害的场景是有必要的。
然后是与 Hinton 的对话，双方达成了两个关键共识。
一方面，所有科学家必须针对 "AI 风险 " 议题好好聊聊，以便于制定良好的政策；
另一方面，AI 确实在理解世界。科学家们需要列出其中的关键技术问题，这有助于在 AI 安全议题上达成共识。
在这个过程中，Hinton 提到了需要达成共识的关键点，即 "GPT-4 和 Bard 这类对话大模型是否真的理解它们自己在说什么 "：
有些人认为它们理解，有些人认为它们只是随机鹦鹉。
我想我们都相信它们理解（自己在说什么），但一些我们非常尊重的学者如 Yann，则认为它们并不理解。
当然，被 " 喊话 " 的 LeCun 也及时赶来，很认真地发表了自己的观点：
我们都同意 " 大家需要就一些问题达成共识 " 这件事。我也同意 Hinton 的观点，即 LLM 有一定的理解能力，说它们 " 只是统计数据 " 是误导性的。
1、但它们对世界的理解非常肤浅，很大程度上是因为它们仅仅用纯文本训练。从视觉中学习世界如何运作的 AI 系统，将对现实有更深入的理解，相比之下自回归 LLM 的推理和规划能力非常有限。
2、如果没有下述条件，我不太相信会出现接近人类（甚至是猫）水平的 AI：
（1）从视频等感官输入中学习的世界模型
（2）一个可以推理和规划（而不仅仅是自回归）的架构
3、如果我们有了懂得规划的架构，它们将是目标驱动的，即能基于优化推理时间（而不仅仅是训练时间）目标来规划工作。这些目标可以是让 AI 系统 " 听话 " 且安全的护栏，甚至最终打造出比人类更好的世界模型。
然后，问题就变成了设计（或训练）保证安全和效率的良好目标函数。
4、这是一个困难的工程问题，但没有一些人所说的那么难。
虽然这一段回应仍旧只字未提 "AI 风险 "，不过 LeCun 很实在地给出了提升 AI 安全性的建议（打造 AI" 护栏 "），并设想了比人类更厉害的 AI" 长啥样 "（多感官输入 + 可推理规划）。
某种程度上来说，也算是双方在 AI 存在安全问题这个观点上达成了一些共识。
Hinton：超级智能比想象中更近
当然，不止是和吴恩达的对话。
最近离职谷歌的 Hinton，在不少场合都谈到了 AI 风险这一话题，其中也包括最近参加的智源大会。
在大会上，他以《通往智能的两条路线》为主题，讨论了 " 知识蒸馏 " 和 " 权重共享 " 两种智能路线，以及如何让 AI 变得更智能，以及自己对于超级智能出现的看法。
简单来说，Hinton 不仅认为（比人更智能的）超级智能会出现，而且出现的时间比人们想象中更快。
不仅如此，他认为这些超级智能会失控，但目前他还想不到什么好的方法阻止它们：
超级智能可以通过操纵人来轻易获得更多权力。我们不习惯思考比我们聪明得多的东西，以及如何与它们互动。但它会变得善于欺骗人，因为它能通过某些小说作品中学习欺骗他人的案例。
一旦它变得善于欺骗人，就能掌握让人们做任何事的方法……我觉得这很可怕，但我看不出如何防止这种情况发生，因为我老了。
我希望，像你们这样的年轻有才华的研究人员，会搞懂我们如何拥有这些超级智能，并让我们生活得更好。
放映出 "THE END" 幻灯片时，Hinton 意味深长地强调了一下：
这是我的最后一张 PPT，也是这场演讲的结束。
参考链接：
[ 1 ] https://twitter.com/AndrewYNg/status/1667920020587020290
[ 2 ] https://twitter.com/AndrewYNg/status/1666582174257254402
[ 3 ] https://2023.baai.ac.cn/
