今天小編分享的科學經驗：圖靈獎得主Hinton：我已經老了，如何控制比人類更聰明的AI交給你們了，歡迎閲讀。
還記得大牛們就 "AI 是否可能滅絕人類 "，抽成了兩大陣營嗎？
由于并不理解為啥 "AI 會造成風險 "，吳恩達最近開啓了一個對話系列，去找兩名圖靈獎得主聊聊：
AI 究竟存在哪些風險？
有意思的是，在相繼和Yoshua Bengio以及Geoffrey Hinton進行深度對話後，他和他們 " 達成了不少共識 "！
他們一致認為，雙方應該共同讨論 AI 具體會產生什麼風險，以及它究竟 " 理解了什麼 "。Hinton 還特意 cue 了 " 反方代表 " 圖靈獎得主Yann LeCun：
學術界在這個問題上分歧太大了，包括我們非常尊重的學者如 Yann，就認為大模型并不理解它自己在説什麼。
馬斯克對這次談話也很感興趣：
除此之外，Hinton 最近還在智源大會上再一次 " 布道 "AI 風險，表示比人更聰明的超級智能很快就會出現：
我們不習慣思考比我們聰明得多的東西，以及如何與它們互動。
我現在看不出如何防止超級智能 " 失控 "，而我已經老了。我希望，更多年輕的研究人員能掌握控制超級智能的方法。
一起來看看這些對話的核心觀點，以及不同 AI 大牛針對這件事的看法。
吳恩達對話圖靈獎得主：AI 安全應達成共識
首先是與Bengio的對話。吳恩達和他達成了一個關鍵共識，即：
科學家們應該試着找出 "AI 風險存在的具體場景 "。
也就是説，AI 究竟會在哪些場景下，給人類帶來重大危害、甚至導致人類滅絕，這是雙方需要達成的共識。
Bengio 認為，AI 前景充滿着 " 迷霧和不确定性 "，因此找出一些 AI 具體帶來危害的場景是有必要的。
然後是與 Hinton 的對話，雙方達成了兩個關鍵共識。
一方面，所有科學家必須針對 "AI 風險 " 議題好好聊聊，以便于制定良好的政策；
另一方面，AI 确實在理解世界。科學家們需要列出其中的關鍵技術問題，這有助于在 AI 安全議題上達成共識。
在這個過程中，Hinton 提到了需要達成共識的關鍵點，即 "GPT-4 和 Bard 這類對話大模型是否真的理解它們自己在説什麼 "：
有些人認為它們理解，有些人認為它們只是随機鹦鹉。
我想我們都相信它們理解（自己在説什麼），但一些我們非常尊重的學者如 Yann，則認為它們并不理解。
當然，被 " 喊話 " 的 LeCun 也及時趕來，很認真地發表了自己的觀點：
我們都同意 " 大家需要就一些問題達成共識 " 這件事。我也同意 Hinton 的觀點，即 LLM 有一定的理解能力，説它們 " 只是統計數據 " 是誤導性的。
1、但它們對世界的理解非常膚淺，很大程度上是因為它們僅僅用純文本訓練。從視覺中學習世界如何運作的 AI 系統，将對現實有更深入的理解，相比之下自回歸 LLM 的推理和規劃能力非常有限。
2、如果沒有下述條件，我不太相信會出現接近人類（甚至是貓）水平的 AI：
（1）從視頻等感官輸入中學習的世界模型
（2）一個可以推理和規劃（而不僅僅是自回歸）的架構
3、如果我們有了懂得規劃的架構，它們将是目标驅動的，即能基于優化推理時間（而不僅僅是訓練時間）目标來規劃工作。這些目标可以是讓 AI 系統 " 聽話 " 且安全的護欄，甚至最終打造出比人類更好的世界模型。
然後，問題就變成了設計（或訓練）保證安全和效率的良好目标函數。
4、這是一個困難的工程問題，但沒有一些人所説的那麼難。
雖然這一段回應仍舊只字未提 "AI 風險 "，不過 LeCun 很實在地給出了提升 AI 安全性的建議（打造 AI" 護欄 "），并設想了比人類更厲害的 AI" 長啥樣 "（多感官輸入 + 可推理規劃）。
某種程度上來説，也算是雙方在 AI 存在安全問題這個觀點上達成了一些共識。
Hinton：超級智能比想象中更近
當然，不止是和吳恩達的對話。
最近離職谷歌的 Hinton，在不少場合都談到了 AI 風險這一話題，其中也包括最近參加的智源大會。
在大會上，他以《通往智能的兩條路線》為主題，讨論了 " 知識蒸餾 " 和 " 權重共享 " 兩種智能路線，以及如何讓 AI 變得更智能，以及自己對于超級智能出現的看法。
簡單來説，Hinton 不僅認為（比人更智能的）超級智能會出現，而且出現的時間比人們想象中更快。
不僅如此，他認為這些超級智能會失控，但目前他還想不到什麼好的方法阻止它們：
超級智能可以通過操縱人來輕易獲得更多權力。我們不習慣思考比我們聰明得多的東西，以及如何與它們互動。但它會變得善于欺騙人，因為它能通過某些小説作品中學習欺騙他人的案例。
一旦它變得善于欺騙人，就能掌握讓人們做任何事的方法……我覺得這很可怕，但我看不出如何防止這種情況發生，因為我老了。
我希望，像你們這樣的年輕有才華的研究人員，會搞懂我們如何擁有這些超級智能，并讓我們生活得更好。
放映出 "THE END" 幻燈片時，Hinton 意味深長地強調了一下：
這是我的最後一張 PPT，也是這場演講的結束。
參考鏈接：
[ 1 ] https://twitter.com/AndrewYNg/status/1667920020587020290
[ 2 ] https://twitter.com/AndrewYNg/status/1666582174257254402
[ 3 ] https://2023.baai.ac.cn/
