今天小編分享的科學經驗：圖靈獎得主Bengio最新長文：人類大腦是生物機器，一定會有超級智能AI超越它，歡迎閱讀。
對不起Dave，我恐怕并不會做這件事情。
這是 1968 年科幻電影《2001：太空漫遊》中的經典場景，人工智能 HAL9000 拒絕了人類的請求，由此展開了殊死搏鬥。
如今也成為深度學習巨頭、圖靈獎得主Yoshua Bengio最新博文的封面：危害人類的 AI 是如何出現的。
近幾個月來，強人工智能對話系統的興起，引發了各種 AI 風險的讨論。
即便科學家們普遍認為，有必要對人工智能進行監管，但對于「AI 系統是否會失控，進而對世界造成災難性損害」存在深刻的分歧。
事實上，這些災難會如何發生，存在諸多不确定性。于是 Bengio 團隊做了一系列的正式定義Rogue AI、假設和主張，并讨論了發生條件、可能情況以及規避策略。
一時間引發熱議，不少學界人士站出來推薦：
在不改變原意的基礎上，量子位聯合 ChatGPT 做了如下編譯。
Rogue AI 如何出現
定義 1：一個潛在的 Rogue AI，是一個自主的人工智能系統，其行為方式可能會對大部分人類造成災難性傷害，可能會危及我們的社會，甚至我們的物種或生物圈 。
人類大腦是一種生物機器，我們在理解和展示人類智能多個方面的原理上取得很大進展，比如從實例中學習知識和熟練運用語言。雖然我也相信人們有能力設計出有用且安全的 AI 系統，但必須遵守具體指導方針，比如限制他們的機構。
然而最新進展表明，超級智能 AI（全面比人類聰明）的建立離我們預期比以前更近，我們不清楚如何防止潛在的 Rogue AI 產生。
Rogue AI 是目标驅動的。當前大模型幾乎沒有自主能力，但正如 Auto-GPT 那樣可以轉化。更深入了解 Rogue AI 的產生方式，需要在技術和政策方面的努力。
AI 對齊問題（人類真實意圖與人工智能的理解和行為不匹配）以及社會競争壓力将有利于更強大、更自主的 AI 系統的產生，不自覺間就增大了 Rogue AI 誕生的可能性。
假設 1：人類水平的智力是有限的，因為大腦是生物機器。
假設 2：一台具有人類水平學習能力的計算機，通常會因為額外的技術優勢而超過人類的智力。
如果假設 1 正确，那麼會存在超級智能 AI 系統執行人類無法完成的任務（或者能力和速度不在一個水平上），至少有以下方面的原因：
一台計算機的 AI 系統可以在任意數量計算機上進行自我復制、獲取經驗并聚合。
AI 已經能相當快速閱讀整個互聯網的内容。
此外，人類大腦還具有進化賦予的能力，當前一些相關的 AI 研究也正在進行。至于進化需要高能量消耗，這點在 AI 上已經實現。例如訓練目前最先進的大模型的一萬個 GPU 集群。
定義 2：一個自主的、目标導向的智能實體會設定并努力實現自己的目标（可能作為人類設定目标的子目标），并相應地采取行動。
需要注意的是，自主性可能產生于人類設定的目标和獎勵。當主要目标是生存和繁殖，那麼它将是完全自主的，這是最危險的情況。
如果這些目标不嚴格包括人類和生物圈的福祉，即不足以與人類的權利和價值觀保持一致，那麼這樣的系統就有可能成為潛在的 Rogue AI。
下面這些情況都将可能導致 Rogue AI 的出現：
不懷好意的人類。
構建 AI Agent 的意外後果。除非 AI 對齊研究取得進展，否則沒有強有力的安全保障。
企業失控。企業可以被視作特殊的人工智能，其構建模塊是企業中的員工，他們大部分時間意識不到企業整體行為的後果。
人類對創造類人實體的迷戀。正如科幻小說 / 電影中看到的， 這些實體具有情感、人類外貌甚至意識。
我認為我們應該遠離那些外貌和行為都很像人類的 AI 系統，因為他們可能會變成 Rogue AI。
AI Agents 之間進化壓力的意外結果。不同人類和組織争相設計更強大的 AI 系統，成千上萬的研究員給予 AI 指令，這種過程可能會激發 AI 學習更快。
以上分析和 AI 安全研究能幫助我們設計政策、降低潛在風險。
比如前陣子 " 的呼籲，就是個很好的開端。這需要國家監督和國際協定，條約需要各國來共同達成。這類似于上世紀 50 年代關于禁止核武器條約。
為了保護公眾、社會和人類免受災難性後果，減緩高風險的人工智能研究和應用進展是值得的。
當然這也不會阻止一些有益研究，比如幫助科學家更好地理解疾病和氣候變化的人工智能系統。
不過資本主義競争本質将可能導致 Rogue AI 行為，AI 經濟學家将會幫助我們設計出不依賴競争、更關注利潤最大化的經濟體系，并提供足夠的激勵和懲罰機制。
Rogue AI 的風險是可怕的，但它也可能成為重新設計我們的社會，使之朝着更廣泛福祉的方向發展，比如解決醫療、教育資源不平等問題。
首先感謝 Hinton
值得一提的是，在這篇博文的最後，Bengio 還特意感謝了 Hinton，可是放在了第一位哦 ~
而就在此博文發布之際，LeCun 也淺評價了他倆：
他們都不是經濟學家，沒有研究技術進步對勞動力市場的影響。
嗯，而他自己卻經常與經濟學家交流。（手動狗頭）
感興趣的旁友，可戳下方鏈接學習學習：
https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/
