今天小編分享的互聯網經驗：GPT-5正在秘密訓練，開源模型仍将落後閉源2-3年！DeepMind聯創抖出大料，歡迎閱讀。
作者｜周愚
編輯｜尚恩
最近，DeepMind 聯合創始人、Inflection AI 現任 CEO Mustafa Suleyman 在接受外媒采訪時，放出了一則重磅消息。
談及 Sam Altman 否認正在訓練 GPT-5，Mustafa 沒有選擇直接戳穿，而是有些陰陽怪氣地說道：" 我認為我們還是坦誠相待比較好，這就是為什麼我們公開了我們所擁有的計算總量。"
言下之意，就是OpenAI 正在秘密訓練 GPT-5 。
此前，OpenAI 發布 ChatGPT 企業版時，網友就曾熱議。一名長期研究 OpenAI 和 ChatGPT 的以色列創業公司 CEO Yam Peleg 甚至認為：OpenAI 已經獲得了 GPT-5。
圖源：X（Twitter）
這位老哥曾經試圖反向破解嘗試 GPT-4 和 ChatGPT 的代碼解釋器。今年 6 月，OpenAI 成員訪問以色列時，Peleg 也參與了座談溝通，并和 Sam Altman 合影留念。
而為了顯示自己的坦誠态度，Mustafa 也透露未來三年 Inflection AI 的大模型進展："在接下來的 3 年裡，我們要訓練的模型要比現在大 1000 倍。甚至在未來 18 個月内，Inflection 的模型就将比目前的前沿模型大 100 倍。"
對于大模型如此快速的發展，有網友興奮地表示：活着是多麼美好的一天啊！
來源：X（Twitter）
當然，也有網友對 AI 的快速發展是否會對社會造成負面影響，表示深深的擔憂。
Mustafa 在采訪中回應稱，AI 目前要具備危險的能力，仍然缺乏基本的組件，比如自主性和行動能力，這至少還需要 5 年甚至更久的時間。
此外，他還表示，至少在未來五年内，開源模型仍将落後于閉源模型，并分享了 Google 與 DeepMind 在倫理和監管方面的抓馬故事。
開源這件事，過于天真了
盡管一再強調坦誠、透明的重要性，但對于大模型開源問題，Mustafa 卻沒有那麼樂觀，頗有些潑冷水的意味。
他直言：" 我非常有信心，在相當長的一段時間内，至少在未來五年内，開源模型将持續落後于最前沿的閉源模型兩到三年。"
當包括 Meta 的 Llama2 在内的許多大模型走向開源之路時，Mustafa 卻稱：" 在未來 20 年内，天真的開源，幾乎肯定會造成災難 "。
對于開源後，大規模訪問可能造成的風險，Mustafa 提出了一個相當有趣又細思極恐的概念——" 權力的快速擴散 "。
他表示，在未來幾年内，我們就會擁有比現在大幾個數量級的模型，而開源則意味着每個個體就能輕而易舉地獲得一個組織、甚至一個國家的權力，單一個體就能對世界造成前所未有的傷害和影響。
Mustafa 以上一波社交媒體浪潮為例，在這波浪潮中，每個人都擁有了廣播權，可以通過社交媒體的數百萬追随者影響世界。
在過去，這幾乎是出版商專有的方式，但也意味着這些行為在大多數情況下是可被追究責任的。而在社交媒體時代，追責卻成了難以想象的事情。
另外，Mustafa 還強調，AI 技術有可能降低許多潛在危險化合物或者武器的開發門檻，當然從預訓練中删除這些内容，對模型進行對齊等方法，可以降低這樣的風險。
但一味地開源所有模型，勢必會增大模型被利用來作惡的可能性。
當然，Mustafa 也承認，開源模型的價格合理，任何人均可嘗試，在過去對技術進步做出了很多貢獻，但他表示仍要頂着壓力，提醒世人注意開源的風險。他認為：" 如果我們沒有這樣的對話，我們最終會把造成大規模混亂的破壞穩定的工具交到每個人的手中。"
OpenAI 要 " 保持透明 "
面對 AI 能力的快速進步，Mustafa 一度擔心監管政策的落後，甚至曾經表示，要 " 尋求赢得時間的方法，放慢速度，為找到更多問題的答案提供空間 "。
然而，現實似乎卻是，AI 的發展正在一路高踩油門，就連 Inflection AI 自己也似乎沒有刹車的意圖。
目前，Inflection AI 正在建造世界上最大的超級計算機之一，甚至在接下來的一年半裡，還将進行一次比 GPT-4 的語言模型訓練運行大 10 倍或 100 倍的語言模型訓練。
而 Mustafa 在這其中則似乎有些又當又立，正在親自加速這場模型訓練的軍備競賽，增加 AI 的風險。
圖源：視覺中國
另一方面，AI 訓練的算力成本也正在迅速下降。
芯片算力将以 2-3 倍的效率快速增長，而算力成本則随着芯片算力的迭代在不斷下降，屆時訓練相同規模模型的成本将遠遠小于目前的成本。
未來 AI 訓練也不需要通過一味地堆疊更多算力，來訓練更大的模型。比如，Llama2、Falcon 等模型，憑借 15 億參數或 20 億參數，就獲得了有 1750 億參數的 GPT-3 的能力。
對于是否要放慢腳步，Mustafa 并沒有給出回答，不過他從另一個角度，否認了當前對 Inflection AI 的質疑并表示："AI 要具備危險能力仍然缺乏基本的組件，比如自主性和在世界上行動的能力。"
他補充道，AI 要變得危險，還需要五年、十年、十五年，甚至二十年。我們無法知道确切的時間，但可以肯定，現在的 AI 并不危險。
而在回答這一問題時，Mustafa 還輕踩了一腳 OpenAI，指責OpenAI 在訓練 GPT-5 這件事上不夠透明，暗中秘密訓練，甚至公然撒謊否認正在訓練。
與此同時，他還大方透露，為了訓練比 GPT-4 更大的模型，Inflection AI 目前有 6000 枚 H100 正在訓練模型，而到 12 月，則會有 22000 枚 H100 用于訓練。他表示，坦誠、透明的态度至關重要。
Mustafa 還提到了自己創始的 DeepMind，認為 DeepMind 也應該披露 Gemini 接受了多少 FLOPS 訓練。
Google 和 DeepMind 的抓馬
引入外部監督進行治理，是 Mustafa 在 DeepMind 的十年間，花費大量時間推進的一樣工程，但最終卻很快以失敗告終。他說：" 這是一項相當痛苦的工作 "，并追加表示權力方當然不希望這樣，盡管自己認為谷歌是出于好意，但它的運作仍然是傳統的官僚機構模式。
圖源網絡
最初成立谷歌倫理委員會時，DeepMind 計劃該委員會将由九名獨立成員組成，為 DeepMind 開發的敏感技術提供外部監督。然而不幸的是，委員會成立的一周内，就有三名委員辭職，而後委員會的半數成員陸續離開。
而這場悲劇的原因是，DeepMind 任命了一名曾發表過相當嚴重争議言論的保守派委員。就在任命消息公布的幾天内，大學校園裡就展開了大規模的運動，不僅要求該委員下台，還迫使其他委員推出，暗示他們寬恕或接納這名保守派委員的錯誤觀點。
更令人沮喪的是，公司在這個時候也開始反過來懷疑這樣工作的必要性，認為這簡直就是浪費時間。
而在此之前，被 Google 收購時，DeepMind 将成立倫理和安全委員會作為收購的條件，他們希望将 DeepMind 剝離為一家相對獨立的公司。然而，這種設想顯然失敗了，DeepMind 從來都不是獨立的，而現在它完全是谷歌的一部分。
雖已離開谷歌，不過引入外部監督仍然是 Mustafa 的目标之一。
今年 7 月，Inflection AI 與其他 6 家 AI 巨頭，在白宮一同籤署了八項自願承諾，Mustafa 認為 " 其中一些自願承諾應該成為法律規定 "。
他表示，作為一家公司，面對如虛假信息在内的各種威脅總是顯得有些無力，大多數威脅必須由國家來進行監管、解決，比如框定有害的模型能力。
