今天小編分享的科學經驗:53頁PDF爆料OpenAI“AGI時間表”,爆料者:馬斯克訴訟攪了局,歡迎閱讀。
OpenAI 神秘的 Q* 計劃,又有新鮮爆料。
今天凌晨,一篇 54 頁 google 文檔開始在網絡上熱傳,透露 OpenAI" 計劃在 2027 年前實現完全 AGI"。
爆料者稱,自己選擇發布這篇文檔是不想讓馬斯克繼續 " 造成傷害 ",他認為後者發起的訴訟造成了 AGI 的推遲。
△文檔封面由爆料者制作,并非來自 OpenAI 官方
消息一經發布,就在網絡上引起了軒然大波,甚至有人認為實現 AGI 可能不需要等那麼久……
當然也有人對其真實性表示質疑,認為文檔來源不明且無法證實真偽。
那麼,這份被熱議的爆料文檔,都說了些什麼呢?
系列發布計劃重新調整
文檔顯示,OpenAI 訓練了一個 125T(萬億)參數的多模态大模型,而 Q* 就是該模型的第一個階段。
據稱,該模型就是原計劃在 2025 年發布的 GPT-5,訓練于 2023 年 12 月完成,智商達到了 48。
而之後的 Q* 2024 和 Q* 2025(計劃發布時間分别為 2026 和 2027 年),智商被認為将達到 96 和 145。
96 分的 IQ 已經是普通的人類的水準,而 145 分則是達到了天才水平。
但壞消息是,由于推理成本過高,加上馬斯克訴訟的影響,這一系列計劃被推遲,相應模型的名字也換了一圈。
而按照爆料者的說法,AGI 在 GPT-4 完成訓練時,也就是 2022 年 8 月就已初現端倪。
GPT4 時已有 AGI?
爆料者說,神經網絡的參數就如同生物體的突觸,參數量越大(突觸數量越多),表現也會更智能。
GPT-2 有 15 億個連接,這比老鼠的大腦(大約 100 億個突觸)還要少;而 GPT-3 有 1750 億個連接,已經與貓接近。
2020 年,GPT-3 發布後,許多人開始推測一個大約大 600 倍、擁有百萬億參數的模型可能會有怎樣性能,因為這個參數量接近了人類大腦的突觸數量。
文檔作者引用了英國 Open Philanthropy 學者 Lukas Finnveden(Lanrain)的觀點,表示根據模型的參數量,人們将能夠預測 AI 的性能。
人類大腦大約有 2 × 10^14(200 萬億)個突觸,大致相當于神經網絡中的參數數量(綠線)。
而 Lanrian 展示的外推預測顯示,AI 性能似乎随着參數量一同達到了人類水平。
在假定 AI 性能确實可以根據參數量來預測,而且大約 100 萬億參數就足以與人類相當的前提下,何時出現 AGI 的問題就變成了什麼時候會出現百萬億參數的 AI 模型。
而 OpenAI 開發百萬億參數模型的傳聞,最早出現在在 2021 年夏天,這是奧特曼參投的 Cerebras 公司 CEO Andrew Feldman 在 Wired 雜志的一次訪談中透露的。
同年 9 月,奧特曼在 AC10 在線聚會和問答環節中,承認了該計劃的存在。
不久之後,網絡上又產生了 GPT-4 即是該模型的傳聞,導致包括奧特曼在内的 OpenAI 員工不得不緊急辟謠。
OpenAI 的官方立場,是認為 GPT-4 具有百萬億參數的說法純屬無稽之談,但文檔作者認為其說法亦非完全屬實——在他看來,GPT-4 是這個百萬億參數模型的一個子集。
爆料者還稱,OpenAI 聲稱 GPT-4 在 2022 年 8 月份 " 完成了訓練 ",但有一個 " 龐大 " 的多模态模型據信在 8-10 月正在接受訓練。
他推測,要麼是 OpenAI 撒了謊,要麼是 GPT-4 完成第一輪訓練後在 8 月至 10 月之間進行了額外訓練,關鍵是這段時間與訓練百萬億模型所需要的時間十分接近。
但是,2022 年 DeepMind 發布的 Chinchilla,用相對較小的參數量擊敗了較大參數量的模型,說明單靠參數量預測模型表現的方式不夠準确。
對此,OpenAI 總裁 Greg Brockman 表示已經意識到此前認為的 Scaling Law 存在缺陷,并已采取措施進行适應。
進一步地,爆料者認為,有了新的補充,這個百萬億模型将能夠達到與人類同等的水平……
而至于這份爆料的真實度,一方面看,其中引用的一些人,的确曾對 OpenAI 的行動做出過準确預測。
但另一方面,爆料這個消息的推特博主,總共就只有兩條推文,而且還是在同一天發出的。
所以,這份文檔中的内容可信度究竟有幾分,讀者朋友們還是理性吃瓜為好。
文檔地址:
https://drive.google.com/file/d/1xlRDbMUDE41XPzwStAGyAVEP8qA9Tna7