今天小編分享的互聯網經驗:站在OpenAI對立面!馬斯克開源 Grok,參數量全球最大,歡迎閲讀。
當地時間 3 月 17 日,馬斯克旗下人工智能公司 xAI 宣布開源大模型 Grok-1,遵循 Apache 2.0 協定開放模型權重和架構。因此,用户可以自由使用、修改和分發軟體。
據官網信息,Grok-1 是 3140 億參數的混合專家模型,是 " 迄今為止全球參數量最大的開源大語言模型 "。
Grok-1 是 xAI 使用 JAX 和 Rust 之上的自定義訓練堆棧從頭開始訓練;314B 參數 Mixture-of-Experts 模型,其中 25% 的權重在給定令牌上處于活動狀态;此外,Grok-1 這是 2023 年 10 月結束的 Grok-1 預訓練階段的原始基礎模型檢查點。這意味着該模型不會針對任何特定應用(例如對話)進行微調。
對于 Grok-1 的開源,馬斯克在 3 月 11 日就曾在社交平台表示 xAI 将開放 Grok 的源代碼,公眾将可免費使用該公司大模型技術背後的代碼。
馬斯克如約将 Grok-1 開源,與此同時,馬斯克還在因 OpenAI 的開源問題,起訴 OpenAI 及其董事會成員。OpenAI 利用 ChatGPT 的官方賬号與馬斯克進行了互動:你幹了我幹的事。而馬斯克回應稱:告訴我們更多關于 OpenAI 的 Open 部分。
開源問題是馬斯克與 OpenAI 争論的核心。據悉,3 月 1 日,馬斯克一份 46 頁的訴狀被公開,馬斯克指控便是 OpenAI 偏離了公司成立時 " 為了人類福祉而非私人商業利益 " 的協定,也違背了 " 技術開源 " 的承諾,完全成為了 " 受控于微軟的閉源子公司 "。
對于馬斯克的指控,3 月 6 日上午 10 點,OpenAI 正式做出回應,在官網發布一篇長博客,稱自己始終堅持使命,并針對馬斯克的主張一一進行回復。
對于 " 違背創始協定轉向盈利 " 的指控,OpenAI 表示,開發 AGI 所需的資源超乎他們想象,在最初創辦 OpenAI 時這個數字是 1 億美元,而到了 2017 年則是每年數十億,金錢的壓力迫使他們 " 為通往 AGI 規劃一條更為合理的路徑 ",也就是轉向盈利——在這一點上,馬斯克與他們在 2017 年前後達成了一致,決定下一步的任務是創建一個營利性實體,但我們無法與 Elon 就營利性條款達成一致。
對于開源,OpenAI 表示,我們提供對當今最強大的 AI 的廣泛訪問,包括數億人每天使用的免費版本。這個任務并不意味着開源 AGI。正如 Ilya 告訴馬斯克的那樣:" 随着我們越來越接近構建 AI,開始變得不那麼開放是有意義的。openAI 的開放意味着每個人都應該從 AI 構建後的成果中受益,但不分享科學是完全可以的 ......",馬斯克回答説:" 是的 "。
如今,離開 OpenAI 的馬斯克,在 2023 年 7 月份成立 xAI,成立之初就被稱作 "OpenAI 對手 "。xAI 的宗旨是 " 了解宇宙的真實本質 "。 去年 11 月 4 日, xAI 團隊發布了首個 AI 大模型產品 Grok。
馬斯克将 " 迄今為止全球參數量最大的大語言模型 " 開源,有準備諷刺了 OpenAI 一下,在 AI 社區引發了激烈讨論,堅持開源的馬斯克,走上了與 OpenAI 的對立之路,不過根據 xAI 公布的數據,在 GSM8K、HumanEval 和 MMLU 等一系列基準測試中,Grok-1 的表現超過了 Llama-2-70B 和 GPT-3.5,但跟 GPT-4 還有差距。