今天小編分享的科技經驗：突發：馬斯克Grok開源！，歡迎閱讀。
智東西（公眾号：zhidxcom）
作者 | 雲鵬
編輯 | 心緣
6 個月掏出 3410 億參數自研大模型，馬斯克說到做到！
智東西 3 月 18 日消息，就在剛剛，馬斯克的 AI 創企 xAI 正式發布了此前備受期待大模型 Grok-1，其參數量達到了 3140 億，遠超 OpenAI GPT-3.5 的 1750 億。
這是迄今參數量最大的開源大語言模型，遵照 Apache 2.0 協定開放模型權重和架構。
Grok-1 是一個混合專家（Mixture-of-Experts，MOE）大模型，這種 MOE 架構重點在于提高大模型的訓練和推理效率，形象地理解，MOE 就像把各個領網域的 " 專家 " 集合到了一起，遇到任務派發給不同領網域的專家，最後匯總結論，提升效率。決定每個專家做什麼的是被稱為 " 門控網絡 " 的機制。
xAI 已經将 Grok-1 的權重和架構在 GitHub 上開源。
GitHub 地址：
https://github.com/xai-org/grok-1?tab=readme-ov-file
目前 Grok-1 的源權重數據大小大約為 300GB。
截至北京時間 3 月 18 日上午 7 時許，Grok-1 項目收獲了 3400 顆星。
Grok-1 是馬斯克 xAI 自 2023 年 7 月 12 日成立以來發布的首個自研大模型。xAI 特别強調說這是他們自己從頭訓練的大模型。Grok-1 沒有針對特定應用進行微調。
xAI 是馬斯克去年剛剛成立的明星 AI 創企，其目的之一就是與 OpenAI、谷歌、微軟等對手在大模型領網域進行競争，其團隊來自 OpenAI、谷歌 DeepMind、谷歌研究院、微軟研究院等諸多知名企業和研究機構。
此前馬斯克剛剛 " 怒噴 "OpenAI 不夠 "Open"，後腳這就開源了自家的頂級 3410 億參數自研大模型 Grok-1。雖然馬斯克在預熱到發布的過程中也 " 放了幾次鴿子 "，但最終他并沒有食言。
今天，xAI 還公布了 Grok-1 的更多細節：
基礎模型基于大量文本數據訓練，未針對特定任務進行微調。
3140 億參數的 Mixture-of-Experts 模型，其對于每個 token，活躍權重比例為 25%。
xAI 從 2023 年 10 月開始使用自定義訓練堆棧在 JAX 和 Rust 之上從頭開始訓練。
但此次 xAI 并沒有放出 Grok-1 的具體測試成績，其與 OpenAI 即将發布的 GPT-5 的大模型王者之戰，必将成為業内關注的焦點。
當然，馬斯克發大模型，怎麼會少的了大佬隔空對線 " 互怼 "？
xAI 官方消息剛剛發布，ChatGPT 的官方賬号馬上就跟馬斯克在 X 平台上進行了互動，在 Grok 官方賬号評論下回復道：" 偷了我的笑話。"
馬斯克自然不會示弱，馬上說請告訴我 OpenAI"Open" 之處在哪裡。
馬斯克高仿号也馬上跑過來添油加醋，說我們都知道是 Sam 在運營 ChatGPT 的賬号。
值得一提的是，此次 xAI 發布 Grok-1 消息的封面圖片，是由 Midjourney 生成，Grok 給出了提示文本：一個神經網絡的 3D 插圖，具有透明節點和發光連接，展示不同粗細和顏色的連接線的不同權重（A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines）。
原圖：
