今天小編分享的科學經驗:馬斯克突然開源Grok:3140億參數巨無霸,免費可商用,歡迎閲讀。
馬斯克説到做到:
旗下大模型Grok 現已開源!
代碼和模型權重已上線 GitHub。官方信息顯示,此次開源的 Grok-1 是一個3140 億參數的混合專家模型——
就是説,這是當前開源模型中參數量最大的一個。
消息一出,Grok-1 的 GitHub 倉庫已攬獲 4.5k 标星,并且還在庫庫猛漲。
表情包們,第一時間被吃瓜群眾們熱傳了起來。
而 ChatGPT 本 Chat,也現身 Grok 評論區,開始了和馬斯克新一天的鬥嘴……
那麼,話不多説,來看看馬斯克這波為怼 OpenAI,究竟拿出了什麼真東西。
Grok-1 説開源就開源
此次開源,xAI 發布了 Grok-1 的基本模型權重和網絡架構。
具體來説是 2023 年 10 月預訓練階段的原始基礎模型,沒有針對任何特定應用(例如對話)進行微調。
結構上,Grok-1 采用了混合專家(MoE)架構,包含 8 個專家,總參數量為 314B(3140 億),處理 Token 時,其中的兩個專家會被激活,激活參數量為 86B。
單看這激活的參數量,就已經超過了密集模型 Llama 2 的 70B,對于 MoE 架構來説,這樣的參數量稱之為龐然大物也毫不為過。
不過,在 GitHub 頁面中,官方也提示,由于模型規模較大(314B 參數),需要有足夠 GPU 和内存的機器才能運行 Grok。
這裏 MoE 層的實現效率并不高,選擇這種實現方式是為了避免驗證模型的正确性時需要自定義内核。
模型的權重檔案則是以磁力鏈接的形式提供,檔案大小接近 300GB。
而且這個 " 足夠的 GPU",要求不是一般的高—— YC 上有網友推測,如果是 8bit 量化的話,可能需要 8 塊 H100。
除了參數量前所未有,在工程架構上,Grok 也是另辟蹊徑——
沒有采用常見的 Python、PyTorch 或 Tensorflow,而是選用了 Rust 編程語言以及深度學習框架新秀 JAX。
而在官方通告之外,還有許多大佬通過扒代碼等方式揭露了 Grok 的更多技術細節。
比如來自斯坦福大學的 Andrew Kean Gao,就針對 Grok 的技術細節進行了詳細解釋。
首先,Grok 采用了使用旋轉的 embedding 方式,而不是固定位置 embedding,旋轉位置的 embedding 大小為 6144,與輸入 embedding 相同。
當然,還有更多的參數信息:
視窗長度為 8192tokens,精度為 bf16
Tokenizer vocab 大小為 131072(2^17),與 GPT-4 接近;
embedding 大小為 6144(48 × 128);
Transformer 層數為 64,每層都有一個解碼器層,包含多頭注意力塊和密集塊;
key value 大小為 128;
多頭注意力塊中,有 48 個頭用于查詢,8 個用于 KV,KV 大小為 128;
密集塊(密集前饋塊)擴展因子為 8,隐藏層大小為 32768。
除了 Gao,還有英偉達 AI 科學家 Ethan He(何宜晖)指出,在專家系統的處理方面,Grok 也與另一知名開源 MoE 模型 Mixtral 不同——
Grok 對全部的 8 個專家都應用了 softmax 函數,然後從中選擇 top2 專家,而 Mixtral 則是先選定專家再應用 softmax 函數。
而至于有沒有更多細節,可能要看官方會不會發布進一步的消息了。
另外,值得一提的是,Grok-1 采用的是 Apache 2.0 license,也就是説,商用友好。
為怼 OpenAI 怒而 Open
大家夥知道,馬斯克因為 OpenAI 不 Open,已經向舊金山高等法院提起訴訟,正式把 OpenAI 給告了。
不過當時馬斯克自己搞的 Grok 也并沒有開源,還只面向的付費用户開放,難免被質疑雙标。
大概是為了堵上這個 bug,馬斯克在上周宣布:
本周,xAI 将開源 Grok。
雖然時間點上似乎又是馬斯克一貫的遲到風格,但 xAI 的這波 Open 如今看來确實不是口嗨,還是給了網友們一些小小的震撼。
有 xAI 新晉員工感慨説:
這将是激動人心的一年,快系好安全帶吧。
有人已經期待起 Grok 作為一個開源模型,進一步攪動大模型競争的這一池水。
不過,也并不是每個人都買馬斯克的賬:
不過説歸説,多線并進的馬斯克,最近大事不止開源 Grok 這一件。
作為多公司、多業務的時間管理大師,馬斯克旗下,特斯拉剛剛全線推出了端到端純視覺的自動駕駛系統 FSD V12,所有北美車主用户,都 OTA 更新更新,可以實現所有道路場景的任意點到點 AI 駕駛。
SpaceX 則完成了第三次星艦發射,雖然最後功敗垂成,但又史無前例地邁進了一大步。
推特則開源了推薦算法,然後迎來了一波自然流量新高峰。
别人都是 you can you up, no can no bb …馬斯克不一樣,bb up 不選擇,邊喊邊幹,還都幹成了。
參考鏈接:
[ 1 ] https://github.com/xai-org/grok-1
[ 2 ] https://x.ai/blog/grok-os