今天小編分享的科技經驗:馬斯克:xAI 訓練 Grok-3 大模型用了 10 萬塊英偉達 H100 芯片,歡迎閲讀。
IT 之家 7 月 2 日消息,馬斯克已經宣布其人工智能初創公司 xAI 的大語言模型 Grok-2 将于 8 月推出,将帶來更先進的 AI 功能。雖然 Grok-2 還沒亮相,但馬斯克已經開始為其 Grok-3 進行造勢。
馬斯克表示,訓練 AI 聊天機器人需要數據集,而且從現有數據中清除大型語言模型 ( LMM ) 的工作量很大。他還談到了 OpenAI 模型輸出訓練的幾個問題。
他透露 xAI 的 Grok-3 用了 10 萬塊英偉達 H100 芯片進行訓練,預計将于年底發布,相信它會 " 非常特别 "。
H100 是英偉達開發的專門用于處理大語言模型(LLMs)數據的 AI 芯片。每塊英偉達 H100 人工智能芯片的價格估計在 3-4 萬美元(當前約 21.9 - 29.2 萬元人民币)左右,批量購買的話可能會有折扣。
我們簡單計算可知,xAI 這裏的 10 萬塊英偉達 H100 價值 30-40 億美元(IT 之家備注:當前約 218.68 - 291.57 億元人民币)。馬斯克之前曾提到特斯拉今年從英偉達的采購額估計将在 30-40 億美元之間,合理推測 xAI 這裏用的是特斯拉購買的英偉達芯片進行訓練。