今天小編分享的科技經驗:OpenAI GPT-6 訓練規模将創歷史新高:預估 10 萬張 H100 GPU,歡迎閱讀。
IT 之家 3 月 1 日消息,科技媒體 smartprix 昨日(2 月 28 日)發布博文,報道稱 OpenAI 在介紹 GPT-4.5 模型的視頻中,意外洩露了 GPT-6 訓練可能需要的 GPU 數量,暗示其規模将遠超以往。
IT 之家注:在 GPT-4.5 模型介紹視頻的 2 分 26 秒處,OpenAI 展示 GPT 4.5 功能的聊天記錄中,出現了 "Num GPUs for GPT 6 Training"(訓練 GPT-6 所需的 GPU 數量)的字樣。
雖然視頻中未對此進行任何解釋,但"Num" 可能暗示了一個前所未有的數字,該媒體推測高達 10 萬塊 GPU。
此前有消息稱,OpenAI 在訓練 GPT-3 時使用了約 1 萬塊 GPU,而随着模型的不斷迭代,對計算資源的需求也在不斷增加。
内部代号為 "Orion" 的 GPT 4.5 在自然度和減少 " 幻覺 " 方面取得了重大進展,其參數量可能超過 3 到 4 萬億。據推測,GPT 4.5 的訓練使用了 3 萬到 5 萬塊 NVIDIA H100 GPU,訓練成本約 7.5 億到 15 億美元(IT 之家備注:當前約 54.69 億到 109.37 億元人民币)。
截圖中 "Num" 的含義尚不明确,它可能代表 "Numerous"(大量),暗示 GPT-6 的訓練規模遠超以往。當然,這也有可能只是 OpenAI 的一個煙霧彈,就像之前用 "Strawberry"(草莓)作為 o1 系列的代号一樣。