今天小編分享的科技經驗:“越大越好”的路徑走不通?OpenAI正在尋求訓練模型的新方法,歡迎閱讀。
财聯社 11 月 12 日(編輯 牛占林)很多人工智能 ( AI ) 科學家和初創公司認為,通過增加更多數據和算力來擴大當前模型,以持續改進 AI 模型的方法正在走到盡頭。因此,像 OpenAI 這樣的 AI 公司正在尋求通過開發新的訓練技術來克服當前面臨的挑戰,這些技術更像人類的思考方式。
自風靡全球的聊天機器人 ChatGPT 發布以來,科技公司都是通過增加更多數據和算力來擴大并改善 AI 模型。但現在,一些最傑出的 AI 科學家正在指出這種 " 越大越好 " 的局限性。
人工智能實驗室 Safe Superintelligence 和 OpenAI 的聯合創始人 Ilya Sutskever 近日表示,擴大預訓練 ( 訓練 AI 模型的階段,該模型使用大量未标記的數據來理解語言模式和結構 ) 所取得的成果已經達到了一個平穩期,對提升模型性能的幫助有限。
Sutskever 早期主張通過在預訓練中使用更多數據和算力來實現生成式 AI 的巨大飛躍,這最終創造了 ChatGPT。他今年早些時候離開 OpenAI,創立了 Safe Superintelligence。
Sutskever 表示:" 以前是規模擴張的時代,現在我們又回到了奇迹和發現的時代。每個人都在尋找下一個東西,這比以往任何時候都更重要。"
此外,Sutskever 還承認他的公司正在研究一種擴大預訓練規模的替代方法,但未透露更多細節。
新技術競賽
大模型的所謂 " 訓練 " 需要同時運行數百個芯片,成本可能高達數千萬美元。考慮到系統的復雜性,它們更有可能出現硬體導致的故障;在測試結束之前,研究人員可能無法知道這些模型的最終性能,這可能需要幾個月的時間。
另一個問題是,大語言模型吞噬了大量數據,而 AI 模型已經耗盡了世界上所有容易獲取的數據。電力短缺也阻礙了訓練運行,因為這個過程需要大量的能源。
為了克服這些挑戰,研究人員正在探索測試時計算 ( test-time compute ) ,這是一種在所謂的推理階段或使用模型時增強現有 AI 模型的技術。例如,模型可以實時生成和評估多種可能性,最終選擇最佳前進路徑,而不是立即選擇一個答案。
這種方法使模型能夠将更多的處理能力投入到具有挑戰性的任務中,比如數學或編碼問題或需要類似人類的推理和決策的復雜操作。
OpenAI 研究員 Noam Brown 此前表示:" 事實證明,讓一個機器人在一盤撲克牌中思考 20 秒,與将模型放大 10 萬倍、訓練時間延長 10 萬倍的效果相同。"
OpenAI 在其新發布的模型 "o1" 中采用了這項技術,與此同時,來自 Anthropic、xAI 和 DeepMind 等其他頂尖 AI 實驗室的研究人員也在致力于開發自己的技術版本。
OpenAI 首席產品 Kevin Weil 表示:" 我們看到了很多低垂的果實,摘下來讓這些模型變得更好。等到人們迎頭趕上的時候,我們會努力開發新的技術。"
多位科學家、研究人員和投資者認為,這種新技術可能會重塑 AI 軍備競賽,并對 AI 公司所需求的各類資源產生影響。