今天小編分享的科學經驗：OpenAI附議Ilya預訓練終結！“但Scaling Law還沒死”，歡迎閲讀。
Is Scaling is All you Need？
在 Ilya 探讨完「預訓練即将終結」之後，關于 Scaling Law 的讨論再次引發熱議。
這屆 NeurIPS 将被銘記成預訓練終結的一屆會議
在最新研讨會上，OpenAI 大神，o1 核心成員 Noam Brown 表示，o1 代表的是一種全新的，以推理計算為代表的 Scaling。
網友們表示：好好好，Scaling Law 還沒有死！Scaling Law 還在繼續。
演講實錄：Is Scaling is All you Need？
Noam Brown，OpenAI 大神一枚，去年 7 月從 Meta 離職，曾開發首個在戰略遊戲中達到人類水平的 AI，此前在遊戲 AI 領網域相關研究成果曾登上 Science 封面。
如今在 OpenAI 致力于多步推理、自我博弈以及多智能體 AI 相關的研究。
此前在 o1 發布的直播時候露過面。
據網友 @swyx 分享，Noam Brown 首先談到 Scaling Law 的過去演進。
AI 從 2019 年到現在，GPT-2 演進到 GPT-4，這難以置信的成就都來自于數據和算力規模的擴大。
但大語言模型仍然無法解決像井字棋這樣的簡單問題，
那麼随之而來的一個問題是，Is Scaling is All you Need？我們真的還需要再消耗更高的成本來訓練更好的 AI 嗎？
這當中被低估的其實是推理的成本，它在過去的擴展（Scaling）要少得多。o1 帶來了 Scaling 的新的維度。
随後，他追溯了過去模型展現出來的類似規律。
比如在 2012 年 -2015 年間撲克模型的擴展。模型規模每年擴展 5 倍，但收效不大。但依照「人類需要更長時間思考更難問題」這一見解，增加了模型 20 秒的搜索時間，效果大致相當于将模型規模擴大了 100000 倍。
還有在棋牌中擴展推理的歷史，backgammon- 國際象棋 - 圍棋。AlphaGo Zero 在原始 NN 基礎上實現了從 3000 到 5200 Elo 增長，都是因為 test-time search（推理時間搜索）。
此外，他還引用了 Andy L.Jones 關于 Scaling Laws of games 的圖表——可以用 10 倍的預訓練計算量換取 15 倍的測試時間計算量。
如果遊戲結果擴展到 LLMs，是不是也會是如此？
那麼關于 o1 接下來，會有更高的推理計算能力。在過去 5 年裏，LLM 概念就是聊天機器人。那麼他們可以做得更好 "
最後他還打了個小廣告，目前他的多智能體團隊還在招人 ing。
網友評論
如果再結合昨天 Ilya 談到「預訓練時代即将終結」。那麼對于市場來説，這一波可不是利好英偉達了（Doge）。
不過也有從業者站出來反對他的看法：推理時間計算（Inference Time Computation）并不新鮮，本來還想把它去掉，但出于需要又讓它回來了。
他還糾正説，裏面關于諸多遊戲時間順序是錯誤的，許多遊戲（包括國際象棋和圍棋）一開始都只專注于推理時間計算。但後來大家都傾向于離線學習策略，這樣省去了大量的在線計算時間。
因此，減少面向用户的推理時間計算是一個深思熟慮的選擇，甚至導致該領網域開始改變對計算復雜性考慮的方式。
這一趨勢在 LLMs 中也得到了延續——所有的重點都放在預訓練上，因此推理時間的計算量可以忽略不計。這樣對終端用户來説成本極低，甚至可以在本地的邊緣設備上完成。
Ilya 在談到未來超級智能的暢想時，也提及了當前推理的不可預測性：
推理越多，系統變得越不可預測，這一點在一些復雜任務中表現得尤為突出。
他還提到：
目前的 AI 系統還不能真正理解和推理，雖然它們能模拟人類的直覺，但未來的 AI 将會在推理和決策方面展現出更加不可預測的能力。
不過大模型到底會朝着哪些能力上擴展，這個還得看這些科學家們持續探索。
One More Thing
本來啊，從現場 repo 來看，這本來是個關于數學 AI 的研讨會，硬生生地被他弄成了讨論大模型推理 Scaling Law。
現場也是人很多，據説門口都還有 20 多個人在排隊等待。當然也有部分原因是房間太小了。
參考鏈接：
[ 1 ] https://x.com/swyx/status/1867990396762243324
[ 2 ] https://x.com/e__honig/status/1868002417045840243
[ 3 ] https://x.com/drapersgulld/status/1868023022390485052
— 完 —
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
