今天小編分享的科技經驗：OpenAI的先進模型遭遇瓶頸，堆數據做不成AGI，歡迎閱讀。
外界對于人工智能最初的 " 期待感 " 正在消退，這無疑是當下整個 AI 行業最大的痛點，因此繼續支撐資本市場信心的似乎只剩下了 AGI（通用人工智能）。而 AGI 将在未來 5 年内實現，這也是 OpenAI CEO 阿特爾曼、特斯拉創始人馬斯克、英偉達創始人黃仁勳等一眾科技界大咖的預測。
從 ChatGPT 到 GPT-4 到 o1，從 LLama 1.0 到 3.0、Claude1 到 Claude3，如同打怪更新一般逐步實現 AGI，這是以 OpenAI 為代表的 AI 廠商試圖描繪的未來圖景。只是近日有消息顯示，OpenAI 下一代旗艦模型 " 獵戶座 "（Orion）的進步速度大幅放緩，合成數據越訓越像舊模型、編碼性能甚至還在退步。
其實不僅僅是 OpenAI，谷歌的 Gemini 2.0、Anthropic 的 Claude 3.5 Opus 等先進 AI 模型也被傳出遇到了瓶頸，以至于業界開始讨論如今被奉為圭臬 Scaling law 即将失效。事實上，關于 Scaling law 的論戰也是近期 X 平台的熱點，從 OpenAI 的開發者到 NYU、OSU 等知名大學的教授都參與其中。
所謂 Scaling law，其實是 OpenAI 在 2020 年提出的一個關于基于 transformer 語言模型的規律，指的是大模型的最終性能主要與計算量、模型參數量和訓練數據量三者的規模大小相關，與模型的具體結構基本無關。OpenAI 在發現了這個規律後，就搭建了擁有 200 億參數的 GPT-3.5-Turbo，而 ChatGPT 正是在後者的基礎上誕生。
要知道在過去相當長的一段時間裡，機器學習研究領網域并沒有把數據量作為主要研究對象，因為數據一般被認為是被動變量，大量的研究是集中在如何有效降低訓練誤差和控制模型復雜度上。客觀來說，Scaling law 也是過去兩年 AI 大模型賽道風起雲湧的基礎，因為它證明了通過預訓練使用更多的數據和算力，能夠讓 AI 模型的性能暴漲。
Scaling law 在 AI 領網域的意義就如同摩爾定律之于半導體行業，用李開復博士在知乎上的回答就可以解釋這條規律的重要性，"Scaling Law 的持續影響下，無論是矽谷還是國内，大模型賽道正在掀起一場 AI Infra 的‘軍備競賽’ "。
過去兩年，OpenAI、微軟、谷歌、Meta、Anthropic 等 AI 賽道的頭部廠商其實都在做同一件事，即以巨額計算資源為賭注，來賭 Scaling Law 的收益遞減未來能夠得到解決。在這一趨勢下，海量資金被用于購買算力芯片、籌建數據中心，以及購買數據。
而 Scaling Law 的存在也讓整個業界彌漫着一股樂觀情緒，仿佛購買更多的英偉達芯片、拿下更多的數據、獲取更多的水電資源，AGI 似乎就是水到渠成的事情。對于 OpenAI 等大廠來說，實現 Scaling Law 需要的硬體資源和工程實踐也是遠勝于技術和思想的護城河。
那麼為什麼會出現 OpenAI Orion 越訓練越像舊模型呢？因為 " 新的、未開發的高質量人類生成訓練數據 " 正在成為稀缺資源。在過去幾年裡，大模型的迭代更新過程幾乎已經把各種公開可用的數據集、網站、書籍，以及其他來源的數據耗盡，而合成數據的廣泛使用，則會導致新模型在訓練中變得與舊模型更貼近。
換而言之，如果解決了高質量訓練數據的供給，業界就能繼續在 Scaling law 這條道路上前進。問題在于高質量訓練數據的產出跟不上大模型的 " 消耗 "，并且随着越來越多内容擁有者認識到了數據的價值，使得其變得越來越貴。這就意味着數據匮乏的問題不僅在 2024 年變得嚴峻，在未來還将變得更難以解決。
Scaling Law 的邊際效應愈發凸顯、AI 大模型撞上 " 數據牆 "，這對于整個 AI 行業無疑是一個危險的信号。著名美國認知科學家、AI 泡沫論支持者 Gary Marcus 就在社交平台上表示，整個 AI 行業相關公司的高估值是建立在模型能力不斷增強，能夠迅速達到 AGI 的預期之上。
所以一旦迭代速度放緩，行業就将進入價格戰，這就意味着 AI 行業在找到自己的 " 現金牛 "、獲得切實的業績增長、回收基礎設施上的龐大投入前，需要先進行殘酷的消耗戰。這對于投資者而言無疑是一個晴天霹靂，也很難不讓他們聯想到當年的互聯網泡沫。
如果不想重蹈二十年前互聯網泡沫破裂的覆轍，AI 公司就必須找到 Scaling Law 之外的新道路。目前，OpenAI 給出的解決方案是切換賽道，The Verge 日前就發文稱， OpenAI 方面計劃于 2025 年 1 月推出名為 "Operator" 的 AI 智能體，其能力類似于 Claude 3.5 Sonnet、主打能像人類一樣操作電腦。
對此 OpenAI 首席產品官凱文・韋爾指出，2025 年可能是智能體進入主流市場的關鍵時間。其實智能體并不是什麼新概念，早在一年前，比爾 · 蓋茨就曾在博客文章中預言，AI 智能體将會成為繼 Windows、iOS/Android 之後的下一個平台。在此之前，OpenAI、Anthropic、谷歌、Meta 等引流潮流的頭部 AI 廠商之所以不做智能體，只是因為追逐 AGI 顯然更有 " 錢景 "。
如今在 Scaling law 失靈已經近在咫尺的情況下，頭部 AI 廠商的 AGI 夢看來将會變得遙遙無期。這時候重新撿起商業前景更好的智能體，就說明 OpenAI 更務實了，畢竟想要實現遠大的理想先得活下來才行。
【本文圖片來自網絡】
