今天小編分享的互聯網經驗:收手吧Sam Altman!外面全是GPT-4,歡迎閲讀。
滿世界都是 GPT-4 們
GPT-4 問世一年後,全世界已經到處都是 GPT-4 級别的大模型了。
尤其是最近幾個月,這些模型以越發密集的頻率現身。
最近的一個就在剛剛。在 Google Cloud Next 24 大會上,Google 把今年二月發布的對标 GPT-4 的 Gemini 1.5 系列,進一步開放給用户。Google 宣布,在經過兩個月的小範圍公測後,Gemini 1.5 pro 通過 API 方式已經對 180 多個國家和地區開放,并且在其對标 GPT-4 的性能表現之外,此次 Gemini 1.5 Pro 還增加了強大的音頻理解能力,可以根據用户輸入的文本提示,理解、總結上傳的視頻、音頻内容——過往你需要把音頻等轉成文字,而現在這一步可以省去了。
此外 Gemini 1.5 pro 還增加了系統指令、JSON 模式以及函數調用優化等。
在此次 Google 雲的場子上,Gemini 1.5 pro 的能力提升還伴随着一系列從芯片到系統的全面解決方案,Google 正加緊跟 GPT-4 搶生意的步伐。
而不只是 Google,同一天,Grok 2.0 的消息也傳出。據報道,馬斯克在一次采訪中透露,自己的人工智能初創公司 xAI 正在 2 萬張 H100 上訓練 Grok 2.0,并将于 5 月份推出。而且,他相信新版本不僅比 GPT-4 更強大,還将超越市面上所有大模型标準。甚至揚言訓練 Grok 3 會用到 10 萬張 H100 GPU,到時就算 GPT-5 也會被秒成渣渣。
這還沒完。
似乎是還嫌這世界上的 "GPT-4 們 " 不夠多,據 The Information 前一天的消息,Meta 也計劃于下周推出 Llama 3 的兩個小版本,作為夏天發布最大版本的前奏。
而與大模型相比,小型模型通常更便宜、運行速度更快,對于構建移動設備 AI 軟體很有實用價值。去年 7 月發布的 Llama 2-7b、Llama 2-13b 和 Llama 2-70b 因其免費開源而廣受社區歡迎,而今兩個小版本 Llama 3 的消息也将振奮開發者情緒。扎克伯格年初宣布 35 萬張 H100 即将入荷,正在積極訓練 Llama 3,看來很快就要兑現。據 Meta 稱,Llama 3 完全版将是多模态的,可能會超過 1400 億個訓練參數,并希望它真正成為 " 開源版 GPT-4"。
再加上今年 2 月對标 GPT-4 的 Mistral Large,推理速度、MMLU 等關鍵性能上媲美 GPT-4;上月底 " 開源新王 "Databricks 發布的号稱比 Llama 2、Mistral 和 Grok 1 更強的 DBRX;以及更令人印象深刻的 Anthropic 的 Claude 3......
全世界到處都是 GPT-4 了。
GPT-4 的瓶頸意味着什麼
2022 年 11 月 30 日,OpenAI 首次發布了由 GPT-3.5 模型驅動的 ChatGPT,之後一切都徹底改變。
在 ChatGPT 首次發布四個月後,2023 年 3 月 14 日,OpenAI 正式推出了 GPT-4,後續不斷改進,引入多模态能力、增加實時搜索、拉長上下文、重新定義開發者… .OpenAI 幾乎引領了生成式 AI 所有的技術革新,GPT-4 也成為最領先的模型。
所以,如果從 OpenAI 和 ChatGPT 的公開發布節奏來算,GPT-3.5 的領先只持續了不到 6 個月,就被 GPT-4 取代,然而 GPT-4 作為最強模型卻已經持續了一年多。同時,同樣水平的模型開始顯得 " 到處都是 "。
對于其他行業來説,這已經是個日新月異的瘋狂節奏,但拿大模型的進步速度來看,這卻給人一種感覺,就是大模型似乎進入了一個瓶頸期。
OpenAI 也一定會焦慮,但它拿出的似乎只是更多的 GPT-5 的傳言和一個 GPT-4 Turbo 的正式版。
在 Google 用 Gemini 1.5 pro 的更新和放量針對 OpenAI 的同時,OpenAI 也做了應對,宣布 GPT-4 Turbo 不再只是以預覽版提供給開發者,而是發布了正式版。它自帶讀圖能力不再需要調用 GPT-4V 接口,訓練數據更新到了 2023 年底。與 GPT-4 普通版支持 8K 上下文相比,它能支持 128k 上下文。
盡管 OpenAI 官方對此形容為模型能力 " 大範圍提升 ",但外界期待的顯然不是這個。
那麼這種看起來越來越可能的瓶頸期對行業意味着什麼?
對于對 AGI 快速到來滿懷期待的人們來説,這顯得很糟糕。但其實對期待生态和商業機會爆發的人們來説,瓶頸可能不是個 " 壞事 "。這意味着底層模型能力和技術路線的颠覆頻率變的沒那麼瘋狂,建立在上面的應用和中間層都可以有更高的确定性。
同時,對于那些真正的大客户來説,他們也可以不再 " 等等看 " ——當底層能力每幾周就突破一次的時候,賬期動辄好幾個月的產業側客户們自然會選擇持續觀望而不是馬上撥動預算。而當他們看到技術似乎穩定下來,情況就會變化。
而對于 Sam Altman 來説,他正在面對又一個全新的局面。
GPT-4 作為最強模型的時間越久,就越可能有更多的對手追上來,但追上來的對手似乎又都沒有達到像 GPT-4 對 GPT-3.5 那樣的超越。那麼,他過往一段時間領導 OpenAI 在執行的策略——依靠技術路線的領先來更早的拿到最多的商業化訂單和融到更多的錢,然後反哺研發,延續 Scaling law,繼續保持代際領先的路線,就可能不再成立。
當對手一次次的跟上,用户們一次次的喊着 GPT-5 就要來了但又一次次沒來的時候,OpenAI 正變得不再獨特,這家公司需要 Sam Altman 去做的,就越來越像一個科技公司大廠 CEO 要做的事情,去一個差異化不大的市場裏比拼最基本的商業競争能力——當外面到處都是 GPT-4,Sam Altman 的那些高調打法,可能就要 " 收手 " 了。