今天小編分享的科技經驗:大模型打響開閉源之戰,歡迎閱讀。
圖片來源 @視覺中國
文 | 科技新知
大模型的開、閉源之戰,開始得比想象中早上一些。
7 月 18 日,Facebook 母公司 Meta 表示,将發布其開源大模型 Llama 的商用版本,為初創企業和其他企業提供了一個強大的免費選擇,以取代 OpenAI 和谷歌出售的昂貴的專有模型。同時宣布,Llama 将由微軟通過其 Azure 雲服務分發,并将在 Windows 作業系統上運行,并稱微軟是 " 我們的首選合作夥伴 "。
一時間,有不少分析人士認為,Llama 将改變 AIGC 的產業格局。Meta 副總裁、人工智能部門負責人楊立昆也趕來站台,"Llama 2 将改變大語言模型市場的格局。" 事實真的如此沒有懸念嗎?
開源(Open Source),即開放源代碼,最早起源于 20 世紀 50、60 年代的美國。早期開發互聯網技術和電信網絡協定時,研究人員需要進行開放式的協作環境。而 1968 年 Internet 的先驅阿帕網(ARPANET)的建立,成為了對開放源代碼可行性展示的标志。到了 1985 年,自由軟體運動領袖理查德 · 斯托曼(Richard Stallman),看到以專利軟體為手段的商業化逐漸取代實驗室中免費可自由流通的軟體後,發表了著名的 GNU 宣言,開啟了開源運動,最終導致了免費的 Linux 作業系統的誕生。
自 ChatGPT 爆火以來,将其開源的呼聲未曾斷絕。可就在 ChatGPT2 發布之後,OpenAI 選擇了閉源發展。這也未必完全出于規避競争的考量,就算某天 OpenAI 真的完全 open 了,其他同行也不能簡單復制其成功的路徑。
因為 ChatGPT 能夠引發 "iPhone 時刻 " 的原因在于,強大的生成能力給予了人們不一樣的場景體驗。但這背後依賴 OpenAI 很長一段時間内在算力、算法和數據方面的積累。實際上,在這場全球大模型軍備賽中,有關開源發展和閉源深耕的争論将繼續下去不止不休。
開源 or 閉源
歷史的車輪總會重復碾過,在互聯網發展史上,有關開源和閉源的戰争一直都在上演。
除了上文理查德 · 斯托曼的 GNU 宣言,打響對閉源的第一槍外,随後的 PC 時代有關開閉源的争論也沒停過。
PC 剛興起之時,微軟内部的研發團隊通過閉源開發 Windows 作業系統,并開發配套的應用軟體如 Office 等,并在生态建設方面組局 Inter 形成 Wintel 聯盟,成功搶占了 PC 市場。而 Linux 在那個時期,則屬于自發的 " 民間組織 ",由全球開發者共同參與建設,通過開源與微軟形成了一定的競争。
到了移動互聯網時代,谷歌的 Android 和蘋果的 iOS 開閉源之争,也是各自走出了不同的路徑。基于 Android 的開放,誕生了一大批的定制化手機作業系統,比如國内小米的 MIUI、OPPO 的 ColorOS 等,就連車機端的比亞迪車機系統都是基于 Android 開發而來。當然,就商業成功的角度來看,微軟和蘋果的陣地一定時期内更加牢靠。
在 SaaS 的發展史上,軟體的開源也與上同理。中科院院士、CCF 開源發展委員會主任王懷民教授關于開閉源認為,在一個确定發展方向的時代中,閉源公司的推進效果是明顯的,競争力也是極強的。" 但當一個不确定性的互聯網時代到來時,開源吸引了全球開發者參與其中的可能,使得後來的伺服器作業系統、雲作業系統、手機作業系統、物聯網作業系統都是以開源的 Linux 為基礎。"
國外有 ChatGPT 與 Llama 之争,國内的大模型廠商也各有千秋。
如阿裡雲、智譜和清華 EKG、百川智能等,選擇了開源。阿裡雲公布 1+4 開源戰略,推出大模型方向的開源新勢力魔搭 GPT。阿裡巴巴達摩院高級算法工程師李晨亮,曾對外表示," 開源生态肯定是有助于大模型的繁榮。" 反之,華為的盤古大模型就選擇了閉源,也是為了其數據隐私和商業收益的考慮。
價優者勝?
大模型開源之後,會吸引更多的人才參與進入,加快技術進步,但想要實現突破,還需要從底層理解模型框架和算法基本原理。眾所周知,人工智能三要素是:算力、算法和數據。開源只是處于算法階段,之後還需要對其進行大量的算力支持和數據訓練,這背後的成本就相當高昂。
以 OpenAI 為例:業内人士表示,大模型訓練和運行将耗費巨大的算力資源和數據,僅是在 2022 年,OpenAI 總計花費就達到了 5.4 億美元,與之形成鮮明對比的,則是其產生的收入只有 2800 萬美元。
有行業消息透露,一家上市公司的人工智能部門打算用 OpenAI 的 GPT-3.5 開發功能,但迫于成本和定制開發以及不支持同一時間響應大量用戶請求的原因,選擇了參數量更小的 Llama 和一個國内公司的開源大模型,在後期的訓練和部署的成本也會更低。
" 開源模式的任何漸進式改進都在蠶食閉源模式的市場份額,因為你可以以更低的成本運行它們,而且依賴性更小。" 軟體開發平台 Replit 的首席執行官 Amjad Masad 表示。
開源也能讓其他新加入者更快适應 AI 產業。比如在谷歌洩漏的檔案中就提到:幾乎任何人都能按照自己的想法實現模型微調,到時候一天之内的訓練周期将成為常态。以這樣的速度,微調的累積效應将很快幫助小模型克服體量上的劣勢。
更多的人進來使用,就會產生更多的數據。這些互聯網原生内容的常态化訓練,遠比一家公司僅憑一己之力去做數據的采集和标注要簡單得多。
共享出 Llama 的 Meta 表示,收集的數據代表着根據經驗采樣的人類偏好,由人類标注員選擇自己更喜歡兩條模型輸出中的哪一條。人類給出的反饋意見随後将用于訓練獎勵模型,該模型會不斷學習人類标注員的偏好模式,再據此自動執行偏好決策。
開源的好處顯而易見,閉源的道理也邏輯扎實。
元創資本的研究顯示,相較于開源來說,閉源模型相對成熟、數據質量更有保障,同時也省去了部署的麻煩,費用相對較低,僅需支付 token 的費用。
當然最重要的是,對于廠商來說, 閉源還有着商業的考量。根據權威雜志《Fast Company》預測,OpenAI 2023 年的收入将達到 2 億美元,包括提供 API 數據接口服務、聊天機器人訂閱服務費等。
對壘剛開始
上個月,獵豹移動 CEO 傅盛與投資人朱嘯虎的口水戰引發熱議。核心衝突就在于行業對于大模型的價值思考,在于大模型能不能解決問題。
如今,以 OpenAI 為代表的大公司、強算力、強算法,共同砌成了一道普通創業者和開發人員難以突破的圍牆,以至于當市場上出現其他類似開源的應用時,人們都認為是大模型行業的壟斷要被打破了。
實際上,自 OpenAI 推出 ChatGPT 引發全球跟風以來,英偉達的股價便迎來了暴漲,主要源于廠商對算力芯片的強烈需求。換句話說,即使開源了人人都有大模型,那算力、算法和數據訓練的工作還是需要有人來做。并且開源也僅僅相當于開放了設計圖紙,你可以在圖紙上進行調優,但并不代表就能完整造出一幢建築。
就比如一些大模型產品剛上線時,經常出現語義理解不準确,產出結果令人啼笑皆非的現象。背後原因就是對高質量數據的篩選和訓練得過少,導致數據的準确性直接影響人工智能的產出結果。
但訓練數據并不是一時的,涉及到數據的采集、清洗、标注的另一條產業鏈。在過去的很長一段時間内,這個環節都是由專門的數據處理公司來做,也就是說,需要進行長期的人力投入。
有業内的數據優化工程師表達了類似看法,大模型本身的泛化能力仍受限于數據。如果說 ChatGPT 要替代某個職業或崗位的話,最簡單的一個判定标準即是,是否具備數量足夠多、質量非常好的數據。同理,想要通過開源去打破壟斷的模型,還需要對數據進行足夠的優化,對基礎設施的投入足夠得多。
大模型的開閉源之争,終究不會是靠某一個或幾個產品的出現而終結,更多的還要頂尖人才參與、技術迭代和資金支持。想要打破壟斷,還需要考慮時間的因素以及對高質量數據的篩選。
開或閉,從來不是最根本的問題,產品體驗與市場需求的匹配,才是起決定作用的勝負手。