今天小編分享的互聯網經驗:鈕祜祿·Meta:發布最強開源新模型Llama 2,拉攏微軟做盟友,歡迎閱讀。
文 | 張一弛
編輯 | 鄧詠儀
在 ChatGPT 和 Bard 對壘之際,如今 Meta 開始高調奮起進擊。
北美時間 7 月 18 日,META 公布最新大模型 Llama 2(羊駝 2),包含 7B、13B 和 70B 三種參數變體,可免費用于商業或者研究。
Meta 首席人工智能科學家楊立昆在 Twitter 上表示," 這将改變大模型市場格局。"
Llama 是 Meta 在 2023 年 2 月發布的開源大模型,由于主要競争對手 GPT-4 與谷歌 PaLM 都采取了閉源的方式,Llama 一經推出就被認為是最強開源大模型,使用了 1.4 萬億個 tokens 進行訓練。國内外不少大模型創業公司,基于 Llama 之上做開發的不在少數。
Tokens 是大模型處理與生成語言文本的基本部門,通常來說,用于訓練的 tokens 越多 AI 就越智能。據 CNBC 報道,谷歌最新大模型 PaLM 2 使用 3.6 萬億個 tokens 進行訓練;而 GPT-3 使用的 tokens 數量為 3000 億,多家媒體推測,GPT-4 的 tokens 也達到了數萬億個。
這是一次萬眾矚目的發布。相比第一代,無論是在參數量、性能上都有大幅提升,其訓練時間是在 2023 年 1 月 -7 月,用于訓練的 tokens 數量提高了 40%,達到兩萬億個。
除此之外,Llama 2 上下文長度增加一倍,達到 4096 個字元,這和 GPT-3.5 的參數持平。
通過公布的測評結果顯示,Llama 2 不僅性能遠強于 Llama 1,同時在包括推理、編碼、精通性和知識測試等許多外部基準測試中都優于其他開源語言模型。
與閉源大模型相比,Llama 2 目前性能已追上競争對手谷歌與 OpenAI 的上一代產品,但仍與最新一代有差距。
Meta 将 Llama 2 70B 與閉源模型進行比較,在大規模多任務語言理解(MMLU)和高質量小學數學問題(GSM8K)表現接近 GPT-3.5,在編碼基準 ( HumanEval ) 上存在顯著差距。
相比谷歌 PaLM ( 540B ) ,Llama 2 70B 幾乎所有結果持平或表現更好,但與 GPT-4 和 PaLM-2-L 在參數上仍有較大差距。
來源:官方,Llama 2 性能對比
目前 Llama 2 在性能上難以撼動 OpenAI 的市場地位,但免費商用後,Meta 有望利用開源生态實現彎道超車。
相比閉源大模型,用戶可以低成本的在本地伺服器上部署開源大模型,以構建适用于自身業務的專用大模型,不需要将數據放到 OpenAI 等閉源大模型提供商的伺服器中。同時開源社區中大量技術大牛會為開源大模型提供源源不斷的創意,大模型迭代速度更快。
比起前一代只能用于研究用途,如今的 Llama 2 會催生新一波的 AI 大模型創業熱潮。微軟表示,Llama 2 已經針對 Windows 進行優化,直接可以在 Windows 本地運行。
Windows 目前還是全球市場占有率最高的作業系統——這意味着,Llama 2 一推出,馬上就能面向更多群體,個體戶或是個人在本地調試自己專屬大模型的門檻,是真正意義上的大大下降。
而無論 OpenAI、谷歌和 Meta 在前面怎麼打,坐收大模型之利的都是微軟。
Meta 在公布 Llama 2 的同一天,也直接官宣了和微軟的合作。" 我們将與 Microsoft 的合作關系提升到新的水平,微軟會作為 Llama 2 的首選合作夥伴。"Meta 表示。以後,微軟 Azure 雲服務的用戶,在雲上就可以直接微調部署 Llama 2。
扎克伯格公布合作新聞,并發布與微軟 CEO 薩提亞合影 來源:扎克伯格社交媒體
受影響最大的,無疑是和微軟同樣深度綁定的 OpenAI。此前,微軟通過投資的方式,獲取了 OpenAI 49% 的股份,成功讓 GPT 賦能 Bing 等多款應用,微軟 Office 365 内置的 AI 助手 Copilot,用的就是 OpenAI 的技術。
而 OpenAI 和微軟深度綁定後,為了能籌集到更多資金,完成與微軟的收入約定,從發布 GPT-4 後開始選擇閉源,這是為業界诟病的一大問題。
如今,微軟轉頭就如法炮制,與 Meta 深度綁定,顯然是不願意将雞蛋放在一個籃子中,這無疑會進一步讓大模型的競争格局變得更加復雜。
開源、閉源之争可以說是推動技術進步的最重要力量——當年安卓和 Apple 的 IOS 系統大戰就是證明,如今 apple 依舊生态封閉,但全球市占率最高的手機作業系統依舊是安卓。
盡管不少媒體表示大模型競争格局 " 一夜變天 ",但這在 AI 發展史上,并不是新鮮事。" 計算機視覺領網域的 AlexNet、GoogLeNet、ResNet,NLP 領網域的 Transformer、最新的 GPT/GLM 模型等等,均是如此。" 前阿裡雲副總裁,剛創立 AI infra 公司 Lepton AI 的賈揚清在個人博客中表示。
如今閉源的 OpenAI,與 Meta 為首的開源勢力之間的競争還會持續很久。" 模型除了一到兩個頭部玩家之外,無法形成壁壘,開源生态必然會以更加用戶友好的方式來蠶食市場。" 賈揚清表示。