今天小編分享的互聯網經驗:Meta發布最新開源大模型Llama 3,持續追趕OpenAI,歡迎閱讀。
圖片來源:視覺中國
當地時間 4 月 18 日,Meta 發布了其最新開源模型 Llama 3,提供 8B 和 70B 的預訓練和指令微調版本。這是目前為止最先進的開源模型,會對包括 OpenAI 在内的大模型公司形成強力競争,也能夠讓眾多依賴開源模型的人工智能公司受益。
在大盤小跌的情況下,Meta 股價上漲 1.54%。
根據 Meta 官方介紹,Llama 3 在兩個定制的 24K GPU 集群上基于超過 15T 的數據進行了訓練——這比 Llama 2 使用的數據集大 7 倍,多 4 倍的代碼,并且 Llama 3 支持 8K 上下文長度,是 Llama 2 容量的兩倍。
圖片來源:Meta 官方
此外,Meta 還放出了 Llama 3 兩個版本與谷歌 Gemma、谷歌 Gemini、Mistral、Anthropic 的 Claude 3 等競争對手的參數對比。
對于用戶來說,也能夠通過 Meta 自己推出的 Meta AI 來感受 Llama 3。Meta CEO 扎克伯格介紹,Meta AI 将集成到 Meta 旗下各大產品 WhatsApp、Instagram、Facebook 和 Messenger 頂部的搜索框中,并建立了一個網站 meta.ai,使其更易于使用。
根據 Meta 首席科學家 Yann LeCun 稱,未來幾個月 Llama 将繼續推出更多版本,也将很快釋放 Llama 3 的研究論文。英偉達高級科學家 Jim Fan 認為之後可能會發布的 Llama 3-400B 以上的版本其将成為某種 " 分水嶺 ",開源社區将能用上 GPT-4 級别的模型。
值得關注的是,Llama 3 的推出像其此前版本一樣引發了開源社區的轟動,但就在本周早些時候,百度創始人李彥宏公開表示,開源模型将越來越落後。
李彥宏稱,開發者通過百度的文心 4.0 降維裁剪出來的更小尺寸模型,要比直接拿開源模型調出來的模型,同等尺寸下效果明顯更好;同等效果下,成本明顯更低。" 大家以前用開源覺得開源便宜,其實在大模型場景下,開源是最貴的。所以開源模型會越來越落後。"