今天小編分享的科學經驗：開源大模型重擊OpenAI！小扎放出LLaMA2炸裂科技圈，聯手微軟高通衝擊市場格局，歡迎閱讀。
一紙公告，" 大模型市場格局變了 "。
Meta 與微軟聯手發布免費、可直接商用的 LLaMA2。而作為首選合作夥伴，微軟 Windows 可本地運行這一版本。
此外在 AWS、Hugging Face 上也可以獲取，高通也官宣成為其合作夥伴。
這種背刺 OpenAI 的操作，讓不少網友直呼刺激。
還有人對這種開放程度表示驚嘆，畢竟上個開源版本就已被產學研界廣泛使用——LLaMA 訪問需求已超 10 萬次，已經有小夥伴開發應用程式供大家免費測試了。
但與此同時，質疑聲随之而來：
核心作者已離開 Meta，論文正文查無此人；
如此注重安全，以至于最終可能毫無用處；
雖說可商用，實際上有附加限制。
……
有人調侃小扎 be Like：
核心作者已離開
此次 LLaMA2 的發布，從作者列表開始就已經透露不少玄機。
首先，規模更大，團隊集成到了GenAI部門。這是小扎專門應時而設的生成式 AI 產品部門。
第二，昔日一些核心作者已經不見蹤影。比如 Armand Joulin, Edouard Grave, Guillaume Lample，Timothee Lacroix 等。
其中一位在網上吐槽：
因為核心作者離開公司就将其從論文中删除，這是我很慶幸離開 Meta 的原因之一。
事實上，在論文的附錄上，還能看到他們的名字。不過正文部分已經查無此人。
據小扎和 GPT-4 介紹，此次 LLaMA2 共發布了從 70 億、130 億、340 億以及 700 億參數的預訓練和微調模型，将免費提供用于研究和商業用途。
預訓練過程，相較于上一代數據增長 40%，上下文長度也增加了一倍，并采用分組查詢注意力機制（GQA）來提升性能。
微調階段，其版本稱為 Llama 2-Chat，共收集了超 100 萬條人工标注用于 SFT（監督微調）和 RLHF。
值得一提的是，此次還曝光了每個預訓練模型 GPU 所需總時長。
熱心的網友測算了下總成本，如果以 1.5 美元 /A100 計算，那麼700 億參數模型成本将為 260 萬美元。
感興趣的朋友可進一步前往論文查看哦 ~（文末附上鏈接）
微軟成 LLaMA2 首選夥伴
不過除了 LLaMA2 本身值得關注之外，其開放合作機制也引發了不少的熱議。
公告中雖然強調" 免費用于研究和商業用途 "，但仍有不少限制。
因此有人直言：我不明白 LLaMA2 這次炒作！
比如，可商用協定實際暗含附加限制。
有網友發現在 GitHub 許可證檔案上發現，如果使用者利用 LLaMA2 提供產品或服務，月活躍用戶超過 7 億，那麼必須向 Meta 申請許可。
而 Meta 可自行決定向其授予許可。
還有就是可接受使用政策限制很多。這樣一來，就可能導致 " 回答得很無聊，最終可能導致毫無用處 "。
在政策中可以看到，主要分為四個部分：違反法律或侵犯他人權利；參與、促進、煽動、促進或協助規劃或開展對個人造成死亡或身體傷害風險的活動；故意欺騙或誤導他人；未能适當向最終用戶披露人工智能系統的任何已知危險。
因此有人認為相較 ChatGPT 而言，LLaMA2 少了些靈活性。這可能就是開源與閉源之間的區别。
但不可否認的是，Meta 堅定選擇開放開源這條路徑。
甚至于此次，還邀請了產學研界的夥伴高調地發表了一篇支持聲明。
包括英偉達、AMD、HuggingFace、YC、GitHub、 Databricks、Shopify、Zoom 等公司的企業高管，還有 UC 伯克利、MIT 等教授，比如 CMU 教授、MBZUAI 大學校長邢波。
以及更多夥伴也順勢官宣與 Meta 合作，把 LLaMA2 集成到自己的產品中去，比如高通。
對此此番 LLaMA2 炸場，你怎麼看？
而開源與閉源，在大模型時代，究竟誰才是更優解？
論文鏈接：
https://scontent-sjc3-1.xx.fbcdn.net/v/t39.2365-6/10000000_663429262362723_1696968207443577320_n.pdf?_nc_cat=101&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=5ol-jUSglG4AX_QM_ym&_nc_ht=scontent-sjc3-1.xx&oh=00_AfAjtvFkEIu8MPpfQykAZosxwZrew4g_n0D_DKkTOuyIVA&oe=64BBB691
參考鏈接：
[ 1 ] https://about.fb.com/news/2023/07/llama-2-statement-of-support/
[ 2 ] https://about.fb.com/news/2023/07/llama-2/
[ 3 ] https://twitter.com/ylecun/status/1681336284453781505
[ 4 ] https://github.com/facebookresearch/llama/blob/main/LICENSE
[ 5 ] https://arxiv.org/abs/2302.13971
[ 6 ] https://twitter.com/moinnadeem/status/1681393075367841792
[ 7 ] https://twitter.com/GuillaumeLample/status/1681346701766934543?s=20
[ 8 ] https://chat.openai.com/share/c9868736-934f-40ce-a470-c0bb4359c260
[ 9 ] https://www.facebook.com/zuck/posts/pfbid02j7TCKZHRe1X4K3DA7EdA96q6Cx7DS3ZixKyrqsyx7NvUwx9X88V18nnqLF3BAsXjl
