今天小編分享的互聯網經驗：大模型遭洩兩月後，Meta意外變赢家，歡迎閱讀。
圖片來源 @視覺中國
文｜元宇宙日爆
一份被意外洩露的谷歌内部檔案，将 Meta 的 LLaMA 大模型 " 非故意開源 " 事件再次推到聚光燈前。
" 洩密檔案 " 的作者據悉是谷歌内部的一位研究員，他大膽指出，開源力量正在填平 OpenAI 與谷歌等大模型巨頭們數年來築起的護城河，而最大的受益者是 Meta，因為該公司 2 月意外洩露的 LLaMA 模型，正在成為開源社區訓練 AI 新模型的基礎。
幾周内，開發者與研究人員基于 LLaMA 搞起微調訓練，接連發布了 Alpaca、Vicuna、Dromedary 等中小模型，不只訓練成本僅需幾百美元，硬體門檻也降低至一台筆記型電腦甚至一部手機，測試結果不比 GPT-4 差。
除了 AI 模型之外，FreedomGPT 等類 ChatGPT 應用也如雨後春筍般湧現，基于 LLaMa 的 " 羊駝家族 " 不斷壯大，這位研究員認為，Meta 很可能借此形成生态，從而成為最大赢家。
事實上，人工智能的世界裡，的确有一部分進入了 " 安卓時刻 "，這個部分就是開源社區。特斯拉前 AI 主管 Andrej Karpathy 評價開源社區中的 AI 進化時稱，他看到了 " 寒武紀大爆發的早期迹象 "。
在 AI 競速的賽道上，奔跑的不只有科技巨頭，開源社區正在從小徑中湧入大道，成為人工智能開發層面不可忽視的力量。
LLaMa 意外開源養出 " 羊駝家族 "
" 我們沒有護城河，OpenAI 也沒有。" 一篇來自 Google 内部的文章在 SemiAnalysis 博客傳播，文章作者認為，Meta 的 LLaMa 開源模型快速聚集起生态雛形，正在消除與 GPT 之間的差距，開源 AI 最終會打破 Google 與 OpenAI 的護城河。
這篇文章讓人重新注意到了 Meta 的 LLaMA 大模型，該模型代碼被洩露後的 2 個月裡意外成了開源社區訓練自然語言模型的基礎，還產生了諸多中小模型及應用。
時間回到今年 2 月 24 日，Meta 推出大語言模型 LLaMA，按參數量分為 7B、13B、33B 和 65B 四個版本。别看參數量遠遠不及 GPT-3，但效果在 AI 圈内獲得了一些正面評價，尤其是能在單張 GPU 運行的優勢。
Meta 在官方博客中曾稱，像 LLaMA 這種體積更小、性能更高的模型，能夠供社區中無法訪問大量基礎設施的人研究這些模型，進一步實現人工智能大語言模型開發和訪問的民主化。
" 民主化 " 來得異常快。LLaMA 推出一周後，一位名叫 llamanon 的網友在國外論壇 4chan 上以種子檔案的方式上傳了 7B 和 65B 的 LLaMA 模型，下載後大小僅為 219GB。此後，這個種子鏈接被發布到開源社區 GitHub，下載量超過千次。LLaMA 就這樣被洩露了，但也因此誕生了諸多實驗成果。
最初，名叫 Georgi Gerganov 的開發者開源了一個名為 llama.cpp 的項目，他基于 LLaMA 模型的簡易 Python 語言的代碼示例，手撸了一個純 C/C++ 語言的版本，用作模型推理。換了語言的最大優勢就是研究者無需 GPU、只用 CPU 能運行 LLaMA 模型，這讓大模型的訓練硬體門檻大大降低。
正如谷歌那位研究員寫得那樣，" 訓練和實驗的門檻從一個大型研究機構的全部產出降低到 1 個人、1 晚上和 1 台性能強大的筆記型電腦就能完成。" 在開發者的不斷測試下，LLaMA 已經能夠在微型計算機樹莓派 4 和谷歌 Pixel 6 手機上運行。
開源社區的創新熱情也徹底點燃，每隔幾天都會有新進展，幾乎形成了一個 "LLaMA（羊駝）生态 "。
3 月 15 日，斯坦福大學微調 LLaMA 後發布了 Alpaca（美洲駝）模型，僅用了 52K 數據，訓練時長為 3 小時。研究者宣稱，測試結果與 GPT-3.5 不分伯仲，而訓練成本還不到 600 美元，在一些測試中，Alpace 與 GPT-3.5 的獲勝次數分别為 90 對 89。
随後，加州大學伯克利分校、卡内基梅隆大學、加州大學聖地亞哥分校的研究人員又提出新的模型 Vicuna（小羊駝），也是基于 LLaMa 做出來的，訓練成本僅 300 美元。
在該項目的測評環節，研究人員讓 GPT-4 當 " 考官 "，結果顯示，GPT-4 在超過 90% 的問題中更強傾向于 Vicuna 的回答，并且 Vicuna 在總分上達到了 ChatGPT 的 92%。
用 GPT-4 測評 Vicuna 與其他開源模型
短短幾周，基于 LLaMa 構建的 " 羊駝家族 " 不斷壯大。
4 月 3 日，伯克利人工智能研究院發布了基于 LLaMa 微調的新模型 Koala（考拉），訓練成本小于 100 美元，在超過一半的情況下與 ChatGPT 性能相當；5 月 4 日，卡内基梅隆大學語言技術研究所、IBM 研究院與馬薩諸塞大學阿默斯特分校的研究者們，推出了開源自對齊語言模型 Dromedary（單峰駱駝），通過不到 300 行的人工标注，就能讓 65B 的 LLaMA 基礎語言模型在 TruthfulQA（真實性基準）上超越 GPT-4。
在國内，垂直醫療領網域的 " 羊駝家族 " 成員也出現了，哈爾濱工業大學基于 LLaMa 模型的指令微調，推出了中文醫學智能問診模型 HuaTuo（華駝），該模型能夠生成專業的醫學知識回答。
哈工大推出中文醫學智能問診模型 HuaTuo（華駝）
基于該模型的開源創新不僅在大模型上，應用層也有多點開花之勢。
3 月 31 日，AI 公司 Age of AI 推出了語言模型 FreedomGPT，正是基于斯坦福大學的 Alpaca 開發出來的；3 月 29 日，加州大學伯克利分校在它的 Colossal-AI 基礎下發布了 ColossalChat 對話機器人，能力包括知識問答、中英文對話、内容創作、編程等。
從基礎模型層到應用層，基于 LLaMa 所誕生的 " 羊駝家族 " 還在一路狂奔。由于被 " 開源 " 的 LLaMA 出自 Meta 之手，那位發文的谷歌研究員認為，Meta 意外成了這場 AI 競争中的最大受益者——借助開源社區的力量，Meta 獲得了全世界頂級開發者的免費勞動力，因為大多數開源的 AI 創新都發生在他們的基礎架構内，因此，沒有什麼能阻止 Meta 将這些成果直接整合到他們的產品中。
開源力量觸發 "AI 的安卓時刻 "
ChatGPT 引爆 AI 熱後，英偉達的 CEO 黃仁勳将這股浪潮喻為 "AI 的 iPhone 時刻 "，他認為，AI 行業進入了如 iPhone 誕生颠覆手機行業時的革命性時間點。而當 LLaMA 開啟開源社區的小宇宙後，網友認為，"AI 的安卓時刻 " 來了。
回顧過去，谷歌曾以開源思想讓更多的開發者參與到安卓應用生态的建設中，最終讓安卓成為電腦與手機的系統 / 應用主流。如今，LLaMA 再次讓 AI 業内看到了開源力量的強大。
智能軟硬體件開發公司出門問問的 CEO 李志飛也注意到了谷歌這篇内部聲音：
" 大模型這個領網域，Google 已經在聲勢上大幅落後于 OpenAI。在開源生态上，如果 Google 再猶豫不決，後面就算想開源也會大幅度落後于 Meta 的 LLaMA。相反，如果開源，可以把 OpenAI 的壁壘進一步降低，而且會吸引（或留住）很多支持開源的高級人才。"
特斯拉前 AI 主管 Andrej Karpathy 認為：
" 當前開源大模型的生态之勢，已經有了寒武紀大爆發的早期迹象。"
确實，開發者對開源的 AI 模型前所未有的熱情正在從 Github 的打星量指标中溢出：Alpaca 獲得了 23.2k 星，llama.cpp 獲 26.3k 星，LLaMA 獲 20.8k 星……而在 " 羊駝家族 " 之前，AutoGPT 等開源項目也在 Github 擁有超高的人氣，突破 100k 星。
開發者對開源 AI 模型的打星量
此外，為了追趕 ChatGPT，構建大型開源社區的 AI 初創公司 Hugging Face 也在近日推出了開源聊天機器人 HuggingChat，該機器人的底層模型擁有 300 億個參數，并對外開放了訓練數據集。英偉達 AI 科學家 Jim Fan 認為，如果後續開發應用程式，Hugging Face 将比 OpenAI 更具優勢。
開源力量來勢洶洶，手握 OpenAI 的微軟也并不準備把雞蛋都放在一個籃子裡。今年 4 月，微軟推出了開源模型 DeepSpeed Chat，為用戶提供了 " 傻瓜式 " 操作，将訓練速度提升了 15 倍。
以 LLaMA 為核心的 AI 開源社區正在平行空間中，與 OpenAI 等走閉源路線的大模型巨頭展開競速，開源思想與實踐中爆發出的創新力量已經不容巨頭小觑了。
更多精彩内容，關注钛媒體微信号（ID：taimeiti），或者下載钛媒體 App
