今天小編分享的财經經驗：Meta内讧！大模型團隊人員流失大半 算力緊缺竟成導火索，歡迎閱讀。
《科創板日報》9 月 6 日訊（編輯 邱思雨） 據 The Information 報道，消息人士表示，Meta 參與 LLaMA 項目的人員大半都已辭職，原因是 Meta 另一研究團隊（OPT 團隊）與 LLaMA 團隊就算力資源展開了一場内部鬥争。
LLaMA 是 Meta 在今年 2 月發布的一款開源的人工智能大型語言模型。在今年 7 月，Meta 發布了其最新版本 LLaMA 2。相較上一代，LLaMA 2 訓練所用的 token 翻了一倍至 2 萬億。
而在 2 月發布的初代 LLaMA 模型的 14 位核心原作者中，已有超過一半的人全部離職，包括 Timoth é e Lacroix、Guillaume Lample、Marie-Anne Lachaux、Gautier Izacard 等。
論文地址：https://arxiv.org/pdf/2302.13971.pdf
另一 OPT 團隊則在 2022 年 5 月發布了開源大模型 OPT-175B，并在幾個月後着手開發與谷歌 PaLM 競争的競品，準備開發出第二個更大的模型。
而 LLaMA 團隊開發的模型則比 OPT 要小。知情人士透露，LLaMA 研究團隊認為較小的模型在推理時會高效。但由于 LLaMA 模型小，因此獲取的算力資源比 OPT 團隊要少，這或許讓 LLaMA 團隊的研究人員感受到不被重視。
Meta AI 相關負責人 Joelle Pineau 也在采訪中承認，LLaMA 和 OPT 團隊之間在算力分配上有些緊張。
另外，算力資源内鬥不僅導致了 LLaMA 團隊半數研究人員的出走，OPT 團隊同樣也面臨人員流失的問題。OPT 模型的 19 位原作者中，也有半數已離職 Meta。
論文地址：https://arxiv.org/pdf/2205.01068.pdf
原因主要系 OPT 團隊正在開發的與谷歌 PaLM 競争的競品，已被 Meta 放棄。Pineau 無奈地表示：" 所有研究團隊都想更新自己的模型，這時要麼選擇其中一個，要麼讓他們合作。"Meta AI 的一些高管也表達過質疑稱，OPT 和 LLaMA 兩個團隊項目的相似度過高，卻要競争有限的算力資源。
最終，Meta AI 的領導人決定進行團隊重組，将 LLaMA 和 OPT 團隊的部分研究成員聚集起來，成立了生成式 AI 團隊。
在 AI 算力競賽中，科技巨頭往往擁有比大多數公司更加充裕的算力資源。而 Meta 大模型研究人員因算力鬥争而相繼離職愈發印證了，目前業内算力緊缺程度比想象中還要嚴重，科技巨頭或許也不例外。
