今天小編分享的科技經驗:全面轉向生成式AI!蘋果推出300億參數多模态大模型,歡迎閱讀。
相較于英偉達、微軟等大型科技股,蘋果今年的表現令人失望不已,股價年内跌逾 10%,且失去了 " 全球市值最高公司 " 的寶座。
背後原因很簡單,蘋果在這場人工智能 ( AI ) 競賽中落伍了。為了擺脫窘境,蘋果近期放棄了造車項目,正在全面轉向生成式 AI 領網域,并且很快有了新動作。
就在近日,蘋果公司研發團隊發布了一篇論文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》,首次公布了多模态大模型 MM1,展示了該公司在 AI 方面的進展與實力。
據悉,MM1 最高參數量為 300 億,該模型支持增強的上下文學習和多影像推理,在一些多模态基準測試中有較好表現。
研究人員使用這些模型進行實驗,找出影響大模型表現的關鍵因素。有趣的是,影像分辨率和影像标籤數量比視覺語言連接器的影響更大,不同的預訓練數據集會顯著影響模型的有效性。
MM1 的獨特之處在于其龐大的規模和架構創新,包括密集的模型和混合專家模型。這些模型證明了研究人員方法的有效性,将大規模預訓練與戰略性數據選擇相結合,以增強模型的學習能力。
研發團隊稱,MM1 不僅在預訓練指标中是 " 最先進的 ",并且在一系列已建立的多模态基準測試中,經過微調後也保持了" 有競争力的 " 性能。
MM1 可以支持增強的上下文學習和多影像推理,使得少數樣本的思維鏈提示成為可能。
然而,目前MM1 的整體性能還沒有完全超過谷歌的 Gemini 和 OpenAI 的 GPT-4,雖然 MM1 可能還不是絕對的領導者,但它仍然是蘋果在 AI 方面的一次重大飛躍。
與此同時,蘋果公司還出手收購了 AI 初創公司 DarwinAI。DarwinAI 以創建更小、更快的 AI 系統見長,這是實現設備上高效處理的關鍵因素。收購完成後,DarwinAI 的網站和社交媒體賬戶已悄然下線。
據悉,數十名 DarwinAI 員工已經加入了蘋果的 AI 部門,作為交易的一部分,滑鐵盧大學的 AI 研究員 Alexander Wong 已加入蘋果,擔任 AI 團隊的總監。
>