今天小編分享的互聯網經驗:估值飙升,Mistral AI成微軟第二條“大腿”,歡迎閲讀。
出品 | 虎嗅科技組
作者 | 杜钰君
編輯 | 王一鵬
頭圖 | 視覺中國
是 GPT-4 的勁敵兼平替,也是微軟部署的又一利器。這家人工智能初創公司用實力讓眾人驚呼 " 微軟赢麻了 "。
2 月 26 日,總部位于巴黎的人工智能公司 Mistral AI 發布尖端文本生成模型 Mistral Large。該模型達到了頂級的推理能力,可用于復雜的多語言推理任務,包括文本理解、轉換和代碼生成。
同日,微軟宣布與 Mistral AI 建立多年合作夥伴關系,表示 "Mistral AI 是先鋒,它是一位創新者和開拓者。他們對培育開源社區和實現卓越性能的承諾與 Microsoft 開發值得信賴、可擴展且負責任的 AI 解決方案的承諾和諧一致 "。
圖 1:Microsoft 官網對雙方合作的宣布
一、Mistral AI 的崛起之路
微軟并不是第一家在 Mistral AI 身上押注的巨頭。
Mistral AI 于 2023 年 5 月正式注冊成立,創始人是谷歌 DeepMind 和 Meta 的校友。僅僅成立幾周後,2023 年 6 月,Mistral AI 就獲得了由 Lightspeed Venture Partners(光速創投)領投的 1.05 億歐元(約合 1.13 億美元)種子輪融資,使公司估值飙升至 2.4 億歐元。僅半年後,Mistral AI 又獲得了由 Andreessen Horowitz(a16z)領投的 3.85 億歐元(約合 4.15 億美元)融資,英偉達、Salesforce、法國巴黎銀行等多家知名機構跟投。而到了 2024 年 2 月,微軟更是直接入股 Mistral AI。
從初創到被巨頭青睐,Mistral AI 只用了短短幾個月。
資金加持下,這個僅 20 名左右員工的公司頻頻展示自己的硬實力。
9 月,Mistral 7B 發布,被稱為當時 " 最強的 70 億參數開源模型 "。
緊接着,12 月,Mistral AI 在無發布會、無宣傳預熱的情況下默默甩出一條磁力鏈接,發布了首個開源 MoE 大模型 Mistral 8x7B。87GB 的種子、8x7B 的 MoE 架構使得 Mistral AI 的身價一路飙升,幾天後估值便高達 20 億美元,與初創時間相比翻了 8 倍。
圖 2 :Mistral AI 的開源 MoE 大模型 Mistral 8x7B 的磁力鏈接
而 2 月 26 日發布的 Mistral Large,則直接叫板 GPT-4,在 MMLU (一個包含 57 個多選問答任務的英文評測數據集,是目前主流的 LLM 評測數據集)測試中的成績僅次于 GPT-4 ,成為世界上排名第二的可通過 API 普遍使用的模型。
圖 3:GPT-4、Mistral Large(預訓練)、Claude 2、Gemini Pro 1.0、GPT 3.5 和 LLaMA 2 70B 在 MMLU 上的比較
Mistral Large 具有新的功能和優勢:
它的母語是流利的英語、法語、西班牙語、德語和意大利語,對語法和文化背景有細致入微的理解。
其 32K 标記上下文視窗允許從大型文檔中精确調用信息。
其精确的指令遵循使開發人員能夠設計他們的審核策略——我們用它來設定 le Chat 的系統級審核。
它本身就能夠進行函數調用。這與在 la Plateforme 上實施的受限輸出模式一起,實現了大規模應用程式開發和技術堆棧現代化。
如今,Mistral AI 的估值已超過 20 億歐元(約合 156.2 億元人民币)。
二、GPT-4 的 " 勁敵 " 與 " 平替 "
根據 Mistral AI 官網介紹,Mistral Large 在知識推理、多語言能力、數學與編碼等多方面的性能都直逼 GPT-4,成為了 GPT-4 不容小觑的勁敵。
(一)推理和知識
Mistral Large 展現出強大的推理能力。下圖是 Mistral Large 預訓練模型在标準基準上的性能。
圖 4:市場上領先的 LLM 模型在廣泛常識、推理和知識基準上的表現:MMLU(測量理解中的大規模多任務語言)、HellaSwag(10-shot)、Wino Grande(5-shot)、Arc Challenge(5 次)、Arc Challenge(25 次)、TriviaQA(5 次)和 TruthfulQA。
(二)多語言能力
Mistral Large 具有本地多語言能力。它在法語、德語、西班牙語和意大利語的 HellaSwag、Arc Challenge 和 MMLU 基準測試中明顯優于 LLaMA 2 70B。
圖 5:Mistral Large、Mixtral 8x7B 和 LLaMA 2 70B 在 HellaSwag、Arc Challenge 和 MMLU 上法語、德語、西班牙語和意大利語的比較
(三)數學與編碼
Mistral Large 在編碼和數學任務中表現出頂尖的性能。在下表中,我們報告了一系列流行基準的性能,以評估一些頂級 LLM 模型的編碼和數學性能。
圖 6:市場上領先的 LLM 模型在流行編碼和數學基準上的性能:HumanEval pass@1、MBPP pass@1、Math maj@4、GSM8K maj@8 和 GSM8K maj@1
在性能上叫板 GPT-4 的同時,Mistral Large 的應用成本更為低廉。目前,查詢 Mistral Large 的成本為每百萬個輸入代币 8 美元,每百萬個輸出代币 24 美元。在人工語言術語中,标記代表小塊的單詞——例如,當人工智能模型處理時,單詞 "TechCrunch" 将被抽成兩個标記,"Tech" 和 "Crunch"。
默認情況下,Mistral AI 支持 32k 個标記的上下文視窗(通常超過 20,000 個英語單詞)。作為比較,GPT-4 Turbo 具有 128k 代币上下文視窗,目前每百萬個輸入代币的成本為 10 美元,每百萬個輸出代币的成本為 30 美元。因此,Mistral Large 目前比 GPT-4 Turbo 便宜 1.25 倍,成為了 GPT-4 Turbo 的 " 平替 "。這對于使用量巨大的企業用户而言可以節省很大一筆開支。
圖 7:Mistral Large 與 GPT-4 及其同源產品的成本比較
除了 Mistral Large 之外,這家初創公司還推出了自己的 ChatGPT 替代品,即 Le Chat 的新服務。該聊天助手目前處于測試階段。該公司還計劃為企業客户推出 Le Chat 的付費版本。除了集中計費之外,企業客户還能夠定義審核機制。
不僅如此,Mistral AI 的商業模式看起來也越來越像 OpenAI 的商業模式。目前,該公司的模型不再像成立初時完全開源,而是通過付費 API 提供 Mistral Large,并根據使用情況進行定價。Mistral Large 可通過 la Platform 獲取,也可以在 Azure AI 上使用。其中,La Plateforme 這一接入點安全托管在歐洲的 Mistral 基礎設施上,使開發人員能夠在模型範圍内創建應用程式和服務;同時該模型也可通過 Azure AI Studio 和 Azure 機器學習使用。
三、與微軟的雙向賦能
Mistral 的先進模型資源将安放在微軟雲中,使其成為全球第二家在微軟 Azure 上提供商業 AI 模型的公司。
Mistral AI 與微軟的合作重點關注三個核心領網域:
超級計算基礎設施:微軟将通過 Azure AI 超級計算基礎設施來支持 Mistral AI,為 Mistral AI 旗艦模型的 AI 訓練和推理工作負載提供一流的性能和規模。
擴展到市場:微軟和 Mistral AI 将通過 Azure AI Studio 和 Azure 機器學習模型目錄中的模型即服務 ( MaaS ) 向客户提供 Mistral AI 的高級模型。除了 OpenAI 模型之外,模型目錄還提供開源和商業模型的多種選擇。用户可以使用 Microsoft Azure 消費承諾 ( MACC ) 來購買 Mistral AI 的模型。Azure 的 AI 優化基礎設施和企業級功能為 Mistral AI 提供了向全球 Microsoft 客户推廣、銷售和分發其模型的額外機會。
人工智能研究和開發:微軟和 Mistral AI 将探索圍繞為特定客户(包括歐洲公共部門工作負載)培訓特定目的模型的合作。
對此,Mistral AI 首席執行官 Arthur Mensch 表示,與微軟的合作使 Mistral AI 能夠訪問 Azure ,推動其創新研究和實際應用程式向世界各地的新客户發展,加速下一代大型語言模型 ( LLM ) 的開發和部署,為 Mistral AI 提供了釋放新商業機會、擴展到全球市場的機會,并促進持續的研究合作。
這不僅是 Mistral AI 邁向商業化的重要一步,同時也是微軟在 AI 領網域深化布局的又一力證。對于微軟而言,和 Mistral AI 的開放合作夥伴關系策略是讓 Azure 客户留在其產品生态系統中的好方法。此外,微軟與 OpenAI 多年的關系已經吸引了美國和歐洲反壟斷監管機構的審查,與 Mistral AI 等大模型公司的合作無疑可以 " 分散火力 "。當前,微軟正積極探索在其雲計算平台上與其他人工智能模型點合作可能。例如,Microsoft 和 Meta 合作在 Azure 上提供 Llama 大型語言模型。
事實上,Mistral AI 的在研產品不止于 Mistral Large。
Mistral AI 的模型產品主要分為 Mistral Small、Mistral Large、Mistral Embed 三類。其中,Mistral Small 受益于與 Mistral Large 在 RAG 啓用和函數調用方面相同的創新,主要提供針對低延遲工作負載的經濟高效推理;Mistral Large 主要用于處理高復雜性任務的頂級推理;Mistral Embed 則主要用于提取文本摘錄表中最先進的語義。