今天小編分享的科學經驗：非Transformer架構新模型爆火，從第一性原理出發，MIT CSAIL衍生團隊打造，歡迎閱讀。
挑戰 Transformer，MIT 初創團隊推出LFM（Liquid Foundation Model）新架構模型爆火。
LFM 1.3B、LFM 3B兩個不同大小的模型，性能超越同等規模 Llama3.2 等 Transformer 模型。
LFM 架構還有很好的可擴展性，團隊還推出了基于 MoE 的 LFM 40B（激活 12B 參數），能與更大規模的密集模型或 MoE 模型相媲美。
LFM 用的是一種液态神經網絡（LNN），從第一性原理出發而構建，其計算單元植根于動态系統理論、信号處理和數值線性代數。
這種架構還有一個特點：在内存效率方面特别強。
基于 Transformer 的 LLM 中的 KV 緩存在長上下文中會急劇增長，而 LFM 即使在處理 100 萬個 token 時也能保持内存最小。
小巧便攜，使得它能夠直接部署在手機上進行文檔和書籍等分析。
LFM 模型背後是一支 MIT 計算科學與人工智能實驗室衍生出來的小團隊，名叫Liquid AI。
其後訓練負責人 Maxime Labonne 在 X 上為自家模型瘋狂打 Call：
這三個具有 SOTA 性能的模型，是我職業生涯中最值得驕傲的版本。
AI 暢銷書《人工直覺》作者也表示看好。
一直等的就是這樣的模型，基于物理學或神經元的 " 第一性原理 "
目前 LFM 系列模型還在預覽測試中，大夥兒可通過 Liquid 官方平台、Lambda Chat、Perplexity AI 來訪問。
基于液态神經網絡打造
具體來看看這三個模型的性能和特點。
LFM 1.3B 在 MMLU、MMLU-Pro、ARC-C、GSM8K 基準上相較于下表其它模型，取得 SOTA 性能。
LFM 3B，還能和 Mistral 7B、Llama3.1 8B 兩倍大模型打得有來有回。
LFM 40B 性能也可與比其自身更大的模型相媲美，MoE 架構可實現更高吞吐可部署在更具成本效益的硬體上。
與 Transformer 架構相比，LFM 的一個突出優勢就是内存占用更少。
對于長輸入效果更明顯，基于 Transformer 的 LLM 中的 KV 緩存随着序列長度線性增長。通過有效壓縮輸入，LFM 可以在同一硬體上處理更長的序列。
以下是 LFM 3B 與其它 3B 級模型的對比，LFM 3B 能始終保持較小的内存占用。
處理 100 萬個 token，LFM 3B 只需 16 GB 内存，而 Llama-3.2-3B 模型則需 48 GB+。
LFM 上下文有效長度為32k。
當相應得分高于 85.6 時，長度被認為是 " 有效的 "（Hsieh 等人，2024 RULER）。
LFM 3B 在 32k 的上下文長度上，仍能保持89.5的高分。
實驗結果中 Llama 3.2 生成 128k 上下文視窗，但實際只在 4k 上有效，也引起一波關注。
除此之外，LFM 由結構化運算符組成，為基礎模型打開了一個新的設計空間。
不僅限于語言，還可以将其應用于音頻、時間序列、影像等等其它模态。
還具有高适應性，可針對特定平台（如蘋果、高通、Cerebras、AMD）優化架構，或匹配給定的參數要求和推理緩存大小。
Liquid AI 團隊直接把目前 LFM 模型的優缺點都一一列了出來。
現在 LFM 語言模型擅長通用和專業知識、數學和邏輯推理、長上下文任務。
主要語言是英語，還支持西班牙語、法語、德語、中文、阿拉伯語、日語和韓語。
但 LFM 語言模型不擅長零樣本代碼任務、精确的數值計算、時效性信息，人類偏好優化相關技術也尚未廣泛應用。
有意思的是，Liquid AI 團隊還明确表示 LFM 現在不會數 "Strawberry" 中 "r" 的數量。
經網友測試，它确實不會。
關于 LFM 架構更多技術細節，官方表示将持續發布技術 Blog。
背後團隊來自 MIT CSAIL
下面簡單介紹一下 LFM 模型背後團隊—— Liquid AI。
Liquid AI 是一家從 MIT 計算機科學與人工智能實驗室衍生出來的公司。
目标是在每一個規模上構建能力強大且高效的通用人工智能系統。
聯合創始人共有四位。
CEO Ramin Hasani，MIT CSAIL 人工智能科學家、前 Vanguard Group 首席人工智能和機器學習科學家。
博士論文研究主題就是關于液态神經網絡（Liquid Neural Networks），由維也納工業大學 Radu Grosu 教授和麻省理工學院 Daniela Rus 教授共同指導。
CTO Mathias Lechner，MIT CSAIL 研究員。
維也納工業大學計算機科學的學士、碩士學位，奧地利科學與技術研究所（ISTA）博士學位。
專注于開發穩健可信的機器學習模型。
首席科學官 Alexander Amini，在 MIT 完成了計算機科學學士、碩士和博士學位，同時輔修數學。
研究的領網域包括自主系統的端到端控制學習、神經網絡的置信度公式化、人類移動性的數學建模以及復雜慣性精細化系統的構建。
另外一位聯合創始人是MIT CSAIL 主任 Daniela Rus，她還是 MIT 電氣工程與計算機科學系的 Andrew&Erna Viterbi 教授。
Liquid AI 成立初就致力于從第一性原理出發構建新一代基礎模型，是一個基于深度信号處理和狀态空間層擴展語言模型的團隊。
之前研究有一籮筐：
感興趣的的家人們可以自行查閱：
https://www.liquid.ai/blog/liquid-neural-networks-research
對新模型感興趣的家人們可以測試起來了：
https://playground.liquid.ai/chat?model=cm1ooqdqo000208jx67z86ftk
參考鏈接：
[ 1 ] https://x.com/LiquidAI_/status/1840768722665189596
[ 2 ] https://venturebeat.com/ai/mit-spinoff-liquid-debuts-non-transformer-ai-models-and-theyre-already-state-of-the-art/
