今天小編分享的科學經驗：蘋果大模型最大動作：開源M芯專用ML框架，能跑70億大模型，歡迎閱讀。
蘋果 M 系列芯片專屬的機器學習框架，開源即爆火！
現在，用上這個框架，你就能直接在蘋果 GPU 上跑 70 億參數大模型、訓練 Transformer 模型或是搞 LoRA 微調。
它由蘋果官方發布，風格與 PyTorch 相似，不過并不基于任何已有框架實現。
LeCun 等大佬紛紛趕來點贊轉發。
英偉達高級 AI 科學家 Jim Fan 贊嘆稱：
這應該是目前蘋果在開源 AI 開源上最大的動作了。
甚至還有網友動起了 iPhone 上 A 芯的念頭（手動狗頭）
所以，這個框架究竟長啥樣？
參考多個 ML 框架設計
這個新框架名叫 MLX，有探索機器學習（ml-explore）的意思。
從功能來看，MLX 主要有以下幾點特性：
API 熟悉（包括 C++ API、類似 NumPy 的 Python API 以及一些高級功能包近似于 PyTorch 的 API）、可組合函數變換、惰性計算、動态圖構建、多設備可用、統一内存。
框架作者 Awni Hannun 介紹，之所以 MLX 不直接基于 PyTorch 實現，主要有幾個方面的考量。
首先是因為，MLX 框架是給蘋果芯片設計的。
蘋果芯片在采用了一些獨特的設計，例如統一内存，這些設計在框架中都可以被利用。
然後，MLX 框架也參考了不同機器學習框架的優勢，包括 NumPy、PyTorch、Jax 和 ArrayFire 等。
例如 JAX 中可組合的函數轉換，就被加進了 MLX 的設計中，但 graph（計算圖）仍然是動态構建的。
除此之外，作者認為 MLX 也有一些屬于自己的特性，如簡單、靈活和多樣性等。
因此，MLX 在功能和設計上與 PyTorch 等經典框架不完全一樣，有一些 " 自己的 style"。
如果你手上有蘋果 M 芯電腦的話，現在就可以上手一試跑 AI 模型了。
蘋果電腦 M 系列芯片才能用
目前，官方給出了 5 類 MLX 的使用參考案例：
Transformer架構語言模型的訓練
用LLaMA或Mistral進行長文本生成
用LoRA進行參數微調
用Stable Diffusion進行影像生成
用Whisper進行語音識别
作者們還在 GitHub 上放出了基于 Stable Diffusion 對比的 PyTorch 和 MLX 的性能：
要是對這幾個 AI 模型感興趣，裝好 MLX 之後就可以直接上手試玩了。
作者給出了一系列手把手的教程，教你如何在蘋果電腦上運行 MLX 框架。
首先是 pip install mlx，安裝一下框架：
我們也在蘋果 M 芯電腦上嘗試了一下，可以成功安裝：
值得一提的是，安裝前記得檢查一下你的蘋果電腦，各種環境和作業系統是否都搞好了。
而且芯片必須是蘋果自研的 M 系列芯片，可以用這個口令檢查一下：
如果是英特爾平台，也是用不了 MLX 的：
搞定之後，git clone 一個副本，就可以在樣例裡面找到自己想玩的模型，嘗試上手運行了：
這裡跑一個 LLaMA 試試：
然後就可以開始問問題了，例如波爾查諾 - 魏爾斯特拉斯定理是什麼等等，LLaMA 就能在終端給你解答：
LightningAI 的 Sebastian Raschka 表示，這個框架看起來非常酷，希望能看到更多 PyTorch 與 MLX 在 macOS 上的性能對比。
除此之外，LLaMA 在 MLX 上的實現細節也非常有意思：
還有不少蘋果用戶表示高興：H100 稀缺的情況下，終于可以用 M3 Max 來搞事了。
你試用過 MLX 了嗎？感覺如何？
參考鏈接：
[ 1 ] https://github.com/ml-explore/mlx
[ 2 ] https://twitter.com/awnihannun/status/1732184443451019431
— 完 —
點這裡關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
