今天小编分享的科学经验：苹果大模型最大动作：开源M芯专用ML框架，能跑70亿大模型，欢迎阅读。
苹果 M 系列芯片专属的机器学习框架，开源即爆火！
现在，用上这个框架，你就能直接在苹果 GPU 上跑 70 亿参数大模型、训练 Transformer 模型或是搞 LoRA 微调。
它由苹果官方发布，风格与 PyTorch 相似，不过并不基于任何已有框架实现。
LeCun 等大佬纷纷赶来点赞转发。
英伟达高级 AI 科学家 Jim Fan 赞叹称：
这应该是目前苹果在开源 AI 开源上最大的动作了。
甚至还有网友动起了 iPhone 上 A 芯的念头（手动狗头）
所以，这个框架究竟长啥样？
参考多个 ML 框架设计
这个新框架名叫 MLX，有探索机器学习（ml-explore）的意思。
从功能来看，MLX 主要有以下几点特性：
API 熟悉（包括 C++ API、类似 NumPy 的 Python API 以及一些高级功能包近似于 PyTorch 的 API）、可组合函数变换、惰性计算、动态图构建、多设备可用、统一内存。
框架作者 Awni Hannun 介绍，之所以 MLX 不直接基于 PyTorch 实现，主要有几个方面的考量。
首先是因为，MLX 框架是给苹果芯片设计的。
苹果芯片在采用了一些独特的设计，例如统一内存，这些设计在框架中都可以被利用。
然后，MLX 框架也参考了不同机器学习框架的优势，包括 NumPy、PyTorch、Jax 和 ArrayFire 等。
例如 JAX 中可组合的函数转换，就被加进了 MLX 的设计中，但 graph（计算图）仍然是动态构建的。
除此之外，作者认为 MLX 也有一些属于自己的特性，如简单、灵活和多样性等。
因此，MLX 在功能和设计上与 PyTorch 等经典框架不完全一样，有一些 " 自己的 style"。
如果你手上有苹果 M 芯电腦的话，现在就可以上手一试跑 AI 模型了。
苹果电腦 M 系列芯片才能用
目前，官方给出了 5 类 MLX 的使用参考案例：
Transformer架构语言模型的训练
用LLaMA或Mistral进行长文本生成
用LoRA进行参数微调
用Stable Diffusion进行影像生成
用Whisper进行语音识别
作者们还在 GitHub 上放出了基于 Stable Diffusion 对比的 PyTorch 和 MLX 的性能：
要是对这几个 AI 模型感兴趣，装好 MLX 之后就可以直接上手试玩了。
作者给出了一系列手把手的教程，教你如何在苹果电腦上运行 MLX 框架。
首先是 pip install mlx，安装一下框架：
我们也在苹果 M 芯电腦上尝试了一下，可以成功安装：
值得一提的是，安装前记得检查一下你的苹果电腦，各种环境和作業系統是否都搞好了。
而且芯片必须是苹果自研的 M 系列芯片，可以用这个口令检查一下：
如果是英特尔平台，也是用不了 MLX 的：
搞定之后，git clone 一个副本，就可以在样例里面找到自己想玩的模型，尝试上手运行了：
这里跑一个 LLaMA 试试：
然后就可以开始问问题了，例如波尔查诺 - 魏尔斯特拉斯定理是什么等等，LLaMA 就能在终端给你解答：
LightningAI 的 Sebastian Raschka 表示，这个框架看起来非常酷，希望能看到更多 PyTorch 与 MLX 在 macOS 上的性能对比。
除此之外，LLaMA 在 MLX 上的实现细节也非常有意思：
还有不少苹果用户表示高兴：H100 稀缺的情况下，终于可以用 M3 Max 来搞事了。
你试用过 MLX 了吗？感觉如何？
参考链接：
[ 1 ] https://github.com/ml-explore/mlx
[ 2 ] https://twitter.com/awnihannun/status/1732184443451019431
— 完 —
点这里关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>
