今天小编分享的科技经验：苹果大模型，不藏了，欢迎阅读。
iPhone 迎来 AI 时刻？
岁末年初，苹果加快了在大模型领網域的步伐。
上个月，苹果先是推出了名为 Ferret 的多模态大语言模型，影像处理技术堪称惊艳；而后又发布了一篇题为《闪存中的大型语言模型：在有限内存下高效的大型语言模型推理》的论文，直指大模型落地 iPhone 等 " 内存有限 " 设备的方法。
进入新年，Siri 助手将搭载生成式模型 Ajax 的消息，再次不胫而走。
去年六月和九月的两次重要发布会，苹果分别掏出了早有传闻的 XR 项目和 iPhone 系列的惯例年更，前者市场反响平平，后者挤牙膏被批像是被 " 卡脖子 " 了，硅谷 All in 大模型之时，苹果官方对人工智能这一年度热词始终闭口不谈。
公司 CEO 库克曾解释道，苹果有计划在更多产品中加入 AI，但要 " 深思熟虑 "。
现如今，也许是想好了，也许是技术突破了，留了一手的苹果，终于不藏了。
iPhone 的 AI 时刻，来了？
Siri 助手 AI 化其实早有预兆：去年七月份，美国媒体发文称苹果内部正在暗中测试一款对标 OpenAI 和谷歌的生成式 AI 工具，暂定名 "Apple GPT"。
因使用 Google JAX 框架进行构建，Apple GPT 的开发框架被命名为 Ajax。
当时的消息称，苹果 LLM 技术的最大用武之地，便是整合在 Siri 内部，让语音助手以更为智能的方式协助用户。
现在，更多细节被透露——苹果发布的论文称，这项将大语言模型放在闪存中优化运行的技术，较传统运行方法提高了 4-5 倍（CPU）和 20-25 倍（GPU）的推理速度。
把大象（大模型）装进冰箱（手机）里的方法，来了：先减少闪存传输的数据量，再提高每次传输的吞吐量。
先看框架：以手机为例，平时购机时的【12+256G】、【16+512G】，12/16 为运行内存，256/512 为储存空间。
以此类推绝大部分移动设备存储结构，运存空间小，但读取速率高（DRAM 10GB/s）；储存空间大，但读取速率相对较低（Flash Memory 1GB/s）
一般来说，大模型的推理阶段，模型加载、分析数据需要直接占用运存，而目前主流手机市场最大的 16GB 运存，也并不能完全满足大模型所需的空间：模型大小＞手机内存。
苹果给出的解决方案是 " 先减少闪存传输的数据量 " ——把大模型完全体放在空间更大的储存中，运行时只调用必要数据进入运存。
这并非一个简单的搬箱子过程，如何正确筛选出所有必要数据，以及如何把数据快速由闪存传输到运存，是两个需要解决的问题。
方法之一被命名为 sliding window（滑窗）：
假设大模型正在处理 Once upon a time there was a kid who had a dream 这句话，在处理 "Once upon a time there" 这段字元的时候，图中上半部分的青色格子（神经元）处于激活状态；而当处理資料欄变到 "upon a time there was"（往后推进了一个字元），图中下半部新启用了蓝色格子，并删除了了此前青色部分的几个格子（以粉色标注），其余青色保持不变。
这就是 sliding Window 的核心思想：查缺补漏，多退少补。在大模型运行过程中，只保留一开始就激活的神经元，后续的每次运算，都基于前一次参数进行删除和添加，省去了一部分重复工作。
当然，这种预设也并非没有问题，知乎博主 @Civ 发文称，sliding window 可用的核心假设是大模型在处理相邻数据时前后具有相似性，但这个相似性苹果没有展开论证。
再者是传输：将多次传输的数据拼接后一次性读取，保持连续完整的 " 数据 "，避免多次复制拖慢时间；另外，提前预留出一个较大的空间（较大，但仍远远小于模型整体占用），避免在数据传输过程中，因多次增加空间而加大设备的计算量。
此前，蓝媒汇在《AI PC 发布，联想真的想通 AI 了吗？》中提及，限制大模型进入移动端的瓶颈就是模型占地太大，影响设备本身正常运转，或者塞不进去导致无法运行。
苹果这项新研究的诸多技术细节，都在指向空间的压缩，包括数据体量，也包括运算所占用的算力。
发力多模态
之前有个段子（也可能是真事儿），说是大模型搞不定人机验证，是因为 AI 被设定不能说谎，所以无法选择 " 我不是机器人 "。
去年十月份，苹果还是以论文的形式公布了一项研究成果：Ferret 大模型，自己搞定谷歌人机验证了。
遥遥领先于 GPT4。
不久之前，苹果公布了更多 Ferret 模型的细节、功能。
图 / 苹果 Github Ferret 模型介绍
和 GPT4 相比，Ferret 的领先之处在于，它不仅能准确识别并处理影像内容，还能用算法区分图片中各种元素（人、物体等等），并根据用户指令找出对应元素。
这种多模态理解能力，使得 Ferret 能够同时处理用户输入的影像和自然语言，并且由于其算法能够将影像中的元素准确拆分、定位，Ferret 可以准确理解如 " 图片右上角 "、" 靠近沙发 " 这类指令。
相比于卷疯了的自然语言处理，这种基于影像的互動使得信息更加直观。
最近一次更新，苹果提供了 Ferret 的 7B 和 13B 两个版本，并创建了包含了 1.1M 个样本的 GRIT 的数据集以丰富空间知识，进一步增强功能。
考虑到苹果相当成熟的产品生态以及巨量用户规模，AI 落地带来的换机潮等收益，或将极为可观。
2023 年被称为是 AI 的 iPhone 时刻，现在，苹果的 AI 时刻大约也快到了。
