今天小编分享的互联网经验：苹果AI训练预算“每天数百万美元”，基础语言大模型团队由华人领导，欢迎阅读。
作者：王眉
编辑：硬 AI
近日苹果面临诸多不利，前有华为 " 突袭 " 提前开售Mate60 Pro，后有知名投资机构 Needham Securities称苹果缺乏生成式 AI 和大型语言模型（LLM）方面的战略，在 AI 竞赛中已被亚马逊、谷歌和微软甩在身后。
不过，事实可能并非如此。
据媒体周三报道，苹果一直在增加 AI 部分的投入预算，训练费用达每天上百万美元。
虽然直到今年 7 月才有媒体爆料苹果已经建立了 Ajax 大语言模型开发框架，并在秘密开发自己的大型语言模型 "Apple GPT"，但苹果关注到生成式 AI 远比外界想象的更早。
四年前，苹果的人工智能主管詹南德里亚（John Giannandrea）授权组建了一个团队来开发对话式人工智能（即大语言模型），展示了苹果对该领網域的重视。
几位苹果员工表示，尽管詹南德里亚多次表达了对由 AI 语言模型驱动的聊天机器人潜在用途的怀疑，但苹果并不是完全没有为未来语言模型的爆发做好准备。
日砸百万豪赌 2000 亿参数 Apple GPT 团队由华人领导
据悉，苹果的 Foundational Models 团队，即会话 AI 团队，目前的领导者为前谷歌工程师庞若鸣。资料显示，庞若鸣为上海交大本硕，且本硕仅用 5 年即毕业，于 2021 年加入苹果，此前在谷歌工作了 15 年。
团队现有 16 人，其中几位也是曾在谷歌工作多年的工程师。虽然团队规模小，但由于训练 LLM 对算力要求极高，该团队每天需要花费数百万美元训练 LLM。
除此之外，据报道，至少还有两个苹果团队正在研究语言和影像模型。其中一个团队正在研究视觉智能，致力于开发能够生成 " 影像、视频或 3D 场景 " 的軟體；另一个团队正在研究可以处理文本、影像和视频的多模态人工智能。
苹果计划将 LLM 集成在 Siri 语音助手当中，以此达到 iPhone 用户能够使用简单的语音命令来自动完成涉及多个步骤的任务。举个例子，该技术能够让用户告诉 Siri 助手，用他们最近拍摄的五张照片创建一个 GIF 动图，并将其发送给朋友。但目前，iPhone 用户必须手动完成这个过程。
这与谷歌改进他们的语音助手类似。但苹果认为，其改进的 Ajax GPT 的语言模型比 OpenAI 的 GPT 3.5 更好，预计将于明年与新版 iPhone 作業系統一起发布。
一向封闭的苹果开展了一场开源运动
需要注意的是，开发 LLM 或许相对容易，但是将其纳入产品中更具挑战。与一些使用基于云方法的竞争对手不同，苹果更倾向于在设备上运行軟體，以提高隐私保护和工作效率。然而，苹果的 LLM（包括 Ajax GPT）相当庞大，由于其体积和复杂性（超过 2000 亿个参数），很难安装到 iPhone 上。
缩小大模型的做法有先例，比如谷歌的 PaLM2，它有各种尺寸，包括适合设备和独立使用的型号。
有分析称，虽然目前还不清楚苹果的计划，但出于隐私考虑，他们可能会选择较小的 LLM。
这就要说到庞若鸣了。
据了解庞若鸣的人说，他在神经网络方面发表的研究成果获得了大批拥趸。神经网络是机器学习的一个子集，涉及训练軟體识别数据中的模式和关系，类似于人类大腦的工作方式。庞若鸣某些比较著名的研究涉及神经网络如何与手机处理器协同工作，以及如何使用并行计算来训练神经网络。并行计算是将较大的问题分解成多个处理器可以同时计算的较小任务的过程。
庞若鸣对苹果的影响可以从 AXLearn 中看出，这是他的团队在过去 1 年中开发用于培训 Ajax GPT 的内部軟體。AXLearn 是一个机器学习框架，可以快速训练机器学习模型。AXLearn 的部分构成基于庞若鸣的研究，并针对谷歌云张量处理单元 ( TPU ) 进行了优化。
AXLearn 是 JAX 的一个分支，JAX 是谷歌研究人员开发的开源框架。如果将苹果的 Ajax GPT 比作一栋房子，那 AXLearn 就是蓝图，而 JAX 就是用来绘制蓝图的笔和纸。苹果用来训练大语言模型的数据目前尚未公开。
报道称，今年 7 月份，苹果 Foundational Models 团队悄悄地将 AXLearn 的代码上传到代码存储库 GitHub，公众可以使用它来训练自己的大语言模型，而不必从头开始构建所有内容。苹果公开发布 AXLearn 代码的原因尚不清楚，但公司这样做通常是希望其他工程师能对模型进行改进。在詹南德里亚加入苹果之前，对于向来行事隐秘的苹果来说，开放可用于商业用途的源代码的决定显得不同寻常。
疯狂挖角谷歌和 Meta
苹果还在积极从谷歌和 Meta 的 AI 团队中 " 挖人 "。
据悉，自从 AXLearn 代码于 7 月上传到 GitHub 上以来，已有 18 人对其进行了改进，其中至少有 12 人在过去两年内加入了苹果的机器学习团队。这些人中，有 7 人曾在谷歌或 Meta 工作过。
华尔街见闻此前提及，目前 " 大模型的安卓 " 也不好过，Meta 内部 " 算力宫斗 "，一半 Llama 核心团队已离职。
