今天小编分享的财经经验:全面转向生成式AI!苹果推出300亿参数多模态大模型,欢迎阅读。
相较于英伟达、微软等大型科技股,苹果今年的表现令人失望不已,股价年内跌逾 10%,且失去了 " 全球市值最高公司 " 的宝座。
背后原因很简单,苹果在这场人工智能 ( AI ) 竞赛中落伍了。为了摆脱窘境,苹果近期放弃了造车项目,正在全面转向生成式 AI 领網域,并且很快有了新动作。
就在近日,苹果公司研发团队发布了一篇论文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》,首次公布了多模态大模型 MM1,展示了该公司在 AI 方面的进展与实力。
据悉,MM1 最高参数量为 300 亿,该模型支持增强的上下文学习和多影像推理,在一些多模态基准测试中有较好表现。
研究人员使用这些模型进行实验,找出影响大模型表现的关键因素。有趣的是,影像分辨率和影像标签数量比视觉语言连接器的影响更大,不同的预训练数据集会显著影响模型的有效性。
MM1 的独特之处在于其庞大的规模和架构创新,包括密集的模型和混合专家模型。这些模型证明了研究人员方法的有效性,将大规模预训练与战略性数据选择相结合,以增强模型的学习能力。
研发团队称,MM1 不仅在预训练指标中是 " 最先进的 ",并且在一系列已建立的多模态基准测试中,经过微调后也保持了" 有竞争力的 " 性能。
MM1 可以支持增强的上下文学习和多影像推理,使得少数样本的思维链提示成为可能。
然而,目前MM1 的整体性能还没有完全超过谷歌的 Gemini 和 OpenAI 的 GPT-4,虽然 MM1 可能还不是绝对的领导者,但它仍然是苹果在 AI 方面的一次重大飞跃。
与此同时,苹果公司还出手收购了 AI 初创公司 DarwinAI。DarwinAI 以创建更小、更快的 AI 系统见长,这是实现设备上高效处理的关键因素。收购完成后,DarwinAI 的网站和社交媒体账户已悄然下线。
据悉,数十名 DarwinAI 员工已经加入了苹果的 AI 部门,作为交易的一部分,滑铁卢大学的 AI 研究员 Alexander Wong 已加入苹果,担任 AI 团队的总监。
>