今天小编分享的互联网经验:站在OpenAI对立面!马斯克开源 Grok,参数量全球最大,欢迎阅读。
当地时间 3 月 17 日,马斯克旗下人工智能公司 xAI 宣布开源大模型 Grok-1,遵循 Apache 2.0 協定开放模型权重和架构。因此,用户可以自由使用、修改和分发軟體。
据官网信息,Grok-1 是 3140 亿参数的混合专家模型,是 " 迄今为止全球参数量最大的开源大语言模型 "。
Grok-1 是 xAI 使用 JAX 和 Rust 之上的自定义训练堆栈从头开始训练;314B 参数 Mixture-of-Experts 模型,其中 25% 的权重在给定令牌上处于活动状态;此外,Grok-1 这是 2023 年 10 月结束的 Grok-1 预训练阶段的原始基础模型检查点。这意味着该模型不会针对任何特定应用(例如对话)进行微调。
对于 Grok-1 的开源,马斯克在 3 月 11 日就曾在社交平台表示 xAI 将开放 Grok 的源代码,公众将可免费使用该公司大模型技术背后的代码。
马斯克如约将 Grok-1 开源,与此同时,马斯克还在因 OpenAI 的开源问题,起诉 OpenAI 及其董事会成员。OpenAI 利用 ChatGPT 的官方账号与马斯克进行了互动:你干了我干的事。而马斯克回应称:告诉我们更多关于 OpenAI 的 Open 部分。
开源问题是马斯克与 OpenAI 争论的核心。据悉,3 月 1 日,马斯克一份 46 页的诉状被公开,马斯克指控便是 OpenAI 偏离了公司成立时 " 为了人类福祉而非私人商业利益 " 的協定,也违背了 " 技术开源 " 的承诺,完全成为了 " 受控于微软的闭源子公司 "。
对于马斯克的指控,3 月 6 日上午 10 点,OpenAI 正式做出回应,在官网发布一篇长博客,称自己始终坚持使命,并针对马斯克的主张一一进行回复。
对于 " 违背创始協定转向盈利 " 的指控,OpenAI 表示,开发 AGI 所需的资源超乎他们想象,在最初创办 OpenAI 时这个数字是 1 亿美元,而到了 2017 年则是每年数十亿,金钱的压力迫使他们 " 为通往 AGI 规划一条更为合理的路径 ",也就是转向盈利——在这一点上,马斯克与他们在 2017 年前后达成了一致,决定下一步的任务是创建一个营利性实体,但我们无法与 Elon 就营利性条款达成一致。
对于开源,OpenAI 表示,我们提供对当今最强大的 AI 的广泛访问,包括数亿人每天使用的免费版本。这个任务并不意味着开源 AGI。正如 Ilya 告诉马斯克的那样:" 随着我们越来越接近构建 AI,开始变得不那么开放是有意义的。openAI 的开放意味着每个人都应该从 AI 构建后的成果中受益,但不分享科学是完全可以的 ......",马斯克回答说:" 是的 "。
如今,离开 OpenAI 的马斯克,在 2023 年 7 月份成立 xAI,成立之初就被称作 "OpenAI 对手 "。xAI 的宗旨是 " 了解宇宙的真实本质 "。 去年 11 月 4 日, xAI 团队发布了首个 AI 大模型产品 Grok。
马斯克将 " 迄今为止全球参数量最大的大语言模型 " 开源,有准备讽刺了 OpenAI 一下,在 AI 社区引发了激烈讨论,坚持开源的马斯克,走上了与 OpenAI 的对立之路,不过根据 xAI 公布的数据,在 GSM8K、HumanEval 和 MMLU 等一系列基准测试中,Grok-1 的表现超过了 Llama-2-70B 和 GPT-3.5,但跟 GPT-4 还有差距。