今天小编分享的互联网经验:钮祜禄·Meta:发布最强开源新模型Llama 2,拉拢微软做盟友,欢迎阅读。
文 | 张一弛
编辑 | 邓咏仪
在 ChatGPT 和 Bard 对垒之际,如今 Meta 开始高调奋起进击。
北美时间 7 月 18 日,META 公布最新大模型 Llama 2(羊驼 2),包含 7B、13B 和 70B 三种参数变体,可免费用于商业或者研究。
Meta 首席人工智能科学家杨立昆在 Twitter 上表示," 这将改变大模型市场格局。"
Llama 是 Meta 在 2023 年 2 月发布的开源大模型,由于主要竞争对手 GPT-4 与谷歌 PaLM 都采取了闭源的方式,Llama 一经推出就被认为是最强开源大模型,使用了 1.4 万亿个 tokens 进行训练。国内外不少大模型创业公司,基于 Llama 之上做开发的不在少数。
Tokens 是大模型处理与生成语言文本的基本部門,通常来说,用于训练的 tokens 越多 AI 就越智能。据 CNBC 报道,谷歌最新大模型 PaLM 2 使用 3.6 万亿个 tokens 进行训练;而 GPT-3 使用的 tokens 数量为 3000 亿,多家媒体推测,GPT-4 的 tokens 也达到了数万亿个。
这是一次万众瞩目的发布。相比第一代,无论是在参数量、性能上都有大幅提升,其训练时间是在 2023 年 1 月 -7 月,用于训练的 tokens 数量提高了 40%,达到两万亿个。
除此之外,Llama 2 上下文长度增加一倍,达到 4096 个字元,这和 GPT-3.5 的参数持平。
通过公布的测评结果显示,Llama 2 不仅性能远强于 Llama 1,同时在包括推理、编码、精通性和知识测试等许多外部基准测试中都优于其他开源语言模型。
与闭源大模型相比,Llama 2 目前性能已追上竞争对手谷歌与 OpenAI 的上一代产品,但仍与最新一代有差距。
Meta 将 Llama 2 70B 与闭源模型进行比较,在大规模多任务语言理解(MMLU)和高质量小学数学问题(GSM8K)表现接近 GPT-3.5,在编码基准 ( HumanEval ) 上存在显著差距。
相比谷歌 PaLM ( 540B ) ,Llama 2 70B 几乎所有结果持平或表现更好,但与 GPT-4 和 PaLM-2-L 在参数上仍有较大差距。
来源:官方,Llama 2 性能对比
目前 Llama 2 在性能上难以撼动 OpenAI 的市场地位,但免费商用后,Meta 有望利用开源生态实现弯道超车。
相比闭源大模型,用户可以低成本的在本地伺服器上部署开源大模型,以构建适用于自身业务的专用大模型,不需要将数据放到 OpenAI 等闭源大模型提供商的伺服器中。同时开源社区中大量技术大牛会为开源大模型提供源源不断的创意,大模型迭代速度更快。
比起前一代只能用于研究用途,如今的 Llama 2 会催生新一波的 AI 大模型创业热潮。微软表示,Llama 2 已经针对 Windows 进行优化,直接可以在 Windows 本地运行。
Windows 目前还是全球市场占有率最高的作業系統——这意味着,Llama 2 一推出,马上就能面向更多群体,个体户或是个人在本地调试自己专属大模型的门槛,是真正意义上的大大下降。
而无论 OpenAI、谷歌和 Meta 在前面怎么打,坐收大模型之利的都是微软。
Meta 在公布 Llama 2 的同一天,也直接官宣了和微软的合作。" 我们将与 Microsoft 的合作关系提升到新的水平,微软会作为 Llama 2 的首选合作伙伴。"Meta 表示。以后,微软 Azure 云服务的用户,在云上就可以直接微调部署 Llama 2。
扎克伯格公布合作新闻,并发布与微软 CEO 萨提亚合影 来源:扎克伯格社交媒体
受影响最大的,无疑是和微软同样深度绑定的 OpenAI。此前,微软通过投资的方式,获取了 OpenAI 49% 的股份,成功让 GPT 赋能 Bing 等多款应用,微软 Office 365 内置的 AI 助手 Copilot,用的就是 OpenAI 的技术。
而 OpenAI 和微软深度绑定后,为了能筹集到更多资金,完成与微软的收入约定,从发布 GPT-4 后开始选择闭源,这是为业界诟病的一大问题。
如今,微软转头就如法炮制,与 Meta 深度绑定,显然是不愿意将鸡蛋放在一个篮子中,这无疑会进一步让大模型的竞争格局变得更加复杂。
开源、闭源之争可以说是推动技术进步的最重要力量——当年安卓和 Apple 的 IOS 系统大战就是证明,如今 apple 依旧生态封闭,但全球市占率最高的手机作業系統依旧是安卓。
尽管不少媒体表示大模型竞争格局 " 一夜变天 ",但这在 AI 发展史上,并不是新鲜事。" 计算机视觉领網域的 AlexNet、GoogLeNet、ResNet,NLP 领網域的 Transformer、最新的 GPT/GLM 模型等等,均是如此。" 前阿里云副总裁,刚创立 AI infra 公司 Lepton AI 的贾扬清在个人博客中表示。
如今闭源的 OpenAI,与 Meta 为首的开源势力之间的竞争还会持续很久。" 模型除了一到两个头部玩家之外,无法形成壁垒,开源生态必然会以更加用户友好的方式来蚕食市场。" 贾扬清表示。