今天小编分享的互联网经验:Meta发布最新开源大模型Llama 3,持续追赶OpenAI,欢迎阅读。
图片来源:视觉中国
当地时间 4 月 18 日,Meta 发布了其最新开源模型 Llama 3,提供 8B 和 70B 的预训练和指令微调版本。这是目前为止最先进的开源模型,会对包括 OpenAI 在内的大模型公司形成强力竞争,也能够让众多依赖开源模型的人工智能公司受益。
在大盘小跌的情况下,Meta 股价上涨 1.54%。
根据 Meta 官方介绍,Llama 3 在两个定制的 24K GPU 集群上基于超过 15T 的数据进行了训练——这比 Llama 2 使用的数据集大 7 倍,多 4 倍的代码,并且 Llama 3 支持 8K 上下文长度,是 Llama 2 容量的两倍。
图片来源:Meta 官方
此外,Meta 还放出了 Llama 3 两个版本与谷歌 Gemma、谷歌 Gemini、Mistral、Anthropic 的 Claude 3 等竞争对手的参数对比。
对于用户来说,也能够通过 Meta 自己推出的 Meta AI 来感受 Llama 3。Meta CEO 扎克伯格介绍,Meta AI 将集成到 Meta 旗下各大产品 WhatsApp、Instagram、Facebook 和 Messenger 顶部的搜索框中,并建立了一个网站 meta.ai,使其更易于使用。
根据 Meta 首席科学家 Yann LeCun 称,未来几个月 Llama 将继续推出更多版本,也将很快释放 Llama 3 的研究论文。英伟达高级科学家 Jim Fan 认为之后可能会发布的 Llama 3-400B 以上的版本其将成为某种 " 分水岭 ",开源社区将能用上 GPT-4 级别的模型。
值得关注的是,Llama 3 的推出像其此前版本一样引发了开源社区的轰动,但就在本周早些时候,百度创始人李彦宏公开表示,开源模型将越来越落后。
李彦宏称,开发者通过百度的文心 4.0 降维裁剪出来的更小尺寸模型,要比直接拿开源模型调出来的模型,同等尺寸下效果明显更好;同等效果下,成本明显更低。" 大家以前用开源觉得开源便宜,其实在大模型场景下,开源是最贵的。所以开源模型会越来越落后。"