今天小编分享的互联网经验:买更多H100卡,Meta将于明年初训练新模型,能力堪比GPT4,欢迎阅读。
为缩小与谷歌、微软、OpenAI 等竞争对手的差距,Meta 将于明年开始训练新模型,可能开源。
根据微软知情人士透露,这个正在开发的新人工智能模型对标 OpenAI 推出的 GPT-4,能够帮助公司构建可生成复杂文本、分析和其他输出的服务。
为建设该项目工作所需的数据中心,Meta 正在购入更多的 H100。根据知情人士透露,尽管 Meta 与微软合作,在微软的云计算平台 Azure 上提供 Llama 2,但它计划在自己的基础设施上训练新模型。
Meta 计划于明年年初开始训练这款人工智能模型,目标是比两个月前发布的 Llama 2 模型强大数倍。今年 7 月,为打破 OpenAI 在大语言模型(LLM)市场的主导地位,Meta 发布了 Llama 2 模型。但在关于 Llama 2 的论文中,Meta 自己指出,Llama 2 与 GPT-4 和谷歌的 PaLM-2 等闭源模型之间仍存在巨大的性能差距。
Meta 的 Llama 2 模型的最强大版本已经接受了 700 亿个参数的训练,参数是用于测量尺寸的人工智能系统中的变量的术语。OpenAI 尚未透露 GPT-4 的大小,但估计大约是该大小的 20 倍,参数为 1.5 万亿个。一些人工智能专家表示,可能还有其他方法可以实现 GPT-4 的功能,而不必达到这种规模。
据悉,目前 Meta CEO Mark Zuckerberg(马克 · 扎克伯格)正在努力推动让这款模型开源,这能降低该模型所需成本,提高其普适性。
但 Meta 追求的这种开源模式也有潜在问题,一些法律专家表示,模型开源会提高使用受版权保护信息的风险、致使生成或传播虚假信息等不良行为等。
联邦贸易委员会前顾问、现任联邦贸易委员会顾问 Sarah West(萨拉 · 韦斯特 )也对此表示担忧:
" 你无法轻易预测系统会做什么或它的漏洞——一些开源人工智能系统提供的只是有限程度的透明度、可重用性和可扩展性。"