今天小編分享的互聯網經驗:買更多H100卡,Meta将于明年初訓練新模型,能力堪比GPT4,歡迎閲讀。
為縮小與谷歌、微軟、OpenAI 等競争對手的差距,Meta 将于明年開始訓練新模型,可能開源。
根據微軟知情人士透露,這個正在開發的新人工智能模型對标 OpenAI 推出的 GPT-4,能夠幫助公司構建可生成復雜文本、分析和其他輸出的服務。
為建設該項目工作所需的數據中心,Meta 正在購入更多的 H100。根據知情人士透露,盡管 Meta 與微軟合作,在微軟的雲計算平台 Azure 上提供 Llama 2,但它計劃在自己的基礎設施上訓練新模型。
Meta 計劃于明年年初開始訓練這款人工智能模型,目标是比兩個月前發布的 Llama 2 模型強大數倍。今年 7 月,為打破 OpenAI 在大語言模型(LLM)市場的主導地位,Meta 發布了 Llama 2 模型。但在關于 Llama 2 的論文中,Meta 自己指出,Llama 2 與 GPT-4 和谷歌的 PaLM-2 等閉源模型之間仍存在巨大的性能差距。
Meta 的 Llama 2 模型的最強大版本已經接受了 700 億個參數的訓練,參數是用于測量尺寸的人工智能系統中的變量的術語。OpenAI 尚未透露 GPT-4 的大小,但估計大約是該大小的 20 倍,參數為 1.5 萬億個。一些人工智能專家表示,可能還有其他方法可以實現 GPT-4 的功能,而不必達到這種規模。
據悉,目前 Meta CEO Mark Zuckerberg(馬克 · 扎克伯格)正在努力推動讓這款模型開源,這能降低該模型所需成本,提高其普适性。
但 Meta 追求的這種開源模式也有潛在問題,一些法律專家表示,模型開源會提高使用受版權保護信息的風險、致使生成或傳播虛假信息等不良行為等。
聯邦貿易委員會前顧問、現任聯邦貿易委員會顧問 Sarah West(薩拉 · 韋斯特 )也對此表示擔憂:
" 你無法輕易預測系統會做什麼或它的漏洞——一些開源人工智能系統提供的只是有限程度的透明度、可重用性和可擴展性。"