今天小編分享的互聯網經驗:Meta今年壓軸大模型來了:Llama 3.3性能比肩最大Llama模型,成本更低,歡迎閲讀。
本文作者:李丹
來源:硬 AI
Meta 今年的壓軸人工智能(AI)大模型來了。
美東時間 12 月 6 日周五,Meta 宣布推出一款新的 Llama 系列生成式 AI 模型:70 億參數的 Llama 3.3、又稱 Llama 3.3 70B。CEO 扎克伯格在旗下社交媒體 Instagram 稱,這是今年最後一次 AI 大模型更新,下一步就是明年 Llama 4 亮相。
Meta 生成式 AI 副總裁 Ahmad Al-Dahle 在社交媒體 X 發帖表示,純文本的 Llama 3.3 能實現和 Meta 最大 Llama 模型—— 4050 億參數的 Llama 3.1 同樣的性能,成本還比 Llama 3.1 更低。" 通過利用包括在線偏好優化在内的最新後訓練後技術進展,該模型顯著降低成本且提高了核心性能,讓它更容易被整個開源社區所接受。"
Al-Dahle 在發帖的同時附上了一張圖表,顯示包括針對大模型語言理解能力的測試 MMLU 在内, Llama 3.3 在一系列行業基準測試中表現優于谷歌的 Gemini 1.5 Pro、OpenAI 的 GPT-4o 和亞馬遜本周稍早發布的 Nova Pro。Meta 發言人通過電郵表示,該模型應該在數學、常識、指令遵循和應用程式 App 使用等領網域有所提升。
Llama 3.3 目前已經可以在 Llama 官網和 AI 開發平台 Hugging Face 等網上來源下載。評論稱,Meta 試圖以可供大範圍商業應用的開源模型主導 AI 模型市場,新模型是 Meta 為此目标的最新努力。
今年 7 月下旬,Meta 發布了迄今為止最大的 Llama 開源模型 Llama 3.1,對标 OpenAI 和谷歌的大模型。這一 4050 億參數的模型使用 1.6 塊英偉達 H100 GPU 進行訓練,受益于新的訓練和開發技術,Meta 稱,Llama 3.1 在一定程度上可以與 OpenAI 的 GPT-4o 和 Anthropic 的 Claude 3.5 Sonnet 競争。
扎克伯格稱 Llama 3.1 為 " 藝術的起點 ",表示該模型擁有大範圍新的能力,包括改善推理以幫助處理復雜的數學問題、或即時合成一整本書。
Meta 限制了某些開發者使用 Llama 模型的方式,其規定,月度用户超過 7 億的平台必須申請特殊許可。但對很多人來説,Llama 模型是否嚴格意義上的 " 開源 " 并不重要。Meta 的數據顯示,Llama 的下載量已超過 6.5 億次。
Meta 在内部在也運用 Llama。扎克伯格稱,Meta 的 AI 助手 Meta AI 完全由 Llama 模型提供支持,目前每月擁有将近 6 億活躍用户。他還稱,Meta AI 有望成為世界上使用率最高的 AI 助手。
不過,Llama 的開源對 Meta 來説福禍相依。去年 11 月,在有報道稱 Llama 模型被海外用于開發軍用 AI 工具後,Meta 當月回應稱,得到确認,将要向美國政府機構和國家安全領網域私營企業承包商提供 Llama。
Meta 還對其遵守歐盟《人工智能法案》的能力表示擔憂,稱該法律的實施對 Meta 開源發布戰略來説 " 太難以預測 "。歐盟《通用數據保護條例》 ( GDPR ) 中有關 AI 訓練的規定也給 Meta 帶來問題。Meta 使用未選擇不接受的 Instagram 和 Facebook 用户的公開數據來訓練 AI 模型,而在歐洲,這些數據受到 GDPR 的保護。