今天小編分享的科技經驗:Meta今年壓軸模型Llama 3.3登場:700億參數,性能比肩4050億,歡迎閲讀。
IT 之家 12 月 7 日消息,Meta 今年的壓軸 AI 大模型來了。Meta 昨日(12 月 6 日)發布 Llama 3.3,共有 700 億參數,不過性能方面媲美擁有 4050 億參數的 Llama 3.1。
Meta 強調 Llama 3.3 模型效率更高、成本更低,可以在标準工作站上運行,降低運營成本的同時,提供高質量文本 AI 解決方案。
Llama 3.3 模型重點優化了多語言支持,支持英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語 8 種語言。
在架構方面,Llama 3.3 是一款自回歸(auto-regressive)語言模型,使用優化的 transformer 架構,其微調版本使用了監督式微調(SFT)和基于人類反饋的強化學習(RLHF),讓其與人類對有用性和安全性的偏好保持一致。
Llama 3.3 上下文長度為 128K,支持多種工具使用格式,可與外部工具和服務集成,擴展模型的功能。
安全方面,Meta 采用數據過濾、模型微調和系統級安全防護等措施,以降低模型濫用的風險;此外 Meta 鼓勵開發者在部署 Llama 3.3 時采取必要的安全措施,例如 Llama Guard 3、Prompt Guard 和 Code Shield,以确保模型的負責任使用。
IT 之家附上參考地址