今天小编分享的互联网经验:Meta今年压轴大模型来了:Llama 3.3性能比肩最大Llama模型,成本更低,欢迎阅读。
本文作者:李丹
来源:硬 AI
Meta 今年的压轴人工智能(AI)大模型来了。
美东时间 12 月 6 日周五,Meta 宣布推出一款新的 Llama 系列生成式 AI 模型:70 亿参数的 Llama 3.3、又称 Llama 3.3 70B。CEO 扎克伯格在旗下社交媒体 Instagram 称,这是今年最后一次 AI 大模型更新,下一步就是明年 Llama 4 亮相。
Meta 生成式 AI 副总裁 Ahmad Al-Dahle 在社交媒体 X 发帖表示,纯文本的 Llama 3.3 能实现和 Meta 最大 Llama 模型—— 4050 亿参数的 Llama 3.1 同样的性能,成本还比 Llama 3.1 更低。" 通过利用包括在线偏好优化在内的最新后训练后技术进展,该模型显著降低成本且提高了核心性能,让它更容易被整个开源社区所接受。"
Al-Dahle 在发帖的同时附上了一张图表,显示包括针对大模型语言理解能力的测试 MMLU 在内, Llama 3.3 在一系列行业基准测试中表现优于谷歌的 Gemini 1.5 Pro、OpenAI 的 GPT-4o 和亚马逊本周稍早发布的 Nova Pro。Meta 发言人通过电邮表示,该模型应该在数学、常识、指令遵循和应用程式 App 使用等领網域有所提升。
Llama 3.3 目前已经可以在 Llama 官网和 AI 开发平台 Hugging Face 等网上来源下载。评论称,Meta 试图以可供大范围商业应用的开源模型主导 AI 模型市场,新模型是 Meta 为此目标的最新努力。
今年 7 月下旬,Meta 发布了迄今为止最大的 Llama 开源模型 Llama 3.1,对标 OpenAI 和谷歌的大模型。这一 4050 亿参数的模型使用 1.6 块英伟达 H100 GPU 进行训练,受益于新的训练和开发技术,Meta 称,Llama 3.1 在一定程度上可以与 OpenAI 的 GPT-4o 和 Anthropic 的 Claude 3.5 Sonnet 竞争。
扎克伯格称 Llama 3.1 为 " 艺术的起点 ",表示该模型拥有大范围新的能力,包括改善推理以帮助处理复杂的数学问题、或即时合成一整本书。
Meta 限制了某些开发者使用 Llama 模型的方式,其规定,月度用户超过 7 亿的平台必须申请特殊许可。但对很多人来说,Llama 模型是否严格意义上的 " 开源 " 并不重要。Meta 的数据显示,Llama 的下载量已超过 6.5 亿次。
Meta 在内部在也运用 Llama。扎克伯格称,Meta 的 AI 助手 Meta AI 完全由 Llama 模型提供支持,目前每月拥有将近 6 亿活跃用户。他还称,Meta AI 有望成为世界上使用率最高的 AI 助手。
不过,Llama 的开源对 Meta 来说福祸相依。去年 11 月,在有报道称 Llama 模型被海外用于开发军用 AI 工具后,Meta 当月回应称,得到确认,将要向美国政府机构和国家安全领網域私营企业承包商提供 Llama。
Meta 还对其遵守欧盟《人工智能法案》的能力表示担忧,称该法律的实施对 Meta 开源发布战略来说 " 太难以预测 "。欧盟《通用数据保护条例》 ( GDPR ) 中有关 AI 训练的规定也给 Meta 带来问题。Meta 使用未选择不接受的 Instagram 和 Facebook 用户的公开数据来训练 AI 模型,而在欧洲,这些数据受到 GDPR 的保护。