今天小编分享的科技经验:年底手握60万块GPU!扎克伯格宣战AGI,血拼谷歌OpenAI,欢迎阅读。
正在训练 Llama 3,对标谷歌 Gemini。
编译 | 李水青
智东西 1 月 19 日消息,今日,外媒 The Verge 刊登了 Meta 的首席执行官马克 · 扎克伯格(Mark Zuckerberg)的一场最新专访,小扎首次明确宣布投身通用人工智能(AGI)并谈及具体规划。
扎克伯格首先谈道,当下 AI 领網域人才竞争异常激烈,年薪动辄100 万美元,且常需要他这样的 CEO 亲自去请,还要时刻提防人才被挖走。
面对全球 AI 算力的供应紧缺,扎克伯格称 Meta 的 GPU 资源可能是全球公司之最,到 2024 年底将拥有近35 万个英伟达(Nvidia)的 H100 GPU,近60 万个GPU 储备,总体拥有相当于60 万个H100 的计算能力。
Meta 将两个主要的 AI 研究部门 FAIR 和生成式 AI 团队重组,它们将 " 更紧密地结合 " 以支持开源 AGI 的长期目标。
新的开源大模型 Llama 3 已经在训练,扎克伯格透露这一新的开源模型将具备更新代码、推理及规划能力,对标谷歌 Gemini。
扎克伯格在采访中还不点名地批评了OpenAI 的封闭策略,认为这是在为先进 AI 技术設定护栏,而不是主要出于所谓的安全考虑。
Meta 在两年前改名并聚焦元宇宙领網域,现在要放弃元宇宙转做生成式 AI 了?
扎克伯格对此当然不承认。他表示 Meta 确实在大力投入生成式 AI,但每年在元宇宙项目上的投入仍然超过150 亿美元。
▲ Meta 于 2023 年 9 月底推出其首款生成式 AI 軟體 Meta AI
一、人才和算力两手抓,小扎囤 34 万块 H100
扎克伯格坦言 AI 人才争夺激烈。专业人才年薪已高达100 万美元,还往往需要像他这样的 CEO 亲自出马去招聘,并且时刻提防核心人才跳槽到竞争对手那里。
" 我们早已习惯了激烈的人才竞争,但这次有所不同。" 他说," 多家公司都在追求相同的人才,而且投资者在不同的项目上投入巨资,这使得人们很容易受到外部的诱惑而改变方向。"
说到这里,扎克伯格想必是一把辛酸泪。智东西在 2023 年 9 月 6 日报道,Meta 在 2 月份发表 Llama 原始研究论文的 14 名作者中,传出有一半以上已经离开了 Meta,包括 FAIR 巴黎分部负责人安东尼 · 博尔代斯(Antoine Bordes)等。
而面对更为棘手的 AI 算力紧缺问题,扎克伯格表现得胜券在握:到今年年底,Meta 将拥有超过340000 个英伟达的 H100 GPU,据称可能超过市面上所有其他公司。
外部研究显示,2023 年 Meta 的 H100 出货量达到了 150000,与微软的出货量相当,而这个数字比其他所有公司的出货量高出至少三倍。
扎克伯格表示,如果将 Nvidia A100 和其他 AI 芯片也算在内,到 2024 年底,Meta 将拥有近600000 个GPU 储备。
" 我们的能力已经相当强大,规模可能超过任何其他公司。" 他说," 这一点可能很多人都没意识到。"
二、正在训练 Llama 3,对标谷歌 Gemini
包括扎克伯格在内的 AI 从业者们,似乎都没有明确的定义通用 AI(AGI),也不知道它何时会出现。
" 我并没有一个精确的定义," 扎克伯格告诉 The Verge 记者," 有些人认为,通用智能相当于人类水平的智能,或者超越人类的超级智能,甚至可能是未来某个阶段的超级智能。但对我来说,关键在于智能的广度,也就是说,智力应该具备推理和直觉等各种能力。"
他认为通用智能的出现是一个渐进的过程,而不是一个突然的轉捩點。" 实际上,我不确定是否存在一个明确的临界点,能让人感到通用智能真的出现了。"
扎克伯格透露,Meta 正在训练Llama 3,它将具有代码生成能力。就像谷歌的 Gemini 模型,另一个重点是更先进的推理和规划能力。
Meta 在 2023 年 9 月发布了其首个商用免费大型语言模型 Llama 2,时至今日已成为 GPT-4 在开源开模型领網域的一大 " 最强平替 "。
扎克伯格称,就 Llama 2 的落地情况来说,公司并不认为 Meta 的应用产品需要代码生成能力。但对于构建更智能的 AI 来说,这仍然是一项需要开发的重要技能,所以 Meta 还是构建了它。
扎克伯格说:" 编程可能并不是那么重要,因为没有多少人会在 WhatsApp 上访问编程问题 …… 事实证明,编码实际上在结构上非常重要,因为它使学习记忆模型能够理解知识的严谨性和层次结构,并且通常具有更直观的逻辑感。"
" 我们的目标是打造最先进的产品,并最终成为行业领先的模型。"
"Llama 2 并不是业界领先的模型,但它是最好的开源模型。" 扎克伯格说," 有了 Llama 3 和更高版本,我们的目标是制造出处于最先进水平的产品,并最终成为业内领先的模型。"
三、批评 OpenAI 封闭,但 Meta 开放的动机也不纯?
谁将最终控制 AGI 的问题是一个备受争议的话题。最近,OpenAI 的内部动态向外界展示了这一点。
扎克伯格凭借对 Meta 股票的投票控制权,在 Meta 中拥有绝对的话语权。这使他处于一个非常强势的地位,如果 AGI 得以实现,这种地位可能会带来更大的影响力。对此他表示,到目前为止,Meta 一直遵循着 Llama 的开源发展路线。
" 如果创造了真正有价值的东西,它最终可能会变得非常集中。" 扎克伯格说," 然而,如果你选择更加开放,那么就能解决许多可能源自机会和价值不平等的问题。所以,这是开源愿景中非常重要的一部分。"
他没有直接点名,但将 Meta 的方法与 OpenAI 的方法进行了对比。
OpenAI 最初是希望开源其技术的,但现在变得越来越不透明。" 有许多公司曾经是开放的,曾经发布过他们的所有研究成果,并讨论过他们将如何开源所有的技术。但我认为,人们现在才意识到一个事实,那就是‘嘿,这将是一个非常有价值的东西,我们不想与人分享它’。"
尽管萨姆 · 阿尔特曼(Sam Altman)和其他人支持更封闭的 AI 开发方法的安全优势,但扎克伯格却认为这是其精明的商业策略。同时,他认为目前抛开公平谈模型安全为时尚早。
他告诉 The Verge 记者:" 在很多情况下,那些一开始就拥有最大领先优势的大公司也是那些呼吁設定最多护栏的公司。我相信其中一些人确实关心安全问题,但这与他们的战略有多大关系,这是一个很值得怀疑的事情。"
当然,扎克伯格也有自己的动机。他对 AI 的开放愿景最终可能仍然会导致权力的集中,只是形式不同而已。
Meta 已经拥有了比地球上几乎任何一家公司都多的用户,并且拥有一个利润丰厚的社交媒体业务。AI 的特性可以使他的平台更加吸引人、更加有用。如果 Meta 能够通过公开发布其模型来规范 AI 的发展,那么它对整个生态系统的影响力只会越来越大。
还有一个问题:如果 Meta 实现了通用 AI,是否将其开源最终取决于扎克伯格本人。他还没有对此做出明确的承诺。
" 只要我们认为这是有意义、安全且负责任的事情,那么我们通常会倾向于开源。" 他说。" 显然,你不会因为承诺了某件事情而陷入困境。"
四、放弃元宇宙转做生成式 AI?扎克伯格回应一切
在 Meta 的大背景下,扎克伯格新推 AGI 的时机确实有点尴尬。
自从他将公司改名并宣布专注于元宇宙,时间仅仅过去两年。Meta 的最新款雷朋(Ray-Ban)智能眼镜已初见成色,但成熟的 AR 眼镜似乎遥不可及。
与此同时,苹果近来加速了其混合现实头显的进程,Vision Pro 的发布表明,尽管 VR 仍然是一个市场空间有限的行业,但仍在全速前行。
当然,扎克伯格不同意将 AI 作为 Meta 新的重心的说法。
" 我不知道如何更明确地声明,我们将继续专注于 Reality Labs(现实实验室)和元宇宙。" 他告诉记者,Meta 每年在元宇宙项目上的投入仍然超过150 亿美元。
雷朋智能眼镜最近增加了一个视觉 AI 助手,可以识别物体和翻译语言。他认为生成型 AI 在 Meta 未来的硬體发展中扮演着更加关键的角色。
他看到了一个由 AI 生成的虚拟世界,并充满了伴随真人的 AI 角色。
他说,今年会有一个新的平台,让任何人都可以创建自己的 AI 角色,并在 Meta 的社交应用中分发。也许这些 AI 甚至能够将自己的内容发布到 Facebook、Instagram 和 Threads 等社交媒体上。
Meta 仍然是一个元宇宙公司,是世界上最大的社交媒体公司。它现在正在尝试构建 AGI。扎克伯格把这一切都围绕着 " 构建未来连接 " 这一首要使命。
迄今为止,这种联系主要是人与人之间的相互作用。与扎克伯格交谈后发现,未来人类与 AI 的对话也将越来越多。显然,他认为这个未来是不可避免的和令人兴奋的,不管我们其他人是否准备好了。
结语:Meta 加入通用智能战斗,巨头竞赛愈演愈烈
OpenAI、谷歌都明确投身通用人工智能(AGI)发展,现在,Meta 也加入了战斗。扎克伯格的目标是将 AI 更直接地推广给其数十亿用户,可见是产品驱动的技术研发。
当下,美国各大巨头都围绕生成式 AI 的角逐愈演愈烈,展开了人才、算力、产品、生态、用户等多方面的争夺战。每一家的侧重又有所差别,但都不会允许自己有明显的短板。
Meta 是不是元宇宙做不下去了转做生成式 AI?这个问题或许不是最重要的。最重要的是,Meta 能否在元宇宙的社交属性和用户流量池基础上,打造自己的护城河。