今天小编分享的互联网经验:年底手握35万张H100!扎克伯格的新目标:AGI,并且开源!,欢迎阅读。
众所周知,人工智能新星 OpenAI 将实现通用人工智能(AGI)视为公司的历史使命,老牌科技巨头谷歌旗下 DeepMind 也制定了同样的目标,如今,此前押宝元宇宙巨亏的科技巨头 Meta 也加入了 AGI 大军。
" 我们需要打造通用(人工)智能,"Meta 首席执行官扎克伯格在接受科技媒体 The Verge 的最新采访中表示。
The Verge 文章称,虽然扎克伯格还没有制定实现 AGI 的具体时间表,甚至还没对其进行明确的定义,但从公司近期的一系列动作来看,扎克伯格的目标是实现 AGI,甚至可能最终将其开源。
AI 部门重大重组,加速训练 Llama 3,到年底手握 35 万张 H100,Meta 全速跑进 AGI 赛道
人工智能研究小组调入公司直属产品部门,拉拢关键技术人才
首先,Meta 产品部门将在 2024 年进行重大重组——人工智能研究小组 FAIR 调入公司直属的产品部门。
其副总裁 Joelle Pineau 和首席人工智能科学家 Yann LeCun 将直接向 Meta 首席产品官 Chris Cox 汇报工作,此前他们向 Meta 旗下 Reality Labs 部门的首席技术官 Andrew 'Boz' Bosworth 汇报。
重组后的团队将在 Meta 各类应用中开发生成式人工智能产品,让其数十亿用户接触时下最火爆的 AI 技术。
" 我们认为,为了打造我们想要打造的产品,我们需要打造通用(人工)智能," 扎克伯格早前接受 The Verge 采访时表示," 我认为传达这一点很重要,因为许多最优秀的研究人员都希望致力于解决更雄心勃勃的问题。"
从扎克伯格的话里可以嗅到,AI 领網域的人才争夺从未像现在这样激烈。
据报道,AI 开发人员最高能拿到超过 100 万美元的年薪,令人瞠目结舌。像扎克伯格这样的 CEO 经常要拉拢关键技术人才,防止被竞争对手撬墙角。
" 我们已经习惯了相当激烈的人才争夺战," 扎克伯格说," 但这里的情况不同,多家公司都追求相同的目标,(并且)许多风投和散户向不同的项目投入资金。"
Llama 3 推理、规划能力大更新
当地时间周五,扎克伯格在 Instagram 上更新动态,透露 Meta 目前正在训练 Llama 3。据 The Verge 称,Llama 3 将不仅有 Llama 2 的代码生成功能,还将具备更高级的推理和规划能力。
正如扎克伯格所解释的那样,Meta 对 AGI 的关注受到去年发布的大模型 Llama 2 的影响。
Meta 认为,Llama 2 的编码能力对于普通用户在 Meta 的应用程式中使用大型语言模型(LLM)没有意义,但它是构建更智能 AI 模型的一项重要技能。
"Llama 2 不是行业领先的模型,但它是最好的开源模型," 扎克伯格说," 对于 Llama 3 及更高级的版本,我们的目标是打造最先进的产品,并最终成为行业领先的模型。"
到年底拿到 35 万张 H100,芯片库存达到近 60 万
除了人才之外,AI 领網域最稀缺的资源是训练和运行大型模型所需的计算能力。在这个问题上,扎克伯格似乎已经做好准备。
扎克伯格在 Instagram 上透露,到今年年底,Meta 将拥有大约 35 万张英伟达 H100,如果包括其他 GPU,将有大约 60 万块 H100 等效算力。
扎克伯格说:" 我们已经建立了这样的能力,其规模可能比任何其他独立公司都大。"
外部研究预计 Meta 的 H100 到货量到 2023 年将达到 15 万张,与微软的到货量持平,至少比其他公司高出三倍。
Meta AGI,可能开源!
AGI 是超级强大的人工智能,如果被赋予不适当的目标和动机,可能会对人类社会产生灾难性后果。因此,谁将控制 AGI 一直存在争议,OpenAI 内部最近出现的分歧就体现了这一点。
由于扎克伯格通过持股对 Meta 拥有投票控制权,他在公司内部拥有绝对权力,可以单独决定 AGI 的设计方向和目标。如果有朝一日 AGI 在 Meta 成为现实,如果设计不当,扎克伯格的决策可能会导致 Meta 开发出对人类有害的 AGI。
针对这一担忧,扎克伯格并没有做出正面回应,但他指出,Meta 目前的语言模型 Llama 在大多数情况下是开源的。
" 只要它有意义并且是安全和负责任的事情,那么我们通常会倾向于开源," 他说," 显然,你不想因为你说过你会做某事就一定会做。"
" 我倾向于认为,这里更大的挑战之一是,如果你构建了真正有价值的东西,那么它最终会变得非常集中," 扎克伯格说," 然而,如果你让它更加开放,那么就可以解决由于机会和价值不平等而可能产生的一大类问题。所以这是整个开源愿景的重要组成部分。"
与此同时,从商业策略上看,扎克伯格认为,Meta 迄今为止部署的模型尚未对公司经营造成灾难性的损害。
" 在很多情况下,那些一开始就拥有最大领先优势的最大公司也是那些呼吁最多的公司,他们说需要为其他人如何构建人工智能設定必要的护栏。" " 我确信他们中的一些人对公司安全的担忧是合理的,但这种做法与这些企业的商业策略和利益高度一致。"
当前,扎克伯格支持开源也有自己的动机,他表示,大模型开源的最终结果仍然是技术的垄断和集中,只是形式不同。
Meta 拥有比全球其他任何一家公司都多的用户,并且其社交媒体业务利润丰厚。因此,人工智能可以让他的平台用户更具粘性。如果 Meta 能够通过公开发布模型来有效规范 AI 的发展,那么它对生态系统的影响力只会越来越大。