今天小编分享的科学经验:小扎All in 开源AGI:正训练Llama 3,年底将有35万块H100,欢迎阅读。
白交 发自 凹非寺
量子位 | 公众号 QbitAI
小扎宣布新目标:All in 开源 AGI。
不错,小扎又 All in 了,正是 OpenAI 谷歌必争之地。
不过在 AGI 之前,着重强调了是Open Sourse(开源)的。
此举受到不少好评,一如此前 LIama 系列大模型开源之时。
不过此次又一波 All in,不禁让网友想起上一波 All in 了:元宇宙去哪里了???
但必须要说的是,此次列的 Flag 确实更具体一些,甚至也透露了一些关键数据。
比如,
年底将有 35 万块 H100,而包括其他 GPU 在内,总算力将相当于 60 万块 H100。
FAIR 团队的工作将与 GenAI 团队更为紧密。
LIama 3 即将到来。
最后他还打了个小广告。他们正在打造以 AI 为中心的新型计算设备,比如 Ray Ban Meta 智能眼镜。
看来元宇宙还在继续。
小扎又 All in 了
现在,小扎正式宣布加入 AGI 之争。
虽然没有明确的时间表,但作为长期愿景,明确表示两个关键点:
负责任地开源,并广泛提供,让每个人都能从中获益。
而为了实现这一目标,主要有两件事:
第一,将现有两大 AI 研究工作团队(FAIR 和 GenAI)紧密结合在一起。
按照 LeCun 的话说,就是两个成为兄弟部门。
并表示,Llama-3 is coming!
第二,建设大规模的计算基础设施:今年年底将拥有 35 万块 H100,总算力相当于 60 万个 H100。
按照 2.5 万美元至 3 万美元出售价来测算,总算力价值将达到 150 亿美元至 180 亿美元。
此前曾有机构预计,2023 年英伟达朝 Meta 的 H100 出货量能达到 15 万块,同微软持平,并且至少是其他公司的三倍。
为此小扎表示,我们已经建立了这样的能力,其规模可能比任何其他单独的公司都大。
有网友算了算计算能力直呼:大腦大小的模型即将到来。
不过也有人质疑,英伟达应该生产不了那么多。
但有 Meta 领导现身说法:H100 是包含现有在内,一共 35 万块。
除此之外,还强调了硬體设备上的进展。
大佬们对于 AGI 的评价
在小扎宣布这一消息之前,不少大佬在达沃斯世界经济论坛上发表了不少关于 AGI 的评论。
像 LeCun 则在 The Expanding Universe of Generative Models 这一论坛上强调了 AGI 实现路径中开源的重要性。
我们之所以能在人工智能领網域看到如此快速的进步,是因为人们进行了开放研究。
即便他经常经常对 AGI 很快到来(当然不是在未来五年内)表示怀疑,但 AGI 还是到来了。
而 Transformer 主创 Aidan Gomez 则表示:
目前我们还没有完成扩展,我们还需要继续努力。
至于像 OpenAI CEO 奥特曼表示,人类水平的人工智能很快到来,但对世界的改变远比我们想象的要小。
通用人工智能(AGI)可能会在 " 相当接近的未来 " 得到开发。
对于 AGI 的发展,你们怎么看?
— 完 —
点这里关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>