今天小编分享的科技经验:AI缺芯,英伟达卖断货,欢迎阅读。
8 月 8 日,全球计算机业内最重要的圆桌会议,世界计算机图形学会议 SIGGRAPH 正式召开。
NVIDIA 创始人兼 CEO 黄仁勋出席,并带来了新一代英伟达超级 AI 芯片 GH200。黄仁勋对自己的新旗舰产品非常有自信,将 GH200 称为 " 世界上最快的内存 "。
在如今的 AI 市场,英伟达是堪称 " 运转整个 AI 世界的中心 "。不论是 OpenAI 还是谷歌、META、百度、腾讯、阿里巴巴,所有的生成式 AI 都极度依赖英伟达的 AI 芯片来训练。
并且,据媒体报道,英伟达 AI 芯片 H100 在 2023 年 8 月的市场总需求可能在 43.2 万张左右,而目前一张 H100 芯片在 Ebay 上的价格甚至炒到了 4.5 万美元,折合人民币超过了 30 万元。
40 多万张芯片缺口,单价 4.5 万美元,总价轻轻松松上数百万美元。
英伟达,正在经历一场比 " 挖矿时代 " 更疯狂的市场浪潮。
AI 芯片,一张难求
所谓的 AI 芯片,其实是图形处理器(GPU),主要作用是帮助运行训练和部署人工智能算法所涉及的无数计算。
也就是说,生成式 AI 的种种智能表现,均来自于无数 GPU 的堆砌。使用的芯片越多,生成式 AI 就越智能。
OpenAI 对 GPT-4 训练细节守口如瓶,但据媒体猜测,GPT-4 至少需要 8192 张 H100 芯片,以每小时 2 美元的价格,在约 55 天内可以完成预训练,成本约为 2150 万美元(1.5 亿人民币)。
据微软高管透露,为 ChatGPT 提供算力支持的 AI 超级计算机,是微软在 2019 年投资 10 亿美元建造一台大型顶尖超级计算机,配备了数万个英伟达 A100 GPU,还配备了 60 多个数据中心总共部署了几十万个英伟达 GPU 辅助。
ChatGPT 所需要的 AI 芯片并不是固定的,而是逐次递增。ChatGPT 越聪明,背后的代价是所需算力越来越多。据摩根士丹利预测,到了 GPT-5 大概需要使用 2.5 万个 GPU,约是 GPT-4 的三倍之多。
如果想满足 OpenAI、谷歌等一系列 AI 产品的需求,那么就相当于英伟达一家公司为全世界的 AI 产品供芯,这对于英伟达的产能是个极大的考验。
虽然英伟达正在开足马力生产 AI 芯片,但据媒体报道,小型和大型云提供商的大规模 H100 集群容量即将耗尽,H100 的 " 严重缺货问题 " 至少会持续到 2024 年底。
目前,英伟达作用于 AI 市场的芯片主要分为 H100 和 A100 两种,H100 是旗舰款产品,从技术细节来说,H100 比 A100 在 16 位推理速度大约快 3.5 倍,16 位训练速度大约快 2.3 倍。
不论是 H100 还是 A100,全部都是由台积电合作生产,就使得 H100 的生产受到了限制。有媒体称,每一张 H100 从生产到出厂大约需要半年的时间,生产效率非常的缓慢。
英伟达曾表示它们在 2023 年下半年,提高对 AI 芯片的供应能力,但没有提供任何定量的信息。
不少公司和求购者都在呼吁,要求英伟达加大对晶圆厂的生产数量,不只和台积电合作,而是把更多的订单交给三星和英特尔。
更快的训练速度
如果没办法提高产能,那么最好的解决办法就是推出性能更高的芯片,以质取胜。
于是乎,英伟达开始频频推出新款 GPU 用来提升 AI 训练能力。先是在今年 3 月,英伟达发布了 H100 NVL GPU、L4 Tensor Core GPU、L40 GPU、NVIDIA Grace Hopper 四款 AI 芯片,以满足生成式 AI 们日益增长的算力需求。
在上一代还未量产上市,英伟达又在 8 月 8 日世界计算机图形学会议 SIGGRAPH 上,由黄仁勋发布了 H100 的更新版,GH200。
据了解,全新 GH200 Grace Hopper Superchip 基于 72 核 Grace CPU,配备 480GB ECC LPDDR5X 内存以及 GH100 计算 GPU,搭配 141GB HBM3E 内存,采用 6 个 24GB 堆栈,使用 6144 位存储器接口。
GH200 最大的黑科技,就是作为世界上第一款配备 HBM3e 内存的芯片,能够将其本地 GPU 内存增加 50%。而这也是专门对人工智能市场做的 " 特定更新 ",因为顶级生成式 AI 往往尺寸巨大却内存容量有限。
据公开资料显示,HBM3e 内存是 SK 海力士的第五代高带宽内存,是一种新型的高带宽内存技术,可以在更小的空间内提供更高的数据传输速率。它的容量为 141GB,带宽为每秒 5TB,能分别达到 H100 的 1.7 倍和 1.55 倍。
从 7 月份发布以来,SK 海力士就成为 GPU 市场的宠儿,领先于直接竞争对手英特尔 Optane DC 和三星的 Z-NAND 闪存芯片。
值得一提的是,SK 海力士一直以来都是英伟达的合作伙伴之一,从 HBM3 内存开始,英伟达绝大部分产品都是采用 SK 海力士的产品。但 SK 海力士对于 AI 芯片所需要的内存一直产能堪忧,英伟达不止一次的要求 SK 海力士提高产能。
一个难产大户遇上另一个难产大户,不由让人担心 GH200 的产能。
NVIDIA 官方表示,GH200 与当前一代产品 H100 相比,内存容量高出 3.5 倍,带宽高出 3 倍;并且,HBM3e 内存将使下一代 GH200 运行 AI 模型的速度比当前模型快 3.5 倍。
比 H100 运行 AI 模型的速度快 3.5 倍,是否意味着,1 张 GH200 就能相当于 3.5 张 H100?一切都还得实践操作才能得知。
但目前来说,可以肯定的一点就是,作为 AI 市场的最大供应商,英伟达进一步巩固了自己领先位置,并和 AMD 和英特尔拉大了差距。
英伟达的对手们
面对 43 万张 AI 芯片缺口,没有一家公司不动心。尤其是英伟达的最大竞争对手 AMD 和英特尔,不会放任其一个人独吞整个市场。
今年 6 月 14 日,AMD 董事会主席、CEO 苏姿丰密集地发布了多款 AI 软硬體新品,包括针对大语言模型设计的 AI 芯片,MI300X。正式拉开在 AI 市场,对英伟达的正面挑战。
在硬體参数上,AMD MI300X 拥有多达 13 颗小芯片,总共包含 1460 亿个晶体管,配置 128GB 的 HBM3 内存。其 HBM 密度为英伟达 H100 的 2.4 倍,带宽为英伟达 H100 的 1.6 倍,意味着可加快生成式 AI 的处理速度。
但可惜的是,这款旗舰 AI 芯片并没有现货,只是预计将于 2023 年 Q4 季度全面量产。
而另一竞争对手英特尔,则在 2019 年就以约 20 亿美元的价格收购了人工智能芯片制造商 HABANA 实验室,进军 AI 芯片市场。
今年 8 月,在英特尔最近的财报电话会议上,英特尔首席执行官 Pat Gelsinger 表示,英特尔正在研发下一代 Falcon Shores AI 超算芯片,暂定名为 Falcon Shores 2,该芯片预计将于 2026 年发布。
除了 Falcon Shores 2 之外,英特尔还推出 AI 芯片 Gaudi2,已经开始销售,而 Gaudi3 则正在开发中。
只是可惜的是,Gaudi2 芯片规格并不高,难以实现对英伟达 H100 和 A100 发起挑战。
除了国外半导体巨头们大秀肌肉,开始了 " 芯片竞争 " 之外,国内的半导体公司也开始了对 AI 芯片的研发。
其中,昆仑芯 AI 加速卡 RG800、天数智芯的天垓 100 加速卡、燧原科技第二代训练产品云燧 T20/T21,均表示能够具有支持大模型训练的能力。
在这场以算力为标准,以 AI 大模型为战场的芯片之争,英伟达作为 AI 市场的最大赢家之一,已经在芯片设计和市场占比等方面展示出它的强大。
但国产 AI 芯片虽然稍稍落后,但研发和扩展市场的脚步从未停止,未来值得期待。