今天小编分享的科技经验:谁捏住了英伟达的命门?,欢迎阅读。
被广泛视为第四次工业革命的 AIGC 浪潮,正在给人类的生产方式带来颠覆性的变革。凭借堪比黄金紧俏的 GPU,英伟达荣膺 AI" 卖水人 ",年内股价大涨 240%。
然而,多方抢购之下,英伟达 GPU 已经陷入产能瓶颈。最新的 H100 芯片早已全部卖空,现在下单要等 2024 年 Q1 甚至 Q2 才能用上。
根源在于,GPU 零部件产能严重不足,继而影响供应。
以 H100 芯片为例,其最关键的零部件主要是:1)逻辑芯片;2)HBM 存储芯片;3)CoWoS 封装。
核心的逻辑芯片尺寸为 814 平方毫米,主要由台积电最先进的台南 18 号工厂供应,使用的工艺节点则是 "4N",实际是 5nm+。由于 PC、智能手机和非 AI 相关数据中心芯片市场疲软,目前台积电 5nm+ 产能利用率不到 70%。因此逻辑芯片供应没有问题。
在 H100 最中心的逻辑芯片旁边,是 6 块 HBM(High Bandwidth Memory),它一种基于 3D 堆叠工艺的 DRAM 内存芯片,像摩天大厦中的楼层一样可以垂直堆叠,将多个 DDR 芯片堆叠在一起,通过硅通孔(TSV)连接,并使用 TCB 键合,实现更高带宽、更高位宽、更低功耗、更小尺寸。
内存芯片对 GPU 性能至关重要,尤其是训练 AI 所用的高性能 GPU。推理和训练工作负载是内存密集型任务。随着 AI 模型中参数数量的指数级增长,仅权重一项就将模型大小推高到了 TB 级。因此,从内存中存储和检索训练和推理数据的能力决定了 GPU 性能的上限。
作为 HBM 的先驱,HBM 供应几乎由韩国内存芯片厂商 SK 海力士一家垄断,市占率超过 95%,也是唯一有能力生产 H100 各型号上所使用的 HBM3 的厂商。
HBM3 供应目前也相当紧俏,此前有媒体报道称,英伟达和 AMD 要求 SK 海力士提供尚未量产的下一代 HBM3E 芯片的样品。英伟达已要求 SK 海力士尽快供应 HBM3E,并愿意支付 " 溢价 "。
不过,随着存储芯片大厂纷纷投入重金提升 HBM3 产能,供应紧张的状况或在今年有所缓解。近期有媒体报道称,在通过最终质量测试后,三星电子 8 月 31 日与英伟达签署了協定,将向后者供应 HBM3。最早将于下周开始供应。
早些时候,花旗亦在报告中透露,三星将在四季度开始向英伟达供应 HBM3。
另一大产能瓶颈,在于 CoWoS 封装。
HBM 和 CoWoS 封装两种技术相辅相成。HBM 对焊盘数量和短线迹长度的要求很高,这就需要 CoWoS 先进封装技术来实现 PCB 甚至封装基板上无法实现的高密度、短连接。
目前,几乎所有的 HBM 都采用 CoWoS 封装技术。英伟达 GPU CoWoS 封装的主力供应商是台积电。但由于需求爆炸式增长,台积电产线即便开足马力也难以填补供需鸿沟。为此,台积电已经新开竹南、龙潭和台中三座工厂,其中竹南工厂占地 14.3 公顷,比其他封装厂的总和还要大。
有市场分析认为,台积电正积极加码先进封装产能,以满足市场对其先进封装解决方案的更多需求。
另外,英伟达首席财务官 Colette Kress 近期透露,英伟达在 CoWoS 封装等关键制程已开发并认证其他供应商产能,预期未来数季供应可逐步攀升,英伟达持续与供应商合作增加产能。