今天小编分享的科技经验:英伟达、AMD、微软等科技巨头排队购买!HBM芯片有何魅力,欢迎阅读。
科技巨头排队购买
继英伟达之后,全球多个科技巨头都在竞购 SK 海力士的第五代高带宽内存 HBM3E。半导体行业内部人士称,各大科技巨头已经在向 SK 海力士请求获取 HBM3E 样本,包括 AMD、微软和亚马逊等等。
AMD 最近透露了其下一代 GPU MI300X,表示它将从 SK 海力士和三星电子获得 HBM3 供应。除英伟达和 AMD 之外,亚马逊和微软则是云服务领網域的两大巨头,之前已引入生成式人工智能技术,并大幅追加了对于 AI 领網域的投资。
报道称,SK 海力士正忙于应对客户对 HBM3E 样品的大量请求,但满足英伟达首先提出的样品数量要求非常紧迫。
主流 AI 训练芯片 " 标配 "
随着 AI 技术不断发展,AI 训练、推理所需计算量呈指数级增长,2012 年至今计算量已扩大 30 万倍。处理 AI 大模型的海量数据,需要宽广的传输 " 高速公路 " 即带宽来吞吐数据。今年 5 月,英伟达宣布推出大内存 AI 超级计算机 DGX GH200,该产品集成最多达 256 个 GH200 超级芯片,是 DGX A100 的 32 倍。机构推测,在同等算力下,HBM 存储实际增量为 15.6 倍。
HBM 全称 High Bandwidth Memory,即高带宽内存,是一种新兴的 DRAM 解决方案。HBM 具有基于 TSV(硅通孔)和芯片堆叠技术的堆叠 DRAM 架构,简而言之就是将内存芯片堆叠到一个矩阵里,再将其堆栈置于 CPU 或 GPU 的旁边,通过 uBump 和 Interposer (中介层,起互联功能的硅片)实现超快速连接。Interposer 再通过 Bump 和 Substrate(封装基板)连通到 BALL,最后 BGA BALL 再连接到 PCB 上。
HBM 一定程度可以看作 GDDR 的替代品,其将 DDR 芯片堆叠在一起后和 GPU 封装在一起,实现大容量,高位宽的 DDR 组合阵列。GDDR 作为独立封装,在 PCB 上围绕在处理器的周围,而 HBM 则排布在硅中阶层(Siliconlnterposer)上并和 GPU 封装在一起,面积一下子缩小了很多,举个例子,HBM2 比 GDDR5 直接省了 94% 的表面积。并且,HBM 离 GPU 更近了,这样数据传输也就更快了。
通俗来讲,HBM 通过垂直连接多个 DRAM,显著提高数据处理速度。它们与 CPU、GPU 协同工作,可以极大提高伺服器性能。其带宽相比 DRAM 大幅提升,例如 SK 海力士的 HBM3 产品带宽高达 819GB/s。同时,得益于 TSV 技术,HBM 的芯片面积较 GDDR 大幅节省。
AIGC 时代为 HBM 带来的需求增量主要体现在两方面:一方面,单颗 GPU 需要配置的单个 HBM 的 Die 层数增加、HBM 个数增加;另一方面,大模型训练需求提升拉动对 AI 伺服器和 AI 芯片需求,HBM 在 2023 年将需求明显增加,价格也随之提升。
TrendForce 集邦咨询指出,为提升整体 AI 伺服器的系统运算效能,以及存储器传输带宽等,NVIDIA、AMD、Intel 等高端 AI 芯片中大多选择搭载 HBM。
国盛证券指出,HBM 最适用于 AI 训练、推理的存储芯片。受 AI 伺服器增长拉动,HBM 需求有望在 2027 年增长至超过 6000 万片。Omdia 则预计,2025 年 HBM 市场规模可达 25 亿美元。
HBM 或迎量价齐升
存储行业当前处于周期较为底部的位置,供给收窄有利于减缓价格下降。有业内消息人士透露,由于人工智能伺服器需求激增,高带宽内存(HBM)价格已开始上涨。
而根据 CFM 和 Trendforce,部分 DRAM 与 NAND 产品将于 2023 年三季度实现价格上涨,预计存储行业有望在下半年迎来复苏。集邦咨询预计,目前英伟达 A100、H100、AMD MI300,以及大型云服务提供商谷歌、AWS 等自主研发的 ASIC AI 伺服器增长需求较为强劲,预计 2023 年 AI 伺服器出货量(含 GPU、FPGA、ASIC 等)在 120 万台,年增长率近 38%。AI 芯片出货量同步看涨,预计今年将增长 50%。
目前,全球前三大存储芯片制造商正将更多产能转移至生产 HBM,但由于调整产能需要时间,很难迅速增加 HBM 产量,预计未来两年 HBM 供应仍将紧张。另据韩媒报道,三星计划投资 1 万亿韩元(约合 7.6 亿美元)扩产 HBM,目标明年底之前将 HBM 产能提高一倍,公司已下达主要设备订单。
据悉,三星已收到 AMD 与英伟达的订单,以增加 HBM 供应。本次三星将在天安工厂展开扩产,该厂主要负责半导体封装等后道工艺。HBM 主要是通过垂直堆叠多个 DRAM 来提高数据处理速度,因此只有增加后段设备才能扩大出货量。三星计划生产目前正在供应的 HBM2 和 HBM2E 等产品,并计划于下半年量产 8 层堆叠 HBM3 和 12 层 HBM3E。
值得一提的是,6 月已有报道指出,另一存储芯片巨头 SK 海力士已着手扩建 HBM 产线,目标将 HBM 产能翻倍。扩产焦点在于 HBM3,SK 海力士正在准备投资后段工艺设备,将扩建封装 HBM3 的利川工厂。预计到今年年末,后段工艺设备规模将增加近一倍。
实际上,2023 年开年后三星、SK 海力士的 HBM 订单快速增加,之前另有消息称 HBM3 较 DRAM 价格上涨 5 倍。而业内预计,明年三星与 SK 海力士都将进一步扩大投资规模。由于谷歌、苹果、微软等科技巨头都在筹划扩大 AI 服务,HBM 需求自然水涨船高," 若想满足未来需求,三星、SK 海力士都必须将产能提高 10 倍以上。"
AI 之外市场同样需求旺盛
AI 背后的算力需求推动了 HBM 市场的快速成长,而 AI 之外,HBM 凭借出色的传输性能,同样广受其他市场欢迎。
除了 AI 伺服器,汽车也是 HBM 值得关注的应用领網域。汽车中的摄像头数量所有这些摄像头的数据速率和处理所有信息的速度都是天文数字,想要在车辆周围快速传输大量数据,HBM 具有很大的带宽优势。但是最新的 HBM3 目前还没有取得汽车认证,外加高昂的成本,所以迟迟还没有 " 上车 "。不过,Rambus 的高管曾提出 HBM 绝对会进入汽车应用领網域。
AR 和 VR 也是 HBM 未来将发力的领網域。因为 VR 和 AR 系统需要高分辨率的显示器,这些显示器需要更多的带宽来在 GPU 和内存之间传输数据。而且,VR 和 AR 也需要实时处理大量数据,这都需要 HBM 的超强带宽来助力。
此外,智能手机、平板电腦、游戏机和可穿戴设备的需求也在不断增长,这些设备需要更先进的内存解决方案来支持其不断增长的计算需求,HBM 也有望在这些领網域得到增长。并且,5G 和物联网(loT ) 等新技术的出现也进一步推动了对 HBM 的需求。
存储市场原本就是一个高度集中的半导体领網域,而 HBM 作为 DRAM 的一种,其市场也被三巨头瓜分。目前技术走在最前面的是 SK 海力士,并且它也拥有第一的市占率,高达 50%,紧随其后的是三星,市占率约 40%,美光约占 10%。预计到 2023 年,SK 海力士市占率有望提升至 53%,而三星、美光市占率分别为 38% 及 9%。
下游厂商主要是 CPU/GPU 厂商,如英特尔、英伟达以及 AMD。因为 HBM 是与 GPU 封装在一起的,所以 HBM 的封装基本也由晶圆代工厂一同包揽完成,而晶圆代工厂商包括、格芯等也在发力 HBM 相关技术。
总的来说,HBM 的竞争还是在 SK 海力士、三星以及美光之间展开。2013 年 SK 海力士将 TSV 技术应用于 DRAM,在业界首次成功研发出第一代 HBM 芯片。此后,SK 海力士相继推出 HBM2、HBM2E、HBM3 数代产品。据悉,SK 海力士正在研发 HBM4,预计新一代产品将能够更广泛地应用于高性能数据中心、超级计算机和 AI 等领網域。SK 海力士 CFO 金祐贤表示,公司正关注着市场上出现以 AI 为基础的新伺服器替换存储器需求的积极信号。公司计划持续投资 DDR5/LPDDR5、HBM3 等主力产品的量产和未来高成长领網域。
三星电子虽然在 HBM 的开发上落后一步,但也在寻找新的突破口。据悉,三星电子正在开发集成 AI 处理器新一代存内计算芯片 HBM-PIM。北京大学信息科学技术学院微纳电子学系副教授叶乐表示,存内计算芯片是将 AI 引擎引入存储库,将处理操作转移到 HBM 本身,将有效加大数据传输带宽,提高内存的处理速度。存内计算技术正在实现产品化。目前基于 SRAM 的存内计算,已经进入到产品化的前夜,DRAM 存内计算适用于大算力 AI 芯片,因此还需要解决其他一系列的技术难题。
美光科技则走得较慢,于 2020 年 7 月宣布大规模量产 HBM2E,HBM3 也仍作为其产品线在持续研发之中。
产业链国产化的机会
诚然,HBM 的市场基本被海外巨头所占据,但芯片储存的自主可控仍是当下产业发展的重要方向,而从原材料、配件到封装,国产半导体产业链同样能够在 HBM 生态找到属于自己的位置。
在原材料供应方面,国内雅克科技主要致力于电子半导体材料,深冷复合材料以及塑料助剂材料研发和生产,本身就是 SK 海力士、LG 显示的核心供应商,并进入合肥长鑫、长江存储、京东方等国内龙头客户,旗下 UPChemical 是全球领先的半导体级 SOD 和前驱体产品供应商,同样是 SK 海力士的核心供应商,有望充分分享 HBM 市场成长红利。而 HBM 属于先进封装的一种,因叠层厚度较高因此需要用特殊的颗粒塑封料封装(GMC),全球真正 GMC 技术只有 2 家日系公司(S 公司和 R 公司)掌握,国内企业华海诚科同样在该领網域有所布局。
除原材料供应外,通富微电、国芯科技等企业则在封装领網域具有一定优势。此外,HBM 中先进 DRAM 加工工艺和 TSV 加工工艺中是必不可少的工艺环节,国内中微公司、拓荆科技等企业同样有所布局。
随着 HBM 产业链国产化热度持续发酵下,相信 HBM 国产化也只是时间问题。