今天小编分享的科技经验:这颗博通芯片,涨到14万,欢迎阅读。
AI 赛道人满为患,眼看 AI 伺服器里最烧钱的 GPU 都齐了,但竟然会因为 " 缺芯 ",导致无法出货。
" 海外找了一千片,还没凑齐,太难了。"" 我们找供应商采购 AI 伺服器,就因为主機板缺了博通的 PCle Switch 4.0 芯片,没法安排出货,现在他们正在到处找。"
以博通 SS26 为代表的 PCle Switch 芯片,最近需求异常多,不仅现货少,报价还从5500 美元飙到 20000 美元!也难怪 AI 伺服器会涨价,一入 AI 深似海,原来不止是 GPU 价格在涨 ……
阅读本文,你将了解:
1 博通 SS26,为什么这么抢手?2 为什么缺?有替代吗?3 AI 伺服器还带动哪些芯片增长?
博通 SS26
价格涨至 2 万美元
AI 相关 GPU 和伺服器缺货潮还在持续发酵,英伟达、AMD 等 GPU 大厂持续加单,而大模型下 AI 伺服器集众多硬體与零部件于一身,GPU 这头的短缺还在填补,另一头又开始短缺,你永远不知道下一个缺的又是什么部件。
今年 6 月初开始,博通的 PCle Switch 在市场上就有了缺货迹象。
相关型号包括博通SS26、SS24、SS23打头的芯片,询价热度较高,市场上找货需求异常多,如 SS26-0B00-02、SS24-0B00-02、SS23-0B00-02,其中 SS26 规格高,最为缺货,规格低一些的 SS24、SS23 虽然没那么缺,也有不少人在找货。
关于高端的 SS26-0B00-02 市场价格,业内人士告诉我们,目前其香港原装报价是 5500 USD/ 片(26 片起购),到了深圳现货市场,报价高达 1.8 万 -2 万 USD/ 片(含税),还不保证原装。
芯世相观察到,某些型号带目标价格也不一定能挖到现货。比如 SS23-0B00-02,有终端在海内外到处找货,接受 5000 元单价,急需现货。
以上芯片型号,都属于博通 PEX89000 PCIe Gen 5.0 系列交换机,目前是其针对数据中心和云平台的 PCI 快速交换机中的最新系列产品,应用于 ML/AI 和伺服器 / 存储应用的可组合超大规模计算系统。
规格最高的 SS26-0B00-00 具有 144 个 PCIe Gen 5.0 通道,可实现高达 9216 Tb/s(1152 GB/s)的原始带宽。
因而博通的 PEX89000 系列交换机,可以说是为先进计算而生的 AI 芯片了。
博通 PEX89000 PCIe Gen 5.0 系列交换机型号,来源:broadcom.com
PCle(PCI-Express,peripheral component interconnect express),即外围组件快速互连,是一种高带宽扩展总线。简单来说,总线就是电腦内部进行互動的公用通道,可以理解为各种交通道路,PCle 就是其中的一种。
如果大家有自己装机的经历,就会在主機板上看到水平的 PCle 插槽。
PCle 通常用于连接显卡、固态硬碟以及采集卡和无线网卡等外设,也常用于伺服器平台,也越来越多地被用作存储和 GPU 互连解决方案。
来源:intel.cn
主機板上的 PCle 通道分为 x1、x2、x4、x8 和 x16 几种配置,通道数量越多意味着带宽越高,插槽也就更长。我们组装电腦时,GPU 就通常安在 x16 插槽中。
PCle 既可以作为接口,又可以作为通道。当它是接口的时候,可以插带 PCle 接口的任何外设:显卡、无线网卡、USB 接口、固态硬碟、声卡等等,这个插槽里面,就有我们的 PCle Switch 芯片。
PCIe Switch,即 PCIe 开关或 PCIe 交换机,主要作用是实现 PCIe 设备互联,像伺服器要实现 CPU、GPU 等组件互联,就离不开它。
有了 PCle Switch,PCle 从端对端的连接,变成多条总线连接,有效拓展了链路,形成一个高速的 PCIe 互联网络,从而实现多设备通信。
PCle Switch 的高可拓展性、低功耗、低延迟、高可靠性、高灵活性等优势,使之广泛应用于机器学习、人工智能、超融合部署和存储系统中。
PCIe Switch 连接多条 PCIe 总线,来源:PCI-SIG 官网,中金公司研究部
计算机内部包含 PCle 等各种总线協定,让我们拆开一台 AI 伺服器内部看看。
以 NVIDIA HGX H100 8-GPU 为例,8 块 H100 GPU 在全新的 FP8 精度下 AI 性能比上一代高 6 倍,可提供 900GB/s 的带宽,该伺服器内部包含 NVLink、PCIe 和 QPI 等主機板总线。
NVLink 方面,8 张 GPU(H100)之间互联主要通过4 个第三代 NV Switch 芯片来实现。每个 H100 GPU 共通过 18 个 NVLink 4.0(5+4+4+5)连接到 4 个 NVSwitch 芯片。每个 NVSwitch 相当于一个完全无拥塞的交换机,与 8 张 H100 GPU 卡实现完全连接。
NVLink 是英伟达基于 PCle Gen4 研发的新技术,是点对点的高速互联技术,支持多达 16 个 GPU 或 CPU 的连接,可实现大规模的并行计算和深度学习训练。
英伟达 A100、H100 等 GPU 可以分 PCle 和 NVLink 两种版本,GPU 互联时用的是不同通道。PCle 版本的 GPU 互联便是通过 PCIe 通道完成的,借助 PCIe switch,系统可以实现 CPU-GPU,GPU-GPU 的连接。
多个 GPU 之间连接,PCIe 仅 64GB/S,4 个以上的 GPU 互联就较为吃力了。随着 AI 和高性能计算需求不断增长,需要更大的互联带宽,NVLink 的带宽是双向带宽,如 NVLink 3.0 的带宽可以达到 7200 Gbit/s,即 900 GB/s,明显优于 PCIe,而且在每 GPU 连接数量上限也高达 18 张,GPU 的性能就可以发挥到最大化,这也就是为啥黄老板说买得越多省越多。
PCle 方面,GPU 与 CPU 之间通过 PCIe 5.0 总线实现互联。图中蓝色方块为 IP 网卡(CX7),既是网卡又能发挥PCIe Switch(5.0)扩展功能,成为 CPU 与 H100(GPU)之间互联的桥梁。CPU 之间则仍使用 QPI 总线进行通信。
可以看出,一台 AI 伺服器要实现 GPU-CPU 互联,甚至是 GPU 之间的互联,都离不开 PCIe Switch 芯片。来自博通 SS26 等芯片的需求普遍集中在伺服器终端,它们也正是用于 AI 伺服器的 PCle Switch 芯片。
"AI 伺服器要 PCle 4.0、5.0 及以上版本,做这类产品的厂商少,价格很贵。" 一位伺服器专业人士告诉我们。
为什么缺,有替代吗?
伴随着 AI 伺服器、GPU 等需求的增加,作为连接部件的 PCle Switch 需求也起来了。
目前用于 AI 伺服器的 4.0、5.0 版本属于 PCle Switch 中的先进版本。专业人士告诉我们,PCle Switch 要看其支持的 Lanes 和 Ports,参数越高,价格越贵。
PCIe 最早由 Intel 于 2001 年提出,2003 年正式推出 PCIe 1.0 版本,到 2022 年已迭代至 6.0。根据 PCI-SIG 官网,伴随人工智能、自动驾驶、AR/VR 等具有高运算要求的应用快速发展,处理器 I/O 带宽每三年实现翻番,也促使 PCIe 基本上按照 3 年一代的速度更新演进。
PCle 基本上平均每 3 年更新一代,其单通道速率都在翻倍增长,总带宽也在提高。2022 年 PCI-SIG 正式发布 PCIe 6.0 规范,这是 PCIe 问世以来变化最大的一代,每通道数据传输速率从 PCIe 5.0 的 32GT/s 翻番至 64GT/s,除了带宽和效率的提升,还具有更低的延迟。2022 年 6 月,PCI-SIG 联盟宣布 PCIe 7.0 版规范,单条通道(x1)单向可实现 128GT/s 传输速率,计划于 2025 年推出最终版本。
别看 PCIe 7.0 版规范都出来了,博通的 PCle Switch 5.0 最近也被大家到处扫货,但业内人士告诉我们,市场上对 PCIe 5.0 的需求实际上还没起来," 其一是目前大规模出货的 CPU 基本是 PCIe 4.0,其二是英伟达 A100/A800 和国产 GPU、NPU 等也都是 PCIe 4.0。"
目前用量大的仍是高端 PCIe 4.0,且缺货比较严重,在现货市场,原来单价 2000-3000 RMB 现在涨到大几千,甚至 1 万元,供货周期变长很多。而低端 4.0 产品需求越来越少,普通伺服器为实现更大灵活度也往中高端走,供货渠道不多,供货周期也变长了,但价格只要小几千元。
因此博通 PCle Switch 5.0 这类芯片的起量还没那么快," 预计国内要在 2024 年下半年起量,到时候 CPU 才基本更新到 PCIe 5.0。另外,英伟达 H800 也支持 5.0 版本,一些加速卡应该会加入到 5.0 生态。"
那么一台 AI 伺服器要用多少 PCle Switch 芯片,用量有多大?
我们从前文对 AI 伺服器的内部拆解可以看出,CPU 和 GPU 之间互联的需求量不多,主要的用量在 GPU 之间的互联。
如果你用的是 A100 80G PCIE 的 8 卡 AI 伺服器,这里面 8 张 A100 互联可能就要用到大量的 PCle Switch,而 NVLink 版本的带宽更新更大,GPU 之间不用 PCle Switch。
不过,NVLink 仅用于 GPU 之间,最终传输结果给 GPU 还是走 PCle," 目前伺服器都还是 X86 架构,所以基本都是 PCle 的 IP,Intel 本身并未支持 NVLink。"CPU 与 GPU 互联离不开 PCle Switch。
带宽的高低,也是决定 PCle Switch 用量的重要因素," 还要看主带宽是多少,比如它里面做了一个 PCIe 5.0,64x,也就是说它可以同时产生 64 路 PCle 5.0 的 x1(带宽),那需求量就极大了。"
全球 PCle Switch 三大供应商,博通、微芯、祥硕科技三家,共占有全球约 58% 的份额。据博通官网介绍,博通是 PCI Express 交换领網域的领导者,出货量超过 10 亿个,公司正通过行业领先的交换机系列以及新的重定时器解决方案推动数据中心连接的发展。
如果要替换这颗博通芯片,目前可替代的微芯也面临缺货,而国产即便有替代,国外主機板厂一般也不采用。据悉,美国一家新公司 xconn-technology 刚推出样品,明年这时候就有对应产品上市。
随着 PCIe 在伺服器中应用越来越广泛,PCIe Switch 的市场需求也被带动起来。根据 QYResearch 的统计及预测,2021 年全球 PCIe 芯片市场销售额达到了 7.9 亿美元,预计 2028 年将达到 18 亿美元,年复合增长率(CAGR)为 11.9%。
我们知道,除了苹果,英伟达、博通和 AMD 最近乘着 AI 热潮都在台积电积极投片生产。
这波博通 PCIe Switch 热,与英伟达用于 AI 伺服器的 GPU 缺货逻辑基本一致,那就是尚未实现大规模出货,近期才追加扩产,一段时间内面临供应不足。
博通也是受益于 AI 时代来临的芯片大厂之一,除了与苹果持续合作外,博通还陆续获得了谷歌、Meta 等大厂的高级 ASIC 芯片订单。博通作为通信巨头,这些订单估计包括了 PCIe Switch 在内的不少通信相关 AI 芯片。
博通 FY23Q2 财报显示,博通目前 AI 营收占半导体营收约 15%,预计 FY24 提升至 25%;与其他芯片厂商相比,博通在 2-4 月的单季营收同比增长了 8%,芯片业务表现超出市场预期。
博通还表示,AI 相关部分产品从生产到交付需要超过 6 个月。博通 CEO 认为,未来传统计算与 AI 计算会齐头并进,AI 增长更快,传统计算不会消亡,未来增长一半来自传统业务,一半来自 AI。
结 语
据报道,AI 伺服器将大幅推升伺服器平均出货单价(ASP)由 8500 至 9000 美元上涨到 1 万美元以上,AI 伺服器主要集中在今年第四季大量出货。
AI 训练的庞大数据,需要在各芯片之间高速无拥塞互联。英伟达自己的 NVLink、NVSwitch 市场规模有限,而传统 CPU 生态中的 PCIe 接口芯片及其他高速互联芯片市场相对开放,PCIe Switch 作为数据中心低功耗、高性能解决方案的核心一环,有望迎来高增长。根据 Transparency 市场调研机构数据,2019-2027 年 CAGR 约 15%,2027 年全球 PCIe Switch 市场规模或将达到 92 亿美元。
除了 PCle Switch,AI 伺服器需求带动伺服器产业链上各环节价值增长,业内人士测算,相较普通双路伺服器,AI 伺服器核心器件单机价值量提升倍数由高到低依次为GPU(24x)、DRAM(5.3x)、板内互联接口芯片(3.3x)、电源管理(3x)、散热(3x)、PCB(2.4x)、网卡(2.2x)和 磁碟(2x)。
普通和 AI 伺服器价值量拆解及对比、AI 伺服器不同出货量假设下各环节的市场规模测算,来源:IDC,英伟达,中金公司研究部
AI 需求强劲,但需要看清的是,AI 不足以撑起整个半导体行业的增长,近期晶圆代工厂们降价、热停机动作亮起警示灯,目前半导体行业仍处于消费电子需求低迷阴影之下,复苏缓慢。
以博通为代表的高端 AI 芯片市场,同样是个玩家有限的小池子,它的稀缺与涨价反映一段时间内高端 AI 芯片供不应求,对于芯片市场多数从业者来说,行情尚在缓慢复苏,可遇而不可求,唯有继续积极开发新产品、新技术、新客户,找到新的增长点,才是以不变应万变的关键所在。