今天小編分享的科技經驗:這顆博通芯片,漲到14萬,歡迎閱讀。
AI 賽道人滿為患,眼看 AI 伺服器裡最燒錢的 GPU 都齊了,但竟然會因為 " 缺芯 ",導致無法出貨。
" 海外找了一千片,還沒湊齊,太難了。"" 我們找供應商采購 AI 伺服器,就因為主機板缺了博通的 PCle Switch 4.0 芯片,沒法安排出貨,現在他們正在到處找。"
以博通 SS26 為代表的 PCle Switch 芯片,最近需求異常多,不僅現貨少,報價還從5500 美元飙到 20000 美元!也難怪 AI 伺服器會漲價,一入 AI 深似海,原來不止是 GPU 價格在漲 ……
閱讀本文,你将了解:
1 博通 SS26,為什麼這麼搶手?2 為什麼缺?有替代嗎?3 AI 伺服器還帶動哪些芯片增長?
博通 SS26
價格漲至 2 萬美元
AI 相關 GPU 和伺服器缺貨潮還在持續發酵,英偉達、AMD 等 GPU 大廠持續加單,而大模型下 AI 伺服器集眾多硬體與零部件于一身,GPU 這頭的短缺還在填補,另一頭又開始短缺,你永遠不知道下一個缺的又是什麼部件。
今年 6 月初開始,博通的 PCle Switch 在市場上就有了缺貨迹象。
相關型号包括博通SS26、SS24、SS23打頭的芯片,詢價熱度較高,市場上找貨需求異常多,如 SS26-0B00-02、SS24-0B00-02、SS23-0B00-02,其中 SS26 規格高,最為缺貨,規格低一些的 SS24、SS23 雖然沒那麼缺,也有不少人在找貨。
關于高端的 SS26-0B00-02 市場價格,業内人士告訴我們,目前其香港原裝報價是 5500 USD/ 片(26 片起購),到了深圳現貨市場,報價高達 1.8 萬 -2 萬 USD/ 片(含稅),還不保證原裝。
芯世相觀察到,某些型号帶目标價格也不一定能挖到現貨。比如 SS23-0B00-02,有終端在海内外到處找貨,接受 5000 元單價,急需現貨。
以上芯片型号,都屬于博通 PEX89000 PCIe Gen 5.0 系列交換機,目前是其針對數據中心和雲平台的 PCI 快速交換機中的最新系列產品,應用于 ML/AI 和伺服器 / 存儲應用的可組合超大規模計算系統。
規格最高的 SS26-0B00-00 具有 144 個 PCIe Gen 5.0 通道,可實現高達 9216 Tb/s(1152 GB/s)的原始帶寬。
因而博通的 PEX89000 系列交換機,可以說是為先進計算而生的 AI 芯片了。
博通 PEX89000 PCIe Gen 5.0 系列交換機型号,來源:broadcom.com
PCle(PCI-Express,peripheral component interconnect express),即外圍組件快速互連,是一種高帶寬擴展總線。簡單來說,總線就是電腦内部進行互動的公用通道,可以理解為各種交通道路,PCle 就是其中的一種。
如果大家有自己裝機的經歷,就會在主機板上看到水平的 PCle 插槽。
PCle 通常用于連接顯卡、固态硬碟以及采集卡和無線網卡等外設,也常用于伺服器平台,也越來越多地被用作存儲和 GPU 互連解決方案。
來源:intel.cn
主機板上的 PCle 通道分為 x1、x2、x4、x8 和 x16 幾種配置,通道數量越多意味着帶寬越高,插槽也就更長。我們組裝電腦時,GPU 就通常安在 x16 插槽中。
PCle 既可以作為接口,又可以作為通道。當它是接口的時候,可以插帶 PCle 接口的任何外設:顯卡、無線網卡、USB 接口、固态硬碟、聲卡等等,這個插槽裡面,就有我們的 PCle Switch 芯片。
PCIe Switch,即 PCIe 開關或 PCIe 交換機,主要作用是實現 PCIe 設備互聯,像伺服器要實現 CPU、GPU 等組件互聯,就離不開它。
有了 PCle Switch,PCle 從端對端的連接,變成多條總線連接,有效拓展了鏈路,形成一個高速的 PCIe 互聯網絡,從而實現多設備通信。
PCle Switch 的高可拓展性、低功耗、低延遲、高可靠性、高靈活性等優勢,使之廣泛應用于機器學習、人工智能、超融合部署和存儲系統中。
PCIe Switch 連接多條 PCIe 總線,來源:PCI-SIG 官網,中金公司研究部
計算機内部包含 PCle 等各種總線協定,讓我們拆開一台 AI 伺服器内部看看。
以 NVIDIA HGX H100 8-GPU 為例,8 塊 H100 GPU 在全新的 FP8 精度下 AI 性能比上一代高 6 倍,可提供 900GB/s 的帶寬,該伺服器内部包含 NVLink、PCIe 和 QPI 等主機板總線。
NVLink 方面,8 張 GPU(H100)之間互聯主要通過4 個第三代 NV Switch 芯片來實現。每個 H100 GPU 共通過 18 個 NVLink 4.0(5+4+4+5)連接到 4 個 NVSwitch 芯片。每個 NVSwitch 相當于一個完全無擁塞的交換機,與 8 張 H100 GPU 卡實現完全連接。
NVLink 是英偉達基于 PCle Gen4 研發的新技術,是點對點的高速互聯技術,支持多達 16 個 GPU 或 CPU 的連接,可實現大規模的并行計算和深度學習訓練。
英偉達 A100、H100 等 GPU 可以分 PCle 和 NVLink 兩種版本,GPU 互聯時用的是不同通道。PCle 版本的 GPU 互聯便是通過 PCIe 通道完成的,借助 PCIe switch,系統可以實現 CPU-GPU,GPU-GPU 的連接。
多個 GPU 之間連接,PCIe 僅 64GB/S,4 個以上的 GPU 互聯就較為吃力了。随着 AI 和高性能計算需求不斷增長,需要更大的互聯帶寬,NVLink 的帶寬是雙向帶寬,如 NVLink 3.0 的帶寬可以達到 7200 Gbit/s,即 900 GB/s,明顯優于 PCIe,而且在每 GPU 連接數量上限也高達 18 張,GPU 的性能就可以發揮到最大化,這也就是為啥黃老板說買得越多省越多。
PCle 方面,GPU 與 CPU 之間通過 PCIe 5.0 總線實現互聯。圖中藍色方塊為 IP 網卡(CX7),既是網卡又能發揮PCIe Switch(5.0)擴展功能,成為 CPU 與 H100(GPU)之間互聯的橋梁。CPU 之間則仍使用 QPI 總線進行通信。
可以看出,一台 AI 伺服器要實現 GPU-CPU 互聯,甚至是 GPU 之間的互聯,都離不開 PCIe Switch 芯片。來自博通 SS26 等芯片的需求普遍集中在伺服器終端,它們也正是用于 AI 伺服器的 PCle Switch 芯片。
"AI 伺服器要 PCle 4.0、5.0 及以上版本,做這類產品的廠商少,價格很貴。" 一位伺服器專業人士告訴我們。
為什麼缺,有替代嗎?
伴随着 AI 伺服器、GPU 等需求的增加,作為連接部件的 PCle Switch 需求也起來了。
目前用于 AI 伺服器的 4.0、5.0 版本屬于 PCle Switch 中的先進版本。專業人士告訴我們,PCle Switch 要看其支持的 Lanes 和 Ports,參數越高,價格越貴。
PCIe 最早由 Intel 于 2001 年提出,2003 年正式推出 PCIe 1.0 版本,到 2022 年已迭代至 6.0。根據 PCI-SIG 官網,伴随人工智能、自動駕駛、AR/VR 等具有高運算要求的應用快速發展,處理器 I/O 帶寬每三年實現翻番,也促使 PCIe 基本上按照 3 年一代的速度更新演進。
PCle 基本上平均每 3 年更新一代,其單通道速率都在翻倍增長,總帶寬也在提高。2022 年 PCI-SIG 正式發布 PCIe 6.0 規範,這是 PCIe 問世以來變化最大的一代,每通道數據傳輸速率從 PCIe 5.0 的 32GT/s 翻番至 64GT/s,除了帶寬和效率的提升,還具有更低的延遲。2022 年 6 月,PCI-SIG 聯盟宣布 PCIe 7.0 版規範,單條通道(x1)單向可實現 128GT/s 傳輸速率,計劃于 2025 年推出最終版本。
别看 PCIe 7.0 版規範都出來了,博通的 PCle Switch 5.0 最近也被大家到處掃貨,但業内人士告訴我們,市場上對 PCIe 5.0 的需求實際上還沒起來," 其一是目前大規模出貨的 CPU 基本是 PCIe 4.0,其二是英偉達 A100/A800 和國產 GPU、NPU 等也都是 PCIe 4.0。"
目前用量大的仍是高端 PCIe 4.0,且缺貨比較嚴重,在現貨市場,原來單價 2000-3000 RMB 現在漲到大幾千,甚至 1 萬元,供貨周期變長很多。而低端 4.0 產品需求越來越少,普通伺服器為實現更大靈活度也往中高端走,供貨渠道不多,供貨周期也變長了,但價格只要小幾千元。
因此博通 PCle Switch 5.0 這類芯片的起量還沒那麼快," 預計國内要在 2024 年下半年起量,到時候 CPU 才基本更新到 PCIe 5.0。另外,英偉達 H800 也支持 5.0 版本,一些加速卡應該會加入到 5.0 生态。"
那麼一台 AI 伺服器要用多少 PCle Switch 芯片,用量有多大?
我們從前文對 AI 伺服器的内部拆解可以看出,CPU 和 GPU 之間互聯的需求量不多,主要的用量在 GPU 之間的互聯。
如果你用的是 A100 80G PCIE 的 8 卡 AI 伺服器,這裡面 8 張 A100 互聯可能就要用到大量的 PCle Switch,而 NVLink 版本的帶寬更新更大,GPU 之間不用 PCle Switch。
不過,NVLink 僅用于 GPU 之間,最終傳輸結果給 GPU 還是走 PCle," 目前伺服器都還是 X86 架構,所以基本都是 PCle 的 IP,Intel 本身并未支持 NVLink。"CPU 與 GPU 互聯離不開 PCle Switch。
帶寬的高低,也是決定 PCle Switch 用量的重要因素," 還要看主帶寬是多少,比如它裡面做了一個 PCIe 5.0,64x,也就是說它可以同時產生 64 路 PCle 5.0 的 x1(帶寬),那需求量就極大了。"
全球 PCle Switch 三大供應商,博通、微芯、祥碩科技三家,共占有全球約 58% 的份額。據博通官網介紹,博通是 PCI Express 交換領網域的領導者,出貨量超過 10 億個,公司正通過行業領先的交換機系列以及新的重定時器解決方案推動數據中心連接的發展。
如果要替換這顆博通芯片,目前可替代的微芯也面臨缺貨,而國產即便有替代,國外主機板廠一般也不采用。據悉,美國一家新公司 xconn-technology 剛推出樣品,明年這時候就有對應產品上市。
随着 PCIe 在伺服器中應用越來越廣泛,PCIe Switch 的市場需求也被帶動起來。根據 QYResearch 的統計及預測,2021 年全球 PCIe 芯片市場銷售額達到了 7.9 億美元,預計 2028 年将達到 18 億美元,年復合增長率(CAGR)為 11.9%。
我們知道,除了蘋果,英偉達、博通和 AMD 最近乘着 AI 熱潮都在台積電積極投片生產。
這波博通 PCIe Switch 熱,與英偉達用于 AI 伺服器的 GPU 缺貨邏輯基本一致,那就是尚未實現大規模出貨,近期才追加擴產,一段時間内面臨供應不足。
博通也是受益于 AI 時代來臨的芯片大廠之一,除了與蘋果持續合作外,博通還陸續獲得了谷歌、Meta 等大廠的高級 ASIC 芯片訂單。博通作為通信巨頭,這些訂單估計包括了 PCIe Switch 在内的不少通信相關 AI 芯片。
博通 FY23Q2 财報顯示,博通目前 AI 營收占半導體營收約 15%,預計 FY24 提升至 25%;與其他芯片廠商相比,博通在 2-4 月的單季營收同比增長了 8%,芯片業務表現超出市場預期。
博通還表示,AI 相關部分產品從生產到交付需要超過 6 個月。博通 CEO 認為,未來傳統計算與 AI 計算會齊頭并進,AI 增長更快,傳統計算不會消亡,未來增長一半來自傳統業務,一半來自 AI。
結 語
據報道,AI 伺服器将大幅推升伺服器平均出貨單價(ASP)由 8500 至 9000 美元上漲到 1 萬美元以上,AI 伺服器主要集中在今年第四季大量出貨。
AI 訓練的龐大數據,需要在各芯片之間高速無擁塞互聯。英偉達自己的 NVLink、NVSwitch 市場規模有限,而傳統 CPU 生态中的 PCIe 接口芯片及其他高速互聯芯片市場相對開放,PCIe Switch 作為數據中心低功耗、高性能解決方案的核心一環,有望迎來高增長。根據 Transparency 市場調研機構數據,2019-2027 年 CAGR 約 15%,2027 年全球 PCIe Switch 市場規模或将達到 92 億美元。
除了 PCle Switch,AI 伺服器需求帶動伺服器產業鏈上各環節價值增長,業内人士測算,相較普通雙路伺服器,AI 伺服器核心器件單機價值量提升倍數由高到低依次為GPU(24x)、DRAM(5.3x)、板内互聯接口芯片(3.3x)、電源管理(3x)、散熱(3x)、PCB(2.4x)、網卡(2.2x)和 磁碟(2x)。
普通和 AI 伺服器價值量拆解及對比、AI 伺服器不同出貨量假設下各環節的市場規模測算,來源:IDC,英偉達,中金公司研究部
AI 需求強勁,但需要看清的是,AI 不足以撐起整個半導體行業的增長,近期晶圓代工廠們降價、熱停機動作亮起警示燈,目前半導體行業仍處于消費電子需求低迷陰影之下,復蘇緩慢。
以博通為代表的高端 AI 芯片市場,同樣是個玩家有限的小池子,它的稀缺與漲價反映一段時間内高端 AI 芯片供不應求,對于芯片市場多數從業者來說,行情尚在緩慢復蘇,可遇而不可求,唯有繼續積極開發新產品、新技術、新客戶,找到新的增長點,才是以不變應萬變的關鍵所在。