今天小編分享的财經經驗:“反英偉達聯盟”背後,是AI的第三場戰争,歡迎閲讀。
文|錦緞
人類社會正在悄然從互聯網時代切換到算力網時代。
鮮有人感知到的是,時代轉折序曲中,遇到的第一批實體障礙,除了 GPU、HBM,還有交換機——此前市場鮮有關注的交換機,正在扼住 AI 算力的咽喉。
全面出擊的英偉達 VS 蓄勢反擊的聯盟,是 GPU、HBM 之後 AI 的第三場戰争:一場科技史上圍繞交換機的精彩對決即将上演。
思科後遺症
如果用人體結構來類比 AI 算力,可以做如下理解:AI 芯片(由 GPU+HBM+CoWoS 組成)是心髒,CUDA 等加速軟體是大腦,光模塊是關節,線纜光纖是血管,以交換機為代表的網絡設備是咽喉。不同的設備合集,最終呈現的是整個伺服器集群。
其中 AI 芯片、CUDA、光模塊、線纜,都已經被翻來覆去的讨論過無數回,成為陽謀。但令人詫異的是,為什麼交換機作為核心的組網設備之一,卻一直備受冷落,只能充當 AI 暗器。
根據定義,交換機(Switch),工作于 OSI 網絡模型中的數據鏈路層,智能地決定将數據幀從哪個端口轉發出去,從而實現網絡中的數據交換和流量管理。因此,交換機的核心作用是提高網絡的性能和效率,并支持網絡的擴展和管理。通俗理解,交換機就是 " 網絡效應 " 的硬體載體。
而且從市場規模來看,交換機也相當之重要。根據 IDC《2023 年網絡市場跟蹤報告》的最新數據,2023 年全球網絡設備市場規模為 714 億美元,其中交換機超過 400 億美元,是僅次于 AI 芯片、伺服器的核心算力組件,規模甚至要遠大于近期被火熱讨論的光模塊和高速存儲 HBM。
黃教主其實在公開場合也表達過交換機的核心地位。老黃曾透露,在 AI 整個集群投資中,InfiniBand 網絡(以下均簡稱 IB)約占總成本的 20%。這裏簡單科普一下,IB 網絡是英偉達在子公司 Mellanox 的幫助下,自己搭建的用在伺服器之間的算力通信網絡,其中所使用的核心交換機為自產的 IB 交換機。
既然從技術角度來看如此重要、從市場規模看也不小,怎麼交換機就始終不被大家重視呢?
筆者認為,最主要的原因在于交換機被成見式的認為是網絡架構中配角的存在,畢竟 HBM、CoWoS 這些新名詞一聽就是十倍空間起跳的宏大故事。而一提交換機,大家條件反射式的想到:這不就是 2000 年互聯網泡沫時的思科的產品麼,還能炒嗎?
20 多年前思科作為全球網絡設備的絕對龍頭,與現如今的英偉達享受的是一樣的地位。在 2000 年,思科的網絡交換機市場份額超過 6 成,路由器份額超過 8 成,可以説沒有思科的網絡設備,就不會有後來的互聯網蓬勃發展,當年思科被譽為互聯網賣鏟人。
後來的故事大家想必每個人都知道了,随着互聯網泡沫的破滅,思科的股價遭受了重創,從高點下跌了超過 70%。公司後來用了 20 年,才勉強填平當年估值帶來的狂熱泡沫。科技行業天然 " 喜新厭舊 ",交換機這個老面孔自然被繞着走,何況當年被深套的恐懼還深深刻在每個投資人的反射弧裏。
但成見已經是過去式,當下時點,勢必要重新審視對交換機、尤其是 AI 交換機的理解了。原因無他,各方面的信号已經非常明顯,随便舉出兩例:
圖:高速交換機龍頭 Arista 股價開始加速上漲
第三堵牆
今天再度重新認識交換機必要性,就緣自交換產品的本身發生了重大變化,而且交換機在網絡中的重要性也在明顯提升,甚至已經成為 AI 基礎設施中的三堵高牆之一。
1、AI 催生算力網革命
似乎網絡架構已經停滞很久了。如果深究網絡架構的變遷史,不難發現 OSI 網絡模型上一次大的變革,還要追溯到十多年前雲計算爆發時期的 " 網随雲動 "。在停滞十多年後,我們觀察到,AI 将催生互聯網絡設備的最新革命,将促使網絡架構從互聯網時代切換到算力網時代。
算力網該如何理解?首先説以前互聯網中網絡設備的核心任務,是完成即時通信,所以交換機本質上是一個通信設備;而現在 AI 算力中心中網絡設備的構建邏輯,在于集中力量辦大事,即集合越來越強大的算力,交換機不再僅僅是通信設備,而變成了算力設備本身。
想必有很多人在這兒會持反對态度。不用着急,請繼續看後面的解釋。
眾所周知,這一輪 AI 能夠成功是大力出奇迹的工程學突破,背後的指導法則是 "scaling law",scaling law 描述的模型性能與模型規模之間的幂律關系,這一法則表明,當模型的規模(例如參數數量、數據集大小和計算資源)增加時,模型的性能将得到提高。
換句話説,為了得到 AI 大模型智能的湧現,scaling law 告訴你要不停的堆算力和數據。這也是為什麼,在 2024 年 3 月初,黃仁勳斯坦福大學演講時提到,在未來的 10 年裏,英偉達會把深度學習的計算能力再提高 100 萬倍。這并不是泡沫時期的大放衞星,而是 AI 智能湧現的必要條件。
算力要實現如此恐怖的提升幅度來滿足 scaling law,從硬體的角度來分析,路上有三堵牆:
1)算力牆:核心圍繞 GPU,也是大家在 AI 算力硬體中關注度最高的產品。破除算力牆最關鍵的技術手段是制程和芯片架構的更新。但制程帶來的單芯片算力提升面對着黑洞般的 AI 需求,已顯得蒼白無力。畢竟現在的蘋果最新的 3nm 的 A17 芯片,更新的效果已經微乎其微。實際上,英偉達的 GPU,采用的只是 4nm 制程,甚至下一代產品 B100,也不會更新到 3nm。每一代際算力倍增可能已經是單芯片算力提升的極限了。
2)存儲牆:核心圍繞 HBM。單芯片算力跟不上,可以靠 HBM 來大大緩解,在《AI 國力戰争:GPU 是明線,HBM 是暗線》一文中有詳細讨論,可以移步于此。HBM 反倒成為一個飛速進步的環節,海力士和美光最近股價飙升便是市場開始認知到這一方向的重要性。
3)通信牆:算力和 HBM 結合在一起解決單卡的問題,但單卡再強也遠遠跟不上下遊的算力需求。進一步的解決方法是堆料,抛開復雜的技術名詞,其實原理就是簡單粗暴的大力出奇迹,把盡量多的優質的算力卡連起來組成算力集群,這與獵鷹火箭裝 27 台發動機本質上是一個道理,其中的關鍵技術就在于數據中心的組網技術,因此,交換機的地位今時不同往日。
從最新的英偉達 GB200 計算集群網絡架構中,我們能夠非常清晰的看到多處堆料組網的技術:1)GPU 卡與 GPU 卡之間,基于 NVLink 協定的卡間互聯,這部分配套的 switch 芯片,由于被英偉達壟斷,沒有太多產業鏈探讨的意義,因此不再展開。2)再往上一層,就是 IB 交換機,它連接起多個 GPU 卡群,構成一個完整的機櫃 Rack。3)多個機櫃再通過交換機互聯,形成強力的 AI 算力中心。後面兩個環節,都離不開 AI 交換機的支持。
這種架構就能非常清晰的看到,為了突破通信牆打造強大的算力基座,交換機不僅僅是充當算力網絡中的通信設備,而自身也變成算力設備的本身。正是這一產業鏈環節定義的變化,給了整個交換機產業鏈拔估值的基礎。
在這一輪算力網革命中,交換機正式與 GPU、HBM、先進封裝、光模塊一道,站到了產業鏈的 C 位。
2、初聽不識曲中意,再聽已是曲中人
其實,產業鏈的這一變化不是 2024 年英偉達通過 GB200 才向全世界攤牌的,最早的信号發端于 5 年前。
2019 年,英偉達豪擲 69 億美元,擊敗英特爾和微軟收購了彼時絕大部分都還比較陌生的 Mellanox。筆者當年也是不理解一個芯片廠玩什麼交換機,只是覺得這對于财大氣粗的英偉達來説,算一個不大不小的收購,自然也是沒有仔細分析產業鏈上的協同效應。
但随着 AI 算力爆發,Mellanox 的重要性飙升,成為英偉達 IB 交換機、Spectrum-X 以太網交換的御用供應商,占據了 AI 網絡設備中的最高份額。毫不誇張的説,現在 Arista 市值接近 1000 億美元,Mellanox 可以輕松給到 3000 億美元,較當年看似極其溢價的 69 億美元升值 43 倍,遠超這 5 年英偉達的市值上漲幅度。
老黃當時就對這筆收購非常得意,曾説這是兩家全球領先高性能計算公司的結合,早在 5 年前就已經把 Mellanox 放在與英偉達同等重要的位置上,回頭來看不得不感嘆老黃的眼光确實毒辣。
Mellanox,憑什麼能跟英偉達平起平坐?Mellanox 提供的主要產品是數據中心内的通信互聯解決方案,而其中最為核心的又是基于 IB 協定開發的一些列網絡設備產品,這兒有必要展開説一下 IB 協定。
1999 年,北美計算機巨頭們牽頭組織 IB 聯盟,目的是為了取代 PCIe 總線協定,成為智能設備之間互聯的新的協定标準,IB 内嵌了 RDMA(Remote Direct Memory Access)功能,能将伺服器間内存、GPU 内存直連;比如在 AI 的 GPU 集群中,RDMA 技術能加速卡之間的互動,大大節省時延。
但 IB 後來聲音日漸變小,而智能設備之間的互聯,仍然是由性價比更高的 PCIe 協定牢牢占據了核心位置。這是由于 IB 協定需要專門的網卡和交換機來支持,導致了居高不下的硬體成本,因此在跟以太網的方案中競争中敗下陣來。頭等艙是好,但沒有幾個人坐得起。
後來連 IB 首發者英特爾都選擇了退出,最終只有 Mellanox 苦苦的在這條 " 錯誤 " 的路線上堅持。Mellanox 公司成立後不久,便加入了 IB 聯盟并推出相關產品,到 2015 年,Mellanox 在全球 IB 市場上的占有率達到 80%,雖然領先但在這一小眾市場不被人注意。2019 年被英偉達收入囊中,而這之後,IB 基本從一個公開協定變成了英偉達的私有協定,更不為人關注了。
直到 2023 年這個算力為王的時代,IB 協定才一飛衝天被廣為人知。AI 大模型的橫空出世,算力的缺口一下子被放大到無限大,而作為并行計算中關鍵加速器的 IB 協定,成了最優解決方案,這一協定的硬體載體,正是 IB 交換機。
在英偉達及旗下 Mellanox 的強勢帶領下,市場紛紛上調高速交換機的出貨量,IDC 預計 2023-2024 年,市場高速交換機增速分别為 54% 和 60%,2024 年甚至還呈現加速的迹象。由于 Mellanox 是英偉達的子公司沒法直接投資,美股投資人轉而追捧最純正的交換機标的 Arsita,畢竟它雖然不如 Mellanox 優秀,但也是各大雲廠商高速交換機的最大供應商。
以點帶面,通過高速交換機這個紐帶,我們不難發現,信息革命已經從互聯網進入到算力網的時代。如果在今年,你還只在聊互聯網,顯然已經被時代甩下了車;同樣,如果聊算力還只在聊 GPU,顯然三大重點你只抓住了一個。
" 失意者聯盟 "
1、英偉達 +mellanox 在幹什麼:意欲吃幹抹淨
從交換機的產品譜系圖,我們更能讀懂英偉達的布局。這張圖其實信息含量極大,建議反復觀看。
首先説,英偉達的野心很大,它從來都不是只想做一個賣卡的芯片公司,而是想做 AI 時代的算力方案解決商。或者説英偉達商業模式的變化:從來不只是想賣鏟子,是賣給你整個礦山,别再用 " 賣鏟人 " 來形容英偉達了。
英偉達 2021-2025 年的產品路線圖,昭昭然的将這個野心公示全球。其得標粗的是其核心的 GPU 產品,從 A100 迭代到 H100,然後再到今年的 B100,再到 2025 年的 X100,路線非常清晰,也是 AI 產業鏈關注的焦點。
但經常被忽略的是圖表的下半部分,英偉達同時标注出了配套的交換機型号變化,分為兩個 IB 和以太網兩個系列方向:
所以,在老黃的構想裏,如果一個超算中心是專門為 AI 建的,那就用最快的 IB 交換機方案;對于存量的以太網算力中心,如果客户扭扭捏捏,英偉達也能匹配提供以太網方案,就用 Spectrum-X 交換機。簡單來説,就是面向現在和未來的生意英偉達給你包圓了。
從圖中也能看到,英偉達不僅僅只是想同時賣芯片和交換機,它的野心遠超于此。
如果客户同時選購了英偉達的芯片、交換機,就離采購英偉達 AI 算力集群方案不遠了(圖表的上半部分)。在整體方案中,英偉達給下遊客户推自有 GPU+ 自有網絡設備 + 自有 CUDA 搭建的整個 AI 算力集群。這就是 AI 工廠的模式,價值量将是只賣 GPU 卡的數倍以上。
更為重要的是,如果整個圖實現,這一輪的 AI 大潮将被英偉達實現新版的軟硬體解構,軟體企業如雲廠商負責瘋狂氪金和試錯商業模式,硬體企業英偉達負責建 AI 全算力和旱澇保收。
有必要提的一句題外話是,這張圖也能看出英偉達并不準備染指 HBM 和先進制程,台積電和海力士目前來看還是非常安全的。
圖:英偉達產品路線圖
2、英偉達恐懼症:反擊者聯盟
别看各大廠的老板,求着老黃買卡是對英偉達态度非常好;但實際上,對英偉達恐懼在硅谷正與日俱增,大佬們都在牌桌底下熱議如何擺脱。面對英偉達如此凌厲的明牌攻勢,此前一盤散沙的非英偉達陣營也展示出了空前的團結。
GPU 芯片和 CUDA 網絡,似乎壁壘過高,盡管比如谷歌已經死磕 TPU 多年,但收效甚微,更多人是選擇了躺平接受了英偉達在 GPU 上壟斷的現實,所以英偉達的 GPU 才能毛利率高達 90% 以上,堪稱有史以來最暴力的硬體。
而交換協定和交換機,由于技術壁壘相對低,且處于產業變革的早期,成為眾人攻破英偉達堡壘最優的一致選擇。
至此,交換機這一長久以來不被重視的網絡設備,一下子躍升為 AI 算力基礎中的暗戰高地。為了追趕英偉達 IB 方案,2023 年 7 月," 超以太網聯盟 "(Ultra Ethernet Consortium)正式成立,這一聯盟迅速成為各個大廠的救命稻草。英特爾、微軟、Meta、博通、AMD、思科、Arista、Eviden、HP 等陸續加入。
超以太聯盟成立後,便馬上推出了 RoCEv2(RDMA over Converged Ethernet)方案,在軟體層吸收了前文提到的關鍵技術 RDMA,劍指的方向非常明确,那就是力争對标 IB 性能。
以太網的後發優勢目前看有兩個:
在超以太聯盟中的 GPU 全球老二 AMD,把這兩點説得更加清晰:以太網将成為 AMD 構建算力集群的基礎協定,因為以太網擁有更好的性能、更強大的大規模集群能力,以及最為核心的開放性,希望與頭部交換機廠商一起,降低組網成本,打造更具性價比的網絡。
也正是基于這兩點原因,不少人對于超以太網聯盟還是很有信心的。到底是以太網勝出,還是 IB 一統天下,最終答案只能留給時間來驗證。但不管怎麼樣,英偉達與超以太聯盟的這輪對壘應該是非常精彩的,必将成為科技史上日後被人反復提及的經典橋段。
但筆者傾向于認為超以太網的勝算還是被高估了。因為 Scaling Law 的指導之下,AI 算力網絡比拼是速度不是價格,人多如果不是最優方案,那可能也只是烏合之眾。這就像自行車肯定是更經濟的出行方式、騎的人也多,但是沒有人會用它來上高速,留給以太網聯盟的時間其實不多。
3、國產還落後以太網聯盟半個身位
本來行文至此就可以收筆了,但估計還有不少人關注國產算力網絡中交換機的進展,在此再贅述一二。
在互聯網時代的算力基礎設施投資中,得益于運營商的超前投資,我國的基礎網絡速度、滲透率在全球都處于領先地位,這也在後面直接催生了中國的移動互聯網繁榮,中國的互聯網公司,也因此具備全球競争力。
不少人認為,我們在 AI 時代,也可以依葫蘆畫瓢,上演後來者居上的戲碼。
但不得不直面的遺憾現實是,而在算力網絡時代,我們的算力基礎設施處于全面落後狀态。我們不僅僅在 GPU、HBM、先進封裝方面有不少課要補,代表着算力集群能力的交換機我們也并沒有什麼優勢可言。一方面我們并沒有 IB 交換機,只能做以太網交換機,而且以太網交換機的代際更迭上也落後于海外 1 代,也就是落後超以太網聯盟半個身位。
好在和其他網絡設備一樣,中國在交換機上其實一直具備很強的競争力,這還要得益于華為 20 多年前的努力,以及孵化了後來的新華三。時至今日,國内的 AI 算力網絡中的交換機仍然沿襲了骨幹網和數據中心網絡中的格局,新華三和華為依舊是主要的玩家。
種一棵樹最好的時間是十年前,其次是現在。雖然在 AI 交換機上我們落後了不少,但依靠歷史積累和集體的力量,如果從現在開始追趕,這一場對弈,我們未必不能上桌。