今天小編分享的科技經驗：真的有人能在推理環節替代英偉達嗎？，歡迎閱讀。
在中文互聯網上，英偉達每天都在被颠覆。絕大部分自媒體和短視頻達人都讨厭英偉達，包括周鴻祎在内。他們千方百計地指出，某種替代品（不管是不是國產）的性能指标已經超過英偉達 A100 或 H100，後者即将淪為資本市場歷史上最大的泡沫雲雲。尤其是在 B 站、小紅書這樣的平台，" 英偉達将迅速被替代 " 可以被視為一致觀點，反對這個觀點的人将遭到群嘲。
其實，海外互聯網同樣如此。昨天還有 AI 行業的朋友給我分享了一份自稱 " 性能大幅超過英偉達 " 的美國芯片廠商的自我介紹（是當笑話看的）。幾個月前，芯片創業公司 Groq 發布了自稱性能大幅超越英偉達的推理芯片，引發了一定的市場關注度。不同之處在于，海外網友稍微講一點常識，知道英偉達在訓練領網域的壁壘實在太高、牢不可破，所以他們主要從推理環節入手：可以針對大模型推理開發某種高度特化的 " 推理專用卡 "，在性能或性價比上超越英偉達，而且已經有人做到了。這些觀點經常被翻譯為中文，不過翻譯者經常有意地把其中的海外芯片創業公司的名字偷換成 A 股上市公司（或某家非上市公司），從而達到不可告人的目的。
遺憾的是，至少在現在，以及可見的未來，英偉達在推理方面的壁壘仍然十分牢固。或許它在推理方面的壁壘不如訓練方面那麼高，但只要競争對手攻不破，就沒什麼區别。對于絕大部分大模型開發商以及雲計算廠商而言，AI 算力建設只能以英偉達為核心（買不到的情況除外），不論是訓練還是推理算力。在展開分析這個問題前，讓我們先簡明回顧一下訓練和推理的區别：
訓練，就是指創造和更新 AI 模型（包括但不限于大語言模型）的過程。訓練環節涉及海量的數據，耗時極長，對算力的并發性需求極高，往往要一次動用幾千張到上萬張規模的顯卡集群。專門為訓練做過優化的顯卡俗稱 " 大卡 "，其最典型的例子是英偉達 A100、H100 和 B100。
推理，就是利用現有大模型解決用戶需求的過程。我們每向 ChatGPT 提一次問題，就啟動了一次推理流程。單次推理處理的數據規模往往較小，因此對算力硬體的要求不如訓練那麼高。英偉達專門為推理做過優化的顯卡俗稱 " 中卡 "，例如 A20、L40；一些高端消費級顯卡（俗稱 " 小卡 "），例如 RTX3 和 4 系列，也可以用于推理。
英偉達的競争對手，從 AMD 到英特爾，從 Groq 到華為，每天都在異口同聲地陳述同一個觀點：推理的門檻沒有硬體那麼高，英偉達賴以生存的 CUDA 軟體生态以及顯卡互聯技術在推理端的作用有限，所以在推理端替代英偉達完全可行。事實又是如何？關鍵要看企業客戶，包括 OpenAI 這樣的大模型開發商以及亞馬遜、微軟這樣的雲計算平台商怎麼看——畢竟是它們的技術團隊和采購人員做出了顯卡采購的決定，而不是社交媒體網友。如果我們仔細分析一下主要科技企業今年以來的顯卡采購決策，就會驚訝地發現，事實與英偉達的競争對手所鼓吹的完全相反：
AMD 和英特爾的 "AI 加速卡 "（其實就是推理卡）賣得都不怎麼樣。其中，AMD 的旗艦產品 Instinct MI300 的單季度銷售額不足 10 億美元，2024 年全年的目标也僅僅是賣出 40 億美元；英特爾的旗艦產品 Gaudi 3 就更慘了，2024 年全年的銷售目标不足 10 億美元。把這兩家的 AI 硬體銷售額加起來，恐怕都只有英偉達 " 中卡 " 銷量的一個零頭。在 2024 年一季度财報發布會上，蘇媽承認 AMD 的推理卡目前不存在供給瓶頸，客戶可以随時提貨；隔壁的英偉達幾乎所有產品線則都處于緊缺狀态。換句話說，大部分客戶寧可等上一兩個季度，也寧可買英偉達而不是 AMD 的產品。
與此同時，在矽谷出現了一個新的趨勢：盡可能多地采購 " 大卡 "，把推理和訓練一起交給 " 大卡 " 去做。例如，OpenAI 将使用較新的 H200 承擔 GPT-4o 的推理任務；蘋果通過鴻海采購了數萬張 H100，估計主要将用于推理工作；Meta 計劃在 2024 年之内新增 35 萬張 H100，其中很大一部分将用于推理；亞馬遜采購的首批 3 萬多張 GB200" 超級芯片 " 顯然将同時用于訓練和推理。這充分說明，所謂 " 英偉達在推理方面的護城河不深 " 的說法是何等荒謬！如果上述說法是真的，那麼除非大廠錢多燒得慌，否則完全沒有必要采購單價極高、供應非常緊張的英偉達 " 大卡 " 承擔推理任務。當然，這些大廠也會采購一點點 AMD 或英特爾的產品作為補充，每次都會引發後兩者的歡呼雀躍，恨不得讓全世界都知道。
為什麼矽谷大廠要花更多的錢去采購專為訓練優化的 " 大卡 " 承擔推理任務？這既是出于技術考慮，也是出于綜合成本考慮。簡而言之：
" 大卡 " 的顯存更大、顯存帶寬更高，适合運行參數規模巨大的大模型。目前主流大模型的參數規模均已突破萬億，而消費者使用的一般是 " 蒸餾 " 過的、幾十億到幾百億參數的精簡版模型。" 中卡 "" 小卡 " 足以運行這些精簡版模型，但大型企業客戶可能需要運行萬億規模參數的超級模型，那就非用 " 大卡 " 不可了。
" 大卡 " 的爆發性輸出能力更高、延遲較低，适合執行高度時效性的推理任務，例如自動駕駛、國防軍工、金融交易等場景。最近流行的 " 超長文本推理 "，對顯存的要求較高，" 大卡 " 處理起來也更得心應手。
在 AI 算力中心當中統一使用 " 大卡 "，有助于降低硬體復雜度，實現較高的算力彈性和通用性。像 OpenAI 這樣的公司，一年之中有幾個月處于訓練期，在此期間可以把自家 " 大卡 " 全部用于訓練以保證速度，租用外部算力滿足推理需求；訓練間歇期則可以少租外部算力，讓自家 " 大卡 " 轉而從事推理。
" 大卡 "，尤其是 B100/B200 這種新款產品，最先應用了英偉達的最新技術，從而有利于後續更新和再利用。哪怕幾年之後技術突飛猛進，舊款 " 大卡 " 退下來還可以做别的工作，而舊款 " 中卡 "" 小卡 " 可能就沒有價值了。
上述四條原因，前兩條是技術上的，後兩條則是成本和管理上的。就像我的一位從事 AI 技術工作多年的朋友所說：" 其實是經濟性讓大家投票選擇了英偉達，這就是市場的力量。"由于上面是在英偉達自家的不同產品線之間做類比，我甚至都沒有提到 CUDA 軟體生态——過去十八年，全球上百萬開發者為 CUDA 積累了太多的開發工具和代碼，AMD 的 ROCm 根本無法與之匹敵，英特爾就更是不值一提了。
現在假設有一種推理卡，不知道為什麼竟能實現遠高于英偉達的性能（可能是上帝顯靈），而且竟能克服缺乏 CUDA 生态的麻煩（這次上帝得多受累一點），并且紙面價格顯著低于英偉達（這一點極難做到），它也不一定能打敗英偉達。客戶首先要考慮通用性：專門為大語言模型推理 " 特化 " 的芯片，大概率無法拿來執行任何其他任務，從而帶來了更高的機會成本。英偉達是 " 通用計算 GPU" 概念的提出者，" 通用 " 概念就意味着靈活性和彈性。遠的不說，最近幾年我們就能看到許多鮮活的案例：
2021-2022 年，為了進一步訓練内容推薦算法，以符合歐盟消費者隐私要求，以及支持新推出的 Reels 短視頻功能，Meta（原名 Facebook）采購了大量英偉達 " 大卡 "；當然其中一部分也是為 " 元宇宙 " 研發準備的。Meta 還成為了 2022 年發布的 H100 顯卡早期最重要的客戶之一。ChatGPT 橫空出世之後，Meta 立即将手頭的算力資源投入生成式 AI 研發，迅速成為全球開源大模型領網域的第一平台。扎克伯格本人亦承認，生成式 AI 浪潮來的時機很巧，Meta 非常幸運——其實他更應該感謝英偉達顯卡的通用性和普适性。
2019 年前後，中國的 " 雲遊戲 " 產業處于井噴階段，資本市場對其有很高預期。包括阿裡、騰訊和電信運營商在内的雲計算大廠紛紛采購了大批英偉達 RTX 顯卡（初期主要是 Turing 架構，後來亦有 Ampere 架構）組建刀片伺服器。雖然雲遊戲在國内沒火起來，但是高端 RTX 顯卡具備張量核心 ( Tensor Core ) ，從而擁有一定的推理能力。在美國芯片法案的陰影之下，國内廠商采購推理卡越來越困難，當年積累的 " 雲遊戲卡 " 扮演了雪中送炭的角色；盡管它們的推理效率肯定比不上 L40 等 " 中卡 "，但有總比沒有好。
（附帶說一句，為什麼英偉達的消費級顯卡也裝備了 Tensor Core? 因為它對于光線追蹤技術的實現扮演着不可或缺的角色，而光線追蹤能夠大幅提升遊戲畫面的感染力。顯卡處理遊戲内部光影效果的方式，與處理大模型數據的方式，在硬體和數學層面是互通的。人類如果沒有強大的遊戲產業，就很難建設強大的人工智能產業。）
我們不知道生成式 AI 產業的下一步走向是什麼：Transformer 架構（現在所有大語言模型的基礎）誕生至今才七年多，第一個百億參數的大模型誕生至今才不到五年。就像許多學者指出的一樣，生成式 AI 有可能并不是實現通用人工智能 ( AGI ) 的必由之路。但是無論如何，有一點是确定的：未來的世界需要大量算力，尤其是并行的、以多核 GPU 為基礎的算力。當生成式 AI 浪潮突然降臨之時，許多科技大廠都把自家的英偉達顯卡從自動駕駛、推薦算法訓練、圖形渲染等任務迅速轉移到了大模型相關任務；這進一步加深了它們對英偉達的信任和依賴。
此時此刻，全球科技巨頭用于擴張算力的資本開支，普遍達到了每年幾百億美元的水平；坊間甚至傳聞微軟打算在一年之内耗資 1000 億美元建設新的數據中心。花了這麼多的錢，它們肯定不希望自己買到的算力僅能用于非常狹窄的領網域，不管其紙面性能好壞、價格高低。所以那些高度特化的推理卡，注定只能在巨頭的算力軍備競賽當中扮演次要角色；AMD 能扮演的角色可以更重要一點，但離英偉達這個主角還是差得很遠。
就在本文撰寫的過程中，我的另一位從事 AI 行業多年的朋友告訴我：" 我們最近開始采購另一家公司的顯示芯片了。它的硬體規格是合格的，但是軟體适配是大問題，需要踩很多的坑。英偉達的 CUDA 開發團隊應該比硬體設計團隊的規模要大得多，它的發布會上幾乎全是軟體生态工具，例如 GPU 虛拟化、一鍵部署。缺少了英偉達的軟體生态，我們就要自己雇人去實現這些能力。生态就是成本！沒有生态就要產生額外的開發成本。" 當然，鑑于國内現在越來越難買到英偉達的數據中心級顯卡，廠商只能硬着頭皮承擔成本；在有選擇的情況下，它們幾乎不會有動力這樣做。
至于五年、十年乃至二十年後呢？那就是另一個問題了。通用計算 GPU 這個概念誕生至今也只有十八年，NVLink 技術也只有十年歷史。在長期，一切都是可以改變的，但是一切改變只能來自勤奮耕耘和咬定青山不放松的精神。請記住，2013 年，當黃仁勳操着半生不熟的普通話在北京國家會議中心的舞台上說 " 請給我一個機會介紹英偉達 " 的時候，他已經到處推銷自己的通用計算理念長達七年了；而他還要再等待整整九年，才能看到一切開花結果。當時嘲笑他的人，和現在認為可以輕易替代他的人，很可能是同一批人。
