今天小編分享的科學經驗：老黃赢麻了！英偉達H100訂單排到24年，馬斯克都坐不住了，歡迎閱讀。
煉大模型最佳 GPU英偉達 H100，全部賣空了！
即使現在立即訂購，也要等2024 年 Q1 甚至 Q2才能用上。
這是與英偉達關系密切的雲廠商 CoreWeave 對華爾街 . 日報透露的最新消息。
從 4 月初開始，供應就變得異常緊張。僅僅一周之内，預期交貨時間就從合理水平跳到了年底。
全球最大雲廠商亞馬遜 AWS 也證實了這一消息，CEO Adam Selipsky 近期表示：
A100 和 H100 是最先進的……即使對于 AWS 來說也很難獲得。
更早時候，馬斯克還在一場訪談節目中也說過：GPU 現在比 d 品還難獲得。
如果找 " 黃牛 " 買，溢價高達25%。
如 Ebay 上的價格已從出廠價約 36000 美元漲到了45000 美元，而且貨源稀少。
這種形勢下，國内的百度、字節、阿裡、騰訊等大型科技公司也向英偉達下了總計 50 億美元的 A800 等芯片訂單。
其中只有 10 億美元的貨能今年内交付，另外 80% 也要等 2024 年才行。
那麼現有高端 GPU 都賣給誰了？這一波產能又是卡在了哪？
H100 賣給誰，老黃說了算
ChatGPT 爆發以來，擅長訓練大模型的英偉達 A100、H100 成了香饽饽。
OpenAI、Meta 為代表的AI 公司，亞馬遜、微軟為代表的雲計算公司，私有雲 Coreweave 和 Lambda，以及所有想煉自家大模型的各類科技公司，需求量都巨大。
然而賣給誰，基本是英偉達 CEO 黃仁勳說了算。
據 The Information 消息，H100 這麼緊缺，英偉達把大量的新卡分配給了 CoreWeave，對亞馬遜微軟等老牌雲計算公司限量供應。
（英偉達還直接投資了 CoreWeave。）
外界分析是因為這些老牌公司都在開發自己的 AI 加速芯片、希望減少對英偉達的依賴，那老黃也就成全他們。
老黃在英偉達内部還把控了公司日常運營的方方面面，甚至包括" 審查銷售代表準備對小型潛在客戶說什麼話 "。
全公司約 40 名高管直接向老黃匯報，這比 Meta 小扎和微軟小納的直接下屬加起來還多。
一位英偉達前經理透露，" 在英偉達，黃仁勳實際上是每一款產品的首席產品官。"
前陣子，還傳出老黃幹了一件誇張的事：要求一些小型雲計算公司提供他們的客戶名單，想了解 GPU 的最終使用者是誰。
外界分析，此舉将使英偉達更了解客戶對其產品的需求，也引起了對英偉達可能利用這些信息謀取額外利益的擔憂。
也有人認為，還有一層原因是老黃想知道誰真的在用卡，而誰只是囤卡不用。
為什麼英偉達和老黃現在有這麼大的話語權？
主要是高端 GPU 供需太不平衡，根據 GPU Utils 網站的測算，H100缺口高達 43 萬張。
作者 Clay Pascal 根據各種已知信息和傳言估計了 AI 行業各參與者近期還需要的 H100 數量。
AI 公司方面：
OpenAI 可能需要 5 萬張 H100 來訓練 GPT-5
Meta 據說需要 10 萬
InflectionAI 的 2.2 萬張卡算力集群計劃已公布
主要 AI 初創公司如 Anthropic、Character.ai、歐洲的 MistraAI 和 HelsingAI 需求各自在 1 萬數量級。
雲計算公司方面：
大型公有雲裡，亞馬遜、微軟、谷歌、甲骨文都按 3 萬算，共 12 萬
以 CoreWeave 和 Lambda 為代表的私有雲加起來總共需要 10 萬
加起來就是 43.2 萬了。
這還沒算一些摩根大通、Two Sigma 等也開始部署自己算力集群的金融公司和其他行業參與者。
那麼問題來了，這麼大的供應缺口，就不能多生產點嗎？
老黃也想啊，但是產能被卡住了。
產能這次卡在哪裡？
其實，台積電已經為英偉達調整過一次生產計劃了。
不過還是沒能填補上如此巨大的缺口。
英偉達 DGX 系統副總裁兼總經理 Charlie Boyle 稱，這次并不是卡在晶圓，而是台積電的CoWoS 封裝技術產能遇到了瓶頸。
與英偉達搶台積電產能的正是蘋果，要在 9 月發布會之前搞定下一代 iPhone 要用的 A17 芯片。
而台積電方面近期表示，預計需要 1.5 年才能使封裝工藝積壓恢復正常。
CoWoS 封裝技術是台積電的看家本領，台積電之所以能擊敗三星成為蘋果的獨家芯片代工廠靠的就是它。
這項技術封裝出的產品性能高、可靠性強，H100 能擁有 3TB/s ( 甚至更高 ) 的帶寬正是得益于此。
CoWoS 全名叫 Chip-on-Wafer-on-Substrate，是一種在晶圓層面上的芯片集成技術。
這項技術可以将多個芯片封裝到厚度僅有 100 μ m的矽中介層上。
據介紹，下一代中介層面積将達到 6 倍 reticle，也就是約 5000mm ²。
目前為止，除了台積電，沒有哪家廠商擁有這個水平的封裝能力。
雖然 CoWoS 的确強悍，但沒有它就不行嗎？其他廠商能不能代工呢？
先不說老黃已經表示過 " 不考慮新增第二家 H100 代工廠 "。
從現實上看，可能也真的不行。
英偉達此前曾和三星有過合作，但後者從未給英偉達生產過 H100 系列產品，甚至其他 5nm 制程的芯片。
據此有人推測，三星的技術水平可能無法滿足英偉達對尖端 GPU 的工藝需求。
至于英特爾……他們的 5nm 產品好像還遲遲沒有問世。
既然讓老黃換生產廠家行不通，那用戶直接改用 AMD 怎麼樣？
AMD，Yes？
如果單論性能的話，AMD 倒的确是慢慢追上來了。
AMD 最新推出的 MI300X，擁有 192GB 的 HBM3 内存、5.2TB/s 的帶寬，可運行 800 億參數模型。
而英偉達剛剛發布的 DGX GH200，内存為 141GB 的 HBM3e，帶寬則為 5TB/s。
但這并不意味着 AMD 能馬上填補 N 卡的空缺——
英偉達真正的 " 護城河 "，在于 CUDA 平台。
CUDA 已經建立起一套完整的開發生态，意味着用戶要是購買 AMD 產品，需要更長時間來進行調試。
一名某私有雲公司的高管表示，沒人敢冒險花 3 億美元實驗部署 10000 個 AMD GPU。
這名高管認為，開發調試的周期可能至少需要兩個月。
在 AI 產品飛速更新換代的大背景下，兩個月的空檔期對任何一家廠商來說可能都是致命的。
不過微軟倒是向 AMD 伸出了橄榄枝。
此前有傳聞稱 ，微軟準備和 AMD 共同開發代号為 " 雅典娜 " 的 AI 芯片。
而更早之前，MI200 發布時，微軟第一個宣布采購，并在其雲平台 Azure 上部署。
比如前一陣就是在 512 張 AMD MI200 上訓練的。
在英偉達占據幾乎整個 AI 市場的格局下，可能需要有人帶頭衝鋒，先整個大型 AMD 算力集群打樣，才有人敢于跟進。
不過短時間内，英偉達 H100、A100 還是最主流的選擇。
One More Thing
前一陣蘋果發布最高支持 192GB 内存新款 M2 Ultra 芯片的時候，還有不少從業者暢享過用它來微調大模型。
畢竟蘋果 M 系列芯片的内存顯存是統一的，192GB 内存就是 192GB 顯存，可是 80GB H100 的 2.4 倍，又或者 24GB RTX4090 的 8 倍。
然鵝，有人真的把這台機器買到手後，實際測試訓練速度還不如英偉達 RTX3080TI，微調都不劃算，訓練就更别想了。
畢竟 M 系列芯片的算力部分不是專門針對 AI 計算優化的，光大顯存也沒用。
煉大模型，看來主要還是得靠 H100，而 H100 又求之不得。
面對這種情況，網絡上甚至流傳着一首魔性的 "GPU 之歌 "。
很洗腦，慎入。
GPU 之歌本家
https://www.youtube.com/watch?v=YGpnXANXGUg
參考鏈接：
[ 1 ] https://www.barrons.com/articles/nvidia-ai-chips-coreweave-cloud-6db44825
[ 2 ] https://www.ft.com/content/9dfee156-4870-4ca4-b67d-bb5a285d855c
[ 3 ] https://www.theinformation.com/articles/in-an-unusual-move-nvidia-wants-to-know-its-customers-customers
[ 4 ] https://www.theinformation.com/articles/ceo-jensen-huang-runs-nvidia-with-a-strong-hand
[ 5 ] https://gpus.llm-utils.org/nvidia-h100-gpus-supply-and-demand/#which-gpus-do-people-need
[ 6 ] https://3dfabric.tsmc.com/english/dedicatedFoundry/technology/cowos.htm
[ 7 ] https://developer.nvidia.com/blog/cuda-10-features-revealed/
[ 8 ] https://www.theverge.com/2023/5/5/23712242/microsoft-amd-ai-processor-chip-nvidia-gpu-athena-mi300
[ 9 ] https://www.amd.com/en/press-releases/2022-05-26-amd-instinct-mi200-adopted-for-large-scale-ai-training-microsoft-azure
