今天小編分享的科技經驗：英偉達3個月賣出800噸H100！老黃竟自曝萬億GPU霸主“三無”策略，歡迎閱讀。
【新智元導讀】有分析公司算出來，才三個月英偉達就賣出了 800 多噸 H100。然而市值已超萬億的英偉達，竟是一個「無計劃、無匯報、無層級」的公司。
僅在今年第二季度，英偉達就已經賣出了 816 噸 H100！
假如這個速度不變，它有望在今年賣出 3,266 噸 H100。并且，在接下來的每年裡，英偉達都會賣出 120 萬張 H100。
現在，雲服務供應商的大規模 H100 集群容量即将耗盡，全球陷入 GPU 短缺，矽谷大佬們都急了——整體算來，全球公司需要約 432000 張 H100。
最近同時大火的，還有黃仁勳管理英偉達的方法。
「沒有計劃、沒有匯報、沒有層級」，如此随性，如此佛系，甚至可以說，如此瘋狂。
就是這種管理辦法，讓英偉達市值超過 1 萬億，在半導體公司中一時風頭無兩。
半導體巨人
英偉達聲稱，在 2024 财年第二季度，他們售出了價值 103 億美元的數據中心硬體。
價值 103 億美元是什麼概念？
今天，市場研究公司 Omdia 給出了讓我們更容易理解的部門—— 816 噸 H100！
根據 Omdia 估計，第二季度英偉達的 H100 GPU 出貨量超過了 816 噸。
一個英偉達 H100 GPU，再加上散熱器，平均重量超過了 3 公斤，因此，第二季度的 H100 發貨量，保守估計也有 30 萬個。
Omdia 的估算準确嗎？
要知道，H100 有三種不同的外形尺寸，重量也不盡相同。
H100 PCIe 顯卡重達 1.2 千克，H100 SXM 模組的重量尚不清楚，而帶散熱片的 OAM 模組重量可達 2 千克，它與 H100 SXM 的尺寸和 TDP 大致相同。
假設 H100 出貨量 80% 是模組，20% 是顯卡，那麼單個 H100 的平均重量應為 1.84 千克左右。
所以，Omida 的估算可以認為大致準确。當然，實際重量可能少于 816 噸這個數字。
816 噸是多重？
為了便于理解這個重量，我們可以拿以下這些東西來類比——
4.5 架波音 747
11 架航天飛機
181,818 台 PlayStation 5
32,727 只金毛
假如英偉達在未來幾個季度保持相同的 GPU 銷量，那麼它有望在今年售出 3,266 噸 H100。
假如這個速度保持不變，每年英偉達都會賣出 120 萬個 H100。
并且，還不止這些。
還有 H800，以及上一代的 A100、A800、A30。
這樣算的話，英偉達每季度實際銷售的 GPU 數量遠遠高于 30 萬個，重量總計遠超過 816 噸。
即便如此，仍然不能滿足全球的 GPU 荒——根據行業内部消息，英偉達 H100 2023 年的產量，早已銷售一空，現在交錢訂購，至少要到 2024 年中才能拿到貨。
現在，H100 早已一卡難求。
甚至還有外媒爆料：英偉達要在 2024 年，将 H100 的產量從今年的 50 萬張左右直接提高到 150-200 萬張。
顯然，随着英偉達芯片在生成式 AI 的熱潮中愈加緊俏，這個預測并不誇張。
黃仁勳「第一性原理」
與此同時，GPU 的銷量暴漲，也讓英偉達成為了世界算力霸主，成功進入萬億美元俱樂部。
這背後離不開領導人黃仁勳的「瘋狂式」的管理策略。
老黃表示，當你創立一家公司時，很自然地從第一性原理開始。
「就像我們正在建造一台機器如何運作一樣，什麼是輸入，什麼是輸出，處在什麼條件下，行業标準又是什麼 .....」
用老黃的話來說，英偉達的使命是，解決世界那些幾乎不可能的計算問題。如果一個問題可以由普通的電腦解決，英偉達就會不做。
為了實現這一使命，英偉達吸引很多很多出色的人才，聚集在一起。
同時還需要，老黃管理這些人才的頂級策略，具體包括：
直接管理 40 名下屬，沒有 1:1 會議
英偉達不需要「金字塔」式的管理，而是将權力下放給每一個人。
老黃信奉扁平化的組織最富有能力，以便信息能夠快速傳播。
其中，組織的第一層——公司高層，就必須要考慮更加周全。他從不向任何人高管提供職業建議，因為管理團隊中沒有人來向他尋求職業建議。
「他們已經成功了，他們做得很好」。
另外，老黃從不進行 1 對 1 會議，所有事情都在小組讨論中進行。
「如果你有一個戰略方向，為什麼只告訴一個人？應該讓每個人都知道」。
每個人都能随時了解所有情況
在公司内部，從來都不會召開副總裁會議、總監會議。
老黃稱，自己參加的會議裡，有來自不同組織的人，剛剛畢業的大學生，任何人都可以參加并發表意見。
不做狀态報告，而是 email「前五件事情」
在英偉達，每個人都不需要做狀态報告，因為老黃認為這像是「元資訊」，太過精煉，基本上沒有有益的訊息。
相反，公司裡的任何人都可以通過電子郵件向他發送自己的「前五件事情」。
你所學到的，你所觀察到的，你即将要做的，無論是什麼事情，他每天早上都會閱讀 100+ 郵件，去了解大家的 TOP 5 things。
比如，你去了一家非常棒的餐廳、有了一個可愛的 baby...，這才是真正重要的信息。
沒有正式的定期計劃
對于，如何去做規劃，讓公司最底層的想法展現出來、讓最好的工程師執行。
老黃表示，對于我來說，沒有 5 年計劃，也沒有 1 年計劃，會根據不斷變化的業務和市場條件進行重新評估。
總結來說，英偉達優化組織結構的目的是：（1）吸引優秀人才；（2）保持盡可能小的團隊規模；（3）使信息傳播盡可能迅速
就連英偉達深度學習研究員 VP Bryan Catanzaro，直接現身證明，全部為真。
那麼，在這樣的組織工作是一種什麼樣的體驗？
Bryan 表示，在很多方面，這是一個非常穩定的環境。許多資深員工已經在英偉達工作了幾十年。這種風格并不适合每一個人，但對很多人來說卻很有效。這是一個充滿活力的環境。
與馬斯克不同的是，老黃很少對外講述自己管理公司的方法。
今年在台大的演講中，老黃曾講述了定義了今天英偉達樣貌的 3 個故事。這當中，離不開他的決策和判斷，已經思考。
最初，英偉達與 SEGA 籤約，為其打造遊戲機。經過一年的開發過程，卻發現使用的技術架構是錯誤的。
但是，黃仁勳發現即便糾正過來，也無濟于事，因為這一產品創造與微軟的 Widows 系統并不兼容。
于是，他聯絡了 SEGA 執行長，解釋英偉達無法完成這個任務，并還得到了 SEGA 的幫助，所幸沒有破產。
第二件事，就是 2007 年英偉達宣布的 CUDA GPU 加速計算技術。
為了向全世界推廣 CUDA 技術，還專門創辦了 GTC 的會議。經過多年努力，英偉達這項技術成為 AI 革命重要的推動引擎。
第三件事，做出放棄手機市場的艱難決定，将重心放在顯卡上。
正如老黃所說，「戰略性的撤退、犧牲、決定放棄什麽是成功的核心，非常關鍵的核心。」
一位 X 的工程師稱，這一管理方式與馬斯克 X 公司的操作非常類似。
還有網友戲稱，老黃的這種管理方式，都可以在多模态智能體大模型體系中建模了。
如果老黃，能夠像馬斯克一樣出一本傳記，相信每個人都願意去拜讀一下。
看看，英偉達的 GPU 如何取得成功，成為大廠的掘金鏟。
全球 GPU 缺口超 40 萬張
H100 的短缺，早就讓矽谷大佬們都慌了！
Sam Altman 就曾自曝，GPU 已經告急，希望用 ChatGPT 的用戶能少一點。
「GPU 非常短缺，使用我們產品的人越少越好」
Altman 表示，受 GPU 限制，OpenAI 已經推遲了多項短期計劃（微調、專用容量、32k 上下文視窗、多模态）。
OpenAI 聯合創始人兼職科學家 Andrej Karpathy 也透露過，現在誰家得到了多少塊 H100，都是矽谷的頂級八卦。
這張在社區廣為流傳的圖曾做出如下估算——
-GPT-4 可能在大約 10000-25000 張 A100 上進行了訓練
-Meta 大約 21000 A100
-Tesla 大約 7000 A100
-Stability AI 大約 5000 A100
-Falcon-40B 在 384 個 A100 上進行了訓練
– Inflection 使用了 3500 和 H100，來訓練與 GPT-3.5 能力相當的模型
現在不光是科技公司排着隊購買 H100，連沙特阿拉伯和阿聯酋都出手了，一下就買了幾千個 H100 GPU。
馬斯克直言，現在想買到 H100 已經難如登天。
根據馬斯克的說法，GPT-5 可能需要 30000-50000 個 H100。此前，摩根士丹利曾表示 GPT-5 使用 25000 個 GPU，自 2 月以來已經開始訓練，不過 Sam Altman 之後澄清了 GPT-5 尚未進行訓。
而一篇名為「Nvidia H100 GPU：供需」文章曾推測，小型和大型雲提供商的大規模 H100 集群容量即将耗盡，H100 的需求趨勢至少會持續到 2024 年底。
微軟的年報中也向投資者強調，GPU 是其雲業務快速增長的「關鍵原材料」。如果無法獲得所需的基礎設施，可能會出現數據中心中斷的風險因素。
據推測，OpenAI 可能需要 50000 個 H100，而 Inflection 需要 22,000 個，Meta 可能需要 25k，而大型雲服務商可能需要 30k（比如 Azure、Google Cloud、AWS、Oracle）。
Lambda 和 CoreWeave 以及其他私有雲可能總共需要 100k。Anthropic、Helsing、Mistral 和 Character 可能各需要 10k。
整體算來，全球公司需要約 432000 張 H100。按每個 H100 約 35k 美元來計算，GPU 總需求耗資 150 億美元。
這其中，還不包括國内大量需要 H800 的互聯網公司。
而且，H100 不光不愁賣，利潤率還高得吓人。
業内專家曾稱，英偉達 H100 的利潤率接近 1000%。
參考資料：
https://twitter.com/danhockenmaier/status/1701608618087571787
https://www.tomshardware.com/news/nvidia-sold-900-tons-of-h100-gpus-last-quarter
