今天小编分享的科技经验：英伟达3个月卖出800吨H100！老黄竟自曝万亿GPU霸主“三无”策略，欢迎阅读。
【新智元导读】有分析公司算出来，才三个月英伟达就卖出了 800 多吨 H100。然而市值已超万亿的英伟达，竟是一个「无计划、无汇报、无层级」的公司。
仅在今年第二季度，英伟达就已经卖出了 816 吨 H100！
假如这个速度不变，它有望在今年卖出 3,266 吨 H100。并且，在接下来的每年里，英伟达都会卖出 120 万张 H100。
现在，云服务供应商的大规模 H100 集群容量即将耗尽，全球陷入 GPU 短缺，硅谷大佬们都急了——整体算来，全球公司需要约 432000 张 H100。
最近同时大火的，还有黄仁勋管理英伟达的方法。
「没有计划、没有汇报、没有层级」，如此随性，如此佛系，甚至可以说，如此疯狂。
就是这种管理办法，让英伟达市值超过 1 万亿，在半导体公司中一时风头无两。
半导体巨人
英伟达声称，在 2024 财年第二季度，他们售出了价值 103 亿美元的数据中心硬體。
价值 103 亿美元是什么概念？
今天，市场研究公司 Omdia 给出了让我们更容易理解的部門—— 816 吨 H100！
根据 Omdia 估计，第二季度英伟达的 H100 GPU 出货量超过了 816 吨。
一个英伟达 H100 GPU，再加上散热器，平均重量超过了 3 公斤，因此，第二季度的 H100 发货量，保守估计也有 30 万个。
Omdia 的估算准确吗？
要知道，H100 有三种不同的外形尺寸，重量也不尽相同。
H100 PCIe 显卡重达 1.2 千克，H100 SXM 模组的重量尚不清楚，而带散热片的 OAM 模组重量可达 2 千克，它与 H100 SXM 的尺寸和 TDP 大致相同。
假设 H100 出货量 80% 是模组，20% 是显卡，那么单个 H100 的平均重量应为 1.84 千克左右。
所以，Omida 的估算可以认为大致准确。当然，实际重量可能少于 816 吨这个数字。
816 吨是多重？
为了便于理解这个重量，我们可以拿以下这些东西来类比——
4.5 架波音 747
11 架航天飞机
181,818 台 PlayStation 5
32,727 只金毛
假如英伟达在未来几个季度保持相同的 GPU 销量，那么它有望在今年售出 3,266 吨 H100。
假如这个速度保持不变，每年英伟达都会卖出 120 万个 H100。
并且，还不止这些。
还有 H800，以及上一代的 A100、A800、A30。
这样算的话，英伟达每季度实际销售的 GPU 数量远远高于 30 万个，重量总计远超过 816 吨。
即便如此，仍然不能满足全球的 GPU 荒——根据行业内部消息，英伟达 H100 2023 年的产量，早已销售一空，现在交钱订购，至少要到 2024 年中才能拿到货。
现在，H100 早已一卡难求。
甚至还有外媒爆料：英伟达要在 2024 年，将 H100 的产量从今年的 50 万张左右直接提高到 150-200 万张。
显然，随着英伟达芯片在生成式 AI 的热潮中愈加紧俏，这个预测并不夸张。
黄仁勋「第一性原理」
与此同时，GPU 的销量暴涨，也让英伟达成为了世界算力霸主，成功进入万亿美元俱乐部。
这背后离不开领导人黄仁勋的「疯狂式」的管理策略。
老黄表示，当你创立一家公司时，很自然地从第一性原理开始。
「就像我们正在建造一台机器如何运作一样，什么是输入，什么是输出，处在什么条件下，行业标准又是什么 .....」
用老黄的话来说，英伟达的使命是，解决世界那些几乎不可能的计算问题。如果一个问题可以由普通的电腦解决，英伟达就会不做。
为了实现这一使命，英伟达吸引很多很多出色的人才，聚集在一起。
同时还需要，老黄管理这些人才的顶级策略，具体包括：
直接管理 40 名下属，没有 1:1 会议
英伟达不需要「金字塔」式的管理，而是将权力下放给每一个人。
老黄信奉扁平化的组织最富有能力，以便信息能够快速传播。
其中，组织的第一层——公司高层，就必须要考虑更加周全。他从不向任何人高管提供职业建议，因为管理团队中没有人来向他寻求职业建议。
「他们已经成功了，他们做得很好」。
另外，老黄从不进行 1 对 1 会议，所有事情都在小组讨论中进行。
「如果你有一个战略方向，为什么只告诉一个人？应该让每个人都知道」。
每个人都能随时了解所有情况
在公司内部，从来都不会召开副总裁会议、总监会议。
老黄称，自己参加的会议里，有来自不同组织的人，刚刚毕业的大学生，任何人都可以参加并发表意见。
不做状态报告，而是 email「前五件事情」
在英伟达，每个人都不需要做状态报告，因为老黄认为这像是「元资讯」，太过精炼，基本上没有有益的讯息。
相反，公司里的任何人都可以通过电子邮件向他发送自己的「前五件事情」。
你所学到的，你所观察到的，你即将要做的，无论是什么事情，他每天早上都会阅读 100+ 邮件，去了解大家的 TOP 5 things。
比如，你去了一家非常棒的餐厅、有了一个可爱的 baby...，这才是真正重要的信息。
没有正式的定期计划
对于，如何去做规划，让公司最底层的想法展现出来、让最好的工程师执行。
老黄表示，对于我来说，没有 5 年计划，也没有 1 年计划，会根据不断变化的业务和市场条件进行重新评估。
总结来说，英伟达优化组织结构的目的是：（1）吸引优秀人才；（2）保持尽可能小的团队规模；（3）使信息传播尽可能迅速
就连英伟达深度学习研究员 VP Bryan Catanzaro，直接现身证明，全部为真。
那么，在这样的组织工作是一种什么样的体验？
Bryan 表示，在很多方面，这是一个非常稳定的环境。许多资深员工已经在英伟达工作了几十年。这种风格并不适合每一个人，但对很多人来说却很有效。这是一个充满活力的环境。
与马斯克不同的是，老黄很少对外讲述自己管理公司的方法。
今年在台大的演讲中，老黄曾讲述了定义了今天英伟达样貌的 3 个故事。这当中，离不开他的决策和判断，已经思考。
最初，英伟达与 SEGA 签约，为其打造游戏机。经过一年的开发过程，却发现使用的技术架构是错误的。
但是，黄仁勋发现即便纠正过来，也无济于事，因为这一产品创造与微软的 Widows 系统并不兼容。
于是，他联络了 SEGA 执行长，解释英伟达无法完成这个任务，并还得到了 SEGA 的帮助，所幸没有破产。
第二件事，就是 2007 年英伟达宣布的 CUDA GPU 加速计算技术。
为了向全世界推广 CUDA 技术，还专门创办了 GTC 的会议。经过多年努力，英伟达这项技术成为 AI 革命重要的推动引擎。
第三件事，做出放弃手机市场的艰难决定，将重心放在显卡上。
正如老黄所说，「战略性的撤退、牺牲、决定放弃什麽是成功的核心，非常关键的核心。」
一位 X 的工程师称，这一管理方式与马斯克 X 公司的操作非常类似。
还有网友戏称，老黄的这种管理方式，都可以在多模态智能体大模型体系中建模了。
如果老黄，能够像马斯克一样出一本传记，相信每个人都愿意去拜读一下。
看看，英伟达的 GPU 如何取得成功，成为大厂的掘金铲。
全球 GPU 缺口超 40 万张
H100 的短缺，早就让硅谷大佬们都慌了！
Sam Altman 就曾自曝，GPU 已经告急，希望用 ChatGPT 的用户能少一点。
「GPU 非常短缺，使用我们产品的人越少越好」
Altman 表示，受 GPU 限制，OpenAI 已经推迟了多项短期计划（微调、专用容量、32k 上下文視窗、多模态）。
OpenAI 联合创始人兼职科学家 Andrej Karpathy 也透露过，现在谁家得到了多少块 H100，都是硅谷的顶级八卦。
这张在社区广为流传的图曾做出如下估算——
-GPT-4 可能在大约 10000-25000 张 A100 上进行了训练
-Meta 大约 21000 A100
-Tesla 大约 7000 A100
-Stability AI 大约 5000 A100
-Falcon-40B 在 384 个 A100 上进行了训练
– Inflection 使用了 3500 和 H100，来训练与 GPT-3.5 能力相当的模型
现在不光是科技公司排着队购买 H100，连沙特阿拉伯和阿联酋都出手了，一下就买了几千个 H100 GPU。
马斯克直言，现在想买到 H100 已经难如登天。
根据马斯克的说法，GPT-5 可能需要 30000-50000 个 H100。此前，摩根士丹利曾表示 GPT-5 使用 25000 个 GPU，自 2 月以来已经开始训练，不过 Sam Altman 之后澄清了 GPT-5 尚未进行训。
而一篇名为「Nvidia H100 GPU：供需」文章曾推测，小型和大型云提供商的大规模 H100 集群容量即将耗尽，H100 的需求趋势至少会持续到 2024 年底。
微软的年报中也向投资者强调，GPU 是其云业务快速增长的「关键原材料」。如果无法获得所需的基础设施，可能会出现数据中心中断的风险因素。
据推测，OpenAI 可能需要 50000 个 H100，而 Inflection 需要 22,000 个，Meta 可能需要 25k，而大型云服务商可能需要 30k（比如 Azure、Google Cloud、AWS、Oracle）。
Lambda 和 CoreWeave 以及其他私有云可能总共需要 100k。Anthropic、Helsing、Mistral 和 Character 可能各需要 10k。
整体算来，全球公司需要约 432000 张 H100。按每个 H100 约 35k 美元来计算，GPU 总需求耗资 150 亿美元。
这其中，还不包括国内大量需要 H800 的互联网公司。
而且，H100 不光不愁卖，利润率还高得吓人。
业内专家曾称，英伟达 H100 的利润率接近 1000%。
参考资料：
https://twitter.com/danhockenmaier/status/1701608618087571787
https://www.tomshardware.com/news/nvidia-sold-900-tons-of-h100-gpus-last-quarter
